Badania ilościowe, odpowiadając na pytania: jak wiele, ile, pozwalają określić w wymierny, konkretny sposób wielkość, rozmiar, zakres, częstotliwość, intensywność danego zjawiska.
Badania ilościowe i jakościowe (np. grupy fokusowe, audyty eksperckie, analiza heurystyczna) powinny stanowić stały element każdego projektu produktu cyfrowego.
Wykorzystanie potencjału obu rodzajów badań pozwala o wiele głębiej, o wiele bardziej wielowymiarowo, wiarygodnie, rzetelnie poznać potrzeby użytkowników końcowych (np. klienci w sklepie internetowym).
Umożliwia tworzenie rozwiązań bardziej adekwatnych do potrzeb użytkownika końcowego.
Daje także możliwość dostosowania projektu strony internetowej, aplikacji mobilnej do ich specyficznych, odkrytych w wyniku badań preferencji.
W praktyce badanie ilościowe i jakościowe są wykorzystywane są traktowane - a przynajmniej powinny być - jako podejścia komplementarne, nie konkurencyjne.
Jaka jest podstawowa różnica między badaniami jakościowymi i ilościowymi? Czym różnią się te metody badawcze?
Otóż, badania jakościowe służą znalezieniu odpowiedzi na pytania: Dlaczego? W jaki sposób? Kiedy? Gdzie?
Z kolei badanie ilościowe pozwalają na znalezienie odpowiedzi na pytania: Jak często? Ile?
Może się wydawać, że dla problemów z User Experience bardziej adekwatne są badanie jakościowe.
Jakość doświadczeń, problemy z użytecznością w pierwszej kolejności odnoszą się do znacznie łatwiej uchwytnych za pomocą tych metod wrażeń, opinii, emocji, nastawień, uprzedzeń, problemów behawioralnych.
Czy zatem badania ilościowe są w ogóle użyteczne na gruncie projektowania UX/UI, oferowania pozytywnego doświadczenia użytkownika?
Jaką wartość w procesie badawczym, projektowym, optymalizacyjnym są w stanie wnieść badania ilościowe? W jaki sposób można wykorzystać metody ilościowe w UX?
Dziś przybliżamy problematykę badań ilościowych w UX. Z pewnością warto się z nimi zapoznać, bowiem stanowią niezbędne uzupełnienie badań jakościowych.
Pozwalają uzyskać bardziej złożony, wielowymiarowy, pełny obraz problemów z użytecznością. Dają wgląd w zakres tych problemów oraz ich natężenie.
Jak zawsze, serdecznie zapraszamy do lektury!
Badania ilościowe - co to?
Badania ilościowe wprawdzie nie dostarczają odpowiedzi na pytanie, dlaczego dane zjawisko, problem występuje, jakie są jego przyczyny, co je warunkuje, ale za to pokazują dla jakiej ilości użytkowników problem jest realny.
Pozwalają więc oszacować skalę zjawiska.
Czym są badania jakościowe? Przykładowo, badania jakościowe są w stanie udzielić odpowiedzi, dlaczego formularz kontaktowy osiąga bardzo niski współczynnik konwersji.
Powodem może być zbyt duża ilość pól lub niezrozumiałe etykiety.
Z kolei badania ilościowe określą, jak wiele osób uznaje ilość pól formularza za problematyczne.
Pozwalają także określić zmianę, jaka zachodzi w czasie, gdy w procesie optymalizacji zmniejszymy ilość pól.
Ponawiając badania ilościowe w tym zakresie dowiemy się, czy ilość użytkowników zmagających się z tym problemem wrosła, czy też zmalała.
Nierealistyczne wyniki, przypuszczenia zastąpimy obiektywnymi.
Dopiero zsumowane wyniki badań jakościowych oraz ilościowych (które niestety nie są możliwe do uzyskania w krótkim czasie) pozwalają podejmować bardziej racjonalne i uzasadnione decyzje optymalizacyjne.
Do najważniejszych rodzajów ilościowych badań UX należą:
- testy porównawcze (benchmarking)
- analityka internetowa
- testy A/B UX
- sortowanie kart
- ankiety
- badania eye tracking.
Każda z metod badań UX cechuje się własną specyfiką w aspekcie:
- zakresu zastosowania
- kosztu
- trudności zbierania danych, rekrutowania respondentów
- trudności prac analityczno-interpretacyjnych
- kontekstu, uwarunkowań wykonania badania
- użyteczności badawczej oraz możliwości kompilowania wyników z innymi metodami, rodzajami badań
- celów badawczych
- czasu koniecznego do wykonania badania
- wartości eksplanacyjnej.
Przykładowo, sortowanie kart jest metodą, która daje wgląd w modele mentalne użytkowników strony.
W szczególności daje wgląd w sposoby kategoryzowania oraz nazywania zjawisk.
Sortowanie kart pozwala poznać terminologię, jakiej użytkownicy używają do opisu oraz grupowania zjawisk, określenia czym jest produkt.
Metoda ta jest wykorzystywana do ustalania najbardziej optymalnego brzmienia, formy etykiet oraz struktur informacyjno-architektonicznych, wykorzystywanych w produkcie cyfrowym.
Jest bardzo przystępna kosztowo, jednocześnie zbieranie danych jest nieskomplikowane. Sortowanie kart nie nastręcza wielu problemów interpretacyjnych.
Aktualnie jest możliwe przeprowadzenie tego rodzaju badania na użytkownikach nie tylko w warunkach stacjonarnych, ale także zdalnie za pomocą dedykowanego narzędzia.
Card Sorting jest czasami nazywane metodą pośrednią, bowiem daje jednocześnie wyniki jakościowe oraz ilościowe.
Pozwala poznać nazwy, terminologie, kategorie oraz pozwala ustalić częstotliwość ich używania.
Jest niezwykle przydatne w projektowaniu architektury informacji oraz przede wszystkim pozwala tworzyć kategorie, nazwy w menu, które najlepiej odpowiadają modelom mentalnym użytkowników.
Najważniejsze zalety badań ilościowych
Zalety badań ilościowych oczywiście są o wiele szersze i bardziej zróżnicowane.
Wykonując badania ilościowe zyskujemy wgląd w zjawisko w sposób:
- obiektywny, za pomocą narzędzi, zadań, które są zestandaryzowane
- umożliwiający porównanie wyników w czasie
- statystycznie istotny, stąd też wiarygodność tych badań jest wysoka.
W ramach UX Research badania ilościowe oznaczają najczęściej wykonywanie ilościowych testów użyteczności. Ilościowe testy użyteczności polegają na wykonywaniu zdefiniowanych przez badaczy zadań na stronie internetowej.
Metryki UX, jakie przyjmuje badacz pozwalają wyrazić wydajność wykonania zadań w postaci liczbowej. Metryką lub wskaźnikiem UX może być czas lub ilość.
Zazwyczaj respondentów prosi się o wykonanie różnych zadań na stronie internetowej (np. odnalezienie karty produktu, skorzystanie z formularza kontaktowego).
Miarami, metrykami UX umożliwiającymi pośrednią ocenę użyteczności, są najczęściej:
- czas wykonania zadania
- ilość zadań ukończonych
- ilość błędów popełnianych w czasie wykonywania zadania
- skwantyfikowane oceny satysfakcji użytkowania strony internetowej, aplikacji mobilnej.
Miary wprawdzie nie określają przyczyn, ale pozwalają na sprawdzenie, skonfrontowanie użyteczności z rozwiązaniami konkurencyjnymi (lub projektami wcześniejszymi) i tym samym określenie wzrostu lub spadku jej atrakcyjności dla użytkowników.
Ograniczeniem badań ilościowych, o czym już wspominaliśmy, jest oczywiście brak możliwości poznania przyczyn ilościowych wyników.
Wnioski, jakie wyciągniemy będą odnosić się tylko do częstotliwości zachowania.
Wyniki badań ilościowych nie określają, nie definiują problemów, jakie napotkali użytkownicy. Nie sugerują także rozwiązań.
Tego rodzaju wgląd, wiedza możliwa jest do uzyskania z badań jakościowych.
Ponadto, badania ilościowe wymagają większej ilości badanych, co oczywiście podnosi ich koszt, wydłuża czas konieczny na ich przeprowadzenie oraz rodzi także problemy organizacyjne.
Stawia przed badaczami UX także wyzwania związane ze statystycznym opracowaniem oraz interpretowaniem uzyskanych wyników.
Niemniej jednak, zaletą, której nie można bagatelizować, jest o wiele większy obiektywizm tego rodzaju badań.
Przypadkowość, niska wiarygodność wyników jest minimalizowana poprzez sprawdzone techniki wykonywania badań oraz całe zaplecze wiedzy matematycznej oraz statystycznej, która pozwala zagwarantować spodziewaną wiarygodność.
Warto także mieć w pamięci uwagi poczynione przez Kate Moran w artykule pt. “Quantitative User-Research Methodologies: An Overview”.
Badaczka związana z Nielsen Norman Group zauważa, bardzo słusznie, że badania ilościowe powinny być nieodłącznym elementem korpusu narzędzi każdego badacza UX.
Uzasadnienie takiego przekonania, podejścia brzmi bardzo przekonująco.
Zdaniem Kate Moran badania ilościowe pozwalają:
- uzyskać dane, które mają większą wartość w procesie decyzyjnym, pozwalają w bardziej konkretny sposób przekonywać różnorodnych interesariuszy
- porównywać, szacować, oceniać, rangować
- kalkulować, szacować poziom ROI, co jest szczególnie istotne w pracach optymalizacyjnych.
Badania ilościowe służą także do mierzenia:
- efektywności, wydajności produktu cyfrowego – najczęściej wskaźnikiem wysokiej wydajności jest krótki czas konieczny do wykonanie zadania, bowiem czas koreluje z łatwością, intuicyjnością obługi
- satysfakcji użytkownika, klienta serwisu w trakcie korzystania z niego – która jest mierzona tuż po wykonaniu zadania np. za pomocą kwestionariusza subiektywnego wysiłku umysłowego (SMEQ - Subjective Mental Effort Questionnaire)
- skuteczności (dokładności oraz kompletności) – za pomocą wskaźnika sukcesu oraz ilości popełnianych błędów w czasie wykonywania zadania.
Pozostałe różnice między badaniami jakościowymi oraz ilościowymi
W najbardziej ogólnym sensie główną różnicą między badaniami jakościowymi i ilościowymi jest ich zakres oraz głębia.
Badania ilościowe w porównaniu do badań jakościowych zapewniają:
- większy zakres
- ale mniejszą głębię.
Ponadto, oba rodzaje badań stawiają przed badaczami inne wyzwania pod względem:
- wielkości próby
- rekrutacji
- organizacji oraz przeprowadzenia badania
- narzędzi badawczych
- metod analizy oraz interpretacji
- czasu koniecznego na ich przeprowadzenie
- momentu - badania ilościowe są rekomendowane na późniejszych etapach projektu, bowiem z ich pomocą testowana jest przede wszystkim wydajność strony internetowej, aplikacji mobilnej.
Uzasadnieniem dla wykonywania badań ilościowych na późniejszych etapach projektu jest także ich koszt.
Zazwyczaj do wykonania badania ilościowego koniecznych jest co najmniej kilkudziesięciu badanych, podczas gdy do wykonania badania jakościowego wystarczy tylko kilku (minimalnie 5).
Warto także pamiętać, o czym przypomina Raluca Budiu w artykule pt. “Quantitative vs. Qualitative Usability Testing”, autorka związana z NN Group, że wyniki badań jakościowych zazwyczaj pozwalają:
- uzyskać wgląd w mocne i słabe strony projektu
- priorytetyzować problemy.
Jednocześnie:
- są zależne od wiedzy, doświadczenia, rzetelności badacza
- są podatne na wystąpienie efektu oceniającego - różni badacze zidentyfikują różne zestawy (czasami pokrywające się) problemów z użytecznością.
Raluca Budiu przypomina także, że oba rodzaje badań muszą zapewnić:
- trafność zewnętrzną - badani muszą stanowić grupę reprezentatywną, a przebieg badania powinien być możliwie najbardziej zbliżony do warunków naturalnych, w jakich zadania są wykonywane
- trafność wewnętrzną - badania powinny być przeprowadzane w dokładnie takich samych warunkach, okolicznościach, kontekstach, uwarunkowaniach, by uniknąć efektu wpływu nieznanych, niekontrolowanych zmiennych.
Jak przeprowadzić ilościowe badania User Experience?
Dobór metody badawczej jest oczywiście kluczowy.
Niemniej jednak, jeśli chcemy dowiedzieć się jak często dany problem występuje musimy przede wszystkim określić, jaki problem mamy na myśli.
Ukierunkowanie badania na konkretny cel badawczy pozwala uzyskać o wiele bardziej wiarygodne wyniki.
Wiedząc, co chcemy zbadać w kolejnym kroku musimy dopasować do problemu badawczego najbardziej adekwatne metryki, które będą w stanie uchwycić skalę problemu.
Standardowe wskaźniki takie jak średni czas konieczny na wykonanie zadania, ilość błędów można łączyć z bardziej specyficznymi dla danego typu badania.
Określenie wskaźników może być trudne, przede wszystkim dla badaczy z mniejszym doświadczeniem.
Pomocnym narzędziem może być rekomendowany w artykule pt. “Google’s HEART Framework for Measuring UX” przez Interaction Design Foundation framework Google - Heart.
Badania ilościowe, podobnie jak badania jakościowe, mogą być przeprowadzane w formule stacjonarnej lub zdalnej, w sposób moderowany lub bez obecności facylitatora.
Wybór konkretnej konfiguracji zależny jest od:
- problemu badawczego - jego złożoności, trudności
- budżetu
- czasu, jaki zaplanowano na wykonanie zadania
- doświadczenia, kompetencji badaczy
- dostępności narzędzi badawczych.
W kolejnym kroku konieczne stworzenie scenariusza badania, szczegółowego planu, w którym definiuje się zdania, cele, narzędzia oraz konteksty.
Mając gotowy scenariusz badania UX możemy przejść do etapu rekrutacji badanych zgodnie z przyjętymi kryteriami ich doboru.
Należy w szczególności zadbać o reprezentatywność badanych oraz wielkość próbki - zazwyczaj nie powinna ona być mniejsza niż 30 badanych.
Ostatnimi etapami są: przeprowadzenie badania oraz opracowanie wyników w sensie statystycznym.
Warto pamiętać, że w badaniach ilościowych z racji wielkości próbki rekrutacja stanowi jedno z największych wyzwań, jakie napotykają badacze UX.
Badania UX wymagają solidnego przygotowania. Wybór metody badawczej stanowi clue pracy badacza, ale najbardziej trudnym zadaniem jest dobór próbki. Jest on problemowy pod kątem reprezentatywności, gratyfikacji, dostępności badanych w wyznaczonym terminie.
W każdym projekcie badawczym należy stawiać na optymalne rozwiązania, dobierać metodę badawczą do problemu badawczego, ale także nie należy wykluczać innych metod badawczych, jeśli dysponujemy ograniczonym czasem i budżetem.
Przeprowadzając ilościowe badania UX trzeba także pamiętać, że najważniejszymi, jak wynika z artykułu pt. “Usability Testing”, czynnikami warunkującymi wielkość budżetu przeznaczonego na badania są:
- wielkość zespołu badawczego
- liczba uczestników badania
- ilość dni koniecznych do przebadania wszystkich uczestników
- koszty rekrutacji (np. koszty specjalistycznych firm, które rekrutują badanych zgodnie z narzuconymi kryteriami)
- wynagrodzenie uczestników
- koszty laboratorium i/lub dedykowanych dostępu do platform badawczych.
Badania ilościowe w UX. Podsumowanie artykułu
- Badania UX, badania ilościowe i jakościowe powinny być wykorzystywane jednocześnie w procesie projektowania, tworzenia stron internetowych, aplikacji mobilnych.
- Badania UX (metody ilościowe i metody jakościowe) należy traktować jako podejścia komplementarne.
- Badania UX, w szczególności badania ilościowe pozwalają określić wielkość, rozmiar, zakres, częstotliwość, intensywność danego zjawiska.
- Zsumowane wyniki badań jakościowych oraz ilościowych stanowią najbardziej wiarygodną, rzetelną, wyczerpującą podstawę do podejmowania racjonalnych decyzji projektowych.
- Do najważniejszych rodzajów badań ilościowych należą testy porównawcze, testy A/B UX, sortowanie kart, ankiety, badania eye trackingowe (śledzenie ruchu gałek ocznych).
- Przeprowadzenie badań ilościowych daje wgląd w zjawisko w sposób obiektywny, umożliwiający porównanie, statystycznie istotny.
- Badania ilościowe najczęściej oznaczają w praktyce wykonywanie ilościowych testów użyteczności.
- Badania User Experience, ilościowe testy użyteczności polegają na wykonywaniu zdefiniowanych przez badaczy zadań na stronie internetowej, w aplikacji mobilnej.
- Wyniki badań ilościowych nie określają, nie definiują problemów, jakie napotkali użytkownicy.
- Przypadkowość, niska wiarygodność wyników jest minimalizowana poprzez wykorzystanie wiedzy matematycznej oraz statystycznej.
- Metody ilościowe pozwalają porównywać, szacować, oceniać, rangować, kalkulować, szacować poziom ROI.
- Badania ilościowe w porównaniu do badań jakościowych zapewniają większy zakres, ale mniejszą głębię.
