Badania ilościowe i jakościowe stanowią nieodłączną część procesu projektowego, optymalizacyjnego.
Evidence-Based UX bez badań UX (UX Research), w tym badań jakościowych, obejść się nie może.
I bardzo słusznie, bowiem badania stanowią solidną podstawę, która w projektowaniu, rozwijaniu aplikacji wszystko zmienia.
Badania User Experience, badania użyteczności (jakościowe - Qualitative Research oraz ilościowe - Quantitative Research) stanowią podstawę na każdym etapie odkrywania, kreowania, rozwijania, optymalizowania produktu cyfrowego.
Stanowią jeden z najbardziej racjonalnych, wiarygodnych filarów podejmowania decyzji.
Pozwalają uniknąć błędów, które wynikają z subiektywnych, osobistych preferencji, uprzedzeń, doświadczeń, czy ograniczeń.
Badania jakościowe są istotnym elementem w procesach, projektowych, developerskich, biznesowych. Ich roli, funkcji, pożytków nie sposób przecenić.
Przy czym warto pamiętać, że nie jest także wskazane przedkładanie jednego rodzaju badań nad drugi - jakościowych nad ilościowe, ilościowych nad jakościowe.
Prymat jednych nad drugimi jest naprawdę bardzo sztuczny. Tym bardziej, że w realnym procesie tworzenia produktu cyfrowego oba rodzaje badań traktuje się jako komplementarne i w równym stopniu niezbędne.
Co to są badania jakościowe? Jak się robi badania jakościowe? Jaką rolę odgrywają badania jakościowe? Jak analizować badania jakościowe?
Czym różnią się badania jakościowe od badań ilościowych na gruncie User Experience? Mając na myśli badania jakościowe jakie metody badawcze mamy konkretnie na myśli?
Jak zaprojektować badania jakościowe lub ile kosztują badania jakościowe? W jaki sposób na jakość badań wpływa dobór metody badawczej?
Nad takimi kwestiami będziemy się dziś zastanawiać i poszukamy dla nich najlepszych, najbardziej zwartych i poglądowych odpowiedzi.
Zapraszamy do lektury!
Badania jakościowe - co to jest?
Badania jakościowe mają swoje źródło w naukach społecznych, takich jak antropologia, psychologia, etnografia. I na ich gruncie wypracowywane zostały metody ich przeprowadzania.
Najbardziej lapidarną odpowiedzią na pytania - Czym są badania jakościowe? Co to są badania jakościowe? Jak opisać badania jakościowe? - jest stwierdzenie, że clue tych badań stanowi znalezienie odpowiedzi na pytanie - Dlaczego?
Zauważmy, że badania dotyczące doświadczeń użytkowników przynależą do jednej z dwóch głównych domen - badań jakościowych oraz ilościowych.
Badania jakościowe służą do uzyskania wglądu w specyfikę problemów, jakie mogą być udziałem użytkowników korzystających z danego produktu cyfrowego.
Polegają m.in. na analizie danego zjawiska (np. pogłębione wywiady indywidualne), pozwalają dokładniej zrozumieć analizowane zjawisko, czyli zupełnie przeciwnie niż ma to miejsce w badaniach ilościowych.
Z analizy statystycznej, takie wnioski nie będą możliwe do wyciągnięcia.
Służą do głębokiego zrozumienia różnorodnych doświadczeń użytkowników. Są skoncentrowane w pierwszej kolejności na zrozumieniu motywacji i zachowań użytkowników.
Tam, gdzie metody ilościowe mogą odpowiedzieć tylko na pytanie - Gdzie leży problem? Ilu użytkowników jest nim dotkniętych? - metody jakościowe dokładniej wyjaśniają, na czym on polega.
I przede wszystkim pozwalają zrozumieć jak ów problem wpływa na użytkowników. W niektórych przypadkach badania jakościowe wspierają poszukiwania rozwiązań.
Uwe Flick w książce pt. “Projektowanie badania jakościowego” definiuje badania jakościowe jako badania, w których używa się tekstu zamiast liczb jako materiału empirycznego.
Badania jakościowe skupiają się na punktach widzenia uczestników badań, ich codziennych praktykach.
Badanie jakościowe składa się z zespołu interpretatywnych, materialnych praktyk. Badacze jakościowi badają rzeczy w ich naturalnym środowisku, próbując nadać sens lub interpretować zjawiska przy użyciu terminów, którymi posługują się badani ludzie.
Bardzo ciekawym uzupełnieniem powyższej definicji jest opis specyfiki badań jakościowych zaprezentowany w książce Johna W. Creswella pt. “Projektowanie badań naukowych. Metody jakościowe, ilościowe i mieszane”.
Creswell zastanawiając się, jak zrobić badania jakościowe, zauważa, że tego rodzaju badania:
- odbywają się w warunkach naturalnych
- różnią się od badań ilościowych także tym, że nie tworzy się w nich hipotez a priori
- są specyficzne także ze względu na to, że badacz jest narzędziem badawczym, którego wpływ należy zawsze uwzględnić i minimalizować
- pozwalają pozyskać dane opisowe, wyrażone nie w liczbach, tylko w formie językowej, dyskursywnej, narracyjnej
- koncentrują się na postrzeganiu, obserwacji i doświadczeniach ich uczestników
- odnoszą się do procesów, ich konsekwencji
- mają na celu możliwie pełne, głębokie zrozumienie badanego zjawiska
- mają charakter idiograficzny - dane interpretuje się w odniesieniu do indywidualnych przypadków
- mają na celu rekonstrukcję rzeczywistości badanych - tego jak badani postrzegają świat, jak w nim funkcjonują
- są otwarte na poznanie także za pomocą intuicji, wyczucia, empatii
- zwiększają swoją prawdziwość, wiarygodność danych i wyników poprzez spójność, wnikliwość oraz instrumentalną użyteczność.
Badania jakościowe starają się dostarczyć jak najbardziej wiarygodnej, rzetelnej, bezstronnej odpowiedzi, która wyjaśnia przyczyny, powody, mechanizmy.
Kluczowymi ramami badań jakościowych są:
- warunki - w jakich badanie jest przeprowadzone
- aktorzy - osoby, z którymi badanie jest przeprowadzone
- zdarzenia - zachowania, działania badanych
- procesy - sekwencje zdarzeń
- kwestie etyczne - specyficzne podejście do badania, badanych, które ma na celu zapewnienie dobrostanu, komfortu
- strategie gromadzenia danych - metody, techniki, narzędzia gromadzenia, klasyfikowania danych
- procedury analizy danych - metody interpretacji danych.
W bardzo ogólnym sensie, badanie jakościowe dostarcza wiedzy o:
- potrzebach
- koniecznościach
- ograniczeniach
- celach
- przeszkodach
- oczekiwaniach
- doświadczeniach.
A wszystkie te kwestie wprost - mniej lub bardziej - odnoszą się do pytania o przyczyny, powody.
Badania jakościowe pozwalają:
- diagnozować problemy
- określać zakres problemu
- rozumieć zależności, mechanizmy
- dostrzegać strukturę, złożoność problemu
- rozumieć konieczności
- odkrywać hierarchie.
W sensie czysto projektowym, związanym z UX/UI Designem, badania jakościowe pozwalają:
- tworzyć produkty zorientowane na użytkownika
- racjonalizować decyzje projektowe, biznesowe, technologiczne
- budować strategie
- ukierunkowywać rozwój produktów cyfrowych
Czym są badania jakościowe? Przede wszystkim są narzędziem poznania:
- tego, co jednocześnie subiektywne i powtarzające się
- motywacji i celów
- postaw i reakcji emocjonalnych,
- schematów poznawczych
- ograniczeń poznawczych, behawioralnych
- funkcjonalnych, kontekstowych, technologicznych, uzusowych przyczyn błędów.
Patrząc na użyteczność badań jakościowych i ich powiązanie z badaniami ilościowymi trzeba zauważyć, że badania jakościowe pozwalają wskazać przyczynę, dostarczyć wyjaśnienia dla ilościowych danych, które rejestrują tylko częstotliwość.
Sumując wyniki badań jakościowych oraz ilościowych dowiemy się:
- jak często zdarzenie występuje (jakie jest jego natężenie, dynamika oraz rozkład zmian w czasie)
- dlaczego zdarzenie występuje (jakie są powody jego wystąpienia).
Mówiąc jeszcze inaczej, jakościowe badania użytkowników produktów cyfrowych (np. aplikacji mobilnych, aplikacji webowych, oprogramowania) pomagają wyjaśnić dane ilościowe.
Przykładowo, z danych liczbowych dotyczących współczynnika odrzuceń (Bounce Rate), wynoszącego 25% nie dowiemy się nic więcej, jak tylko tyle, że 25 użytkowników na każdych 100 opuści naszą stronę.
Dlaczego ją opuszczą? Dlaczego użytkownicy tak się zachowują?
Tego już będziemy się mogli dowiedzieć, przeprowadzając badania jakościowe, które służą do odkrywania przyczyn, diagnozowania związków przyczynowo-skutkowych.
Czym badania jakościowe nie są?
Z pewnością nie są one uniwersalnym panaceum na wszelkie problemy z użytecznością. Mają swoje ewidentne plusy, zalety i nie są pozbawione ewidentnych ograniczeń i minusów.
Ich wyniki nie są także “prawdą”, która jest uniwersalna, stała czasowo - nie podlega zmianie wraz z czasem, zmianami na rynku, w technologiach, potrzebach, oczekiwaniach, zachowaniach użytkowników.
Warto mieć w pamięci uwagę, jaką poczynili autorzy artykułu dotyczącego badań jakościowych, opublikowanego na stronie Naukowiec.org, zgodnie z którą badania jakościowe nie są przede wszystkim reprezentatywne.
Oznacza to, że wyników przeprowadzonych badań nie można używać do generalizacji. Nie można ich używać w sposób uniwersalny, wykorzystywać w różnych - nie powiązanych ze sobą - kontekstach.
Nie są one reprezentatywne dla użytkowników jako takich, ale są wiążące, relewantne do wąsko określonych grup.
Przykładowo, jeśli badamy interfejs aplikacji, na przykład służącej do bookowania wycieczek turystycznych, to wyniki tych badań nie można wykorzystywać do projektowania aplikacji służących do diagnozowania zmian skórnych.
Przy czym, nie oznacza to także, że badania jakościowe są na wskroś subiektywne.
Badania jakościowe powinny aspirować do obiektywizmu dzięki refleksyjnemu podejściu badacza do własnych uprzedzeń, preferencji, oczekiwań.
Bezstronność jest ważną wartością, którą każdy badacz powinien świadomie starać się uzyskać.
Konfrontowanie wyników badań jakościowych, interpretacji z innymi badaczami, a więc programowe uczynienie ich bardziej obiektywnymi przez praktyki intersubiektywne także podnosi ich wiarygodność. I przede wszystkim uwalnia od łatki subiektywizmu.
Innym sposobem na radzenie sobie z subiektywizmem jest staranne dobieranie metody badawczej do przedmiotu badań UX.
Narzędzie, jakiego użyjemy jest niezwykle istotne i nie może być przypadkowe lub wybrane zgodnie z mniej istotnymi kryteriami - na przykład szybkością wykonania badań, czy ich kosztownością.
Takie podejście zawsze niestety oznacza utratę jakości oraz obniżenie wiarygodności i użyteczności uzyskanych wyników.
Kiedy stosujemy badania jakościowe?
W badaniach jakościowych badane są zazwyczaj małe grupy - liczące od kilku do kilkunastu osób. Czas ich wykonania zazwyczaj także jest krótszy w porównaniu do badań ilościowych.
Proces projektowania produktu cyfrowego obejmuje standardowo cztery fazy: eksplorację, ideację, tworzenie i walidację. Badania jakościowe są rekomendowane na każdym z tych etapów.
Na każdym etapie badania są w stanie uczynić proces projektowy bardziej:
- racjonalnym
- przewidywalnym
- konkretnym
- bezstronnym
- klarownym
- sfokusowanym na użytkownikach
- ekonomicznym - odkryte problemy z użytecznością na wczesnych etapach pozwalają zaoszczędzić czas i pieniądze konieczne do wprowadzenia zmian, eliminowania błędów.
Użyteczność badań jakościowych w największym stopniu staje się oczywista, gdy istnieje deficyt informacyjny lub przedmiot badań jest poznany w skromnym stopniu, a które nie są w stanie uchwycić inne metody badawcze.
Eksploracyjny charakter badań jakościowych pozwala odkrywać nowe konteksty, problemy, sposoby zachowania, reagowania, motywacje, założenia - ich występowanie.
Pozwala diagnozować, ustalać, odkrywać dotychczas nieznane powiązania.
Badania jakościowe - polegające m.in. na analizie - pozwalają także pogłębić posiadaną już wiedzę, dojść do nowego wniosku.
Dodać do posiadanych informacji nowe – na przykład bardziej szczegółowe, odkrywające nowe konteksty zastosowania, związane z produktami.
Co równie ważne, badania jakościowe idealnie synchronizują się z iteracyjnym procesem rozwoju aplikacji webowych, aplikacji mobilnych.
Są także nieocenione do monitorowania zmian, jakie następują w zachowaniach oraz oczekiwaniach użytkowników, które są wynikiem zmian rynkowych, technologicznych, biznesowych, ale także kulturowych, czy społecznych.
Pamiętajmy, że potrzeby użytkowników produktów cyfrowych ulegają bardzo szybkiej i dynamicznej zmianie.
W świecie produktów cyfrowych kilka lat to okres, który w innych domenach świata społecznego rozciąga się dekadami. Badania ilościowe mogą te zmiany uchwycić, ale nie są w stanie określić ich natury, przyczyny, logiki oraz celu.
Warto pamiętać o podwójnej naturze badań jakościowych. Mają one charakter jednocześnie:
- formatywny - wspierają proces decyzyjny
- podsumowujący - wspierają proces oceny, walidacji efektów.
Dzięki temu możliwy jest z ich pomocą ustawiczny rozwój produktu cyfrowego i czynienie go produktem “Relentlessly Up-to-Date”.
Gdzie stosujemy badania jakościowe?
W praktyce badawczej, projektowej, optymalizacyjnej badania jakościowe są rekomendowane na każdym etapie rozwoju produktu cyfrowego.
W szczególności badania jakościowe będą użyteczne, gdy:
- konieczne jest podjęcie decyzji (projektowych) wiążących i determinujących przyszłość produktu cyfrowego
- konieczne jest zidentyfikowanie już występujących oraz potencjalnych problemów z użytecznością
- produkt cyfrowy jest konceptualizowany, tworzony, optymalizowany, rozwijany.
Badanie doświadczeń użytkowników, testowanie użyteczności produktów cyfrowych ma kluczowe znaczenie dla:
- konkurencyjności produktu
- satysfakcji, lojalności jego użytkowników
- strategicznego rozwoju produktu
- dynamiki wzrostu udziału rynkowego.
Badanie jakościowe znajdują zastosowanie w tych sytuacjach, kontekstach, problemach, w których konieczne jest uzyskanie stosunkowo szybkiej, stosunkowo taniej, relewantnej informacji zwrotnej.
Są rekomendowane wszędzie tam, gdzie konieczne jest racjonalne podejście do procesu projektowego, optymalizacyjnego.
Gdzie User-Centered Design nie jest tylko pustym hasłem, ale jest wartością, która pozwala tworzyć produkty cyfrowe sfokusowane na potrzeby i oczekiwania użytkownika końcowego.
Jakie są korzyści przeprowadzenia badań jakościowych?
W każdym projekcie korzyści płynące z wykorzystania jakościowych metod badawczych będą nieco inne.
Niemniej jednak, na najbardziej ogólnym poziomie badania jakościowe są przede wszystkim:
- stosunkowo łatwe do przeprowadzenia
- dostępne w sensie organizacyjnym, budżetowym, czasowym
- optymalne pod kątem stosunku jakość / koszt
- pouczające - pozwalają zrozumieć i tym samym oferować rozwiązania trafniejsze, bardziej adekwatne
- poglądowe - łatwiej wyniki badań prezentować interesariuszom, są bardziej przystępne, bardziej komunikatywne.
Pisząc o korzyściach nie można nie wspomnieć o ograniczeniach badań jakościowych.
Najczęściej wymienianą wadą Qualitative Research jest:
- mniejsza wiarygodność wyników w porównaniu do wyników badań ilościowych (zgodnie z zasadą, że z liczbami się nie dyskutuje)
- mniejsza trafność uzyskiwanych wyników, której przyczyną może być za mała ilość respondentów lub błędnie zdefiniowane kryteria włączania respondentów do badania
- większa zależność wyniku od doświadczenia, wiedzy, kompetencji, nastawienia, etyki zawodowej badacza
- uprzedzenia niektórych interesariuszy względem danych, których nie da się skwantyfikować, przedstawiać w postaci czytelnych słupków.
Badania jakościowe metody
W gronie najpopularniejszych metod jakościowych, wykorzystywanych do badania User Experience, znajdziemy:
- wywiady, w których UX Researcher omawia z respondentami problem w formule jeden na jeden
- badania terenowe, w których badacze UX przeprowadzają badania z użytkownikami w ich naturalnym środowisku, w jakim używają danego produktu cyfrowego
- grupy fokusowe, w których UX Researcher prowadzi rozmowę z kilkoma respondentami jednocześnie
- moderowane / niemoderowane testy użyteczności, w których badani wykonują zadania zdefiniowane przez badacza
- sortowanie kart, w których bada się modele mentalne użytkowników aplikacji.
Wywiady z użytkownikami - będąc jedną z najpopularniejszych metod badawczych - pozwalają głębiej, szerzej, klarowniej zrozumieć potrzeby, motywacje, zachowania użytkowników.
Badania terenowe pozwalają zrozumieć typowe sposoby używania aplikacji oraz zbadać, w jaki sposób kontekst determinuje sposób użytkowania produktu cyfrowego, jego ocenę.
Grupy fokusowe pozwalają uzyskać znaczną ilość danych jakościowych, cechującą się różnorodnością, reprezentujących różne perspektywy, doświadczenia, potrzeby, oczekiwania.
Jak przeprowadzić badania jakościowe?
Jakość badań jakościowych jest niezwykle ważna, bowiem to ona zapewnia wysoką wiarygodność, użyteczność, rzetelność badań.
Tylko bardzo skrupulatne przestrzeganie wypracowanych na gruncie akademickim procedur, metodyk pozwala wykonywać badania jakościowe, cechujące się wysoką jakością.
Badania jakościowe należy przeprowadzać:
- za pomocą metody adekwatnej, możliwie najlepiej realizującej cel badania
- z badanymi, którzy zostali zrekrutowani zgodnie z przyjętymi kryteriami rekrutacji respondentów
- bez poczucia presji czasu, budżetu oraz bez konieczności dokonywania niekorzystnych - z punktu widzenia wiarygodności wyników - ustępstw
- w warunkach, lokalizacjach nie wpływających na sposób myślenia, działania, użytkowania produktu cyfrowego - kontekst badania powinien być możliwie jak najbardziej naturalny
- w sposób minimalizujący wpływ badacza na postawy, zachowania, reakcje, emocje respondentów
- z nastawieniem na odkrywanie, nie potwierdzanie, stąd też dominować powinny pytania otwarte, które nie narzucają, nie sugerują odpowiedzi
- w sposób bezstresowy, bez presji czasu, wyniku.
Badania jakościowe (Qualitative Research) w UX. Podsumowanie
- Badania ilościowe i jakościowe stanowią nieodłączną część procesu projektowania, optymalizowania, rozwijania produktu cyfrowego.
- Badania jakościowe - Qualitative Research - stanowią podstawę na każdym etapie odkrywania, kreowania, rozwijania, optymalizowania produktu cyfrowego.
- Qualitative Research pozwalają uniknąć błędów, które wynikają z subiektywnych, osobistych preferencji, uprzedzeń, doświadczeń, czy ograniczeń.
- Nie jest wskazane przedkładanie badań jakościowych nad ilościowe i vice versa.
- Badania jakościowe służą do uzyskania wglądu w specyfikę problemów związanych z użytkowaniem produktu cyfrowego (np. serwisu www).
- Badania jakościowe starają się dostarczyć jak najbardziej wiarygodnej, rzetelnej, bezstronnej odpowiedzi, która wyjaśnia przyczyny, powody, mechanizmy.
- Pozwalają także wskazać przyczynę, dostarczyć wyjaśnienia dla ilościowych danych, które rejestrują tylko częstotliwość.
- Qualitative Research nie należy traktować jako uniwersalnego panaceum na wszelkie problemy z użytecznością.
- Ich wyniki nie są także “prawdą”, która jest uniwersalna, stała czasowo - nie podlega zmianie wraz z czasem, zmianami na rynku, w technologiach, potrzebach, oczekiwaniach, zachowaniach użytkowników.
- Eksploracyjny charakter badań jakościowych pozwala odkrywać nowe konteksty, problemy, sposoby zachowania, reagowania, odkrywać dotychczas nieznane powiązania.
- Qualitative Research służą także do monitorowania zmian, jakie następują w zachowaniach oraz oczekiwaniach użytkowników.
- Skrupulatne przestrzeganie wypracowanych na gruncie akademickim procedur, metodyk pozwala wykonywać badania jakościowe (np. serwisu internetowego), cechujące się wysoką jakością.
