Trafność, rzetelność i wiarygodność badań jakościowych stanowi problemem, który za rzadko jest podnoszony w dyskusjach dotyczących badań UX.
Przyjmuje się trochę na wiarę, że skoro coś jest badane to jednocześnie wyniki takiego badania są bezsporne, godne zaufania i nie podlegają dyskusji.
Stosunek do wyników badań bywa czasami zbyt bezkrytyczny. Wiele osób przyjmuje wobec nich (badań jakościowych oraz badań ilościowych) postawę, którą można streścić w prostym zdaniu: Z danymi się nie dyskutuje, dane się pozyskuje i wykorzystuje.
Ale wszystko ma swój awers i rewers. Samo wykonanie badania nie powinno usprawiedliwiać jego wątpliwej jakości. Warto bowiem mieć w pamięci popularne memento zgodnie z którym…
Od braku badań gorsze są tylko badania nierzetelne, niewiarygodne, których metodologia, sposób wykonania i tym samym wyniki budzą uzasadniony sceptycyzm.
User Experience, badania UX, testy użyteczności mają wtedy i tylko wtedy sens, gdy są wykonywane z poszanowaniem akademickich norm metodologicznych, gdy są przeprowadzane, analizowane, raportowane zgodnie ze standardami badań.
W naukach społecznych kwestiom metodologicznej poprawności, jakości uzyskiwanych wyników poświęca się wiele uwagi.
Metodolodzy, badacze wkładają wieli wysiłków w doskonalenie metod badawczych.
A trzeba pamiętać, że każde badanie UX, każda metoda badawcza (w szczególności badania jakościowe) ma swe źródło w wypracowanych akademicko narzędziach, metodach, normach. Stąd też warto czerpać z tego potencjału.
Czym zatem jest trafność (Validity) wewnętrzna i zewnętrzna w badaniach UX?
W jaki sposób należy przygotowywać badania, przeprowadzać badania, by mieć wysokie zaufanie do uzyskanych wyników?
W jaki sposób definiuje się i osiąga jakość w badaniach jakościowych?
Jeśli jesteście gotowi na porcję użytecznej wiedzy metodologicznej to zapraszamy do lektury!
Czym jest jakość w badaniach jakościowych?
Słownik Języka Polskiego PWN definiuje jakość jako wartość czegoś, jako istotne cechy przedmiotu, które wyróżniają go spośród innych.
W kontekście badań jakościowych, jakość bardzo trafnie zdefiniował Uwe Flick w książce pt.”Projektowanie badania jakościowego”.
Na marginesie dodajmy, że książka Uwe Flicka jest bardzo cennym kompendium wiedzy, z której korzystać powinien każdy badacz UX.
Zgodnie z jego podejściem, jakość badań jest jednym z głównych, a być może najważniejszym zagadnieniem na etapie konstruowania projektu.
Jakość jest silnie powiązana ze standaryzacją oraz konstruowaniem sytuacji badawczej i czynników, które mają na nią wpływ.
Flick w swoim wywodzie bardzo trafnie zauważa, że jeśli badacze będą w stanie kontrolować oraz usuwać czynniki zakłócające badanie - zewnętrzne i wewnętrzne - to będą w stanie uzyskiwać wyniki o wiele bardziej trafne, rzetelne, obiektywne.
I koniec końców przydatne w procesie projektowym, w rozwoju produktu cyfrowego.
Jakość zatem w kontekście badań jakościowych UX można zdefiniować jako wagę jaką badacze przykładają do projektowania badania, przeprowadzania badania, analizowania danych oraz raportowania i przekazywania wyników.
Siłą rzeczy takie sfokusowanie na jakości, na tym, by badanie dawało możliwie najbardziej wiarygodne wyniki wymusza skierowanie uwagi także na badacza, w szczególności na:
- jego miejsce, rolę, ograniczenia w procesie badawczym
- umiejętność dostrzeżenia własnych błędów, ograniczeń własnej perspektywy
- rolę testowania trafności, walidowania jakości w planie badawczym oraz w każdym z jego etapów
- nadanie walidacji wiarygodności równego statusu i priorytetu jak celom badań, kryteriom selekcji respondentów, metodom badawczym, ramom organizacyjno-czasowym.
Jak uzyskać wysoką jakość na etapie projektowania badań UX?
Flick nie ma wątpliwości w tej kwestii - jakość na tym etapie zapewnia przede wszystkim dobrze przemyślany, uzasadniony, adekwatny wybór metody badawczej. A to oznacza w praktyce, że badacz jest w stanie zachować maksymalną niearbitralność swoich wyborów.
Innymi słowy, wybór metody badawczej nie może być podyktowany:
- wygodą
- osobistymi preferencjami, sympatiami i antypatiami
- chęcią przyspieszenia badań, uczynienia ich prostszymi, czy mniej kosztownymi.
Ponadto, badacz musi gruntownie przemyśleć adekwatność wybranej metody, a więc musi mieć pewność, że wybiera metodę, która najlepiej będzie potrafiła uchwycić fragment rzeczywistości, który będzie badany.
Adekwatność jest osiągalna oczywiście dzięki wiedzy, nabytym doświadczeniom, ale także dzięki podejściu badacza, który powinien także zachować zdaniem Flicka otwartość na różnorodność.
Chodzi o poszukiwanie doświadczeń i sposobów ich badania różnicujących respondentów, nie tylko takich, które są przez nich podzielane.
Na etapie realizacji badań jakość manifestować się będzie przede wszystkim w:
- rygoryzmie - stosowaniu danej metody zgodnie ze sztuką badawczą oraz konsekwentnie
- kreatywności - poszukiwaniu nowych odpowiedzi, obserwacji, inspiracji niż potwierdzaniu utrwalonych przypuszczeń
- spójności - np. wywiady są łatwiejsze do porównywania i generalizowania, jeśli zostały wykonane w sposób spójny
- elastyczności - umiejętności znalezienia balansu między spójnością, rygoryzmem a kreatywnością.
Czym jest rzetelność (Reliability), trafność (Validity) w UX?
Tutaj dochodzimy do problemu rzetelności, którą Pallabi Roy Singh w artykule pt. “Reliability and Validity: Ensuring a Foolproof UX Research Plan” definiuje jako konieczność zapewnienia powtarzalności oraz odtwarzalności badań.
Innymi słowy chodzi o to, by inni badacze replikując badanie - przeprowadzając je w ten sam sposób, w takich samych warunkach, z udziałem respondentów o takich samych cechach włączających ich do badania - mogli uzyskać takie same wyniki.
Z kolei trafność (Validity) Pallabi Roy Singh definiuje jako stopień, w jakim wybrana metoda badawcza mierzy, to co badacz chce by zmierzyła. Wybór metody badawczej ma kluczowe znaczenie dla uzyskania wysokiej trafności wyników badań.
Rzetelność, z jaką wykonane są badania oraz ich trafność są niezbędnymi warunkami ogólnego sukcesu projektu badawczego.
A jak poucza nas Raluca Budiu, badaczka związana z Norman Nielsen Group, w artykule pt. “Internal vs. External Validity of UX Studies” za każdym razem, gdy przygotowujemy badanie UX (ilościowe, jakościowe) istnieje duże ryzyko, że jego wyniki nie będą odzwierciedlać rzeczywistości.
A wszystko za sprawą błędnego projektu badania.
Na trafność i rzetelność w badaniach jakościowych można także spojrzeć z jeszcze innej perspektywy, którą zaproponował John W. Creswell w książce pt. “Projektowanie badań naukowych. Metody jakościowe ilościowe i mieszane”.
Zdaniem Creswella trafność w badaniach jakościowych ma inne konotacje niż w badaniach ilościowych.
Nie wiąże się bezpośrednio z rzetelnością, ani możliwością generalizacji.
Trafność badań jakościowych oznacza, że badacz sprawdził wiarygodność wyników, stosując odpowiednie procedury.
Z kolei rzetelność zdaniem Creswella należy rozumieć jako spójność ujęcia badań własnych aktualnych i historycznych oraz własnych i wykonanych przez innych badaczy.
Stąd też niezwykle ważne w badaniach jakościowych jest dokumentowanie procedur, tworzenie szczegółowych protokołów, baz danych studiów.
Cytowany powyżej Pallabi Roy Singh, wyróżnia trzy metody, które pozwalają uznać wyniki badań za wiarygodne, a są nimi:
- Test-Retest Reliability
- Parallel Forms Reliability
- Inter-Rater Reliability
Wiarygodność określana w formule test-retest oznacza uzyskanie zbliżonych wyników w obu testach. Test-retest najlepiej sprawdza się jako estymator wiarygodności, gdy w badaniach wykorzystywane są ankiety lub kwestionariusze.
Wiarygodność w formule Parallel Forms Reliability porównuje dwie równoważne formy testu, które mierzą ten sam atrybut.
Z kolei wiarygodność Inter-Rater Reliability jest miarą wiarygodności stosowaną do oceny stopnia, w jakim różni badacze zgadzają się w swoich decyzjach dotyczących oceny.
Ten estymator wiarygodności rekomendowany jest do walidowania jakości badań obserwacyjnych, terenowych, kontekstowych.
Czym są błędy trafności wewnętrznej i zewnętrznej?
Jak już zauważyliśmy trafność (Validity) i wiarygodność (Reliability) to dwie różne rzeczy, których nie można ze sobą mylić.
Wiarygodne badanie to takie, którego wyniki będą zbliżone jeśli je ponowimy. Dzięki temu będziemy pewni, że wynik nie jest przypadkowy.
Przy czym warto pamiętać, że badanie o wysokiej wiarygodności i niskiej trafności jest badaniem, które doskonale mierzy, niestety nie to, co chcielibyśmy, by mierzyło.
Jak sobie poradzić z tym problemem? Odpowiedź stanowi zwrócenie uwagi na trafność wewnętrzną i zewnętrzną.
Trafność wewnętrzna badania oznacza, że badacz, ani procedura nie faworyzują żadnej z możliwych opcji (np. reakcji, zachowań).
Lub mówiąc nieco inaczej, trafność wewnętrzna to stopniowalna pewność, że obserwowany, uchwycony w toku badania związek przyczynowo-skutkowy nie da się wyjaśnić w inny sposób, za pomocą innych zmiennych, czynników.
Przy tej okazji warto przywołać uwagę sformułowaną przez Arlin Cuncic w artykule pt. “Understanding Internal and External Validity. How These Concepts Are Applied in Research”.
Badanie można uznać za wewnętrznie ważne, jeśli możliwe jest wykluczenie alternatywnych wyjaśnień wyników.
Można założyć przyczynę i skutek tylko wtedy, gdy badanie spełnia następujące trzy kryteria:
- przyczyna poprzedza skutek w czasie
- przyczyna i skutek różnią się od siebie
- nie ma innych prawdopodobnych wyjaśnień tego związku.
Przykładowo, jeśli chcąc zbadać, czy przekątna ekranu wpływa na szybkość wykonania zadania przez użytkownika, podzielimy respondentów na dwie grupy A i B i przeprowadzimy z nimi badania o skrajnie różnych porach dnia (np. wczesnym rankiem i późnym wieczorem) to wyniki badania będą mieć niską trafność wewnętrzną.
Różnice w wydajności, szybkości wykonania zadania mogą mieć swoją przyczynę w wielkości przekątnej ekranu, ale także w innej zmiennej, jaką jest pora dnia, która może wpływać na wynik.
Badanie tak przeprowadzone będzie mieć niską trafność wewnętrzną, bowiem nie można ustalić bezsprzecznie związku przyczynowego między szybkością wykonania zadania a wielkością przekątnej ekranu.
Związek między tymi zmiennymi może zajść, ale nie musi, może zajść i być dodatkowo warunkowany jeszcze inną zmienną (lub zmiennymi), która zakłóca wynik.
Trafność zewnętrzna badania oznacza, że uczestnicy, warunki badania są reprezentatywne, że odzwierciedlają fragment rzeczywistości.
Trzymając się naszego przykładu:
Badanie będzie mieć niską trafność zewnętrzną, jeśli będzie przeprowadzane w laboratorium w warunkach skrajnie różniących się od typowych doświadczeń i zachowań użytkowników.
Na przykład, odległość od monitora użytkownika będzie nienaturalnie duża, poziom oświetlenia może być daleki od typowego, samo urządzenie, jego sposób działania może być badanemu nieznane.
Różnica może także wynikać z samego wpływu badaczy na badanego (np. poprzez natrętne, dystraktujące ingerowanie słowne, behawioralne).
Czynnikami, które mogą zaburzyć trafność zewnętrzną najczęściej są:
- warunki badania dalece odbiegające od warunków naturalnych
- narzędzia służące do pomiaru (np. śledzenie ruchu gałek ocznych ze stabilizacją głowy - Head-Stabilized Eye Tracking).
Wysoką trafność wewnętrzną badania jakościowego można uzyskać:
- stosując losową kolejność zadań
- kontrolując konfigurację badania z jednej sesji na drugą
- wyłapując i niwelując zmienne zakłócające wyniki.
Wysoką trafność zewnętrzną badania jakościowego można uzyskać:
- precyzyjnie definiując kryteria włączenia / wyłączenia respondentów
- rekrutując respondentów reprezentatywnych dla grupy celowej
- dbając, by warunki, kontekst, przebieg badania jak najbardziej odpowiadał warunkom, kontekstem, procesom naturalnym, rzeczywistym.
Trafność (Validity) wewnętrzna i zewnętrzna w badaniach UX. Podsumowanie
- Popularnym mitem i podejściem do badań UX jest przekonanie, że z danymi się nie dyskutuje, dane się pozyskuje i wykorzystuje.
- Warto pamiętać, że od braku badań gorsze są tylko badania nierzetelne, niewiarygodne. Rzetelność badań jakościowych, a właściwie trafność i rzetelność badań jakościowych jest konieczna do podejmowania trafnych decyzji biznesowych.
- Każda metoda badawcza stosowana w badaniach UX (np. testy UX) jest umocowana w narzędziach, metodach, technikach, normach wypracowanych przez naukowców.
- Jakość badań jest jednym z głównych zagadnień, które należy mieć na uwadze na każdym etapie projektu badawczego.
- Jakość jest silnie powiązana ze standaryzacją oraz konstruowaniem sytuacji badawczej i czynników, które mają na nią wpływ. Badanie jakościowe jest silnie wrażliwe w tej kwestii
- Badacze, którzy są w stanie kontrolować oraz usuwać czynniki zakłócające badanie - zewnętrzne i wewnętrzne – są jednocześnie w stanie uzyskiwać wyniki o wiele bardziej trafne, rzetelne, obiektywne.
- Jakość definiuje się jako wagę jaką badacze przykładają do projektowania badania, przeprowadzania badania, analizowania danych oraz raportowania i przekazywania wyników.
- Na jakość, rzetelność, wiarygodność, trafność wyników wpływ ma także sam badacz, który musi być świadomy swojego wpływu na wyniki badania.
- Rzetelność definiuje jako konieczność zapewnienia powtarzalności oraz odtwarzalności badań.
- Trafność definiuje jako stopień, w jakim wybrana metoda badawcza mierzy, to co badacz chce by zmierzyła.
- Wybór metody badawczej ma kluczowe znaczenie dla uzyskania wysokiej trafności wyników badań.
- Zwrócenie uwagi na jakość w badaniach jakościowych zmniejsza ryzyko, że uzyskane w badaniach wyniki nie odzwierciedlają rzeczywistości.
- Trafność w badaniach jakościowych nie wiąże się bezpośrednio z rzetelnością, ani możliwością generalizacji.
- Trafność badań jakościowych oznacza, że badacz sprawdził wiarygodność wyników, stosując odpowiednie procedury.
- Wiarygodność określana w formule test-retest oznacza uzyskanie zbliżonych wyników w obu testach. Test-retest najlepiej sprawdza się jako estymator wiarygodności, gdy w badaniach wykorzystywane są ankiety lub kwestionariusze.
- Wiarygodność form równoległych porównuje dwie równoważne formy testu, które mierzą ten sam atrybut.
- Wiarygodność międzyosobowa jest miarą wiarygodności stosowaną do oceny stopnia, w jakim różni badacze zgadzają się w swoich decyzjach dotyczących oceny. Jest rekomendowana do walidowania jakości badań obserwacyjnych, terenowych, kontekstowych.
- Badanie cechujące się wysoką wiarygodnością i niską trafnością jest badaniem, które doskonale mierzy, niestety nie to, co chcielibyśmy, by mierzyło.
- Trafność wewnętrzna badania oznacza, że badacz, ani procedura nie faworyzują żadnej z możliwych opcji.
- Trafność wewnętrzna to stopniowalna pewność, że obserwowany, uchwycony w toku badania związek przyczynowo-skutkowy nie da się wyjaśnić za pomocą innych zmiennych, czynników.
- Można założyć przyczynę i skutek tylko wtedy, gdy badanie spełnia następujące trzy kryteria: przyczyna poprzedza skutek w czasie, przyczyna i skutek różnią się od siebie, nie ma innych prawdopodobnych wyjaśnień tego związku.
- Trafność zewnętrzna badania oznacza, że uczestnicy, warunki badania są reprezentatywne, że odzwierciedlają fragment rzeczywistości.
- Wysoką trafność wewnętrzną badania jakościowego można uzyskać stosując losową kolejność zadań, kontrolując konfigurację badania z jednej sesji na drugą, wyłapując zmienne zakłócające wyniki.
