Badania z użytkownikami UX (np. testy interfejsu i użyteczności) w większości wypadków wymagają rejestracji.
Dlaczego? Odpowiedź wydaje się dość oczywista.
Dzięki zapisowi przebiegu badania UX możliwe jest jego dokumentowanie oraz późniejsze analizowanie.
Pozyskany materiał w postaci nagrań audio, wideo, zdjęć, zrzutów ekranów (materiały statyczne) oraz zapisów wideo ekranów (materiały dynamiczne) interakcji użytkownika z interfejsem może także służyć do celów edukacyjnych oraz prezentacyjnych.
Badania zarejestrowane pozwalają na lepsze zarządzanie pozyskanymi informacjami.
Pozwalają na zwiększenie rzetelności, trafności, wiarygodności oraz użyteczności uzyskanych w badaniu wyników.
Nagrywanie sesji w badaniach UX ma w oczywisty sposób swoje zalety, ale nie pozbawione jest także ograniczeń.
Jakie są zalety rejestrowania przebiegu badań UX? Jakie wady posiada zapisywanie przebiegu badań User Experience?
Dlaczego rejestrowanie reakcji mimicznych, gestów, mowy ciała, wypowiedzi jest równie istotne jak rejestrowanie interakcji z interfejsem?
Dlaczego wrażenia, notatki tworzone i zapisywane „na żywo”, w trakcie trwania sesji są równie istotne jak analizowanie danych audiowizualnych po wykonaniu badania?
Zatem, rozszyfrujmy, co kryje się pod hasłem nagrywania sesji w badaniach User Experience.
Jak zawsze, zapraszamy do lektury!
Nagrywanie sesji użytkowników - najpopularniejsze techniki
Przebieg każdego badania wiąże się z koniecznością odpowiedniej kontroli, organizacji, strukturacji jego przebiegu.
Ilość bodźców, czynności, ale także sama dynamika przebiegu badania powodują, że pojedynczemu, czy nawet całemu zespołowi badaczy trudno jest zapamiętać wszystkie własne wrażenia, obserwacje, przemyślenia, czy odkrycia.
Równie trudno, czasami wręcz niekomfortowo, jest sporządzać odręczne (lub digitalne) notatki, które byłyby:
- satysfakcjonująco dokładne oraz wyczerpujące
- kompletne (odnosiły się do różnych wymiarów obserwacji, refleksji)
- znaczące pod względem poznawczym.
Przeprowadzanie badania wiąże się dla badaczy z dużym obciążeniem poznawczym, stresem, koniecznością synchronizacji wielu zadań i kwestii, co z kolei wpływa na poziom uważności, koncentracji, spostrzegawczości, wnikliwości, dociekliwości badawczej.
Skupienie uwagi na obserwacji i notowanie uwag i spostrzeżeń wymaga sporej wprawy, tym bardziej, że robienie notatek nie może wpływać na badanych, na przebieg badania.
Nagrywanie przebiegu badania jest formą jego dokumentowania, która pozwala badaczowi poczuć większy komfort i skupić się na mniejszej ilości elementów.
Mówiąc metaforycznie, rejestracja stanowi formę uzupełnienia, wspomagania „oczu oraz uszu badacza”.
Warto mieć świadomość, że podczas typowej sesji badawczej badacz musi:
- moderować i/lub obserwować wykonywane zadania
- utrzymywać właściwie tempo badania
- przeprowadzać je zgodnie z założonym scenariuszem lub odpowiednio ukierunkowywać
- śledzić mowę ciała, gesty, reakcje mimiczne, reakcje emocjonalne, zachowania, postawy
- śledzić, zapamiętywać, rejestrować (w pamięci lub notatniku) wypowiedzi werbalne
- zachowywać bezstronność, neutralność oraz odpowiedni sposób prezentacji pytań, podpowiedzi, prezentacji instrukcji
- obserwować także własne reakcje i zachowania, by uniknąć uprzedzeń lub wpływu na uczestników badania
- dbać o komfort badanych
- wychwytywać informacje płynące od użytkowników, reagować na nie (także w postaci ich archiwizacji w postaci notatki).
Orkiestrowanie wszystkich tych celów, działań, potrzeb jest niezwykle trudne.
Tym bardziej, że ograniczenia percepcyjne badacza także należy brać pod uwagę i zachować zdrowy sceptycyzm względem własnych możliwości w tym zakresie.
Na przeciw tym ograniczeniom i problemom wychodzi współczesna technika oraz narzędzia, które wspierają badacza w pozyskaniu jak najbardziej poglądowego, neutralnego, precyzyjnego materiału - zapisu przebiegu sesji badawczej.
Badania UX są najczęściej dokumentowane, rejestrowane za pomocą:
- rejestratorów audio
- rejestratorów wideo
- aparatów fotograficznych
- notatek odręcznych
- oraz coraz częściej narzędzi pozwalających na rejestrację interakcji użytkownika z interfejsem aplikacji.
Rejestracja audio badań UX jest szczególnie rekomendowana w przypadku badań, w których robienie notatek odręcznych jest problematyczne (np. badania nieustrukturyzowane).
Należy skorzystać z tego sposobu dokumentacji badania także w przypadku badań dotyczących tematów, problemów, potrzeb złożonych, trudnych pod względem poznawczym, metodologicznym.
Możliwość odsłuchania przebiegu badania pozwala wychwycić dodatkowe sensy, konteksty, informacje, jak również poczynić nowe obserwacje, odnieść nowe wrażenia i dokonać nowych wglądów.
Rejestracja audio badań UX jest także o wiele prostsza pod względem technicznym, organizacyjnym oraz tańsza.
Postrzeganie rejestracji jako bardziej taktownej, mniej nachalnej, budzącej mniejszy opór i dyskomfort na pewno także stanowi dużą zaletę.
Rejestracja wideo badań UX jest oczywiście bogatsza o aspekt wizualny. Pozwala rejestrować reakcje, zachowania, postawy, zmieniające się w czasie emocje uczestników badania.
Nagrania wideo są o wiele bardziej szczegółowe, bardziej poglądowe, stanowią bardziej złożony i wartościowy materiał do analizy.
Materiały wideo pozwalają także uchwycić:
- różnorodność badanych
- zmienne kontekstowe
- dynamikę badania.
Są także o wiele bardziej wiarygodne, ale powinny być wykonywane ze świadomością wpływu urządzenia, planu, operatora na komfort uczestników badania.
Obecność kamery, ekipy powinna być możliwie dyskretna. Położenie kamery w trakcie badania powinno być statyczne, tak by jej obecność nie stanowiła dla badanego dystraktora.
Rejestracje wideo są rekomendowane do przeprowadzania testowania użyteczności oraz obserwacji etnograficznych.
W przypadku wywiadów, w których działania badanych nie są ważną zmienną nagrania audio są wystarczające.
Nieumiejętnie zaaranżowane oraz przeprowadzone badanie UX z rejestracją wideo może być źródłem dużego dyskomfortu.
Kamera, plan, ekipa filmowa mogą być postrzegani jako krępujący, zawstydzający.
Dokumentacja fotograficzna badania może się wydawać techniką mało poglądową i oszczędną w informacje, ale bywa naprawdę użyteczna.
Pozwala przede wszystkim zarejestrować narzędzia, kontekst. Stanowi także dobre uzupełnienie rejestracji audialnych.
Fotografowanie jest postrzegane jako mniej nachalne i zawstydzające jak nagrywanie wideo, więc może stanowić alternatywę dla tej techniki.
Fotografie jako element dokumentacji badania, element ilustracji wyników badania pozwala na bardziej komunikatywne przekazywanie wyników.
Pozwala interesariuszom lepiej zrozumieć różnorodność użytkowników produktu cyfrowego, wpływ kontekstu, przebieg badania (np. jego złożoność, uwarunkowania).
Robienie odręcznych notatek to najbardziej podstawowa technika dokumentowania, rejestrowania wrażeń, obserwacji, jakich badacz dokonuje w trakcie badania użytkowników.
Notatki ze względu na większą łatwość wykonania i bezproblemowość są polecane w przypadku badań zdalnych, badań strukturyzowanych (zdefiniowane zadania i pytania, stała struktura przebiegu ułatwia wykonywanie notatek).
Brak powściągliwości, wyczucia w robieniu notatek może wpłynąć na przebieg badania.
Sporządzanie notatek wpływa na jakość kontaktu wzrokowego, atmosferę badania oraz nastawienia badanego względem badacza.
Sporządzanie notatek może być także sygnałem stopującym lub dopingującym badanych.
Może sugerować, że dana wypowiedź, wątek jest ważny, ich brak może skutkować przekonaniem przeciwnym. Uczestnicy badania mogą reagować życzeniowo.
Rejestracja interakcji użytkownika z interfejsem aplikacji, nagrania sesji polegają na zapisywaniu ruchu kursora, kliknięć (ruchy myszy), tapnięć, momentów bezczynności, przewijania ekranów aplikacji webowych lub mobilnych.
Rejestracje podejmowanych działań, jakie podejmuje użytkownik, pozwala naocznie zobaczyć, w których punktach procesu, z którymi elementami użytkownicy mają największe problemy.
Pozwala ustalić, jakie funkcjonalności, składowe interfejsu, poziomy nawigacji są źródłem błędów.
Nagrania sesji pozwalają uzyskać odpowiedź na pytania: „kiedy?” „gdzie?” i „dlaczego?” użytkownik odczuwa dyskomfort w interakcji z aplikacją.
Stanowią także świetne uzupełnienie innych metod, technik rejestracji, dostarczając o wiele bardziej pełnego obrazu sytuacji.
Nagrania sesji pozwalają zrozumieć, w jaki sposób użytkownicy wchodzą w interakcję z daną funkcją, w jaki sposób poruszają się po witrynie oraz interpretują zawartość.
Jakie są plusy i minusy nagrywania badań UX?
Najbardziej oczywistą odpowiedzią na powyższe pytanie może być przypomnienie, że pamięć ludzka jest bardzo ulotna, koncentracja zmienna, a możliwości obserwacyjne ograniczone.
Innymi słowy, każdy badacz posiada ograniczenia, które mogą rzutować na jakość wykonanych badań.
Rejestrowanie przebiegu badania UX pozwala:
- zwiększyć ilość informacji, zakres obserwacji, głębię i trafność wniosków na ich podstawie wyciąganych
- na wykorzystanie badania w przyszłości - spojrzenie na jego przebieg ze świeżej perspektywy (np. w świetle nowych danych, hipotez)
- zapoznać z wynikami badań interesariuszy w sposób o wiele bardziej przekonujący oraz poglądowy
- tworzyć dzięki nim materiały edukacyjne, pozwalające na poszerzanie wiedzy pracownikom organizacji o różnych rolach i kompetencjach
- doskonalić dobór metod badawczych, technik, badanych, narzędzi badawczych
- uzyskać bardziej wiarygodny, przekonujący, konkretny „argument” mogący szybciej przekonać interesariuszy.
Choć zalety rejestrowania przebiegu badań User Experience są dość oczywiste, niemniej jednak mają one także wady, których trzeba być świadomym.
Do najważniejszych należą:
- niezamierzony negatywny wpływ na koncentracje, emocje, zaangażowanie, komfort, reakcje, zachowania badanego
- wzmocnienie poczucia sztuczności, umowności sytuacji badania
- wydłużenie czasu przygotowania oraz opracowywania wyników badania
- konieczność wykonywania dodatkowych prac związanych z tagowaniem, kategoryzowaniem, opracowywaniem materiału audio i/lub wideo.
Wybór techniki rejestracji także stanowi problem, który należy rozważyć przed wykonaniem badania UX.
W szczególności należy przemyśleć kwestie:
- złożoności problemów badawczych
- celów badania
- czasu i miejsca przeprowadzenia badania
- przebiegu badania oraz ilości badanych
- czasu, w jakim projekt badawczy powinien być ukończony
- uwarunkowań metodologicznych, których rejestracja nie powinna naruszać
- składu, ról oraz zakresu odpowiedzialności poszczególnych członków zespołu badawczego
- ilości, charakteru, statusu informacji, jakie dzięki badaniu chcemy uzyskać
- preferencji, obaw, oporów, postaw respondentów
- prawne - w szczególności dotyczące problemu ochrony danych osobowych oraz uzyskania wszelkich koniecznych zgód.
Szczególną wrażliwością, empatią i ostrożnością należy wykazać się w kwestii komfortu badanych, który powinien być celem nadrzędnym i priorytetowym.
Ignorowanie stosunku do techniki rejestracji, osobistych i grupowych preferencji w tym zakresie jest bardzo niewskazane.
Bardzo istotną kwestią jest uzyskanie w pełni świadomej, opartej na wyczerpującej informacji zgody uczestników badania na rejestrację oraz możliwość wykorzystania, przechowywania, udostępniania materiału audio-wizualnego w dalszym procesie badawczym, projektowym.
Podstawową kwestią powinny być wysokie standardy anonimizowania tożsamości uczestników badania.
Należy przede wszystkim unikać rejestracji informacji (danych osobowych lub poufnych), które pozwoliłyby na ujawnienie tożsamości badanych.
Zakres tego, co badacz zamierza rejestrować także powinien być bardzo szczegółowo i jednoznacznie określony.
Głównym celem, przedmiotem rejestracji badania powinny być:
- procesy
- zadania
- narzędzia
- wyrażone słowem myśli, reakcje, emocje
- patrzenie na zachowania, czynności, działania oczami użytkowników.
Przy czym, każdorazowo należy kierować się dobrem, komfortem badanego oraz dostosować technikę rejestracji do jego preferencji oraz oczekiwań.
Nagrywanie sesji w badaniach UX. Podsumowanie
- UX Testy, testy użyteczności aplikacji nie mogą się obyć - w większości przypadków - bez rejestracji działań, jakie podejmuje badany, użytkownik.
- W wielu wypadkach jest to wręcz konieczne. Pozwala także lepiej zrozumieć uwarunkowania konwersji, pozwala formułować trafniejsze wnioski. Gwarantuje lepsze zrozumienie aktywności oraz otrzymywanie rzetelniejszych wyników badań.
- Pozwala optymalizować produkty cyfrowe, tym bardziej, że dostępne narzędzia czynią rejestrację coraz bardziej dokładną i nieinwazyjną.
- Rejestracja badań UX pozwala je dokumentować oraz opracowywać w późniejszym czasie.
- Nagrania audio-wideo, zdjęcia, zrzuty ekranów, zapisy interakcji użytkownika z interfejsem mogą także służyć do celów edukacyjnych oraz prezentacyjnych.
- Testy użyteczności stron internetowych (np. w E Commerce pozwala lepiej zrozumieć klientów) oraz wykonana w ich trakcie rejestracja badań UX zwiększa rzetelność, trafność, wiarygodność oraz użyteczność uzyskanych w badaniu wyników.
- Przeprowadzanie badania (testy użyteczności UX, badania jakościowe UX) wiąże się dla badaczy z dużym obciążeniem poznawczym, stresem, koniecznością synchronizacji wielu zadań.
- Złożoność sytuacji badania wpływa na poziom koncentracji, spostrzegawczości, wnikliwości, dociekliwości badawczej badacza UX.
- Podczas typowej sesji badawczej badacz musi jednocześnie zadbać o kilkanaście kluczowych kwestii, które wpływają na jakość przebiegu badania oraz jego rezultatów.
- Rejestracja stanowi formę uzupełnienia, wspomagania „oczu oraz uszu badacza”.
- Badania UX (nagrywane sesje użytkowników - monitorowanie ruchu, działań, nawigacji na stronach internetowych) są najczęściej dokumentowane, rejestrowane za pomocą rejestratorów audio-wideo, aparatów fotograficznych, notatek odręcznych oraz narzędzi rejestrujących interakcje użytkownika z interfejsem aplikacji (nagrywanie ruchu na stronie).
- Rejestracja audio badań UX jest szczególnie rekomendowana w przypadku badań nieustrukturyzowanych.
- W czasie nagrywania sesji możemy rejestrować reakcje, zachowania, postawy oraz zmieniające się w czasie emocje uczestników badania UX.
- Dokumentacja fotograficzna stanowi także dobre uzupełnienie rejestracji audialnych.
- Robienie odręcznych notatek to najbardziej podstawowa technika dokumentowania obserwacji, jakich badacz dokonuje w trakcie badania UX.
- Notatki są szczególnie polecane w przypadku badań zdalnych, badań strukturyzowanych.
- Nagrania sesji polegają na zapisywaniu ruchu kursora, kliknięć, tapnięć, momentów bezczynności, przewijania ekranów aplikacji webowych lub mobilnych.
- Przeprowadzając testy UX należy mieć świadomość, że pamięć ludzka jest bardzo ulotna, koncentracja zmienna, a możliwości obserwacyjne ograniczone.
- Rejestrowanie przebiegu badania UX, analizy zachowania użytkowników pozwalają między innymi zwiększyć ilość informacji (dane użytkowników są bardziej zróżnicowane), zakres obserwacji, głębię i trafność wniosków na ich podstawie wyciąganych.
- Gdy badamy strony internetowe, w procesie nagrywania sesji bardzo istotną kwestią jest uzyskanie w pełni świadomej, opartej na wyczerpującej informacji zgody uczestników badania na rejestrację oraz możliwość wykorzystania, przechowywania, udostępniania materiału audio-wizualnego w dalszym procesie badawczym, projektowym.
