Testy użyteczności stron internetowych to pojęcie dość szerokie w ramach którego wyróżnia się także badania porównawcze, Porównawcze Testy Użyteczności.
Badania tego rodzaju mają na celu - jak sama nazwa sugeruje - porównanie dwu lub więcej projektów, prototypów, stron internetowych, w celu poznania ich skuteczności, wydajności, satysfakcji, jaką powodują.
Porównawcze Testy Użyteczności pozwalają poznać odpowiedź na pytanie o szybkość wykonywania zadań, ilość błędów popełnianych w ich trakcie w porównaniu do produktów, projektów konkurencyjnych, alternatywnych.
Dają wgląd w emocje, jakie się rodzą w trakcie wykonywania zadania.
Innymi słowy, badania porównawcze pozwolą ocenić, przeanalizować produkt na tle innych rozwiązań, w szczególności dotyczących problemów z użytecznością, która stanowi zakres zainteresowania nie tylko badaczy, ale także projektantów UX, programistów.
Dane porównawcze są wykorzystywane w procesie optymalizowania produktów cyfrowych, służą do uzyskiwania rynkowych przewag, oferowania produktów lepiej dopasowanych do potrzeb, oczekiwań, możliwości ich użytkowników końcowych.
Dlaczego warto mierzyć, porównywać użyteczność? W jaki sposób należy przeprowadzić Porównawcze Testy Użyteczności?
Na co zwracać uwagę wykonując porównania produktów cyfrowych? Jakie są dobre praktyki przeprowadzania badań porównawczych użyteczności?
Dziś będziemy odpowiadać na takie właśnie pytania.
Zapraszamy do lektury!
Czym jest użyteczność produktów cyfrowych?
W artykule pt. „Usability”, opublikowanym na blogu Interaction Design Foundation, użyteczność (Usability) jest definiowana jako miara tego, jak dobrze określony użytkownik w określonym kontekście może korzystać z produktu cyfrowego lub jego projektu, aby skutecznie, wydajnie i zadowalająco osiągnąć określony cel.
Myśląc o użyteczności należy mieć na uwadze przede wszystkim:
- skuteczność, z jaką użytkownik może wykonać zadanie
- wydajność, która określa ilość włożonego, koniecznego wysiłku
- satysfakcję, która określa reakcje użytkownika pojawiające się w trakcie interakcji z produktem cyfrowym.
Mówiąc nieco jeszcze innym językiem, użyteczność produktu cyfrowego jest wysoka, jeżeli jego użytkownicy łatwo i bezproblemowo mogą z niego korzystać, osiągać swoje cele.
Na problem użyteczności można spojrzeć jednak w bardziej pogłębiony sposób. Zgodnie z definicją Jakoba Nielsena, opublikowaną w jego artykule pt. „Usability 101: Introduction to Usability”, użyteczność stanowi jakościowy atrybut, który pozwala ocenić jak łatwy jest interfejs w obsłudze.
Na użyteczność w ujęciu Nielsena składa się pięć elementów:
- wyuczalność (Learnability) – określa łatwość, z jaką użytkownicy mogą wykonać zadania przy pierwszym kontakcie z produktem cyfrowym
- wydajność (Efficiency) – określa szybkość, z jaką użytkownicy są w stanie wykonywać zadania, gdy nauczą się już działania systemu
- zapamiętywalność (Memorability) – określa łatwość, z jaką użytkownicy są w stanie powrócić do biegłego posługiwania serwisu po dłużej przerwie
- błędy (Errors) – określa ilość, status oraz możliwość naprawy błędów, jakie użytkownicy popełniają
- satysfakcja (Satisfaction) – określa przyjemność, jaką rodzi korzystanie z danego serwisu.
Użyteczny produkt cyfrowy to produkt:
- pozwalający łatwo, bezproblemowo osiągać cele
- będący źródłem przyjemności
- którego użytkowanie nie wiąże się z dużą ilością popełnianych błędów.
Badanie użyteczności produktu cyfrowego polega na rejestrowaniu zachowań użytkowników produktu za pomocą różnorodnych technik, metodologii, narzędzi, które pozwalają uzyskać odpowiedź na kluczowe pytania.
Badania użyteczności mogą przyjmować formę badań ilościowych, w których działania użytkowników są skwantyfikowane (np. mierzy się czas wykonywania zadania, ilość błędów) lub badań jakościowych, w których wykorzystuje się różnego rodzaju heurystyki (np. heurystyki użyteczności Jakoba Nielsena).
Jakie są najważniejsze wskaźniki użyteczności?
Użyteczność może wydawać się po przeczytaniu powyższych definicji kategorią dość abstrakcyjną i podatną na subiektywne oceny.
Ale taką na pewno nie jest, bowiem można ją wyrazić za pomocą bardzo konkretnych wskaźników, które pozwalają ją:
- zmierzyć
- porównać.
Do najważniejszych wskaźników użyteczności zaliczamy:
- wskaźnik ukończenia
- wskaźnik skuteczności
- wskaźnik efektywności
- wskaźnik satysfakcji.
Wskaźnik ukończenia jest jednocześnie jednym z najważniejszych wskaźników oraz jednym z najprostszych do zebrania.
Wskaźnik ukończenia mierzy, ilu badanych pomyślnie zakończy stworzone przez badacza zadanie (np. poprawnie wypełni i prześle dane za pomocą formularza).
Procent użytkowników, którzy wykonają zadanie pomyślnie stanowi miarę skuteczności produktu cyfrowego.
Wskaźnik skuteczności pozwala śledzić błędy popełniane przez użytkownika w trakcie wykonywania zadania. Ilość błędów popełnianych sugeruje mniejsze lub większe problemy z użytecznością.
W procesie projektowym błędy należy antycypować i im przeciwdziałać.
Badania użyteczności pozwalają wyjść poza ograniczoną perspektywę projektanta, stworzyć ich w miarę wyczerpującą listę oraz uporządkować je według kryterium typu i wagi, dzięki czemu możliwe jest nadanie im właściwego priorytetu.
Do najczęstszych błędów należą:
- działania niezamierzone (np. kliknięcia w niewłaściwy link)
- pominięcia, niedostrzeżenia
- niezrozumienie etykiet, skutkujące wprowadzeniem nieprawidłowych danych
- błędna interpretacja funkcji, informacji, celów, działań.
Wskaźnik efektywności pozwala zdiagnozować elementy, funkcje, procesy powodujące tarcia, które występują po stronie systemu, nie użytkownika (np. prędkość ładowania się strony).
Wskaźnik satysfakcji pozwala ustalić, jaką satysfakcję odczuwają użytkownicy po wykonaniu zadania.
Poziom zadowolenia użytkownika, wyrażony za pomocą różnego rodzaju ocen (liczbowych, werbalnych) pozwala zmierzyć emocjonalną reakcję użytkownika.
Badania porównawcze - pomiar użyteczności ma znaczenie
Kiepska użyteczność strony internetowej, aplikacji webowej lub mobilnej to przede wszystkim:
- niska konwersja (np. mniejsza ilość zapytań ofertowych, mniejsza ilość subskrypcji, pobrań etc.)
- niska sprzedaż
- wątpliwa reputacja, skutkująca niższą ilością spontanicznych rekomendacji
- niższa retencja
- wyższy współczynnik odrzuceń (Bounce Rate)
- wyższy współczynnik porzuconych koszyków (Cart Abandonment Rate).
Zależność jest dość czytelna i prosta - lepsza użyteczność to lepsze doświadczenia użytkownika, a te niemal wprost przekładają się na większą sprzedaż, lojalność, zaangażowanie, na wyższe oceny, opinie w systemach ratingowych (Rating Systems).
Testy użyteczności, pomiar użyteczności pozwala:
- zdiagnozować błędy, problemy z użytecznością
- poznać preferencje, sposoby reakcji, działania
- poznać bariery, elementy sprzyjające popełnianiu błędów
- optymalizować pod kątem użyteczności produkt już na bardzo wczesnych etapach jego powstawania
- określić atrakcyjność produktu na tle rozwiązań konkurencyjnych.
Ostatnia z zalet pomiaru użyteczności odnosi się do Porównawczych Testów Użyteczności, które pozwalają spojrzeć na produkt cyfrowy nie tylko z punktu widzenia użytkownika, ale także z perspektywy:
- mocnych i słabych stron
- sposobów rozwiązywania problemów projektowych
- oferowania rozwiązań rezonujących z potrzebami, oczekiwaniami, nawykami, możliwościami użytkowników.
Badania Porównawcze, Testy Porównawcze Użyteczności (Comparative Usability Testing)
Badania porównawcze pozwalają porównywać:
- koncepcje (np. warianty interfejsu przygotowane przez projektantów)
- prototypy
- wybrane elementy aplikacji
- aplikacje między sobą.
Badania porównawcze pozwalają uzyskać wiedzę w kwestii:
- wydajności systemu
- skuteczności systemu
- satysfakcji, jakiej jest źródłem.
Pozwalają także uzyskać odpowiedź na pytanie: Co jest źródłem różnicy? Dlaczego jest źródłem różnicy?
W Porównawczych Testach Użyteczności najczęściej do porównań wykorzystuje się wskaźnik ukończenia, wskaźnik skuteczności, wydajności oraz satysfakcji.
Pozwala to uniknąć ograniczeń perspektywy jakościowej, w której najczęściej dominują opinie typu „podoba mi się / nie podoba mi się”.
Porównawcze Testy Użyteczności powinny dać możliwość rozstrzygnięcia, które rozwiązanie jest dla użytkowników bardziej optymalne, a więc pozwalające wykonać zadanie szybciej, prościej, z mniejszą ilością błędów oraz większą satysfakcją.
Użycie metryk ilościowych oraz możliwość poznania alternatywnych rozwiązań projektowych pozwala uzyskać o wiele bardziej wnikliwe informacje zwrotne, bowiem w konfrontacji najlepiej dostrzegalna jest różnica oraz jakość.
Bez porównania ciężko niekiedy mieć pełną świadomość własnych preferencji. Ciężko jest użytkownikom wskazać, co jest źródłem problemu, dlaczego użytkowanie aplikacji, strony internetowej rodzi problemy.
Konfrontacja kilku sposobów rozwiązania danego zadania pozwala precyzyjnie wskazać, które elementy są bezpośrednio lub pośrednio odpowiedzialne za problemy z użytecznością.
Możliwość zbierania danych ilościowych czyni Porównawcze Testy Użyteczności o wiele bardziej:
- bezstronnymi
- obiektywnymi
- nie podatnymi na ograniczenia wynikające ze zróżnicowanej samoświadomości badanych
- rzetelnymi i wiarygodnymi.
W ramach standardowych Porównawczych Testów Użyteczności zbierane są następujące dane:
- procent ukończenia zadania
- czas wykonania zadania (najczęściej w postaci średniej)
- liczba kliknięć koniecznych do wykonania zadania
- liczba błędów.
Porównywanie całych aplikacji, wybranych elementów, prototypów ma w pierwszej kolejności tę zaletę, że pozwala agregować ilościowe wyniki, które czynią decyzje biznesowe, projektowe, technologiczne o wiele mniej zależnymi od opinii, preferencji, czy uprzedzeń.
Badania porównawcze - dobre praktyki
Porównywanie, by miało wartość eksplanacyjną oraz obserwacyjną musi być dokonywane za pomocą:
- dokładnie takich samych zestawów scenariuszy oraz zadań
- zadań, które są możliwe do zrealizowania w porównywanych systemach
- instrukcji, które nie wykorzystują nomenklatury używanej w którymś z badanych systemów
- różnych testerów, co pozwala wyeliminować efekt świeżości (Serial-Position Effect) oraz uniknąć wpływu pierwszej badanej aplikacji na postrzeganie drugiej w kolejności
- ustalenia rangi, priorytetu, statusu, istotności problemów
- ustalenia wpływu danego doświadczenia na sposób reagowania, działania, oceniania systemu
- optymalnej liczby porównywanych rozwiązań (nie większej niż 3 - badani mają zazwyczaj trudności z zapamiętaniem i porównaniem więcej niż trzech systemów)
- odpowiednio podobnych oraz różnych systemów - nie mogą one być ani zbyt podobne, bowiem różnica staje się wtedy nieczytelna, ani zbyt różne, bowiem brak podobieństw uniemożliwia konstruktywne porównanie.
Warto także pamiętać, że Porównawcze Testy Użyteczności powinny być traktowane jako źródło danych, nie jako narzędzie rozstrzygania sporów, czy dylematów projektowych.
Ich celem jest pozyskanie bezstronnych informacji nie tyle służących odkrywaniu innowacji, co służących optymalizacji.
Badania porównawcze nie są narzędziem do wymyślania koła na nowo. Nie powinny być także nadużywane i dobrą zasadą jest ograniczanie ilości poddawanych porównaniu elementów, funkcji i wybieraniu tylko tych najważniejszych.
Testowanie wielu rozwiązań jest po prostu zbyt czasochłonne, kosztowne, wymagające organizacyjnie, metodologicznie.
Dobrą praktyką jest także uzupełnianie ilościowych danych, opiniami, które powinny być zbierane w odpowiednim momencie, mianowicie:
- po wykonaniu danego zadania - pozwala to uzyskać informacje wrażeniowe, które mogą ulec zatarciu wraz z upływem czasu
- pod koniec testowania kolejnej funkcjonalności - ludzie w naturalny sposób porównują rozwiązania bez większej zachęty, stąd też należy tę skłonność wykorzystać do pozyskania informacji zwrotnej
- pod koniec sesji testowej - w celu uzyskania bardziej globalnej oceny i bardziej globalnego porównania.
Ocena konkurencyjnych, alternatywnych rozwiązań projektowych powinna być przeprowadzona za pomocą standardowej skali (np. Skali Likerta), dzięki czemu istnieje możliwość bardziej wiarygodnego porównywania reakcji i ocen.
W czasie przeprowadzania Porównawczych Testów Użyteczności niezwykle ważne jest przeciwdziałanie efektowi uprzedzeń.
Stąd też, dobrą praktyką jest zmienna kolejność pokazywanych, porównywanych rozwiązań. Każdy uczestnik badania powinien porównywać rozwiązania ułożone w różnych porządkach (np. A-B-C; C-A-B).
Polecamy także artykuł: Dlaczego wystarczy przetestować 5 użytkowników?
Porównawcze Testy Użyteczności, badania porównawcze (Comparative Usability Testing). Podsumowanie
- Użyteczność jest definiowana jako miara tego, jak dobrze określony użytkownik w określonym kontekście może korzystać z produktu cyfrowego lub jego projektu, aby skutecznie, wydajnie i zadowalająco osiągnąć określony cel.
- Użyteczność produktu cyfrowego jest wysoka, jeżeli jego użytkownicy łatwo i bezproblemowo mogą z niego korzystać, osiągać swoje cele.
- Użyteczność stanowi jakościowy atrybut, który pozwala ocenić jak łatwy jest interfejs w obsłudze.
- Na użyteczność w ujęciu Nielsena składa się pięć elementów wyuczalność, wydajność, zapamiętywalność, błędy, satysfakcja.
- Do najważniejszych wskaźników użyteczności zaliczamy wskaźnik ukończenia, skuteczności, efektywności, satysfakcji.
- Kiepska użyteczność strony internetowej, aplikacji webowej lub mobilnej to przede wszystkim niższy współczynnik konwersji, niższy wolumen sprzedaży, wyższy współczynnik odrzuceń (Bounce Rate), wyższy współczynnik porzuconych koszyków (Cart Abandonment Rate).
- Badania porównawcze, testy UX, testy użyteczności aplikacji mają na celu porównanie dwu lub więcej zjawisk, projektów, prototypów, aplikacji w celu poznania ich skuteczności, wydajności, satysfakcji, jaką powodują.
- Porównawcze Testy Użyteczności pozwalają ocenić, przeanalizować produkt na tle innych rozwiązań, w szczególności dotyczących problemów z użytecznością (np. jak działa jego nawigacja).
- Wyniki badań porównawczych służą do uzyskiwania rynkowych przewag, oferowania produktów lepiej dopasowanych do potrzeb, oczekiwań, możliwości ich użytkowników końcowych.
- W Porównawczych Testach Użyteczności najczęściej do porównań wykorzystuje się wskaźnik ukończenia, wskaźnik skuteczności, wydajności oraz satysfakcji.
- Badania UX, badania jakościowe UX, badania z użytkownikami UX, testy użyteczności UX powinny dać możliwość rozstrzygnięcia, które rozwiązanie pozwala wykonać zadanie szybciej, prościej, z mniejszą ilością błędów oraz większą satysfakcją.
- Możliwość zbierania danych ilościowych czyni Porównawcze Testy Użyteczności o wiele bardziej bezstronnymi, obiektywnymi, rzetelnymi i wiarygodnymi.
- Porównywanie, by miało wartość eksplanacyjną oraz obserwacyjną musi być dokonywane między innymi za pomocą dokładnie takich samych zestawów scenariuszy oraz zadań, instrukcji oraz różnych testerów.
- Testy Porównawcze, analiza porównawcza powinny być traktowane jako źródło danych, nie jako narzędzie rozstrzygania sporów, czy dylematów projektowych (np. jaka powinna być nawigacja).
