Prowadzenie firmy bez informacji zwrotnej jest podobne do jazdy przed siebie bez celu. Tracisz paliwo i czas. Tak samo jest z biznesem, który jest oparty o obecność firmy online. Dlatego potrzebujemy badań zachowań użytkowników. Ale co jeśli analityk źle zinterpretuje dane? Jakie są najczęstsze pułapki i typy wnioskowania? Przygotowaliśmy odpowiedzi, opierając się o pracę Joanne Rodrigues, doświadczonej analityczki danych i autorki książki "Product Analytics".
W jakie pułapki wpadają analitycy danych?
Głównym zadaniem analityków internetowych jest interpretacja danych i ich przekucie w konkretne działania mające na celu usprawnienie produktów tak by spełniały potrzeby i oczekiwania użytkowników.
Dzięki analizie zachowań użytkowników analitycy są w stanie zrozumieć; jak użytkownicy korzystają z produktów, jakie są zainteresowania użytkowników, kim są użytkownicy, co robią z produktami, w jaki sposób dokonują zakupu. W wyniku czego zyskują możliwość zaangażowania użytkowników i zwiększenia zysków firmy.
Poprawna analiza użytkowników i wyciągnięcie poprawnych wniosków często decyduję o sukcesie lub porażce na rynku. Pomimo chęci i często dużych inwestycji w badania firmy napotykają trudności w efektownym wyciąganiu i zastosowaniu wniosków z przeprowadzonych analiz.
Najczęstsze pułapki, w które wpadają analitycy.
Dorabianie historii do niezwiązanych ze sobą faktów
Analitycy często rozpoczynają swoją pracę od opisowego przedstawienia zebranych danych. Co to oznacza? Weźmy przykład. Podczas badania zachowań użytkowników na stronie internetowej odkrywamy, że w ciągu jednego miesiąca 500 użytkowników odwiedza naszą stronę. 50% poprzestaje na wyświetleniu strony głównej, 40% procent zagłębia się w stronę, ale tylko 10% decyduje się na skorzystanie z formularza kontaktowego i wysłania zapytania.
Tak właśnie wygląda opisowe przedstawienie danych. Niektórzy analitycy niestety na tym poprzestają i nie wgłębiają się w kontekst i przyczyny takiego zachowania. Albo co gorsze, zaczynają snuć wnioski na podstawie niezwiązanych ze sobą faktów i bez dalszych badań.
Dodatkowo niektórzy badacze mają skłonność do wybierania konkretnego zachowania i izolowania go w celu wyjaśnienia, dlaczego występuje. Otóż takie podejście jest od początku błędne, gdyż zachowania użytkowników zawsze z czegoś wynikają, mają jakiś kontekst i są zależne od wielu zmiennych.
Wróćmy na chwilę do naszego przykładu powyżej i skupmy się na 40% użytkowników, którzy zagłębiają się w stronę i przechodzą dalej, poza stronę główną, ale nie docierają do formularza. Niedoświadczony analityk może wysnuć następujący wniosek: 40% użytkowników nie dociera do formularza kontaktowego, ponieważ nie są w stanie go znaleźć.
Na pierwszy rzut oka wniosek ten wydaje się całkiem logiczny i prawdopodobny. Nie jest trudno wyobrazić sobie, że CTA prowadzące do formularza jest słabo widoczne albo położone w miejscu, w którym użytkownicy się go nie spodziewają.
Jednakże jeślibyśmy chcieli drążyć temat, to szybko wyjdzie na jaw, że analityk nie ma konkretnych dowodów na wsparcie swojej tezy, a przyczyna niskiej konwersji formularza może leżeć zupełnie gdzie indziej.
Równie dobrymi wyjaśnieniami tej sytuacji byłyby takie przyczyny jak: zbyt duża ilość pól do wypełnienia, mobilna wersja formularza nie wyświetla się poprawnie, użytkownicy muszą wprowadzić dane, których nie mają pod ręką. Co więcej, co z pozostałymi użytkownikami, którzy opuścili stronę już na poziomie strony głównej?
Jeśli próbujemy się skupić tylko na pojedynczych danych lub kilku wybranych, tracimy całościowy obraz sytuacji, który prowadzi do pominięcia istotnych zmiennych, które wpływają na zachowanie użytkowników. Takie wybiórcze analizowanie danych prowadzi do wyciągania niepoprawnych wniosków.
Kolejnym aspektem, na który analitycy powinni zwrócić uwagę, jest skala oddziaływania danego zjawiska.
Spójrzmy na taki przykład inspirowany książką Joanne Rodrigues. Po przeprowadzeniu kolejnych badań dowiadujemy się, że w ciągu miesiąca 1000 użytkowników (ruch organiczny) trafia na naszą stronę internetową, 50% procent używa Google, a 50% używa Bing. Z czego 30% procent użytkowników z Google decyduję się na wysłanie zapytania, ale tylko 10% z Bing.
Analityk stawia hipotezę, w której głosi że jeśli uda nam się zwiększyć ruch w Google do 100% to przełoży się to na większą konwersję formularza — dajmy na to, nasz biznes otrzyma 12 000 zapytań w ciągu roku (optymistycznie zakładając, że każdy użytkownik wyśle 1 zapytanie).
Zgodnie z tą hipotezą przeznaczamy nasze środki na reklamy targetujące użytkowników Google. Załóżmy, że nasze działania marketingowe były efektywne i udało nam się osiągnąć 1000 wizyt z Google, czyli nasze 100%. Jednak liczba zapytań wzrosła tylko do 240. Dlaczego? Nasze reklamy zaczęły przyciągać grupę użytkowników, która różni się od tej, która znajdowała naszą stronę organicznie przez wyszukiwarkę. I ta odmienna grupa może nie być aż tak zainteresowana naszą ofertą jak ta poprzednia.
W tym przypadku obliczanie skali oddziaływania nie dostarcza przydatnych informacji, ponieważ przyciąganie użytkowników z Google nie spowodowało stuprocentowego wzrostu w konwersji, ponieważ inne czynniki wpływały na użytkowników.
Jak widać z powyższych przykładów, aby zwiększyć konwersje naszego biznesu, nie wystarczy wiedzieć jakie zmienne wpływają na działania użytkowników, ale także musimy zrozumieć skale oddziaływania danego zachowania.
Zbyt wielkie skupienie na danych
Nieodzownym narzędziem pracy analityków danych są programy oparte na uczeniu maszynowym (machine learning) i sztucznej inteligencji (artifical intelligence). I choć znacznie przyspieszają zbierane i analizowanie danych nie są idealnym narzędziem, które pozwala nam zrozumieć użytkownika.
Jednym z głównych celów, dla jakich używa się narzędzi ML/AI jest przewidywanie efektów jakiegoś zdarzenia. Narzędzia te są niezwykle przydatne, kiedy chcemy dowiedzieć się jak bardzo sprzedaż czy konwersja wzrośnie w okresie kilku miesięcy, jakie produkty najlepiej rekomendować w naszym sklepie internetowym, czy jaki jest przewidywany spadek subskrypcji naszego produktu.
Jednak podstawowym problemem narzędzi opartych na uczeniu maszynowym jest to, że skupiają się wyłącznie na danych liczbowych. Nie podadzą nam powodów, dla których użytkownicy zachowują się w określony sposób. Dlatego poleganie na nich nie zastąpi nam stosowania tradycyjnego wnioskowania przyczynowego. Innymi słowami, badania ilościowe odpowiadające na pytania "Jak bardzo" mają niewielkie znaczenie bez badań jakościowych, które dają odpowiedź na pytanie "Dlaczego".
Rzecz w tym, że analitycy danych nie powinni wyłącznie polegać na jednej z tych dwóch metod. Tylko łącząc je, otrzymają prawidłowe wnioski, które wskażą zachowania użytkowników i przyczyny stojące za nimi.
Typy wnioskowania
W swojej książce "Product Analytics" Joanne Rodrigues przedstawia trzy typy wnioskowania, które pozwalają nam ocenić poprawność wyciągniętych wniosków.
Wnioskowanie na podstawie badań
Jednym ze sposobów na upewnię się, że nasze wnioski są poprawne, jest przeprowadzenie dwóch testów. Popularnie zwanym testem A/B.
Jest to bardzo popularna metoda w różnego rodzaju badaniach, na przykład, w badaniach klinicznych gdzie jedna grupa pacjentów otrzymuje lek, a druga placebo, a celem badania jest obserwacja efektów u obu grup i ustalenie, czy lek jest skuteczny. W tym przypadku grupa, która otrzymała placebo to alternatywny scenariusz (a counterfactual).
Jeśli chcielibyśmy zastosować tę metodę do naszego przykładu z formularzem kontaktowym, możemy stworzyć dwa warianty strony. W jednej wersji przycisk prowadzący do formularza będzie w niezmienionej pozycji, a w drugiej zostanie umieszczony w bardziej widocznym miejscu. Następnie jednej grupie użytkowników przedstawimy obecny układ strony, a drugiej wariant ze zmienionym położeniem przycisku CTA. Na koniec porównamy ze sobą częstotliwość znajdowania formularza przez użytkowników i ocenimy, która wersja strony przynosi lepsze efekty.
Dodatkowym uzupełnieniem tego badania może być analiza miejsc, w które użytkownicy najczęściej klikają (dzięki narzędziom, które dostarczają dane nawet w czasie rzeczywistym). Pomaga nam to ustalić, gdzie użytkownicy najczęściej zaglądają.
Przeprowadzanie testu A/B daje nam możliwość obserwacji danego zjawiska w tych samych warunkach, ale z jedną zmienną. Co pozwala nam zaobserwować, jak sytuacja się zmienia i pod wpływem jakich czynników. Oczywiście, nie wszystkie zjawiska da się zbadać w ten sam sposób.
Wnioskowanie na podstawie losowości
Wnioskowanie na podstawie losowości jest częścią wnioskowania statystycznego, co w skrócie oznacza, że próbujemy wyciągnąć wnioski na podstawie prawdopodobieństwa. Ta metoda zakłada, że wystąpienie jakiegoś zdarzenia w losowy sposób jest bardzo mało prawdopodobne i jeśli się wydarzyło, to musi być za nim jakiś konkretny powód.
Joanne Rodrigues w swojej pracy posługuje się przykładem trzęsienia ziemi, które występuje na bezludnej wyspie co dwa lata. Jako że jest niezamieszkała, to nie ma tam nikogo, kto mógłby potwierdzić, że to trzęsienie ziemi występuje, ale możemy to ocenić po obserwacji i zmierzeniu wzrostu glonów. Obecność glonów wokół wyspy zwiększa się miesiąc po trzęsieniu ziemi, jest mało prawdopodobne, że taki skok wystąpił naturalnie. Jeśli już wystąpi naturalnie, jest to może jeden przypadek na 100 lat. W takim wypadku bardziej prawdopodobną hipotezą jest wystąpienie trzęsienia.
Autorka także sugeruje, że możemy potwierdzić wyciągnięte wnioski z użyciem tej metody używając twierdzenia Bayesa. Twierdzenie to umożliwia nam określenie prawdopodobieństwa zajścia danego zdarzenia na podstawie wcześniejszej wiedzy o warunkach powiązanych ze zdarzeniem.
Ten typ wnioskowania nie da nam stuprocentowej pewności, ale zapewni nam dane o zachowaniach użytkowników, które wskażą na bardzo wysokie prawdopodobieństwo, które w większości przypadków okazuję się prawdziwe.
Wnioskowanie na podstawie przewidywania
Wnioskowanie na podstawie przewidywania (predictive inference) jest przydatną metodą służącą do potwierdzania naszych wniosków. Często ten typ wnioskowania jest stosowany kiedy chcemy przygotować się na przyszłość.
Na przykład, możemy użyć tego typu wnioskowania do przewidzenia ilość użytkowników, którzy będą korzystać z naszej aplikacji w pierwszym roku, co pozwoli nam na odpowiednie zaplanowanie infrastruktury, która utrzyma ruch i zatrudnienia odpowiedniej ilości pracowników, którzy będą tę infrastrukturę utrzymywać.
Analiza zachowań użytkowników. Podsumowanie
Monitorowanie użytkowników i analiza ich zachowań dostarcza nam wartościowych danych, które dają nam wgląd do interakcji użytkowników z produktem.
Poprawna interpretacja zachowań użytkowników pozwala nam zwiększać zaangażowanie użytkowników, przychody generowane przez produkt, jakość doświadczeń użytkownika, optymalizować konwersję, przyciągać nowych użytkowników itp.
Analitycy danych nie powinni poprzestawać na opisowym traktowaniu danych, a także nie powinni dorabiać do nich fałszywych narracji i łączyć ze sobą fakty, na których potwierdzenia nie mają żadnych dowodów.
Co więcej, nie powinni też wyłącznie skupiać się na danych samych w sobie, ponieważ liczby nie są w stanie podać nam przyczyn stojącymi za zachowaniami użytkowników. Narzędzia oparte na uczeniu maszynowym mogą przyspieszyć niektóre procesy, ale nie powinny stanowić wyłącznego repertuaru narzędzi analityka. Warto pamiętać, że wnioskowanie przyczynowe (analiza jakościowa) nadal stanowi ważny filar w pracy analityków.
Dodatkowo różne typy wnioskowania mogą nam pomóc stwierdzić czy wyciągnięte wnioski są poprawne.
Podczas analizy zachowań użytkowników ważna jest nie tylko obserwacja danego zachowania, ale także zrozumienie, jaki kontekst i zmienne na nie wpłynęło i je spowodowało. Tylko w ten sposób będziemy w stanie tworzyć i ulepszać aplikacje w efektywny sposób.
