Ein Unternehmen ohne Feedback zu führen, ist so, als würde man ziellos geradeaus fahren. Man verliert Benzin und Zeit. Das Gleiche gilt für die Führung eines Unternehmens auf der Grundlage der Online-Präsenz des Unternehmens. Deshalb brauchen wir eine Analyse des Benutzerverhaltens. Was sollten wir jedoch tun, wenn der Analyst die Daten falsch interpretiert? Welches sind die häufigsten Fallstricke und Inferenztypen? Wir haben Antworten vorbereitet, die auf der Arbeit von Joanne Rodrigues basieren, einer erfahrenen Datenanalystin und Autorin des Buches „Product Analytics“.
Möchten Sie UX Forschung betreiben?
In welche Fallstricke tappen Datenanalysten?
Die Hauptaufgabe von Webanalysten besteht darin, Daten zu interpretieren und in konkrete Maßnahmen umzusetzen, die darauf abzielen, Produkte zu verbessern, um den Bedürfnissen und Erwartungen der Benutzer gerecht zu werden.
Dank der Analyse des Benutzerverhaltens können Analysten verstehen, wie Benutzer Produkte verwenden, welche Interessen sie haben, wer sie sind, was sie mit den Produkten machen und wie sie einkaufen. So können die Analysten die Benutzer einbeziehen und die Gewinne des Unternehmens steigern.
Die richtige Benutzeranalyse und die Fähigkeit, genaue Schlussfolgerungen zu ziehen, entscheiden oft über Erfolg oder Misserfolg am Markt. Trotz der Bereitschaft und der in der Regel hohen Investitionen in die Forschung haben die Unternehmen Schwierigkeiten, die Erkenntnisse aus ihren Analysen effektiv zu nutzen und anzuwenden.
Die häufigsten Fallstricke, in die Datenanalysten tappen.
Hinzufügen einer Geschichte zu unzusammenhängenden Fakten
Analysten beginnen ihre Arbeit oft mit einer beschreibenden Darstellung der gesammelten Daten. Was ist damit gemeint? Lassen Sie uns ein Beispiel betrachten. Bei der Untersuchung des Benutzerverhaltens auf einer Website stellen wir fest, dass 500 Benutzer unsere Website innerhalb eines Monats besuchen. 50 % bleiben bei der Anzeige der Startseite stehen, 40 % vertiefen sich in die Website, aber nur 10 % entscheiden sich, das Kontaktformular zu benutzen und eine Anfrage zu senden.
So sieht die deskriptive Darstellung von Daten aus. Leider belassen es manche Analysten dabei und gehen nicht näher auf den Kontext und die Gründe für ein solches Verhalten ein. Oder schlimmer noch, sie ziehen Schlussfolgerungen auf der Grundlage unzusammenhängender Fakten, ohne weitere Nachforschungen anzustellen.
Außerdem neigen einige Forscher dazu, ein bestimmtes Verhalten auszuwählen und zu isolieren, um zu erklären, warum es auftritt. Dieser Ansatz ist von vornherein falsch, da das Verhalten der Benutzer immer auf etwas zurückzuführen ist, einen Kontext hat und von vielen Variablen abhängt.
Kehren wir für einen Moment zum obigen Beispiel zurück und konzentrieren uns auf die 40 % der Benutzer, die tiefer in die Website eindringen und über die Startseite hinausgehen, aber nicht das Kontaktformular erreichen. Ein unerfahrener Datenanalyst könnte die folgende Schlussfolgerung ziehen: 40 % der Benutzer erreichen das Kontaktformular nicht, weil sie es nicht finden können.
Auf den ersten Blick scheint diese Schlussfolgerung ziemlich logisch und wahrscheinlich zu sein. Es ist nicht schwer, sich vorzustellen, dass die CTA-Schaltfläche, die zum Formular führt, schlecht sichtbar ist oder sich an einer Stelle befindet, an der die Benutzer sie nicht erwarten.
Bei näherer Betrachtung der Angelegenheit wird jedoch schnell klar, dass der Analyst keine konkreten Beweise für seine Hypothese hat und die Ursache für die niedrige Konversionsrate des Formulars woanders liegt.
Eine ebenso gute Erklärung für diese Situation können zu viele Textfelder sein, die ausgefüllt werden müssen, die mobile Version des Formulars, die nicht korrekt angezeigt wird, oder Benutzer, die Daten eingeben müssen, die sie nicht zur Hand haben. Und was ist mit den Benutzern, die die Website auf der Ebene der Startseite verlassen haben?
Wenn wir versuchen, uns auf einzelne Daten oder einige wenige Daten zu konzentrieren, verlieren wir den Überblick über die Gesamtsituation, was dazu führen kann, dass wir wichtige Variablen übersehen, die das Benutzerverhalten beeinflussen. Eine solche selektive Datenanalyse führt zu falschen Schlussfolgerungen.
Der nächste Aspekt, auf den die Analysten achten sollten, ist die Größe des Effekts.
Schauen wir uns ein Beispiel an, das von Joanne Rodrigues' Buch inspiriert wurde. Nach weiteren Untersuchungen fanden wir heraus, dass in einem Monat 1000 Benutzer (organischer Verkehr) unsere Website besuchen, 50 % verwenden Google und 50 % Bing. 30 % der Benutzer von Google entscheiden sich, eine Anfrage zu senden, aber nur 10 % der Benutzer senden eine Anfrage von Bing.
Der Analyst stellt die Hypothese auf, dass, wenn es uns gelingt, den Traffic von Google auf 100 % zu steigern, sich dies in einer höheren Konversionsrate für Formulare niederschlägt — nehmen wir an, dass unser Unternehmen in einem Jahr 12.000 Anfragen erhält (wir gehen optimistisch davon aus, dass jeder Benutzer eine Anfrage stellt).
Der Hypothese folgend haben wir Ressourcen in Anzeigen investiert, die auf Google-Benutzer abzielen. Nehmen wir nun an, dass unsere Marketingmaßnahmen wirksam waren und wir 1000 Google-Besuche, also 100 %, erreicht haben. Die Zahl der Anfragen stieg jedoch nur auf 240. Warum? Unsere Anzeigen zogen eine andere Benutzergruppe an als diejenige, die unsere Website organisch über den Browser gefunden hatte. Und diese andere Gruppe ist möglicherweise nicht so sehr an unserem Angebot interessiert wie die vorherige. In diesem Fall liefert die Berechnung der Größe des Effekts keine hilfreichen Informationen, da die Gewinnung von Benutzern über Google aufgrund anderer Faktoren, die die Benutzer beeinflussen, nicht zu einer 100%igen Steigerung der Konversionsrate führt.
Wie aus den obigen Beispielen ersichtlich, reicht es nicht aus, zu wissen, welche Variablen die Aktionen der Benutzer beeinflussen, um die Konversion unseres Unternehmens zu steigern; wir müssen auch das Ausmaß der Auswirkungen eines bestimmten Verhaltens verstehen.
Zu starker Fokus auf die Daten
Software für maschinelles Lernen und künstliche Intelligenz sind unverzichtbare Werkzeuge für Datenanalysten. Sie beschleunigen zwar die Erfassung und Analyse von Daten erheblich, sind aber keine perfekten Werkzeuge, um den Benutzer zu verstehen.
Einer der Hauptzwecke, für die Analysten ML/KI-Tools verwenden, ist die Vorhersage der Auswirkungen eines bestimmten Ereignisses. Diese Tools sind außerordentlich nützlich, wenn wir herausfinden wollen, wie stark der Umsatz oder die Konversion in den kommenden Monaten steigen wird, welche Produkte wir in unserem Online-Shop am besten empfehlen sollten oder wie hoch der prognostizierte Rückgang der Abonnements für unser Produkt ist.
Das grundsätzliche Problem mit maschinellen Lernwerkzeugen ist jedoch, dass sie sich ausschließlich auf numerische Daten konzentrieren. Sie liefern uns keine Gründe, warum sich Benutzer auf eine bestimmte Weise verhalten. Daher kann ihr Einsatz die traditionelle kausale Schlussfolgerung nicht ersetzen. Mit anderen Worten: Quantitative Forschung, die die Frage nach dem „Wie viel“ beantwortet, hat wenig Aussagekraft ohne qualitative Forschung, die das „Warum“ beantwortet.
Der Punkt ist, dass Datenanalysten sich nicht ausschließlich auf eine dieser beiden Methoden verlassen sollten. Nur wenn sie sie kombinieren, erhalten sie korrekte Ergebnisse, die das Benutzerverhalten und die Gründe dafür aufzeigen.
Inferenztypen
In ihrem Buch „Product Analytics“ stellt Joanne Rodrigues drei Arten von Schlussfolgerungen vor, mit denen die Korrektheit der gewonnenen Erkenntnisse bewertet werden kann.
Inferenz auf der Grundlage von Forschung
Eine Möglichkeit, um festzustellen, ob unsere Schlussfolgerungen richtig sind, besteht darin, zwei Tests durchzuführen. Dies wird allgemein als A/B-Test bezeichnet.
Es ist eine sehr beliebte Methode in allen Arten von Forschung, zum Beispiel in der klinischen Forschung, bei der eine Gruppe von Patienten ein Medikament erhält und die andere ein Placebo. Ziel der Forschung ist es, die Auswirkungen in beiden Gruppen zu beobachten und festzustellen, ob das Medikament wirksam ist. In diesem Fall ist die Gruppe, die das Placebo erhalten hat, eine kontrafaktische.
Wenn wir diese Methode für unser Beispiel mit dem Kontaktformular verwenden möchten, dann können wir zwei Varianten der Website erstellen. In der ersten Version bleibt die Schaltfläche, die zum Formular führt, an der unveränderten Stelle, in der zweiten Variante wird sie an einer besser sichtbaren Stelle platziert. Als Nächstes werden wir einer Benutzergruppe die unveränderte Version und der anderen Gruppe die zweite Variante mit der veränderten Position des CTA-Buttons präsentieren. Am Ende vergleichen wir, wie oft die Benutzer das Formular finden, und werten aus, welche Website-Version bessere Ergebnisse bringt.
Eine zusätzliche Ergänzung zu dieser Studie könnte die Analyse der Orte sein, die die Benutzer am häufigsten anklicken (mit Tools, die Daten in Echtzeit liefern). Dies wird uns helfen, Orte zu entdecken, die die Benutzer am häufigsten besuchen.
Die Durchführung von A/B-Tests ermöglicht es uns, ein bestimmtes Phänomen unter denselben Bedingungen, aber mit einer Variable zu beobachten. So können wir sehen, wie sich die Situation verändert und unter welchen Faktoren. Natürlich können nicht alle Phänomene auf diese Weise untersucht werden.
Inferenz auf der Grundlage von Zufälligkeit
Die Inferenz auf der Grundlage von Zufälligkeiten ist ein Teil der statistischen Inferenz, d. h. wir versuchen, Schlussfolgerungen auf der Grundlage von Wahrscheinlichkeiten zu ziehen. Bei dieser Methode wird davon ausgegangen, dass das Auftreten eines bestimmten Ereignisses auf zufällige Weise eine sehr geringe Wahrscheinlichkeit hat. Wenn es passiert ist, muss es einen bestimmten Grund dafür geben.
In ihrem Buch verwendet Joanne Rodrigues das Beispiel eines Erdbebens, das sich alle zwei Jahre auf einer einsamen Insel ereignet. Da die Insel unbewohnt ist, kann niemand bestätigen, dass dieses Erdbeben stattgefunden hat, aber wir können es durch Beobachtung und Messung der Algenblüte beurteilen. Das Vorkommen von Algen um die Insel herum nimmt einen Monat nach einem Erdbeben zu; es ist sehr unwahrscheinlich, dass ein solcher Anstieg auf natürliche Weise erfolgt. Wenn es natürlich vorkommt, ist es vielleicht ein Fall in 100 Jahren. Die wahrscheinlichste Hypothese in diesem Fall ist, dass das Erdbeben dafür verantwortlich ist.
Der Autor schlägt vor, die mit dieser Methode gewonnenen Schlussfolgerungen mithilfe des Satzes von Bayes zu bestätigen. Mit dem Satz von Bayes lässt sich die Wahrscheinlichkeit des Eintretens eines Ereignisses auf der Grundlage der vorherigen Analyse der mit dem Ereignis verbundenen Bedingungen bestimmen.
Dieser Inferenztyp gibt uns keine 100-prozentige Sicherheit, aber er liefert Daten über das Benutzerverhalten, die auf eine hohe Wahrscheinlichkeit hindeuten, die in den meisten Fällen richtig sein wird.
Inferenz auf der Grundlage von Vorhersagen
Die Inferenz auf der Grundlage von Vorhersagen (prädiktive Inferenz) ist eine praktische Methode, um Schlussfolgerungen zu bestätigen. Diese Art der Inferenz wird häufig verwendet, wenn wir uns auf die Zukunft vorbereiten wollen.
Wir können diesen Inferenztyp zum Beispiel verwenden, um die Anzahl der Benutzer vorherzusagen, die unsere Anwendung im ersten Jahr nutzen werden. Auf diese Weise können wir die Infrastruktur, die den Datenverkehr aufrechterhalten soll, entsprechend planen und genügend Mitarbeiter für die Wartung einstellen.
Analyse des Benutzerverhaltens. Zusammenfassung
Die Beobachtung von Benutzern und die Analyse ihres Verhaltens liefern uns wertvolle Daten, die einen Einblick in die Interaktion der Benutzer mit einem Produkt geben.
Die richtige Interpretation des Benutzerverhaltens ermöglicht es uns, die Beteiligung der Benutzer, die mit dem Produkt erzielten Gewinne, die Qualität der Benutzererfahrung, die Optimierung der Konversion, die Gewinnung neuer Benutzer usw. zu steigern.
Datenanalysten sollten sich nicht darauf beschränken, beschreibende Bewertungen von Daten zu erstellen. Sie sollten sich keine falschen Geschichten ausdenken oder Fakten verknüpfen, die sie nicht beweisen können.
Außerdem sollten sie sich nicht zu sehr auf die Daten konzentrieren, denn die Zahlen können uns keine Gründe für das Benutzerverhalten liefern. Tools für maschinelles Lernen können einige Prozesse beschleunigen, aber sie sollten nicht das ausschließliche Repertoire der Analystenwerkzeuge sein. Es lohnt sich, daran zu denken, dass die kausale Inferenz (quantitative Analyse) immer noch eine sehr wichtige Säule der Arbeit des Analysten ist.
Darüber hinaus können uns verschiedene Schlussfolgerungstypen dabei helfen, die Korrektheit unserer Schlussfolgerungen zu bewerten.
Bei der Analyse des Benutzerverhaltens ist es nicht nur wichtig, ein bestimmtes Verhalten zu beobachten, sondern auch zu verstehen, welcher Kontext und welche Variablen es beeinflusst und verursacht haben. Nur auf diese Weise können wir Anwendungen effektiv erstellen und verbessern.
