Usability-Testing von Websites ist ein recht weit gefasster Begriff, innerhalb dessen auch das vergleichende Usability-Testing unterschieden wird.
Diese Art von Forschung ist, wie der Name schon sagt, darauf ausgerichtet, zwei oder mehr Projekte, Prototypen oder Websites zu vergleichen, um etwas über ihre Effektivität, Effizienz und Zufriedenheit zu erfahren.
Vergleichende Usability-Tests ermöglichen es uns, Antworten auf die Fragen zu finden, wie schnell Aufgaben ausgeführt werden und wie viele Fehler bei ihrer Ausführung im Vergleich zu konkurrierenden, alternativen Produkten und Designs gemacht werden.
Sie geben Einblick in die Emotionen, die bei den Aufgaben auftreten.
Mit anderen Worten: Die vergleichende Forschung hilft dabei, das Produkt im Vergleich zu anderen Lösungen zu bewerten und zu analysieren, insbesondere im Hinblick auf Probleme der Nutzbarkeit, ein Bereich, der nicht nur für Forscher, sondern auch für UX-Designer und Entwickler von Interesse ist.
Vergleichsdaten werden im Prozess der Optimierung digitaler Produkte verwendet und dienen dazu, Marktvorteile zu erzielen, um Produkte anzubieten, die besser auf die Bedürfnisse, Erwartungen und Fähigkeiten ihrer Endbenutzer zugeschnitten sind.
Warum lohnt es sich, die Nutzbarkeit zu messen und zu vergleichen? Wie führt man vergleichende Usability-Tests durch?
Worauf ist beim Vergleich digitaler Produkte zu achten? Was sind die besten Praktiken für die Durchführung vergleichender Usability-Tests?
Heute werden wir diese Fragen beantworten.
Wir laden Sie ein, den Artikel zu lesen!
Möchten Sie UX Forschung betreiben?
Wie sieht es mit der Nutzbarkeit von digitalen Produkten aus?
Im Artikel "Usability", der im Blog der Interaction Design Foundation veröffentlicht wurde, wird Nutzbarkeit definiert als ein Maß dafür, wie gut ein bestimmter Nutzer in einem bestimmten Kontext ein digitales Produkt oder dessen Design nutzen kann, um ein bestimmtes Ziel effektiv, effizient und zufriedenstellend zu erreichen.
Wenn wir über Nutzbarkeit nachdenken, sollten wir Folgendes im Auge behalten:
- Die Effizienz, mit der ein Benutzer eine Aufgabe erfüllen kann
- Die Effizienz, die den Umfang des erforderlichen Aufwands bestimmt
- Die Zufriedenheit, die die Reaktionen der Benutzer bestimmt, die während der Interaktion mit einem digitalen Produkt auftreten
Mit anderen Worten: Die Nutzbarkeit eines digitalen Produkts ist hoch, wenn die Benutzer das Produkt einfach und nahtlos nutzen und ihre Ziele erreichen können.
Wir können die Nutzbarkeit jedoch auch aus einer anderen, tieferen Perspektive betrachten. Nach der Definition von Jakob Nielsen, die in seinem Artikel "Usability 101: Introduction to Usability" veröffentlicht wurde, ist Nutzbarkeit ein Qualitätsmerkmal, das die Benutzerfreundlichkeit von Benutzerschnittstellen bewertet.
Nach Nielsen besteht die Nutzbarkeit aus fünf Elementen:
- Erlernbarkeit — bestimmt die Leichtigkeit, mit der Benutzer Aufgaben erledigen können, wenn sie zum ersten Mal mit einem digitalen Produkt interagieren.
- Effizienz — die Geschwindigkeit, mit der die Benutzer Aufgaben ausführen können, nachdem sie gelernt haben, wie das System funktioniert.
- Einprägsamkeit – die Leichtigkeit, mit der die Benutzer das Produkt nach einer längeren Pause wieder sachkundig nutzen können.
- Fehler — Anzahl und Schweregrad von Benutzerfehlern und die Fähigkeit, diese zu beheben.
- Zufriedenheit — das Vergnügen, ein bestimmtes Produkt zu benutzen.
Ein nützliches digitales Produkt ist ein Produkt:
- Die es uns ermöglicht, unsere Ziele einfach und nahtlos zu erreichen
- Die eine Quelle der Freude ist
- Deren Verwendung nicht mit vielen Fehlern behaftet ist
Beim Usability-Testing eines digitalen Produkts wird das Verhalten der Produktbenutzer mithilfe verschiedener Techniken, Methoden und Tools erfasst, um wichtige Fragen zu beantworten.
Usability-Tests können in Form von quantitativen Untersuchungen durchgeführt werden, bei denen die Handlungen der Benutzer quantifiziert werden (z. B. Zeit zur Ausführung einer Aufgabe, Anzahl der Fehler), oder in Form von qualitativen Untersuchungen, bei denen verschiedene Arten von Heuristiken verwendet werden (z. B. die Usability-Heuristiken von Jakob Nielsen).
Was sind die wichtigsten Metriken zur Nutzbarkeit?
Nach der Lektüre der obigen Definitionen scheint die Nutzbarkeit eine eher abstrakte Kategorie zu sein, die zu subjektiven Bewertungen neigt.
Aber das ist sicher nicht der Fall, denn es kann mit sehr konkreten Metriken ausgedrückt werden, die dies ermöglichen:
- gemessen
- und verglichen
Zu den wichtigsten Metriken der Nutzbarkeit gehören:
- Erfolgsquote
- Wirksamkeitsindikator
- Effizienzindikator
- Zufriedenheitsindikator
Die Erfolgsquote ist sowohl einer der wichtigsten Indikatoren als auch einer der am einfachsten zu messenden.
Die Erfolgsquote misst, wie viele Befragte eine von einem Forscher gestellte Aufgabe erfüllen (z. B. Daten über ein Formular korrekt ausfüllen und übermitteln).
Der Prozentsatz der Benutzer, die eine Aufgabe erfolgreich abschließen, ist ein Maß für die Wirksamkeit eines digitalen Produkts.
Der Effektivitätsindikator zeigt an, welche Fehler der Benutzer während der Aufgabe gemacht hat. Die Anzahl der gemachten Fehler lässt auf kleinere oder größere Usability-Probleme schließen.
Wir sollten Fehler im Designprozess vorhersehen und vermeiden.
Das Testen der Nutzbarkeit ermöglicht es uns, über die begrenzte Perspektive des Designers hinauszugehen, eine einigermaßen umfassende Liste von Problemen zu erstellen und sie nach Art und Wichtigkeit zu ordnen, sodass wir ihnen eine angemessene Priorität einräumen können.
Zu den häufigsten Fehlern gehören:
- Unbeabsichtigte Handlungen (z. B. Klicken auf einen falschen Link)
- Auslassungen, Versäumnisse
- Missverständnisse bei den Etiketten, die zu falschen Dateneingaben führen
- Fehlinterpretation von Funktionen, Informationen, Zielen und Aktivitäten
Mit dem Effizienzindikator können wir Elemente, Funktionen und Prozesse diagnostizieren, die Reibungen verursachen, die auf der Seite des Systems und nicht auf der Seite des Benutzers auftreten (z. B. die Ladegeschwindigkeit einer Seite).
Mithilfe des Zufriedenheitsindikators lässt sich feststellen, wie zufrieden die Benutzer nach Erledigung einer Aufgabe sind.
Der Grad der Benutzerzufriedenheit, dargestellt durch verschiedene Arten von Bewertungen (numerisch oder verbal), ermöglicht es, die emotionale Reaktion des Benutzers zu messen.
Vergleichende Forschung — warum die Messung der Nutzbarkeit wichtig ist
Eine schlechte Nutzbarkeit einer Website, eines Webs oder einer mobilen Anwendung hat vor allem die folgenden Folgen:
- Geringe Konversion (z. B. weniger Anfragen, Abonnements, Downloads usw.)
- Geringe Umsätze
- Fragwürdiger Ruf, was zu einer geringeren Anzahl von Spontanempfehlungen führt
- Geringerer Rückhalt
- Höhere Absprungrate
- Höhere Warenkorbabbruchrate
Die Beziehung ist relativ einfach: Bessere Nutzbarkeit bedeutet bessere Benutzererfahrung, was sich direkt in mehr Umsatz, Loyalität und Engagement niederschlägt und zu höheren Bewertungen und Rezensionen in Bewertungssystemen führt.
Usability-Tests und Messungen der Nutzbarkeit ermöglichen es:
- Fehler diagnostizieren, Probleme der Nutzbarkeit
- Vorlieben, Reaktionsweisen, Aktionen entdecken
- Barrieren und fehleranfällige Elemente identifizieren
- Ein Produkt bereits in einem sehr frühen Stadium seiner Entwicklung im Hinblick auf die Nutzbarkeit zu optimieren
- Die Attraktivität eines Produkts im Vergleich zu konkurrierenden Lösungen zu bestimmen
Der letzte Vorteil der Messung der Nutzbarkeit bezieht sich auf das vergleichende Usability-Testing, das es uns ermöglicht, ein digitales Produkt nicht nur aus der Sicht des Benutzers zu betrachten, sondern auch aus der Perspektive der anderen:
- Stärken und Schwächen
- Methoden zur Lösung von Designproblemen
- Angebot von Lösungen, die den Bedürfnissen, Erwartungen, Gewohnheiten und Fähigkeiten der Benutzer entsprechen
Vergleichende Usability-Tests
Die vergleichende Forschung ermöglicht es, zu vergleichen:
- Konzepte (z. B. von Designern erstellte Schnittstellenvarianten)
- Prototypen
- Ausgewählte Elemente der Anwendung
- Anwendungen miteinander zu verknüpfen
Die vergleichende Forschung liefert Erkenntnisse über Folgendes:
- Systemleistung
- Systemwirksamkeit
- Die Zufriedenheit, die das System bietet
Sie ermöglicht es uns auch, Fragen zu beantworten: Was ist die Ursache für den Unterschied? Warum ist sie eine Ursache für den Unterschied?
Bei vergleichenden Usability-Tests werden häufig Erfolgsquote, Effektivitätsquote, Effizienzquote und Zufriedenheitsquote für Vergleiche verwendet.
Dies hilft, die Einschränkungen einer qualitativen Perspektive zu vermeiden, die oft von "gefällt mir/gefällt mir nicht"-Meinungen dominiert wird.
Vergleichende Usability-Tests sollten die Möglichkeit bieten, zu entscheiden, welche Lösung für die Benutzer optimaler ist, d.h. ihnen erlaubt, eine Aufgabe schneller, einfacher, mit weniger Fehlern und größerer Zufriedenheit zu erledigen.
Durch die Verwendung quantitativer Messgrößen und die Möglichkeit, alternative Designlösungen zu erforschen, können wir viel aufschlussreicheres Feedback erhalten, denn wenn wir Produkte miteinander vergleichen, werden Unterschiede und Qualität am besten sichtbar.
Manchmal ist es schwierig, sich unserer Vorlieben bewusst zu sein, ohne zu vergleichen. Für die Benutzer ist es schwierig, die Ursache des Problems festzustellen und zu erkennen, warum die Verwendung einer Anwendung oder einer Website Probleme verursacht.
Durch die Gegenüberstellung mehrerer Lösungsansätze für eine gegebene Aufgabe lässt sich genau ermitteln, welche Elemente direkt oder indirekt für Usability-Probleme verantwortlich sind.
Die Möglichkeit, quantitative Daten zu erheben, macht vergleichende Usability-Tests viel interessanter:
- Unvoreingenommen
- Zielsetzung
- Weniger anfällig für die Einschränkungen der Selbstwahrnehmung der Befragten
- Zuverlässig und glaubwürdig
Im Rahmen der standardmäßigen vergleichenden Usability-Tests werden die folgenden Daten erhoben:
- Prozentsatz der Aufgabenerfüllung
- Zeit der Aufgabenerledigung (normalerweise in Form eines Durchschnitts)
- Anzahl der Klicks, die zur Erfüllung einer Aufgabe erforderlich sind
- Anzahl der Fehler
Der Vergleich ganzer Anwendungen, ausgewählter Elemente und Prototypen hat den Vorteil, dass die Ergebnisse quantitativ zusammengefasst werden, wodurch geschäftliche, gestalterische und technologische Entscheidungen viel weniger von Meinungen, Vorlieben oder Vorurteilen abhängen.
Vergleichende Forschung — bewährte Verfahren
Vergleiche, die sowohl einen explorativen als auch einen beobachtenden Wert haben sollen, müssen mithilfe der folgenden Punkte durchgeführt werden:
- Die gleichen Szenarien und Aufgaben
- Aufgaben, die in allen verglichenen Systemen erfüllt werden können
- Anweisungen, die nicht die in den getesteten Systemen verwendete Terminologie verwenden
- Verschiedenen Testern, wodurch der Serial-Position-Effekt eliminiert und der Einfluss der ersten getesteten Anwendung auf die Wahrnehmung der zweiten vermieden wird
- Festlegung von Rang, Priorität, Status und Relevanz von Problemen
- Bestimmung der Auswirkungen einer bestimmten Erfahrung auf die Art und Weise, wie das System reagiert, agiert und evaluiert
- Die optimale Anzahl von Lösungen, die verglichen werden (nicht mehr als 3 — die Befragten haben Schwierigkeiten, sich mehr als drei Systeme zu merken und zu vergleichen)
- Angemessen ähnliche und unterschiedliche Systeme — sie dürfen weder zu ähnlich sein, weil die Unterschiede unklar werden, noch zu unterschiedlich, weil der Mangel an Ähnlichkeiten einen gültigen Vergleich verhindert
Es sollte auch daran erinnert werden, dass vergleichende Gebrauchstauglichkeitstests als Datenquelle und nicht als Instrument zur Lösung von Streitigkeiten oder Design-Dilemmata betrachtet werden sollten.
Ihr Ziel ist es, unvoreingenommene Informationen zu erhalten, nicht um Innovationen zu entdecken, sondern um sie zu optimieren.
Die vergleichende Forschung ist kein Instrument, um das Rad neu zu erfinden. Eine gute allgemeine Regel ist, die Anzahl der zu vergleichenden Elemente und Funktionen zu begrenzen und nur die wichtigsten auszuwählen.
Das Testen mehrerer Lösungen ist einfach zu zeitaufwendig, kostspielig sowie organisatorisch und methodisch anspruchsvoll.
Es ist außerdem ein bewährtes Verfahren, quantitative Daten durch Meinungen zu ergänzen, die zum richtigen Zeitpunkt erhoben werden sollten:
- Nach Abschluss einer bestimmten Aufgabe — so erhalten wir Informationen über Eindrücke, die mit der Zeit verblassen können.
- Am Ende des Tests der nächsten Funktionalität vergleichen die Leute natürlich die Lösungen ohne große Ermutigung. Deshalb sollten wir diese Tendenz nutzen, um Feedback zu erhalten.
- Am Ende der Testsitzung — für eine allgemeinere Bewertung und einen umfassenderen Vergleich.
Die Bewertung konkurrierender Gestaltungsalternativen sollte anhand einer Standardskala (z. B. der Likert-Skala) erfolgen, um einen zuverlässigeren Vergleich der Antworten und Bewertungen zu ermöglichen.
Bei der Durchführung vergleichender Usability-Tests ist es wichtig, dem Bias-Effekt entgegenzuwirken.
Deshalb ist es die bewährte Praxis, die Reihenfolge der Präsentation der verglichenen Lösungen zu ändern. Jeder Befragte sollte Lösungen vergleichen, die in unterschiedlicher Reihenfolge angeordnet sind (z. B. A-B-C; C-A-B).
Vergleichende Usability-Tests. Zusammenfassung
- Usability misst, wie gut ein Benutzer in einem bestimmten Kontext ein digitales Produkt oder dessen Design nutzen kann, um ein bestimmtes Ziel effektiv, effizient und zufriedenstellend zu erreichen.
- Die Nutzbarkeit eines digitalen Produkts ist hoch, wenn die Benutzer das Produkt einfach und nahtlos nutzen und ihre Ziele erreichen können.
- Die Nutzbarkeit ist ein qualitatives Attribut, mit dessen Hilfe die Benutzerfreundlichkeit einer Schnittstelle bewertet wird.
- Nach Nielsen besteht die Nutzbarkeit aus fünf Elementen: Erlernbarkeit, Effizienz, Einprägsamkeit, Fehler und Zufriedenheit.
- Zu den wichtigsten Metriken der Nutzbarkeit gehören Erfolgsquote, Effizienz, Effektivität und Zufriedenheit.
- Eine schlechte Nutzbarkeit einer Website, eines Webs oder einer mobilen Anwendung führt in erster Linie zu niedrigeren Konversionsraten, geringerem Umsatzvolumen, höheren Absprungraten und Abbruchraten.
- Vergleichende Forschung, UX-Tests und Usability-Tests von Anwendungen zielen darauf ab, zwei oder mehr Phänomene, Designs, Prototypen und Anwendungen zu vergleichen, um ihre Effektivität, Effizienz und Zufriedenheit zu ermitteln.
- Vergleichende Usability-Tests ermöglichen es uns, ein Produkt im Vergleich zu anderen Lösungen zu bewerten und zu analysieren, insbesondere im Hinblick auf Usability-Probleme (z. B. wie die Navigation funktioniert).
- Die Ergebnisse der vergleichenden Forschung werden genutzt, um Marktvorteile zu erlangen und Produkte anzubieten, die besser auf die Bedürfnisse, Erwartungen und Fähigkeiten der Endverbraucher abgestimmt sind.
- Bei vergleichenden Usability-Tests werden häufig Erfolgsquote, Effektivitätsquote, Effizienzquote und Zufriedenheitsquote für Vergleiche verwendet.
- UX-Forschung, qualitative UX-Forschung, UX-Forschung mit Benutzern und UX-Usability-Tests sollten die Möglichkeit bieten, zu entscheiden, welche Lösung hilft, eine Aufgabe schneller, einfacher, mit weniger Fehlern und größerer Zufriedenheit zu erledigen.
- Die Möglichkeit, quantitative Daten zu sammeln, macht vergleichende Usability-Tests weitaus interessanter: unvoreingenommen, objektiv, zuverlässig und glaubwürdig.
- Vergleiche, die sowohl einen explorativen als auch einen beobachtenden Wert haben sollen, müssen mithilfe der gleichen Szenarien und Aufgaben, Anweisungen und verschiedenen Testern durchgeführt werden.
- Vergleichende Tests, vergleichende Analysen sollten als Datenquelle betrachtet werden, nicht als Instrument zur Lösung von Streitigkeiten oder Design-Dilemmas (z. B. wie die Navigation aussehen soll).
