Die Gültigkeit, Zuverlässigkeit und Glaubwürdigkeit qualitativer Forschung sind ein Thema, das in Diskussionen über UX-Forschung nur selten angesprochen wird.
Wir sind davon ausgegangen, dass, wenn etwas erforscht wird, auch die Ergebnisse dieser Forschung unbestreitbar, vertrauenswürdig und nicht verhandelbar sind.
Die Haltung gegenüber Forschungsergebnissen kann manchmal zu unkritisch sein. Viele Menschen haben eine Einstellung zu ihnen (qualitative und quantitative Forschung), die sich in einem einfachen Satz zusammenfassen lässt: Über Daten lässt sich nicht streiten; Daten werden gewonnen und genutzt.
Aber jede Medaille hat zwei Seiten. Die bloße Durchführung von Forschungsarbeiten sollte nicht als Rechtfertigung für ihre fragwürdige Qualität dienen. Es lohnt sich, die beliebte Erinnerung im Hinterkopf zu behalten, der zufolge...
Das Einzige, was schlimmer ist als fehlende Forschung, ist unzuverlässige, nicht glaubwürdige Forschung, deren Methodik, Durchführungsmethode und somit Ergebnisse berechtigte Skepsis hervorrufen.
Benutzererfahrung, UX-Forschung und Usability-Tests sind nur dann sinnvoll, wenn sie unter Beachtung wissenschaftlicher methodischer Standards durchgeführt und nach Forschungsstandards analysiert und berichtet werden.
In den Sozialwissenschaften wird sehr viel Wert auf methodische Korrektheit und die Qualität der Ergebnisse gelegt.
Methodiker und Forscher bemühen sich sehr um die Verbesserung der Forschungsmethoden.
Es ist wichtig, sich daran zu erinnern, dass jede UX-Forschung und jede Forschungsmethode (insbesondere die qualitative Forschung) auf akademisch entwickelten Tools, Methoden und Standards basiert. Es lohnt sich also, dieses Potenzial zu nutzen.
Was sind also die interne und externe Validität in der UX-Forschung?
Wie sollte die Forschung vorbereitet und durchgeführt werden, um ein hohes Maß an Vertrauen in die erzielten Ergebnisse zu haben?
Wie wird Qualität in der qualitativen Forschung definiert und erreicht?
Wenn Sie bereit sind für eine Portion praktisches Methodenwissen, dann laden wir Sie zum Lesen ein!
Möchten Sie UX Forschung betreiben?
Was ist Qualität in der qualitativen Forschung?
Das Wörterbuch definiert Qualität als ein Merkmal oder eine Eigenschaft von etwas, die es von anderen unterscheidet.
Im Zusammenhang mit qualitativer Forschung hat Uwe Flick in seinem Buch "Designing Qualitative Research" Qualität sehr treffend definiert.
Das Buch von Uwe Flick ist übrigens ein sehr wertvolles Kompendium des Wissens, das jeder UX-Forscher nutzen sollte.
Seinem Ansatz zufolge ist die Qualität der Forschung einer der wichtigsten, wenn nicht sogar der wichtigste Aspekt der Projektkonzeption.
Die Qualität ist eng mit der Standardisierung und Gestaltung der Forschungssituation und der sie beeinflussenden Faktoren verbunden.
In seiner Argumentation weist Flick sehr treffend darauf hin, dass Forscher viel genauere, verlässlichere und objektivere Ergebnisse erhalten, wenn sie externe und interne Faktoren, die die Studie stören, kontrollieren und ausschalten können.
Das wird im Designprozess und bei der Entwicklung eines digitalen Produkts nützlich sein.
Wir können Qualität in der qualitativen UX-Forschung als die Aufmerksamkeit definieren, die Forscher dem Design der Studie, der Durchführung, der Analyse der Daten, der Berichterstattung und der Kommunikation der Ergebnisse widmen.
Natürlich lenkt ein solches Augenmerk auf die Qualität, darauf, dass die Studie möglichst verlässliche Ergebnisse liefert, auch die Aufmerksamkeit, insbesondere auf den Forscher:
- Zu seinem Platz, seiner Rolle und seinen Grenzen im Forschungsprozess
- Seine Fähigkeit, die eigenen Fehler und die Grenzen der eigenen Perspektive zu erkennen
- Auf seine Rolle bei der Prüfung der Gültigkeit und der Validierung der Qualität des Forschungsplans in jeder seiner Phasen
- Der Glaubwürdigkeitsprüfung den gleichen Stellenwert und die gleiche Priorität einzuräumen wie den Forschungszielen, den Kriterien für die Auswahl der Befragten, den Forschungsmethoden und dem organisatorischen und zeitlichen Rahmen
Wie erreicht man hohe Qualität in der Designphase der UX-Forschung?
Flick zweifelt nicht daran, dass diese Qualität in diesem Stadium durch eine gut durchdachte, begründete und angemessene Wahl der Forschungsmethode gewährleistet ist. In der Praxis bedeutet dies, dass der Forscher bei seinen Entscheidungen ein Höchstmaß an Unvoreingenommenheit walten lassen kann.
Mit anderen Worten: Die Wahl der Forschungsmethode kann nicht durch folgende Faktoren bestimmt werden:
- Bequemlichkeit
- Persönliche Vorlieben, Vorlieben oder Abneigungen
- Der Wunsch, die Forschung zu beschleunigen, sie zu vereinfachen oder zu verbilligen
Darüber hinaus muss der Forscher sorgfältig prüfen, ob die gewählte Methode geeignet ist. Er muss sicher sein, dass die gewählte Methode die beste ist, um den zu untersuchenden Ausschnitt der Realität zu erfassen.
Die Angemessenheit wird natürlich durch Wissen und erworbene Erfahrung erreicht, aber auch durch die Herangehensweise des Forschers, der laut Flick auch offen für Vielfalt bleiben sollte.
Die Idee ist, nach Erfahrungen und Möglichkeiten zu suchen, diese zu untersuchen, die sich von denen der Befragten unterscheiden und nicht nur von denen, die sie teilen.
In der Phase der Forschungsdurchführung wird sich die Qualität vor allem in der:
- Strenge — die Anwendung einer bestimmten Methode nach den Regeln der Kunst der Forschung und konsequent.
- Kreativität — suche nach neuen Antworten, Beobachtungen und Inspirationen, anstatt bestehende Annahmen zu bestätigen.
- Konsistenz — z. B. sind Interviews leichter zu vergleichen und zu verallgemeinern, wenn sie einheitlich durchgeführt wurden
- Flexibilität — die Fähigkeit, Konsistenz, Strenge und Kreativität in Einklang zu bringen.
Was sind Reliabilität und Validität in der UX?
Hier kommen wir zum Problem der Zuverlässigkeit, das Pallabi Roy Singh in einem Artikel mit dem Titel "Reliability and validity: ensuring a Foolproof UX research plan" als die Notwendigkeit definiert, die Wiederholbarkeit und Reproduzierbarkeit der Forschung sicherzustellen.
Mit anderen Worten: Die Idee ist, dass andere Forscher, die die Untersuchung auf dieselbe Weise und unter denselben Bedingungen durchführen und die Befragten mit denselben Merkmalen ausstatten, die sie in die Studie aufgenommen haben, zu denselben Ergebnissen kommen können.
Pallabi Roy Singh wiederum definiert Validität als den Grad, in dem die gewählte Forschungsmethode das misst, was der Forscher mit ihr messen will. Die Wahl der Forschungsmethode ist entscheidend für die Genauigkeit der Forschungsergebnisse.
Die Zuverlässigkeit der Forschung und ihre Genauigkeit sind für den Gesamterfolg eines Forschungsprojekts von entscheidender Bedeutung.
Und wie uns Raluca Budiu, ein mit der Norman Nielsen Group verbundener Forscher, in einem Artikel mit dem Titel "Internal vs. External Validity of UX Research" lehrt, besteht bei jeder Art von UX-Forschung (quantitativ oder qualitativ) ein hohes Risiko, dass die Ergebnisse nicht die Realität widerspiegeln.
Und das alles wegen eines mangelhaften Forschungsdesigns.
Wir können die Validität und Reliabilität in der qualitativen Forschung auch aus einer anderen Perspektive betrachten, die John W. Creswell in seinem Buch vorschlägt "Research Design. Qualitative, Quantitative and Mixed Methods Approaches" vorschlägt.
Nach Creswell hat die Validität in der qualitativen Forschung andere Bedeutungen als in der quantitativen Forschung.
Sie steht nicht in direktem Zusammenhang mit der Zuverlässigkeit oder Verallgemeinerbarkeit.
Die Validität der qualitativen Forschung bedeutet, dass der Forscher die Zuverlässigkeit der Ergebnisse anhand bestimmter Verfahren überprüft hat.
Creswell wiederum ist der Ansicht, dass Zuverlässigkeit als die Konsistenz der Erfassung der eigenen aktuellen und historischen Forschung sowie der eigenen und der von anderen Forschern durchgeführten Forschung verstanden werden sollte.
Daher ist es in der qualitativen Forschung unerlässlich, Verfahren zu dokumentieren und detaillierte Protokolle und Forschungsdatenbanken zu erstellen.
Der oben zitierte Pallabi Roy Singh unterscheidet drei Methoden, die es ermöglichen, Forschungsergebnisse als zuverlässig zu betrachten:
- Test-Retest-Reliabilität
- Parallele Formulare Zuverlässigkeit
- Inter-Rater-Reliabilität
Die Zuverlässigkeit der Test-Retest-Formel bedeutet, dass bei beiden Tests ähnliche Ergebnisse erzielt werden. Test-Retest eignet sich am besten als Zuverlässigkeitsschätzer, wenn Umfragen oder Fragebögen in der Forschung verwendet werden.
Die Reliabilitätsformel für Parallelformen vergleicht zwei äquivalente Testformen, die dasselbe Attribut messen.
Die Inter-Rater-Reliabilität ist ein Maß für die Zuverlässigkeit, das verwendet wird, um den Grad der Übereinstimmung verschiedener Forscher bei ihren Bewertungsentscheidungen zu beurteilen.
Dieser Zuverlässigkeitsschätzer wird für die Qualitätsvalidierung von Beobachtungs-, Feld- und kontextbezogenen Studien empfohlen.
Was sind interne und externe Validitätsfehler?
Wie wir bereits festgestellt haben, sind Validität und Reliabilität zwei verschiedene Dinge, die nicht miteinander verwechselt werden sollten.
Verlässliche Forschung bedeutet, dass die Ergebnisse ähnlich sind, wenn wir sie wiederholen. Auf diese Weise können wir sicher sein, dass das Ergebnis nicht zufällig ist.
Man sollte jedoch bedenken, dass Forschung mit hoher Zuverlässigkeit und geringer Validität Forschung ist, die perfekt misst, leider nicht das, was wir gerne messen würden.
Wie kann man mit diesem Problem umgehen? Die Antwort ist, auf die interne und externe Validität zu achten.
Die interne Validität der Forschung bedeutet, dass weder der Forscher noch das Verfahren ein mögliches Ergebnis (z. B. Reaktionen, Verhalten) begünstigt.
Etwas anders ausgedrückt: Interne Validität ist die Gewissheit, dass wir die beobachtete, im Rahmen der Forschung erfasste Ursache-Wirkungs-Beziehung nicht mithilfe anderer Variablen oder Faktoren anders erklären können.
Erwähnenswert ist die Bemerkung von Arlin Cuncic in seinem Artikel "Understanding Internal and External Validity". How These Concepts Are Applied in Research".
Forschung kann als intern gültig angesehen werden, wenn wir alternative Erklärungen für die Ergebnisse ausschließen können.
Wir können Ursache und Wirkung nachweisen, wenn die Forschung die folgenden drei Kriterien erfüllt:
- Die Ursache geht der Wirkung zeitlich voraus
- Ursache und Wirkung variieren
- Es keine anderen wahrscheinlichen Erklärungen für diese Beziehung gibt
Wenn wir beispielsweise untersuchen wollen, ob die Bildschirmdiagonale einen Einfluss auf die Geschwindigkeit hat, mit der ein Benutzer eine Aufgabe ausführt, teilen wir die Befragten in zwei Gruppen ein, A und B. Dann führen wir mit ihnen Tests zu sehr unterschiedlichen Tageszeiten durch (z. B. frühmorgens und spätabends). Dies führt zu einer geringen internen Validität der Ergebnisse.
Die Unterschiede in der Leistung und der Ausführungsgeschwindigkeit der Aufgabe können ihre Ursache in der Größe der Bildschirmdiagonale haben, aber auch in einer anderen Variable, wie der Tageszeit, die das Ergebnis beeinflussen kann.
Auf diese Weise durchgeführte Untersuchungen haben eine geringe interne Validität, da wir die Ursache-Wirkungs-Beziehung zwischen der Geschwindigkeit der Aufgabenerledigung und der Bildschirmdiagonale nicht zweifelsfrei feststellen können.
Die Beziehung zwischen diesen Variablen kann vorkommen oder auch nicht, oder sie kann vorkommen und durch eine weitere Variable (oder mehrere Variablen), die das Ergebnis verzerrt, weiter beeinflusst werden.
Die externe Validität der Forschung bedeutet, dass die Teilnehmer und die Forschungsbedingungen repräsentativ sind und einen Ausschnitt der Realität widerspiegeln.
Um bei unserem Beispiel zu bleiben:
Die Forschung hat eine geringe externe Validität, wenn sie in einem Labor unter Bedingungen durchgeführt wird, die sich stark von den typischen Erfahrungen und dem Verhalten der Benutzer unterscheiden.
So ist beispielsweise die Entfernung zum Bildschirm des Benutzers unnatürlich groß, die Lichtstärke kann weit von den üblichen Werten entfernt sein, und das Gerät selbst und seine Funktionsweise können dem Befragten unbekannt sein.
Der Unterschied kann auch auf den bloßen Einfluss der Forscher auf den Befragten zurückzuführen sein (z. B. aufdringliche, ablenkende verbale und verhaltensbezogene Einmischung).
Zu den Faktoren, die die externe Validität am häufigsten stören können, gehören:
- Forschungsbedingungen, die weit von den natürlichen Bedingungen abweichen
- Messinstrumente (z. B. Head-Stabilized Eye Tracking)
Die hohe interne Validität der qualitativen Forschung kann durch folgende Faktoren erreicht werden:
- Verwendung einer zufälligen Reihenfolge der Aufgaben
- Kontrolle der Konfiguration der Studie von einer Sitzung zur nächsten
- Durch Erkennung und Neutralisierung von Variablen, die die Ergebnisse verzerren
Die hohe externe Validität der qualitativen Forschung kann durch folgende Faktoren erreicht werden:
- Genaue Festlegung der Kriterien für den Einschluss bzw. Ausschluss von Befragten
- Rekrutierung von Befragten, die für die Zielgruppe repräsentativ sind
- Gewährleistung, dass die Bedingungen, der Kontext und der Verlauf der Forschung so weit wie möglich den natürlichen und realen Prozessen, Bedingungen und dem Kontext entsprechen
Interne und externe Validität in der UX-Forschung. Zusammenfassung
- Ein beliebter Mythos und Ansatz in der UX-Forschung ist der Glaube, dass Daten nicht diskutierbar sind; Daten werden erfasst und genutzt.
- Es sei daran erinnert, dass das Einzige, was schlimmer ist als ein Mangel an Forschung, unzuverlässige und nicht glaubwürdige Forschung ist. Die Zuverlässigkeit der qualitativen Forschung, oder besser gesagt, die Gültigkeit und Zuverlässigkeit der qualitativen Forschung, ist für das Treffen guter Geschäftsentscheidungen von wesentlicher Bedeutung.
- Jede Forschungsmethode, die in der UX-Forschung eingesetzt wird (z. B. UX-Tests), basiert auf Tools, Methoden, Techniken und Standards, die von Wissenschaftlern entwickelt wurden.
- Die Qualität der Forschung ist einer der wichtigsten Aspekte, der in jeder Phase des Forschungsprojekts berücksichtigt werden muss.
- Die Qualität ist eng mit der Standardisierung und Gestaltung der Forschungssituation und der sie beeinflussenden Faktoren verbunden. Qualitative Forschung ist in dieser Hinsicht anfällig.
- Forscher, die in der Lage sind, externe und interne Faktoren, die die Forschung beeinträchtigen, zu kontrollieren und zu beseitigen, können wesentlich relevantere, zuverlässigere und objektivere Ergebnisse erzielen.
- Qualität wird definiert als die Aufmerksamkeit, die Forscher der Konzeption der Forschung, ihrer Durchführung, der Analyse der Daten, der Berichterstattung und der Kommunikation der Ergebnisse widmen.
- Die Qualität, Zuverlässigkeit, Glaubwürdigkeit und Gültigkeit der Ergebnisse werden auch vom Forscher beeinflusst, der sich seines Einflusses auf die Forschungsergebnisse bewusst sein muss.
- Zuverlässigkeit ist definiert als die Notwendigkeit, die Wiederholbarkeit und Reproduzierbarkeit der Forschung zu gewährleisten.
- Die Validität gibt an, inwieweit die gewählte Forschungsmethode das misst, was der Forscher mit ihr messen möchte.
- Die Wahl der Forschungsmethode ist entscheidend für die Genauigkeit der Forschungsergebnisse.
- Durch die Beachtung der Qualität in der qualitativen Forschung wird das Risiko verringert, dass die in der Studie erzielten Ergebnisse nicht der Realität entsprechen.
- Validität in der qualitativen Forschung hängt nicht direkt mit Zuverlässigkeit oder Verallgemeinerbarkeit zusammen.
- Die Validität der qualitativen Forschung bedeutet, dass der Forscher die Zuverlässigkeit der Ergebnisse anhand bestimmter Verfahren überprüft hat.
- Die Zuverlässigkeit der Test-Retest-Formel bedeutet, dass bei beiden Tests ähnliche Ergebnisse erzielt werden. Test-Retest eignet sich am besten als Zuverlässigkeitsschätzer, wenn Umfragen oder Fragebögen in der Forschung verwendet werden.
- Die Reliabilitätsformel für Parallelformen vergleicht zwei äquivalente Testformen, die dasselbe Attribut messen.
- Die Inter-Rater-Reliabilität ist ein Maß für die Zuverlässigkeit, das verwendet wird, um den Grad der Übereinstimmung verschiedener Forscher bei ihren Bewertungsentscheidungen zu beurteilen. Es wird für die Qualitätsvalidierung von Beobachtungs-, Feld- und Kontextforschung empfohlen.
- Forschung mit hoher Reliabilität und geringer Validität ist Forschung, die perfekt misst, leider nicht das, was wir gerne messen würden.
- Die interne Validität der Forschung bedeutet, dass weder der Forscher noch das Verfahren ein mögliches Ergebnis begünstigt.
- Interne Validität ist die Gewissheit, dass wir die beobachtete, im Rahmen der Forschung erfasste Ursache-Wirkungs-Beziehung nicht mithilfe anderer Variablen oder Faktoren anders erklären können.
- Wir können Ursache und Wirkung nachweisen, wenn die Forschung die folgenden drei Kriterien erfüllt: Ursache geht der Wirkung zeitlich voraus, Ursache und Wirkung variieren, und es gibt keine anderen wahrscheinlichen Erklärungen für diese Beziehung.
- Die externe Validität der Forschung bedeutet, dass die Teilnehmer und die Bedingungen der Studie repräsentativ sind und einen Ausschnitt der Realität widerspiegeln.
- Wir können die hohe interne Validität der qualitativen Forschung erreichen, indem wir eine zufällige Reihenfolge der Aufgaben verwenden, die Konfiguration der Studie von einer Sitzung zur nächsten kontrollieren und Variablen, die die Ergebnisse verzerren, erkennen und neutralisieren.
