Bias-Pfadkarte für Umfragen
Verfolgen Sie die Bedrohung bis zur Entscheidung, bevor Sie Stichprobengröße oder Formulierung ändern.
| Pfad | Gefährdetes Objekt | Mögliche Verzerrung | Evidenzcheck | Entscheidung bleibt offen, wenn |
|---|---|---|---|---|
| Rahmen | Population und Teilnahmeberechtigung | Relevante Einheiten fehlen oder falsche Einheiten sind enthalten | Rahmen, erreichbare Population und Entscheidungspopulation vergleichen | Einschlussgrenze nicht dokumentiert ist |
| Antwort | Wer sichtbar wird | Antwortende unterscheiden sich bei relevanter Erfahrung oder Ergebnis | Erreichbarkeit, Zeitpunkt, Antwort, Teilantwort und bekannte Unterschiede festhalten | Richtung der Nichtantwort angenommen wird |
| Formulierung | Interpretation des Items | Framing, Erinnerung oder soziale Erwünschtheit verändert die Antwort | Alternativen pilotieren und Item im Entscheidungskontext prüfen | Das Konstrukt nicht definiert ist |
| Messung | Konstrukt und Skala | Zuverlässige Antwort misst das falsche Objekt oder den falschen Zeitraum | Konstrukt, Skala, Bezugszeitraum und Validitätscheck benennen | Messung nicht an Entscheidung anschließbar ist |
| Interpretation | Antwort zur Schlussfolgerung | Muster wird als Populations-, Prognose- oder Kausalevidenz behandelt | Beschreibung, Zusammenhang, Prognose und Kausalität trennen | Schlussfolgerungsschritt verborgen ist |
| Entscheidung | Handlung und Schwelle | Evidenz wird erhoben, ohne festzulegen, was sich ändert | Handlung, Schwelle, Vergleich und Follow-up-Ergebnis benennen | Keine Handlung oder kein Ergebnis definiert ist |
Bei breiten Tabellen horizontal wischen oder scrollen.
Referenz & Evidenz
Quelle: Eigener Rahmen auf Basis von Guest, Bunce und Johnson (2006), Hennink, Kaiser und Marconi (2017), Hagaman und Wutich (2017), Malterud, Siersma und Guassora (2016) sowie Schoonenboom und Johnson (2017). Dies ist ein Evidenzreview und kein codierter Umfragedatensatz.
Jede Zeile ist eine geprüfte Aussage aus dem Prüfregister des Journals, beim Build aus dem Register aufgelöst. Das Register wird auf Englisch geführt.
- B The number is conditional on that study's design: "they found that saturation occurred within the first twelve interviews, although basic elements for metathemes were present as early as six interviews" Guest, Bunce & Johnson. (2006) ·
GUEST06-C1 - B The 12-interview result is conditional and not a universal rule, and the authors bound it themselves: saturation occurred within the first twelve interviews, "at least based on the codebook we devel"oped, in a study of relatively homogeneous respondents Guest, Bunce & Johnson. (2006) ·
GUEST06-C2 - B Two different closure questions, named: "Our study compared two approaches to assessing saturation: code saturation and meaning saturation", and "we found that code saturation was reached at nine interviews" while meaning saturation took longer Hennink, Kaiser & Marconi. (2017) ·
HENN17-C1 - B Code saturation and meaning saturation answer different questions, and the paper reports different sample sizes for each: more interviews "were needed to reach meaning saturation where we developed a richly textured understanding of issues", and the authors present the finding as conditions rather than a number, since "We used our results to develop parameters that influence saturation" Hennink, Kaiser & Marconi. (2017) ·
HENN17-C2 - B In a four-site cross-cultural study, larger samples were needed for metathemes: the purpose was "to reach data saturation for metathemes in multisited and cross-cultural research", the analysis "Analysis of the data yielded 240 site-specific themes and nine cross-cultural metathemes", and the authors report larger sample sizes "ranging from 20 to 40 interviews" Hagaman & Wutich. (2017) ·
HAG17-C1 - B Homogeneity is what moves the number: "We found that 16 or fewer interviews were enough to identify common themes from sites with relatively homogeneous groups" Hagaman & Wutich. (2017) ·
HAG17-C2 - B Information power is defined by five items, verbatim: "information power depends on (a) the aim of the study, (b) sample specificity, (c) use of established theory, (d) quality" of dialogue, and (e) analysis strategy Malterud, Siersma & Guassora. (2016) ·
MAL16-C1 - B Higher information power can support a smaller sample, but the concept is an appraisal and not a formula: "Information power indicates that the more information the sample holds, relevant" for the study, the lower the number of participants needed Malterud, Siersma & Guassora. (2016) ·
MAL16-C2 - B The design dimensions are the authors' own list: "We explain the seven major design dimensions: purpose, theoretical drive, timing (simultaneity and dependency), point of integration, typological versus interactive design approaches, planned versus emergent design, and design complexity" Schoonenboom & Johnson. (2017) ·
SCHOON17-C1 - B A supplemental strand still owes its own quality criteria, and the authors argue exactly that: "the idea of decreased rigor is in conflict with one key theme of the present article, namely that mixed methods designs should always meet the criterion of multiple validities legitimation" Schoonenboom & Johnson. (2017) ·
SCHOON17-C2 - B Survey bias is actionable only when the threatened decision, population boundary, measurement object, and interpretation step are named together Author framework grounded in the methods sources above ·
B10-C1 - B A sample-size rule cannot repair a frame, nonresponse, wording, construct, or interpretation problem that was never specified Author framework grounded in Guest, Hennink, Hagaman, Malterud, and Schoonenboom ·
B10-C2
Prüfgrade: A, gegen die gedruckte Seite der Primärquelle geprüft · B, Primärquelle, nur Textebene · C, belastbare Sekundärquelle · D, berichtet.
Verwandte Abbildungen
-
Sättigungsanker tragen ihre Bedingungen
Aus dem Beitrag Eine Fallstudie ist ein Evidenzdesign, keine Geschichte.
-
Abbruchregel für Evidenzreviews
Aus dem Beitrag Ein belastbares Evidenzreview braucht eine Abbruchregel
-
Das Prüfblatt für Messfehler und Indikatoren
Aus dem Beitrag Was ist Messfehler? Die Lücke zwischen Konstrukt und Indikator