← Alle Abbildungen

Tabelle Tabelle 5 Aus der Forschung

6. Diagnostischer Audit-Leitfaden für Führungskräfte

PrüfdimensionDiagnostische LeitfrageBewertungsskala (1 bis 5)Kritisches Warnsignal
1. Vorab-RegistrierungWerden Hypothese, OEC und geplante Stichprobengröße vor dem Start schriftlich dokumentiert?1: Keine Dokumentation.
5: Feste Registrierungsvorlage für jeden Testlauf.		Teams wechseln die primäre Zielmetrik nach Ansicht vorläufiger Daten.
2. Power-PlanungWird jeder Test vorab auf mindestens 80 % Power für einen realistischen MDE dimensioniert?1: Willkürliche Laufzeiten.
5: Automatisierte Stichprobenberechnung nach Varianz.		Tests auf schwach besuchten Seiten, die zwei Jahre für ein Ergebnis bräuchten.
3. Laufzeit-DisziplinLaufen Experimente über die volle geplante Stichprobengröße und ganze Wochenzyklen?1: Tägliches Peeking.
5: Strikte Einhaltung fester Horizonte oder sequentieller Tests.		Vorzeitiger Testabbruch am ersten Tag, an dem das Dashboard grün wird.
4. SRM-ÜberwachungPrüft die Plattform täglich automatisch auf Sample Ratio Mismatches mittels Chi-Quadrat-Test?1: Keine SRM-Prüfung.
5: Automatische Warnungen und Berichtssperre bei SRM.		Interpretation von Konversionsraten bei massiv ungleichen Gruppengrößen ($p < 10^{-3}$).
5. Leitplanken-SchutzWerden technische und betriebliche Leitplanken (Ladezeiten, Fehler, Stornos) mitüberwacht?1: Nur Konversion zählt.
5: Umfassende Telemetrie mit automatischen Notstopps.		Freigabe einer Variante, die die Server-Ladezeiten um 300 ms verschlechtert hat.
6. Mess-IntegritätWerden Tracking-Pixel und Ereignisse vor dem Start durch automatisierte Tests verifiziert?1: Ungeprüfte Tags.
5: Automatisierte Tests zur Bestätigung fehlerfreier Zählung.		Twymans Gesetz verletzt: Feiern von Zuwächsen, die auf Doppelzählungen beruhen.
7. VarianzreduktionNutzt das System moderne Verfahren wie CUPED zur Bereinigung varianzreicher Metriken?1: Nur rohe Kennzahlen.
5: Automatisierte CUPED-Korrektur auf kontinuierlichen Daten.		Unfähigkeit, Umsatzmetriken wegen riesiger Stichprobenbedarfe zu testen.
8. Mehrfach-Test-KorrekturWerden Signifikanzniveaus bei mehreren Varianten oder Segmenten statistisch korrigiert?1: Unkorrigiertes P-Hacking.
5: Automatische Benjamini-Hochberg-Korrektur im Reporting.		Herausgreifen zufällig signifikanter Untergruppen nach Testende.
9. Holdout-GruppenWerden dauerhafte Kontrollgruppen gepflegt, um das Fortbestehen von Effekten zu prüfen?1: Keine Holdout-Gruppen.
5: Feste Holdout-Gruppen zur Messung langfristiger Effekte.		Vollständiges Verpuffen gemessener Zuwächse nach 60 Tagen im Normalbetrieb.
10. Realistische ErwartungIst der Führung bewusst, dass im Schnitt nur rund ein Drittel aller Ideen wirkliche Zuwächse bringt?1: Anspruch auf 90 % Siege.
5: Wertschätzung neutraler Tests als Schutz vor Fehlinvestitionen.		Teams berichten 80 % Erfolgsquoten, was auf Scheinoptimierungen hindeutet.

Bei breiten Tabellen horizontal wischen oder scrollen.

Zitieren Einbetten

Referenz & Evidenz

Quelle: Tabelle aus diesem Essay. Quellen und Einordnung stehen im Beitrag.

Verwandte Abbildungen