Randomisiertes kontrolliertes Testen als
Methode der kausalen Web-Optimierung
REFORMICA Technical Report · Juli 2026
Kurzfassung
A/B-Testing ist eine randomisierte kontrollierte Experimentiermethode zur kausalen Bewertung von Änderungen an digitalen Produkten. Anders als Verfahren, die auf geäußerten Präferenzen beruhen, misst A/B-Testing ausschließlich beobachtbares Verhalten unter kontrollierten Bedingungen. Dieser Beitrag beschreibt die methodischen Grundlagen, stellt eine integrierte Testpipeline vor und demonstriert sie anhand eines Live-Experiments. Wir diskutieren Anwendungsbereiche, methodische Grenzen sowie die Bedingungen, unter denen A/B-Tests belastbare kausale Aussagen liefern.
1. Einleitung
In der Praxis der digitalen Produktentwicklung werden Gestaltungsentscheidungen häufig auf Basis subjektiver Einschätzungen getroffen. Umfragen, Fokusgruppen und Expertengutachten liefern Aussagen darüber, was Nutzer zu bevorzugen glauben. Die empirische Forschung zeigt jedoch konsistent, dass geäußerte Präferenzen nur schwach mit tatsächlichem Verhalten korrelieren (Nisbett & Wilson, 1977).
Randomisierte kontrollierte Experimente, im digitalen Kontext als A/B-Tests bezeichnet, schließen diese Lücke. Sie vergleichen zwei oder mehr Varianten unter identischen Bedingungen und weisen kausale Effekte auf eine vorab definierte Zielgröße nach. Die Methode wurde aus der medizinischen und agrarwissenschaftlichen Statistik übernommen und ist heute in der Softwareentwicklung, im Marketing und in der Produktoptimierung etabliert (Kohavi et al., 2013).
2. Methode
Ein A/B-Test folgt einem vierstufigen Protokoll:
I. Hypothesenbildung. Festlegung der unabhängigen Variable (das zu testende Element: Farbe, Text, Layout) und der abhängigen Variable (die gemessene Zielgröße: Conversion, Klickrate, Verweildauer). Jeder Test prüft genau eine klar definierte Hypothese.
II. Randomisierung. Jeder eintreffende Nutzer wird per Zufallsmechanismus einer Variante zugewiesen und sieht während der gesamten Testlaufzeit konsistent dieselbe Version. Die Zuweisung erfolgt cookie-basiert und stellt die interne Validität des Experiments sicher.
III. Datenerhebung. Alle relevanten Metriken werden pro Variante getrennt erfasst. Die Stichprobengröße wird vor Testbeginn durch eine Power-Analyse bestimmt, um die benötigte statistische Trennschärfe zu gewährleisten.
IV. Auswertung. Die gesammelten Daten werden im Anschluss auf statistisch signifikante Unterschiede geprüft. Ein Dashboard visualisiert Konfidenzintervalle, p-Werte und Effektstärken in Echtzeit.
3. Live-Demonstration
Diese Website dient als laufendes Experiment. Sie befinden sich in der Behandlungsgruppe A (REFORMICA Red, #BF1820). Der folgende Schalter erlaubt einen kontrollierten Wechsel zwischen den Bedingungen. Der Wechsel wirkt ausschließlich in Ihrem Browser und beeinflusst nicht die Datenerhebung des laufenden Experiments.
Hinweis: Öffnen Sie diese Seite in einem zweiten Browser, um zu beobachten, dass die Randomisierung pro Sitzung unabhängig erfolgt.