A/B-Testing
A/B-Testing ist ein kontrolliertes Experiment, bei dem zwei Varianten einer Seite oder eines Elements zeitgleich unterschiedlichen Nutzergruppen ausgespielt werden, um zu messen, welche Version bei einer definierten Kennzahl besser abschneidet. Aussagekräftig wird ein solcher Test erst, wenn Stichprobengröße und Laufzeit vorab festgelegt und eingehalten werden. Ein statistisch signifikantes Ergebnis bedeutet dabei nur, dass der beobachtete Unterschied unter der Annahme „kein Unterschied“ selten zustande käme – es ist weder ein Beweis, dass eine Variante besser ist, noch sagt es etwas darüber aus, ob der Unterschied wirtschaftlich ins Gewicht fällt.
In der Praxis
In der Praxis wird häufig zunächst nur ein Element verändert, etwa ein Call-to-Action-Button oder eine Produktbild-Anordnung, damit der Effekt eindeutig zuordenbar bleibt. Die Zuteilung der Besucher:innen auf Variante A oder B erfolgt zufällig und wird über ein Testing-Tool oder eigene Skripte gesteuert, während GA4 oder ein separates Analyse-Tool die Zielmetrik misst. Der häufigste Fehler ist nicht der zu frühe Abbruch an sich, sondern das laufende Mitlesen und Beenden in dem Moment, in dem erstmals Signifikanz angezeigt wird („Peeking“). Wer so vorgeht, findet Gewinner, die keine sind: Die Rate falsch positiver Ergebnisse steigt dadurch weit über die angenommenen fünf Prozent. Deshalb Stichprobengröße und Laufzeit vor dem Start festlegen, über volle Wochenzyklen testen und bei mehreren Varianten oder Zielmetriken berücksichtigen, dass jede zusätzliche Prüfung die Wahrscheinlichkeit eines Zufallstreffers erhöht.