A/B-Tests: Leitfaden für verlässliche Entscheidungen

Von Patricia Jarmek Marketingstrategie und Analyse 29. Oktober 2026

6 Min. Lesezeit

A/B-Tests klingen einfach: Zwei Versionen zeigen, Ergebnisse vergleichen und die bessere Variante behalten. Die größten Fehler entstehen jedoch vor dem ersten Besucher — wenn das Problem nicht bestätigt ist, die Hypothese unklar bleibt, zu viele Elemente gleichzeitig geändert werden oder das Team zu früh auf das Ergebnis schaut.

Ein verlässlicher Test ist kein Designwettbewerb. Er ist ein kontrolliertes Experiment, das eine vorab formulierte Frage beantworten soll. Google Analytics definiert einen A/B-Test als randomisiertes Experiment, bei dem zwei oder mehr Varianten derselben Seite gleichzeitig zufälligen Nutzergruppen gezeigt werden, um ihre Leistung für ein bestimmtes Ziel zu vergleichen [1].

Beginnen Sie mit dem Problem, nicht mit einer Button-Idee

Klären Sie zuerst, wo Nutzer scheitern und warum dies geschäftlich relevant ist. Kombinieren Sie Funnel-Daten, Verhalten auf der Seite, Kundenfeedback, Supportfragen und Vertriebsgespräche. Erst danach entwickeln Sie die Änderung.

Eine brauchbare Hypothese lautet: Wenn wir X für Zielgruppe Y ändern, erwarten wir Ergebnis Z, weil Evidenz D auf Problem P hinweist. Google Ads empfiehlt ebenfalls eine klare, mit dem Geschäftsziel verknüpfte Hypothese und jeweils nur eine Variable, da mehrere gleichzeitige Änderungen die Ursache eines Ergebnisses verschleiern [2].

Beispiel: „Wenn wir im mobilen Checkout die Gesamtkosten vor der Eingabe persönlicher Daten zeigen, erwarten wir mehr abgeschlossene Käufe, weil Sitzungsaufzeichnungen und Supportfragen zeigen, dass Nutzer zum Warenkorb zurückkehren, um den Endpreis zu finden.“

Kontroll- und Testvariante müssen sich sinnvoll unterscheiden

Variante A ist die bestehende Kontrolle, Variante B die gezielte Änderung. Ändern Sie Überschrift, Angebotsstruktur, Feldreihenfolge und Buttonfarbe gleichzeitig, erhalten Sie möglicherweise einen Unterschied, aber wenig wiederverwendbares Wissen.

Das bedeutet nicht, dass nur kosmetische Kleinigkeiten erlaubt sind. Weisen die Daten auf ein Problem im gesamten Ablauf hin, kann ein vollständig neuer Checkout gegen den alten getestet werden. Die Hypothese muss das Änderungspaket und den erwarteten Wirkmechanismus beschreiben.

Die offiziellen GOV.UK-Richtlinien beschreiben A/B-Tests als randomisierten Vergleich von Kontrolle und Variante und betonen, dass Stichprobe, Laufzeit und gleichmäßige zufällige Aufteilung vorab geplant werden sollen [3].

Wählen Sie eine primäre Entscheidungskennzahl

Die primäre Kennzahl entscheidet den Test. Im Checkout kann dies die Abschlussrate oder der Umsatz pro Besucher sein. Bei einem B2B-Formular eignen sich vertriebsqualifizierte Leads pro Besucher besser als die bloße Anzahl eingesandter Formulare.

Ergänzen Sie Schutzkennzahlen. Ein kürzeres Formular kann mehr Leads, aber geringere Qualität bringen. Ein höherer Rabatt kann die Conversion steigern und zugleich die Marge senken. Mehr CTA-Klicks können mehr Checkout-Starts, aber auch mehr Abbrüche im nächsten Schritt erzeugen.

Dokumentieren Sie vor dem Start die primäre Kennzahl, Schutzkennzahlen, Zielgruppe, kleinsten relevanten Effekt, geplante Laufzeit und Entscheidungsregel. Die technischen GOV.UK-Leitlinien empfehlen, Hypothese, Zielgruppe und primäre Kennzahl vor der Umsetzung festzulegen und Geräte, Browser, Anmeldestatus sowie Messung vor dem Start zu prüfen [4].

Stoppen Sie den Test nicht, sobald Ihnen das Ergebnis gefällt

Wer täglich prüft und beendet, sobald B führt, erhöht das Risiko eines falschen Siegers. Legen Sie Stichprobe und Laufzeit vorher fest, erfassen Sie einen vollständigen Geschäftszyklus und berücksichtigen Sie Conversion-Verzögerungen.

Statistische Signifikanz sagt nicht, ob ein Ergebnis wirtschaftlich relevant ist. Google Ads verwendet für Experimente Konfidenzintervalle und zweiseitige Tests auf dem 95-Prozent-Niveau. Dennoch müssen Effektgröße, Umsetzungskosten und Schutzkennzahlen bewertet werden [5].

Ein unentschiedenes Ergebnis ist kein gescheitertes Experiment. Die Änderung kann zu schwach, die Stichprobe zu klein oder das Element für Nutzer unwichtig sein. Die korrekte Aussage lautet: „In diesem Bereich konnten wir keinen Effekt nachweisen“, nicht: „Die Varianten sind sicher identisch.“

Segmente dienen dem Lernen, nicht der Siegersuche

Ergebnisse können nach Gerät, Trafficquelle oder Nutzertyp betrachtet werden. Je mehr Segmente Sie nachträglich durchsuchen, desto eher wirkt ein zufälliger Unterschied wie ein echter Befund.

Definieren Sie Segmente vorab, wenn die Hypothese unterschiedliche Wirkungen erwartet, etwa bei einer rein mobilen Navigation. Eine unerwartete Abweichung ist eine Hypothese für den nächsten Test, kein endgültiger Beweis.

Schützen Sie SEO während des Tests

Nutzen Varianten getrennte URLs, empfiehlt Google rel="canonical" zur Original-URL und temporäre 302- statt permanenter 301-Weiterleitungen. Googlebot darf keine andere Version als Nutzer erhalten; entfernen Sie den Test, sobald genügend Daten vorliegen [6].

Bei dynamischen Varianten prüfen Sie Ladezeit, Layout-Verschiebungen und Messung. Ein Experiment, das die Nutzererfahrung verändert, aber Analytics oder Core Web Vitals beschädigt, liefert keine saubere Antwort.

Wann A/B-Tests nicht das richtige Werkzeug sind

Ein offensichtlicher technischer Fehler, falscher Preis, eine rechtliche Pflicht oder Barriere der Zugänglichkeit sollte nicht für die Hälfte der Nutzer bestehen bleiben. Beheben und prüfen Sie das Problem direkt.

Ein Test ist auch ungeeignet, wenn der Traffic keine sinnvolle Stichprobe erlaubt, Bedingungen sich schnell ändern oder Nutzer nicht konsistent einer Variante zugeordnet werden können. Interviews, Usability-Tests, Sitzungsanalysen, Prototypen oder eine vorsichtig interpretierte Vorher-Nachher-Analyse sind dann nützlicher.

Ablauf eines verlässlichen Tests

Problem mit quantitativer und qualitativer Evidenz bestätigen.
Hypothese und erwarteten Wirkmechanismus dokumentieren.
Kontrolle, eine zentrale Änderung und Zielgruppe definieren.
Primäre Kennzahl und Schutzkennzahlen vorab festlegen.
Stichprobe, Laufzeit und kleinsten relevanten Effekt schätzen.
Zuweisung, Analytics, Geräte und Browser prüfen.
Test ohne Zwischenänderungen ausführen.
Schätzintervall, Geschäftswert und geplante Segmente bewerten.
Schlussfolgerung dokumentieren, Gewinner umsetzen oder nächste Hypothese bilden.

Das wertvollste Ergebnis ist nicht immer Variante B. Entscheidend sind weniger Unsicherheit und eine wachsende unternehmenseigene Evidenzbasis, die nützlicher ist als eine Sammlung fremder „Best Practices“.

Häufig gestellte Fragen

Was ist ein A/B-Test?

Ein randomisierter Vergleich einer Kontrolle mit einer oder mehreren Varianten, um zu beurteilen, welche ein vorher festgelegtes Ziel besser erreicht.

Wie lange sollte ein A/B-Test laufen?

Bis die geplante Stichprobe erreicht und ein relevanter Geschäftszyklus erfasst ist. Die Dauer hängt von Traffic, Conversionrate, erwartetem Effekt und Conversion-Verzögerung ab.

Reicht statistische Signifikanz für eine Entscheidung?

Nein. Berücksichtigen Sie Effektgröße, Geschäftswert, Umsetzungskosten und Schutzkennzahlen wie Marge oder Leadqualität.

Darf man mehrere Änderungen zusammen testen?

Ein vollständiges Redesign kann als Paket getestet werden, doch die Aussage gilt dann für das gesamte Paket. Für Wissen über ein Element ändern Sie eine zentrale Variable.

Was bedeutet ein unentschiedenes Ergebnis?

Der Test lieferte nicht genügend Evidenz für den geplanten Effekt. Es beweist nicht, dass die Varianten vollständig gleich sind.