Wie man A/B-Tests durchführt: 15 Schritte für den perfekten Split-Test

Planen Sie einen A/B-Test durchzuführen? Setzen Sie ein Lesezeichen auf diese Checkliste, um zu erfahren, was vor, während und nach dem Test zu tun ist, um die besten Ergebnisse zu erzielen.

Wenn Vermarkter wie wir Landing Pages erstellen, E-Mail-Texte verfassen oder Call-to-Action-Schaltflächen entwerfen, kann es verlockend sein, auf unsere Intuition zu vertrauen, um vorherzusagen, was die Leute zum Klicken und zur Kontaktaufnahme bewegen wird.

Es ist jedoch viel besser, A/B-Tests durchzuführen, als Marketingentscheidungen auf der Grundlage eines “Gefühls” zu treffen, da sich dies nachteilig auf Ihre Ergebnisse auswirken kann.

Lesen Sie weiter, um zu erfahren, wie Sie den gesamten A/B-Testprozess vor, während und nach der Datenerfassung durchführen, damit Sie die besten Entscheidungen auf der Grundlage Ihrer Ergebnisse treffen können.

Was ist ein A/B-Testing?

A/B-Tests, auch bekannt als Split-Tests, sind ein Marketingexperiment, bei dem Sie Ihr Zielpublikum aufteilen, um eine Reihe von Varianten einer Kampagne zu testen und zu ermitteln, welche besser abschneidet. Mit anderen Worten: Sie können Version A eines Marketinginhalts der einen Hälfte Ihrer Zielgruppe zeigen und Version B der anderen.

A/B-Tests können wertvoll sein, weil sich verschiedene Zielgruppen unterschiedlich verhalten. Was bei einem Unternehmen funktioniert, muss nicht unbedingt bei einem anderen funktionieren. Experten für Conversion-Rate-Optimierung (CRO) hassen sogar den Begriff “Best Practices”, weil es sich dabei nicht unbedingt um die beste Methode für Sie handelt. Diese Art von Tests kann sehr komplex sein, wenn Sie nicht aufpassen.

Sehen wir uns an, wie A/B-Tests funktionieren, um sicherzustellen, dass Sie keine falschen Annahmen darüber treffen, was Ihre Zielgruppe mag.

Wie funktioniert ein A/B-Test?

Um einen A/B-Test durchzuführen, müssen Sie zwei verschiedene Versionen eines Inhalts mit Änderungen an einer einzigen Variable erstellen. Dann zeigen Sie diese beiden Versionen zwei ähnlich großen Zielgruppen und analysieren, welche Version über einen bestimmten Zeitraum besser abgeschnitten hat (lange genug, um genaue Rückschlüsse auf Ihre Ergebnisse zu ziehen).

 

Mithilfe von A/B-Tests können Marketingexperten beobachten, wie eine Version eines Marketinginhalts neben einer anderen abschneidet. Im Folgenden finden Sie zwei Arten von A/B-Tests, die Sie durchführen könnten, um die Konversionsrate Ihrer Website zu erhöhen:

Beispiel 1: Test der Benutzerfreundlichkeit

Vielleicht möchten Sie herausfinden, ob sich die Klickrate erhöht, wenn Sie eine bestimmte Call-to-Action-Schaltfläche (CTA) an den oberen Rand Ihrer Homepage verschieben, anstatt sie in der Seitenleiste zu belassen.

Um diese Theorie in einem A/B-Test zu testen, erstellen Sie eine andere, alternative Webseite, die die neue CTA-Platzierung verwendet. Das bestehende Design mit dem CTA in der Seitenleiste – oder die “Kontrolle” – ist Version A. Version B mit dem CTA oben ist der “Herausforderer”. Dann testen Sie diese beiden Versionen, indem Sie sie jeweils einem vorher festgelegten Prozentsatz der Website-Besucher zeigen. Im Idealfall ist der Prozentsatz der Besucher, die beide Versionen sehen, gleich hoch.

Beispiel 2: Design-Test

Vielleicht möchten Sie herausfinden, ob eine Änderung der Farbe Ihrer Call-to-Action (CTA)-Schaltfläche die Klickrate erhöhen kann.

Um diese Theorie in einem A/B-Test zu testen, entwerfen Sie eine alternative CTA-Schaltfläche mit einer anderen Farbe, die zur gleichen Landing Page wie die Kontrollseite führt. Wenn Sie in Ihrem Marketing-Content normalerweise eine rote Call-to-Action-Schaltfläche verwenden und die grüne Variante nach Ihrem A/B-Test mehr Klicks erhält, könnte es sich lohnen, die Standardfarbe Ihrer Call-to-Action-Schaltflächen von nun an auf grün zu ändern.

A/B-Tests im Marketing

A/B-Tests haben eine Vielzahl von Vorteilen für ein Marketingteam, je nachdem, was Sie testen möchten. Vor allem aber sind diese Tests für ein Unternehmen wertvoll, weil sie wenig kosten, aber viel bringen.

Nehmen wir an, Sie beschäftigen einen Content-Ersteller mit einem Gehalt von 50.000 US-Dollar pro Jahr. Dieser Inhaltsersteller veröffentlicht fünf Artikel pro Woche für den Unternehmensblog, also insgesamt 260 Artikel pro Jahr. Wenn der durchschnittliche Beitrag im Unternehmensblog 10 Leads generiert, könnte man sagen, dass es etwas mehr als 192 Dollar kostet, 10 Leads für das Unternehmen zu generieren (50.000 Dollar Gehalt ÷ 260 Artikel = 192 Dollar pro Artikel). Das ist ein solider Batzen Kleingeld.

Wenn Sie nun diesen Inhaltsersteller bitten, zwei Tage mit der Entwicklung eines A/B-Tests für einen Artikel zu verbringen, anstatt in diesem Zeitraum zwei Artikel zu schreiben, verbrennen Sie vielleicht 192 US-Dollar, weil Sie einen Artikel weniger veröffentlichen. Wenn dieser A/B-Test jedoch ergibt, dass Sie die Konversionsrate jedes Artikels von 10 auf 20 Leads erhöhen können, haben Sie gerade 192 US-Dollar ausgegeben, um die Anzahl der Kunden, die Ihr Unternehmen über Ihren Blog gewinnt, möglicherweise zu verdoppeln.

Wenn der Test fehlschlägt, haben Sie natürlich 192 $ verloren – aber jetzt können Sie Ihren nächsten A/B-Test noch fundierter gestalten. Wenn dieser zweite Test die Konversionsrate Ihres Blogs erfolgreich verdoppelt, haben Sie letztendlich 384 $ ausgegeben, um den Umsatz Ihres Unternehmens potenziell zu verdoppeln. Ganz gleich, wie oft Ihr A/B-Test fehlschlägt, der letztendliche Erfolg überwiegt fast immer die Kosten für seine Durchführung.

Es gibt viele Arten von Split-Tests, die Sie durchführen können, damit sich das Experiment am Ende lohnt. Im Folgenden finden Sie einige allgemeine Ziele, die Marketer mit A/B-Tests für ihr Unternehmen verfolgen:

• Erhöhter Website-Traffic: Das Testen verschiedener Blogpost-Titel oder Webseiten-Titel kann die Anzahl der Personen verändern, die auf den verlinkten Titel klicken, um auf Ihre Website zu gelangen. Dies kann zu einer Steigerung des Website-Traffics führen.
• Höhere Konversionsrate: Wenn Sie verschiedene Positionen, Farben oder sogar Ankertexte für Ihre CTAs testen, kann sich die Anzahl der Personen ändern, die auf diese CTAs klicken, um auf eine Landing Page zu gelangen. Dadurch kann die Anzahl der Personen erhöht werden, die Formulare auf Ihrer Website ausfüllen, ihre Kontaktdaten an Sie übermitteln und in einen Lead “umwandeln”.
• Niedrigere Bounce-Rate: Wenn Ihre Website-Besucher nach dem Besuch Ihrer Website schnell wieder abspringen, können Sie durch das Testen verschiedener Blog-Einleitungen, Schriftarten oder hervorgehobener Bilder die Absprungrate senken und mehr Besucher auf Ihrer Website halten.
• Weniger Warenkorbabbrüche: Bei E-Commerce-Unternehmen verlassen durchschnittlich 70 % der Kunden die Website mit Artikeln in ihrem Einkaufswagen. Dies wird als “Warenkorbabbruch” bezeichnet und ist natürlich für jedes Online-Geschäft nachteilig. Das Testen verschiedener Produktfotos, der Gestaltung der Checkout-Seite und sogar der Anzeige der Versandkosten kann diese Abbruchrate senken.

Gehen wir nun die Checkliste für das Einrichten, Ausführen und Messen eines A/B-Tests durch.

Wie man A/B-Tests durchführt

 

Vor dem A/B-Test

Bevor Sie mit dem A/B-Test beginnen, sollten Sie die folgenden Schritte durchführen.

1. Wählen Sie eine Variable für den Test aus

Bei der Optimierung Ihrer Webseiten und E-Mails werden Sie vielleicht feststellen, dass Sie eine Reihe von Variablen testen möchten. Um jedoch zu beurteilen, wie effektiv eine Änderung ist, sollten Sie eine “unabhängige Variable” isolieren und ihre Leistung messen. Andernfalls können Sie nicht sicher sein, welche Variable für die Leistungsänderungen verantwortlich ist.

Sie können mehr als eine Variable für eine einzelne Webseite oder E-Mail testen – achten Sie nur darauf, dass Sie sie nacheinander testen.

Um Ihre Variable zu bestimmen, sehen Sie sich die Elemente in Ihren Marketingressourcen und ihre möglichen Alternativen für Design, Wortlaut und Layout an. Außerdem können Sie Betreffzeilen, Absendernamen und verschiedene Möglichkeiten zur Personalisierung Ihrer E-Mails testen.

Denken Sie daran, dass selbst einfache Änderungen, wie z. B. das Ändern des Bildes in Ihrer E-Mail oder der Worte auf Ihrer Call-to-Action-Schaltfläche, große Verbesserungen bewirken können. Diese Art von Änderungen sind in der Regel leichter zu messen als die größeren.

Hinweis: In manchen Fällen ist es sinnvoller, mehrere Variablen zu testen als nur eine einzige Variable. Dieser Prozess wird als multivariates Testen bezeichnet. Wenn Sie sich fragen, ob Sie einen A/B-Test oder einen multivariaten Test durchführen sollten, finden Sie hier einen hilfreichen Artikel von Optimizely, in dem die beiden Verfahren verglichen werden.

2. Identifizieren Sie Ihr Ziel

Obwohl Sie während eines Tests mehrere Metriken messen werden, sollten Sie vor der Durchführung des Tests eine Hauptmetrik auswählen, auf die Sie sich konzentrieren. Das sollten Sie sogar tun, bevor Sie die zweite Variante einrichten. Dies ist Ihre “abhängige Variable”, die sich verändert, je nachdem, wie Sie die unabhängige Variable manipulieren.

Überlegen Sie, wo diese abhängige Variable am Ende des Split-Tests stehen soll. Sie könnten sogar eine offizielle Hypothese aufstellen und Ihre Ergebnisse auf der Grundlage dieser Vorhersage untersuchen.

Wenn Sie sich erst im Nachhinein Gedanken darüber machen, welche Kennzahlen für Sie wichtig sind, welche Ziele Sie verfolgen und wie sich die von Ihnen vorgeschlagenen Änderungen auf das Nutzerverhalten auswirken könnten, haben Sie den Test möglicherweise nicht auf die effektivste Weise angelegt.

3. Erstellen Sie eine “Control” und einen “Challenger” Gruppe

Sie haben nun Ihre unabhängige Variable, Ihre abhängige Variable und Ihr gewünschtes Ergebnis. Verwenden Sie diese Informationen, um die unveränderte Version des zu testenden Produkts als Kontrollszenario einzurichten. Wenn Sie eine Webseite testen, ist dies die unveränderte Seite, wie sie bereits existiert. Wenn Sie eine Landing Page testen, ist dies das Design und der Text der Landing Page, die Sie normalerweise verwenden würden.

Erstellen Sie daraufhin einen Herausforderer – die geänderte Website, Landing Page oder E-Mail, die Sie im Vergleich zu Ihrer Kontrollseite testen werden. Wenn Sie sich zum Beispiel fragen, ob das Hinzufügen eines Testimonials zu einer Landing Page einen Unterschied bei den Conversions macht, erstellen Sie Ihre Kontrollseite ohne Testimonials. Erstellen Sie dann Ihre Herausforderungsseite mit einem Testimonial.

4. Teilen Sie Ihre Stichprobengruppen gleichmäßig und nach dem Zufallsprinzip auf

Bei Tests, bei denen Sie mehr Kontrolle über die Zielgruppe haben – wie bei E-Mails – müssen Sie mit zwei oder mehr gleich großen Gruppen testen, um aussagekräftige Ergebnisse zu erhalten.

Wie Sie dies tun, hängt von dem von Ihnen verwendeten A/B-Test-Tool ab.

5. Bestimmen Sie Ihre Stichprobengröße

Wie Sie Ihre Stichprobengröße bestimmen, hängt auch von Ihrem A/B-Test-Tool sowie von der Art des A/B-Tests ab, den Sie durchführen.

Wenn Sie einen A/B-Test für eine E-Mail durchführen, werden Sie wahrscheinlich einen A/B-Test an eine Untergruppe Ihrer Liste senden wollen, die groß genug ist, um statistisch signifikante Ergebnisse zu erzielen. Schließlich werden Sie einen Gewinner auswählen und die siegreiche Variante an den Rest der Liste senden.

Sind Sie beispielsweise ein Hub-Spot Enterprise-Kunde, können Sie die Größe Ihrer Stichprobengruppe mithilfe eines Schiebereglers bestimmen. Damit können Sie einen 50/50-A/B-Test mit beliebiger Stichprobengröße durchführen – obwohl für alle anderen Stichproben-Splits eine Liste mit mindestens 1.000 Empfängern erforderlich ist.

Wenn Sie etwas testen, das keine begrenzte Zielgruppe hat, wie z. B. eine Webseite, dann wirkt sich die Dauer des Tests direkt auf die Stichprobengröße aus. Sie müssen Ihren Test lange genug laufen lassen, um eine beträchtliche Anzahl von Aufrufen zu erhalten. Andernfalls lässt sich nur schwer feststellen, ob ein statistisch signifikanter Unterschied zwischen den Varianten besteht.

6. Entscheiden Sie, wie signifikant Ihre Ergebnisse sein müssen

Sobald Sie Ihre Zielmetrik ausgewählt haben, überlegen Sie, wie signifikant Ihre Ergebnisse sein müssen, um die Wahl einer Variante gegenüber einer anderen zu rechtfertigen. Die statistische Signifikanz ist ein sehr wichtiger Teil des A/B-Testprozesses, der oft missverstanden wird.

Je höher der Prozentsatz Ihres Konfidenzniveaus ist, desto sicherer können Sie sich über Ihre Ergebnisse sein. In den meisten Fällen sollten Sie ein Konfidenzniveau von mindestens 95 % – vorzugsweise sogar 98 % – anstreben, insbesondere wenn die Durchführung des Experiments zeitaufwändig war. Manchmal ist es jedoch sinnvoll, eine niedrigere Konfidenzrate zu verwenden, wenn der Test nicht zu streng sein muss.

Betrachten wir die statistische Signifikanz als eine Wette. Auf welche Quoten können Sie wetten? Wenn Sie sagen: “Ich bin mir zu 80 % sicher, dass dies das richtige Design ist, und ich bin bereit, alles darauf zu setzen”, dann ist das vergleichbar mit der Durchführung eines A/B-Tests, bei dem Sie 80 % Signifikanz erreichen und dann einen Gewinner erklären.

Sagen wir, dass Sie wahrscheinlich eine höhere Konfidenzschwelle wählen sollten, wenn Sie etwas testen, das die Konversionsrate nur geringfügig verbessert. Und warum? Weil die zufällige Varianz wahrscheinlich eine größere Rolle spielen wird.

Ein Beispiel, bei dem wir uns sicherer fühlen können, wenn wir unsere Konfidenzschwelle senken, ist ein Experiment, das die Conversionrate wahrscheinlich um 10 % oder mehr verbessern wird, wie z. B. ein neu designter Checkoutbereich.

Je radikaler die Änderung ist, desto weniger wissenschaftlich müssen wir bei der Vorgehensweise sein. Je spezifischer die Änderung ist (Farbe der Schaltfläche, Mikrokopie usw.), desto wissenschaftlicher sollten wir vorgehen, da die Änderung wahrscheinlich keine großen und spürbaren Auswirkungen auf die Konversionsrate haben wird.

7. Vergewissern Sie sich, dass Sie für jede Kampagne immer nur einen Test durchführen

Das Testen von mehr als einer Sache für eine einzelne Kampagne – auch wenn es nicht genau dasselbe Asset betrifft – kann die Ergebnisse verkomplizieren. Wenn Sie z. B. eine E-Mail-Kampagne, die auf eine Landing Page verweist, gleichzeitig mit A/B-Tests für diese Landing Page testen, wie können Sie dann wissen, welche Änderung den Anstieg der Leads verursacht hat?

Während des A/B-Tests

Gehen wir nun die Schritte durch, die Sie während Ihres A/B-Tests durchführen müssen.

8. Verwenden Sie ein A/B-Test-Tool

Um einen A/B-Test auf Ihrer Website oder in einer E-Mail durchzuführen, müssen Sie ein A/B-Test-Tool verwenden. Wenn Sie ein HubSpot Enterprise-Kunde sind, verfügt die HubSpot-Software über Funktionen, mit denen Sie A/B-Tests für E-Mails, Call-to-Action und Landing Pages durchführen können.

Für User ohne Hubspot gibt es weitere Optionen, z. B. Google Analytics, mit dem Sie bis zu 10 Vollversionen einer einzigen Webseite A/B-testen und deren Leistung anhand einer Zufallsstichprobe von Nutzern vergleichen können.

9. Testen Sie beide Varianten gleichzeitig

Das Timing spielt eine wichtige Rolle für die Ergebnisse Ihrer Marketingkampagne, egal ob es sich um die Tageszeit, den Wochentag oder den Monat des Jahres handelt. Wenn Sie Version A in einem Monat und Version B einen Monat später durchführen, woher wissen Sie dann, ob die Leistungsänderung durch das unterschiedliche Design oder den anderen Monat verursacht wurde?

Wenn Sie A/B-Tests durchführen, müssen Sie die beiden Varianten zur gleichen Zeit ausführen, da Sie sonst Ihre Ergebnisse möglicherweise in Frage stellen müssen.

Die einzige Ausnahme ist, wenn Sie das Timing selbst testen, z. B. die optimalen Zeiten für den Versand von E-Mails. Dies ist ein guter Test, denn je nachdem, was Ihr Unternehmen anbietet und wer Ihre Abonnenten sind, kann der optimale Zeitpunkt für das Engagement der Abonnenten je nach Branche und Zielmarkt sehr unterschiedlich sein.

10. Geben Sie dem A/B-Test genügend Zeit, um nützliche Daten zu erhalten

Auch hier sollten Sie darauf achten, dass Sie den Test lange genug laufen lassen, um eine große Stichprobe zu erhalten. Andernfalls lässt sich nur schwer feststellen, ob es einen statistisch signifikanten Unterschied zwischen den beiden Varianten gibt.

Wie lange ist lang genug? Je nach Unternehmen und Art der Durchführung des A/B-Tests können statistisch signifikante Ergebnisse innerhalb von Stunden … oder Tagen … oder Wochen erzielt werden. Wie lange es dauert, bis Sie statistisch signifikante Ergebnisse erhalten, hängt zu einem großen Teil davon ab, wie viel Traffic Sie bekommen – wenn Ihr Unternehmen also nicht viel Traffic auf Ihre Website bekommt, wird es viel länger dauern, bis Sie einen A/B-Test durchführen können.

11. Bitten Sie um Feedback von echten Nutzern

A/B-Tests haben viel mit quantitativen Daten zu tun … aber das hilft Ihnen nicht unbedingt dabei zu verstehen, warum Menschen bestimmte Aktionen durchführen und andere nicht. Warum sammeln Sie nicht auch qualitatives Feedback von echten Nutzern, während Sie Ihren A/B-Test durchführen?

Eine der besten Möglichkeiten, Menschen nach ihrer Meinung zu fragen, ist eine Umfrage oder ein Poll. Sie könnten eine Umfrage auf Ihrer Website einrichten, in der die Besucher gefragt werden, warum sie nicht auf eine bestimmte CTA geklickt haben, oder eine Umfrage auf Ihren Danksagungsseiten, in der die Besucher gefragt werden, warum sie auf eine Schaltfläche geklickt oder ein Formular ausgefüllt haben.

Sie könnten zum Beispiel feststellen, dass viele Besucher auf einen Call-to-Action geklickt haben, der sie zu einem Ebook geführt hat, aber sobald sie den Preis gesehen haben, haben sie nicht konvertiert. Diese Art von Informationen gibt Ihnen viele Einblicke in die Gründe für das Verhalten Ihrer Nutzer.

Nach dem A/B-Test

Zum Schluss kommen wir zu den Schritten, die Sie nach Ihrem A/B-Test unternehmen sollten.

12. Konzentrieren Sie sich auf Ihre Zielmetrik

Auch wenn Sie mehrere Metriken messen werden, sollten Sie sich bei der Analyse auf die primäre Zielmetrik konzentrieren.

Wenn Sie beispielsweise zwei Varianten einer E-Mail getestet und Leads als primäre Messgröße gewählt haben, sollten Sie sich nicht an der Öffnungsrate oder der Klickrate stören. Es könnte sein, dass Sie eine hohe Klickrate und schlechte Konversionsraten feststellen. In diesem Fall würden Sie sich am Ende für die Variante mit der niedrigeren Klickrate entscheiden.

13. Messen Sie die Signifikanz Ihrer Ergebnisse

Nachdem Sie nun herausgefunden haben, welche Variante am besten abschneidet, ist es an der Zeit zu ermitteln, ob Ihre Ergebnisse statistisch signifikant sind. Mit anderen Worten: Sind sie ausreichend, um eine Änderung zu rechtfertigen?

Um das herauszufinden, müssen Sie einen Test der statistischen Signifikanz durchführen. Das können Sie manuell tun…oder wieder ein Tool nutzen. Beispielsweise Hubspot.

– Bleiben wir bei dem Tool von Hubspot –

Für jede von Ihnen getestete Variante werden Sie aufgefordert, die Gesamtzahl der Versuche einzugeben, z. B. gesendete E-Mails oder gesehene Impressionen. Geben Sie dann die Anzahl der erreichten Ziele ein – in der Regel handelt es sich dabei um Klicks, aber es können auch andere Arten von Conversions sein.

Der Rechner spuckt das Konfidenzniveau aus, das Ihre Daten für die siegreiche Variante ergeben. Vergleichen Sie diese Zahl dann mit dem von Ihnen gewählten Wert, um die statistische Signifikanz zu bestimmen.

14. Handeln Sie auf der Grundlage Ihrer Ergebnisse

Wenn eine Variante statistisch gesehen besser ist als die andere, haben Sie einen Gewinner. Schließen Sie Ihren Test ab, indem Sie die unterlegene Variante in Ihrem A/B-Test-Tool deaktivieren.

Wenn keine der beiden Varianten statistisch gesehen besser ist, haben Sie soeben erfahren, dass die getestete Variable keinen Einfluss auf die Ergebnisse hatte, und Sie müssen den Test als nicht schlüssig markieren. Bleiben Sie in diesem Fall bei der ursprünglichen Variante, oder führen Sie einen weiteren Test durch. Sie können die fehlgeschlagenen Daten nutzen, um eine neue Iteration für Ihren neuen Test zu entwickeln.

Mit A/B-Tests können Sie zwar von Fall zu Fall die Ergebnisse beeinflussen, aber Sie können auch die Lehren aus den einzelnen Tests ziehen und sie für künftige Bemühungen nutzen.

Wenn Sie beispielsweise A/B-Tests in Ihrem E-Mail-Marketing durchgeführt haben und wiederholt festgestellt haben, dass die Verwendung von Zahlen in E-Mail-Betreffzeilen zu besseren Klickraten führt, sollten Sie in Erwägung ziehen, diese Taktik in mehr Ihrer E-Mails einzusetzen.

15. Planen Sie Ihren nächsten A/B-Test

Der A/B-Test, den Sie gerade abgeschlossen haben, hat Ihnen vielleicht geholfen, einen neuen Weg zu finden, um Ihre Marketinginhalte effektiver zu gestalten – aber hören Sie damit nicht auf. Es gibt immer Raum für weitere Optimierungen.

Sie können sogar versuchen, einen A/B-Test mit einer anderen Funktion derselben Webseite oder E-Mail durchzuführen, mit der Sie gerade einen Test durchgeführt haben. Wenn Sie z. B. gerade eine Überschrift auf einer Landing Page getestet haben, warum dann nicht einen neuen Test mit dem Text durchführen? Oder ein Farbschema? Oder Bilder? Halten Sie immer Ausschau nach Möglichkeiten, die Konversionsrate und die Anzahl der Leads zu erhöhen.

Wie man die Ergebnisse von A/B-Tests interpretiert

Als Vermarkter kennen Sie den Wert der Automatisierung. Aus diesem Grund verwenden Sie wahrscheinlich Software, die die Berechnungen für A/B-Tests für Sie übernimmt – eine große Hilfe. Aber nachdem die Berechnungen abgeschlossen sind, müssen Sie wissen, wie Sie Ihre Ergebnisse lesen können. Wir erklären Ihnen, wie das geht.

1. Überprüfen Sie Ihre Zielmetrik

Der erste Schritt bei der Auswertung Ihrer A/B-Test-Ergebnisse ist die Überprüfung Ihrer Zielkennzahl, in der Regel die Conversion Rate. Nachdem Sie Ihre Ergebnisse in Ihren A/B-Test-Rechner eingegeben haben, erhalten Sie zwei Ergebnisse für jede getestete Version. Außerdem erhalten Sie ein signifikantes Ergebnis für jede Ihrer Varianten.

2. Vergleichen Sie Ihre Konversionsraten

Anhand Ihrer Ergebnisse können Sie wahrscheinlich erkennen, ob eine Ihrer Varianten besser abschneidet als die andere. Der wahre Test für den Erfolg ist jedoch, ob die Ergebnisse statistisch signifikant sind. Das bedeutet, dass eine Variante auf einem signifikanten Niveau besser abschneidet als die andere, weil z. B. der CTA-Text überzeugender ist.

Angenommen, Variante A hatte eine Konversionsrate von 16,04 % und Variante B eine Konversionsrate von 16,02 %, und Ihr Konfidenzintervall für statistische Signifikanz beträgt 95 %. Variante A hat eine höhere Konversionsrate, aber die Ergebnisse sind statistisch nicht signifikant, was bedeutet, dass Variante A Ihre Gesamtkonversionsrate nicht signifikant verbessern wird.

3. Segmentieren Sie Ihre Zielgruppen, um weitere Erkenntnisse zu gewinnen

Unabhängig von der Signifikanz ist es wertvoll, Ihre Ergebnisse nach Zielgruppensegmenten aufzuschlüsseln, um zu verstehen, wie die einzelnen Schlüsselbereiche auf Ihre Variationen reagiert haben. Übliche Variablen für die Segmentierung von Zielgruppen sind:

Besuchertyp oder welche Version am besten für neue Besucher und welche für wiederkehrende Besucher geeignet ist.
Gerätetyp, d. h. welche Version am besten auf dem Handy und welche am besten auf dem Desktop funktioniert.
Traffic-Quelle: Welche Version am besten abschneidet, hängt davon ab, woher der Traffic zu Ihren beiden Varianten stammt.

Zusammenfassung:

Noch einmal grob im Überblick zusammengefasst ergeben sich folgende Punkte für eine erfolgreiche Durchführung von A/B-Testings

• Sammeln Sie Daten: Ihre Analysen geben oft Aufschluss darüber, wo Sie mit der Optimierung beginnen können. Es ist hilfreich, mit stark frequentierten Bereichen Ihrer Website oder App zu beginnen, damit Sie schneller Daten sammeln können. Suchen Sie nach Seiten mit niedrigen Konversionsraten oder hohen Abbruchraten, die verbessert werden können.
• Legen Sie Ziele fest: Ihre Konversionsziele sind die Metriken, anhand derer Sie feststellen, ob die Variation erfolgreicher ist als die ursprüngliche Version. Ziele können alles sein, vom Klicken auf eine Schaltfläche oder einen Link bis hin zu Produktkäufen und E-Mail-Anmeldungen.
• Erstellen Sie eine Hypothese: Sobald Sie ein Ziel festgelegt haben, können Sie damit beginnen, Ideen für A/B-Tests zu entwickeln und Hypothesen aufzustellen, warum sie Ihrer Meinung nach besser sein werden als die aktuelle Version. Sobald Sie eine Liste von Ideen haben, priorisieren Sie diese nach der erwarteten Wirkung und der Schwierigkeit der Umsetzung.
• Erstellen Sie Variationen: Verwenden Sie Ihre A/B-Testing-Software (z. B. Optimizely) und nehmen Sie die gewünschten Änderungen an einem Element Ihrer Website oder mobilen App vor. Dabei kann es sich um die Änderung der Farbe einer Schaltfläche, die Änderung der Reihenfolge der Elemente auf der Seite, das Ausblenden von Navigationselementen oder um etwas völlig Eigenes handeln. Viele führende A/B-Testing-Tools verfügen über einen visuellen Editor, mit dem sich diese Änderungen leicht vornehmen lassen. Stellen Sie sicher, dass Ihr Experiment wie erwartet funktioniert, und führen Sie eine Qualitätssicherung durch.
• Experiment starten: Starten Sie Ihr Experiment und warten Sie darauf, dass die Besucher daran teilnehmen! Zu diesem Zeitpunkt werden die Besucher Ihrer Website oder App nach dem Zufallsprinzip entweder der Kontrolle oder der Variante Ihres “Erlebnisses” zugewiesen. Ihre Interaktion mit jedem “Erlebnis” wird gemessen, gezählt und verglichen, um festzustellen, wie jedes “Erlebnis” abschneidet.
• Analysieren Sie die Ergebnisse: Sobald Ihr Experiment abgeschlossen ist, ist es an der Zeit, die Ergebnisse zu analysieren. Ihre A/B-Testing-Software stellt die Daten des Experiments dar und zeigt Ihnen den Unterschied zwischen den beiden Versionen Ihrer Seite und ob es einen statistisch signifikanten Unterschied gibt.

Wenn Ihre Variation ein Gewinner ist, herzlichen Glückwunsch! Prüfen Sie, ob Sie die Erkenntnisse aus dem Experiment auf andere Seiten Ihrer Website übertragen können, und führen Sie das Experiment fort, um Ihre Ergebnisse zu verbessern. Wenn Ihr Experiment ein negatives Ergebnis oder gar kein Ergebnis liefert, machen Sie sich keine Sorgen. Nutzen Sie das Experiment als Lernerfahrung und entwickeln Sie neue Hypothesen, die Sie testen können.