Testen ist oft leider nicht mehr als ein Versuch. Es werden neue irgendwelche Gegenentwürfe, zu irgendwas, irgendwie in einen Variantentest geworfen. Die Tester hoffen dann auf einen Treffer. Das ist ähnlich dem Goldschürfen, irgendwo an irgendeinem Fluss. Das ist sehr aufwendig und langfristig nicht wirklich ertragreich – außer man hat großes Glück.

Besser man hält erstmal kurz und knapp fest, was man warum, wo und wie ändern möchte. Wie getestet werden soll und wie man das messen möchte. Hier z.B. ein Steckbrief für Variantentests, wie wir ihn auch schon verwendet haben.

Solche Test-Steckbriefe stehen am Anfang des Testprozesses. Noch vor der Ausarbeitung des detaillierten Testkonzepts, bis hin zum konkreten Entwurf, sollte man sich darüber im Klaren sein, was man konkret testen möchte. Man befasst sich zunächst also mit der Testidee und der Hypothese für einen Test.

Die Steckbriefe sind außerdem bei der Entwicklung einer langfristigen Teststrategie und entsprechenden Testreihen ein handliches Tool. So z.B. wenn man ganze Bestellprozesse über mehrere Seiten hinweg testen möchte. Das braucht ein klares Ziel, sinnvoll aufeinander aufbauende Schritte und manchmal auch Ausdauer (Wochen und Monate). Mit Hilfe der Steckbriefe lässt sich so die „Teststory“ erzählen und man behält einen besseren Überblick.

Unter dem Artikel findet Ihr einen Link zu einer kleinen Vorlage, mit der sich ganz schnell erste Testideen und Hypothesen festhalten lassen. Hier jetzt noch ein paar Anmerkungen dazu.

Die Hypothese

Vielen Tests fehlt eine (gute) Hypothese. Ohne Hypothese ist es aber schwer, gezielt und am Ende auch mit Erfolg und Erkenntnis zu testen. Eine gute Hypothese ist noch kein Garant für den Erfolg eines Tests. Sie garantiert aber zumindest einen Erkenntnisgewinn.

A thoroughly researched hypothesis doesn’t guarantee a winning test. What it does guarantee is a learning opportunity, no matter the outcome (winner, loser, or inconclusive experiment.) – How to Write a Solid A/B Test Hypothesis

Eine gute Testhypothese zu formulieren ist eigentlich gar nicht so schwer und folgt immer dem gleichen Aufbau.

Wir beobachten dass _______

Wenn wir _______ können/werden Nutzer _______

Dadurch _______

Ist es nicht möglich, anhand dieser groben Struktur eine runde Hypothese zu formulieren, ist die Sachen eigentlich auch keinen Test wert. Eine Hypothese lautet nämlich nicht: wir machen den Button größer und dadurch steigt die Conversion Rate…

Problem

Aus der Hypothese …Wir beobachten dass

Kein Test einfach so ins Blaue. Wenn wir einen Test machen, dann v.a. deshalb weil wir ein bestimmtes Problem lösen möchten. Wir brauchen also eine Problembeschreibung.

Lösung

Aus der Hypothese …Wenn wir

Beschreibt die Anpassungen/Änderungen, die gemacht werden, um das beschriebene Problem zu lösen, bzw. das Ziel zu erreichen.

Auswirkungen

Aus der Hypothese …können/werden Nutzer

Beispiel: Es werden dann mehr Nutzer den Button anklicken und im Bestellprozess einen Schritt weiter gehen.

Aus der Hypothese …Dadurch

Dadurch werden, bei sonst gleichem Nutzerverhalten, mehr Nutzer den Bestellprozess durchlaufen.

Ziele und KPIs (Kennzahlen) – Erfolgsmessung

Es handelt sich meistens um Conversion-Ziele, bei denen es v.a. darum geht, dass Nutzer bestimmte Aktionen ausführen (oder auch sein lassen), was sich im Ergebnis dann insgesamt auf Registrierungen, Conversion Rates, Verkäufe, etc. positiv auswirken soll. Deren Erreichung lässt sich anhand konkreter Kennzahlen (KPIs) messen.

Im Beispiel oben soll sich die Conversion Rate und damit auch die Bestellungen erhöhen. Aber nicht nur das Gesamtergebnis (Macro Conversion) ist dabei messbar. Sondern z.B. auch die CTR oder Click Through Rate (Micro Conversion) der Seite, auf der die Änderung gemacht wurde. V.a. beeinflusst durch die Klicks auf den Button (Micro Conversion), die wiederum auch messbar sind. Im Beispiel hätten wir dann zumindest folgende Kennzahlen:

  • CR (Conversion Rate) – Macro Conversion
  • Bestellungen – Macro Conversion
  • Klicks auf den Button – Micro Conversion
  • CTR – Micro Conversion

Erreichen wir unser Ziel nicht – mehr Nutzer in und durch den Bestellprozess zu führen – dann haben wir anhand der verschiedenen Messpunkte wieder gute Ansatzpunkte für weitere Schritte und Tests.

Die Vorlage für Variantentests

Die Vorlage habe ich als Google Tabelle abgelegt: Steckbrief für Variantentests

Zum Nachlesen

Zum Abschluss eine kleine Sammlung von Quellen zur vertiefenden Recherche: