Results interpretieren
Wann ein Result zuverlässig ist, was winner, loser und inconclusive bedeuten und was du als Nächstes tust.
Die Results-Seite zeigt dir für jede Variation und jedes Goal, ob sie winner, loser oder inconclusive ist. Diese Seite erklärt, wie du diese Zustände liest und was du prüfen solltest, bevor du danach handelst.
Was die Zustände bedeuten
| Zustand | Farbe | Bedeutung |
|---|---|---|
| winner | Grün, Icon mit Aufwärtstrend | Die Variation ist in der Gewinnrichtung des Goals besser als die Baseline und alle Decision rules sind erfüllt. |
| loser | Rot, Icon mit Abwärtstrend | Die Variation ist mit hoher Sicherheit schlechter als die Baseline. |
| inconclusive | Grau, Uhr-Icon | ABlyft kann noch keine Aussage treffen. Entweder ist das Result nicht sicher genug oder eine Decision rule ist nicht erfüllt. |
„Besser" hängt von der winning direction des Goals ab. Bei Decrease ist eine Variation, die die Metrik senkt, der Winner. Siehe Goal types.
Inconclusive heißt nicht „kein Effekt". Es heißt, dass die Daten noch keine Aussage erlauben oder dass der Effekt zu klein ist, um ihn mit deinem Traffic zu erkennen.
Wann ist ein Result verlässlich?
Prüfe diese Punkte, bevor du entscheidest:
- Der Zustand ist winner oder loser für dein Primary Goal, nicht nur ein hoher Prozentwert.
- Die Decision rules sind erfüllt. Die Summary zeigt Minimum runtime und Minimum conversions, siehe Decision rules.
- Genug Daten. Siehe Wie lange du warten solltest.
- Das Intervall schneidet nicht die Null. In der Leiste Confidence Interval oder Credible Interval sollte der ganze Bereich auf einer Seite der Null liegen.
- Kein Traffic-Problem. Kein SRM-Badge neben den Variations (siehe unten).
- Das Goal misst, was du denkst. Prüfe Messung prüfen.
Hör nicht beim ersten grünen Result auf
Results schwanken, besonders am Anfang. Die Decision rules schützen dich davor, bei einem zufälligen Ausschlag zu stoppen. Lass ein Experiment über volle Wochen laufen, damit alle Wochentage enthalten sind.
Wie lange du warten solltest
Bei inconclusive Variations zeigt die Spalte Statistical State eine Schätzung wie „≅ 12 days (≅ 3,400 participants) left". Sie ist ein grober Richtwert, hängt von den aktuellen Daten ab und ändert sich mit der Zeit. „The duration cannot be determined yet" bedeutet, dass für eine Schätzung noch nicht genug Daten vorliegen. Um die Laufzeit vor dem Start zu planen, nutze den Pre-test calculator.
Den Traffic Split prüfen (SRM)
Wenn SRM check unter Project → Settings → Statistics & Analytics aktiviert ist, vergleicht ABlyft die tatsächliche Anzahl der Participants pro Variation mit der geplanten Traffic Allocation. Weichen sie stärker ab, als der Zufall erklärt, erscheint neben der Variation ein Badge SRM mit dem Tooltip „SRM detected".
SRM = Sample Ratio Mismatch. Die Einstellung markiert p < 0.005 orange und p < 0.001 rot. Eine Abweichung deutet auf ein technisches Problem hin, zum Beispiel eine Variation, die in manchen Browsern kaputtgeht, oder eine Weiterleitung, die Visitors verliert. Verwende die Results eines Experiments mit roter SRM-Warnung nicht, bevor du die Ursache gefunden hast. Siehe Results wirken unplausibel.
Compare more than one goal
Schau zuerst auf das Primary Goal: Es ist das Goal, das du als Erfolgsmetrik gewählt hast. Sekundäre Goals helfen dir zu verstehen, warum eine Variation funktioniert oder was sie kostet, zum Beispiel eine höhere Klickrate, aber ein niedrigerer Revenue pro Participant. Wenn du viele Goals betrachtest, wird ein einzelnes grünes Result durch Zufall wahrscheinlicher. Gib deshalb dem Primary Goal das größte Gewicht.
Nutze die Filter, um tiefer zu schauen, zum Beispiel nach Device types. Eine Variation kann auf Desktop gewinnen und auf Mobile verlieren. Gefilterte Results zeigen weniger Participants und sind daher weniger sicher.
Was du als Nächstes tun kannst
| Result | Typischer nächster Schritt |
|---|---|
| Winner beim Primary Goal | Setze die Variation für alle auf deiner Website um und stoppe dann das Experiment. |
| Loser | Behalte das Original und nutze die Erkenntnis für deine nächste Idee. |
| Inconclusive am Ende der geplanten Laufzeit | Die Änderung hat keinen erkennbaren Effekt. Entscheide dich für das Original oder die einfachere Version oder teste eine mutigere Änderung. |
Wie du ein Experiment startest, pausierst oder stoppst, siehst du unter Starten, pausieren & beenden.
Get help interpreting
Der Button Interpret auf der Results-Seite öffnet einen Chat mit dem ABlyft AI assistant, der die Results des Experiments erklären kann. Siehe AI-Funktionen.