Results wirken unplausibel
Keine Conversions, eine ungleiche Verteilung oder Zahlen, die zu gut klingen, um wahr zu sein. Finde die Ursache.
Manchmal sehen die Zahlen in deinen Results nicht richtig aus: Ein Goal hat keine Conversions, die Visitors sind ungleich verteilt oder eine Variation gewinnt nach einem Tag mit riesigem Abstand. Diese Seite hilft dir zu entscheiden, ob es ein Messproblem oder einfach normales Verhalten ist.
Zu früh für eine Aussage
Kleine Zahlen schwanken stark. Früh in einem Experiment ist ein großer Unterschied zwischen Variations meist Zufall.
- Lass das Experiment genug Visitors und Conversions sammeln. Die Decision rules legen fest, wann ein Result als Erfolg zählt.
- Nutze den Pre-test calculator, um abzuschätzen, wie viele Visitors du brauchst.
- Stoppe ein Experiment nicht in dem Moment, in dem es zum ersten Mal signifikant aussieht, siehe Results interpretieren.
Ein Goal hat keine Conversions
Bleibt ein Goal bei null, wird das Goal wahrscheinlich nie ausgelöst. Prüfe nach Goal type.
| Goal type | Typische Ursache |
|---|---|
| Pageview | Die Page des Goals passt nicht zur URL, oder das Goal ist der Page nicht zugewiesen. Das Goal wird nur gezählt, solange seine Page aktiv ist. |
| Click | Der CSS selector passt nicht zum angeklickten Element. Selectors, die von generierten Klassennamen abhängen, funktionieren nach einem Release nicht mehr. |
| Custom | Der API name im Aufruf ablyft.push() weicht vom API name des Goals ab (Groß- und Kleinschreibung zählt), oder der Aufruf wird nie erreicht. |
| Revenue | Wie bei Custom, und der Aufruf sendet keinen oder einen falschen Wert. |
Prüfe jedes Goal live, ohne ABlyft zu verlassen:
- Öffne deine Website im Preview-Modus mit dem quality assurance tool (siehe Preview & QA). Im Preview-Modus werden Goals nicht an die Results gesendet, aber du siehst, ob sie auslösen.
- Öffne den Live Log in deinem Project, um die Events zu sehen, die wirklich von echten Besuchen ankommen.
Siehe Messung prüfen und Goal types.
Goals zählen nur für Visitors in einem Experiment
Ein Goal wird nur für Visitors gesendet, die einer Variation zugewiesen wurden. Ein Visitor, der nicht einbezogen wurde, zum Beispiel wegen der Traffic Allocation, erzeugt keine Conversions.
Conversions wirken zu niedrig oder zu hoch
- Counting method. Mit Every zählt ein Visitor, der zehnmal klickt, zehnmal. Stelle sicher, dass die Methode zur Frage passt, die du stellst, siehe Counting Method.
- Das Goal löst öfter aus, als du denkst. Zum Beispiel ein Click-Goal auf einem Element, das auch von Skripten angeklickt wird, oder ein Custom-Goal, das in einer Schleife aufgerufen wird.
- Revenue-Werte. Prüfe, ob deine Seite den Betrag als einfache Zahl sendet, ohne Währungszeichen oder Tausendertrennzeichen, und durchgängig gleich (dieselbe Währung, mit oder ohne Steuer). Prüfe auch den Value Filter des Goals, siehe Value Filters.
- Deine eigenen Besuche. Besuche deines Teams zählen wie alle anderen Besuche. Schließe dich selbst mit dem Opt-out aus (einmal pro Browser) oder nutze den Preview-Modus, der keine Goals zählt.
Goals auf einer anderen Domain
Visitors werden in ihrem Browser einer Variation zugewiesen. Ein Goal kann nur gezählt werden, wenn die Seite, auf der es passiert, die Zuweisung kennt.
- Auf einer Subdomain derselben Website funktioniert das ohne Weiteres.
- Auf einer anderen Domain (zum Beispiel ein separater Checkout auf
pay.example.org) trägst du diese Domain unter Settings → Project Settings bei External tracking domains ein. ABlyft gibt die Zuweisung dann beim Wechsel der Visitors über einen URL-Parameter weiter. Das Snippet muss auch auf der anderen Domain installiert sein.
Ohne das gehen Conversions auf der anderen Domain verloren und die Results sehen zu niedrig aus. Siehe Snippet settings.
Die Verteilung auf die Variations ist ungleichmäßig
Wenn du 50/50 erwartest, aber bei Tausenden Visitors zum Beispiel 60/40 siehst, liegt möglicherweise ein sample ratio mismatch (SRM) vor. Kleine Abweichungen sind normaler Zufall. Eine starke Abweichung deutet auf ein technisches Problem hin, und den Results kann man nicht trauen.
ABlyft kann dich warnen, siehe Den Traffic Split prüfen (SRM).
Typische Ursachen:
- Eine Variation lädt langsamer oder geht kaputt. Hat der Code einer Variation einen Fehler, leitet langsam weiter oder stürzt in manchen Browsern ab, verlassen diese Visitors die Seite, bevor sie gezählt werden.
- Änderungen während des Laufs. Wenn du Traffic-Prozentwerte oder die Audiences änderst, während das Experiment läuft, verschiebt sich die Verteilung.
Prüfe die Variations in anderen Browsern und auf Mobilgeräten und siehe Änderungen fehlen.
Überlappende Experiments
Ein Visitor kann auf derselben Seite gleichzeitig in mehreren Experiments sein. Ändern die Experiments denselben Bereich oder beeinflussen dasselbe Goal, verzerren sie sich gegenseitig. Lege solche Experiments in eine Exclusion Group, damit ein Visitor nur an einem davon teilnimmt. Siehe Exclusion Groups.
Weitere Einflüsse auf die Zahlen
- Bots werden nur anhand ihrer Browser-Kennung gefiltert, daher können einige automatisierte Besuche übrig bleiben.
- Saisonale Effekte wie Kampagnen, Feiertage oder ein Sale mitten im Lauf. Lass das Experiment über volle Wochen laufen.
- Änderungen an deiner Website während des Experiments, etwa ein neues Release, können das Verhalten für alle Variations verändern.
- Results aktualisieren sich mit Verzögerung. Events werden regelmäßig verarbeitet; sehr aktuelle Besuche brauchen einen kurzen Moment, bis sie in den Results erscheinen. Der Live Log zeigt Events früher.
Noch unsicher?
Wende dich an den ABlyft-Support und gib das Experiment, das betroffene Goal und, wenn möglich, einen Screenshot des Live Log an.
Nächste Schritte
- Results interpretieren
- Messung prüfen
- Debugging für Entwicklerinnen und Entwickler