Statistical Methods
Wie ABlyft Results berechnet, welche Methoden du wählen kannst und welche Regeln einen Winner bestimmen.
ABlyft vergleicht jede Variation mit der Baseline und berechnet, wie sicher es sein kann, dass der Unterschied echt ist und nicht zufällig. Du wählst zwischen drei Methoden: Frequentist, Bayesian und Legacy. Zusätzlich zur Methode entscheiden drei Einstellungen, wann eine Variation Winner oder Loser genannt werden darf: das Confidence level, die Minimum conversions und die Minimum runtime.
Die Baseline
Die Baseline ist die Variation, mit der alle anderen verglichen werden. Normalerweise ist das Original, die unveränderte Version. Auf der Results-Seite ist sie mit „Baseline" markiert. Improvement, Certainty und Statistical State werden nur für die anderen Variations berechnet.
Zwei Arten von Metriken
ABlyft verwendet für jede Art von Goal eine Methode:
| Art | Goals | Verglichene Zahlen |
|---|---|---|
| Binary metrics | Goals, die Conversions zählen, wie Pageview, Click und Custom-Goals mit dem Measurement type Conversion. | Conversion Rates |
| Continuous metrics | Goals, die einen Wert messen, wie Revenue-Goals und Custom-Goals mit dem Measurement type Value. | Value per Participant |
Für beide Arten wählst du die Methode getrennt, ein Revenue-Goal kann also anders ausgewertet werden als ein Click-Goal.
Die drei Methoden
Frequentist
Der Standard für neue Projects. Er fragt: Wenn es keinen echten Unterschied gäbe, wie wahrscheinlich wäre dann ein so großer Unterschied?
- Conversion-Goals: ein Zwei-Stichproben-z-Test auf den Conversion Rates.
- Value-Goals: Welchs t-Test auf dem Value per Participant. Participants ohne Wert zählen als null.
- Goals mit der Counting Method Every, bei denen die Rate über 100% liegen kann: ein Poisson-Raten-z-Test.
- Die Certainty wird aus dem p-value (zweiseitig) berechnet. Das Result zeigt außerdem den p-value und den z- oder t-Score.
Bayesian
Er fragt: Wie wahrscheinlich ist es, dass diese Variation besser ist als die Baseline?
- Conversion-Goals: ein Beta-Binomial-Modell.
- Value-Goals: ein Modell für Mittelwerte mit einem schwachen Prior.
- Beide verwenden 10,000 Simulationen, daher können die Zahlen nach einer Neuberechnung leicht abweichen.
- Die Certainty ist die Wahrscheinlichkeit, dass die Variation besser ist als die Baseline. Bei Goals mit der winning direction Decrease ist es die Wahrscheinlichkeit, dass die Variation niedriger ist. Die Tabelle zeigt Credible Interval statt Confidence Interval.
Bayesian mit der Counting Method Every
Wenn die Conversion Rate eines Goals über 100% liegt (möglich mit der Counting Method Every), kann die Bayesian-Methode für Conversion-Goals kein Result berechnen. Die Certainty bleibt bei 50% und die Variation bleibt inconclusive. Wähle für solche Goals Frequentist oder verwende die Counting Method One.
Legacy
Die Methode früherer ABlyft-Versionen, die erhalten bleibt, damit bestehende Experiments vergleichbar bleiben. Sie verwendet einen klassischen z-Test mit den Standardfehlern beider Gruppen. Neue Experiments sollten Frequentist oder Bayesian verwenden.
Die Methode wählen
| Wo | Was |
|---|---|
| Project → Settings → Statistics & Analytics → Default Statistical Methods | Standardwerte für neue Experiments: Statistical method for binary metrics und Statistical method for continuous metrics. |
| Experiment → Edit settings → Statistics → Statistical Methods | Dieselben zwei Optionen für ein einzelnes Experiment. |
| Results → Filters and Settings → Statistical method | Eine vorübergehende Ansicht mit einer anderen Methode. Die Methoden-Badges unter der Summary werden orange, solange ein Override aktiv ist. |
Die Summary auf der Results-Seite zeigt die verwendeten Methoden, zum Beispiel „Statistical method: Frequentist (binary) / Frequentist (numeric)".
Decision rules
Eine Variation wird nur dann als winner oder loser erklärt, wenn alle drei Bedingungen erfüllt sind. Die Results-Seite wiederholt diese Regel unter der Summary.
| Einstellung | Bedeutung | Standard |
|---|---|---|
| Confidence level | Die Certainty, die ein Result erreichen muss, von 50% bis 99.9%. Verfügbare Stufen: 50, 70, 75, 80, 85, 90, 92, 95, 96, 97, 98, 99, 99.5, 99.8, 99.9. | Pro Project festgelegt |
| Minimum conversions | Anzahl der Conversions, die die Variation vor einer Entscheidung braucht. | 100 |
| Minimum runtime | Anzahl der Tage, die das Experiment vor einer Entscheidung gelaufen sein muss. | 2 days |
Fehlt eine Bedingung, ist der Zustand inconclusive, auch wenn die Certainty hoch ist.
- Winner: Das Result ist sicher und die Änderung geht in die winning direction des Goals.
- Loser: Das Result ist sicher und die Änderung geht gegen die winning direction.
- Inconclusive: nicht sicher, oder Minimum runtime bzw. Minimum conversions nicht erreicht.
Die Minimum runtime zählt ab dem Tag, an dem das Goal zum Experiment hinzugefügt wurde.
Die Einstellungen ändern
Lege die Standardwerte für das Project unter Project → Settings → Statistics & Analytics fest: Confidence level, Minimum conversions und Minimum runtime. Für ein einzelnes Experiment öffnest du Edit settings, gehst zum Bereich Statistics und aktivierst Override project defaults. Dann ersetzen die drei Werte des Experiments die Standardwerte des Projects.
Ein höheres Confidence level senkt das Risiko eines falschen Results, braucht aber mehr Participants und eine längere Laufzeit. Ändere die Einstellungen, bevor das Experiment startet. Wenn du sie änderst, nachdem du die Results gesehen hast, werden diese weniger zuverlässig.
Weitere Optionen unter Statistics & Analytics:
| Option | Beschreibung |
|---|---|
| SRM check | Zeigt in den Results eine Warnung an, wenn die Traffic-Verteilung nicht stimmt, siehe Den Traffic Split prüfen (SRM). |
| Auto-pause on significance | Pausiert ein laufendes Experiment automatisch, siehe Primary and secondary goals. |
Nächste Schritte
- Results interpretieren
- Metrics
- Pre-test calculator, um die Laufzeit zu planen