# Statistical Methods URL: https://docs.ablyft.com/de/guides/results/statistics-methods/ > Wie ABlyft Results berechnet, welche Methoden du wählen kannst und welche Regeln einen Winner bestimmen. ABlyft vergleicht jede Variation mit der **Baseline** und berechnet, wie sicher es sein kann, dass der Unterschied echt ist und nicht zufällig. Du wählst zwischen drei Methoden: **Frequentist**, **Bayesian** und **Legacy**. Zusätzlich zur Methode entscheiden drei Einstellungen, wann eine Variation Winner oder Loser genannt werden darf: das Confidence level, die Minimum conversions und die Minimum runtime. ## Die Baseline Die Baseline ist die Variation, mit der alle anderen verglichen werden. Normalerweise ist das **Original**, die unveränderte Version. Auf der Results-Seite ist sie mit „Baseline" markiert. Improvement, Certainty und Statistical State werden nur für die anderen Variations berechnet. ## Zwei Arten von Metriken ABlyft verwendet für jede Art von Goal eine Methode: | Art | Goals | Verglichene Zahlen | | ---------------------- | ------------------------------------------------------------------------------------------------------------ | --------------------- | | **Binary metrics** | Goals, die Conversions zählen, wie Pageview, Click und Custom-Goals mit dem Measurement type **Conversion**. | Conversion Rates | | **Continuous metrics** | Goals, die einen Wert messen, wie Revenue-Goals und Custom-Goals mit dem Measurement type **Value**. | Value per Participant | Für beide Arten wählst du die Methode getrennt, ein Revenue-Goal kann also anders ausgewertet werden als ein Click-Goal. ## Die drei Methoden ### Frequentist Der Standard für neue Projects. Er fragt: *Wenn es keinen echten Unterschied gäbe, wie wahrscheinlich wäre dann ein so großer Unterschied?* * Conversion-Goals: ein Zwei-Stichproben-z-Test auf den Conversion Rates. * Value-Goals: Welchs t-Test auf dem Value per Participant. Participants ohne Wert zählen als null. * Goals mit der Counting Method **Every**, bei denen die Rate über 100% liegen kann: ein Poisson-Raten-z-Test. * Die **Certainty** wird aus dem p-value (zweiseitig) berechnet. Das Result zeigt außerdem den p-value und den z- oder t-Score. ### Bayesian Er fragt: *Wie wahrscheinlich ist es, dass diese Variation besser ist als die Baseline?* * Conversion-Goals: ein Beta-Binomial-Modell. * Value-Goals: ein Modell für Mittelwerte mit einem schwachen Prior. * Beide verwenden 10,000 Simulationen, daher können die Zahlen nach einer Neuberechnung leicht abweichen. * Die **Certainty** ist die Wahrscheinlichkeit, dass die Variation besser ist als die Baseline. Bei Goals mit der winning direction **Decrease** ist es die Wahrscheinlichkeit, dass die Variation niedriger ist. Die Tabelle zeigt **Credible Interval** statt **Confidence Interval**. > **Bayesian mit der Counting Method Every:** Wenn die Conversion Rate eines Goals über 100% liegt (möglich mit der Counting Method **Every**), kann die Bayesian-Methode > für Conversion-Goals kein Result berechnen. Die Certainty bleibt bei 50% und die Variation bleibt inconclusive. > Wähle für solche Goals Frequentist oder verwende die Counting Method **One**. ### Legacy Die Methode früherer ABlyft-Versionen, die erhalten bleibt, damit bestehende Experiments vergleichbar bleiben. Sie verwendet einen klassischen z-Test mit den Standardfehlern beider Gruppen. Neue Experiments sollten Frequentist oder Bayesian verwenden. ## Die Methode wählen | Wo | Was | | ----------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------- | | **Project → Settings → Statistics & Analytics → Default Statistical Methods** | Standardwerte für neue Experiments: **Statistical method for binary metrics** und **Statistical method for continuous metrics**. | | **Experiment → Edit settings → Statistics → Statistical Methods** | Dieselben zwei Optionen für ein einzelnes Experiment. | | **Results → Filters and Settings → Statistical method** | Eine vorübergehende Ansicht mit einer anderen Methode. Die Methoden-Badges unter der Summary werden orange, solange ein Override aktiv ist. | Die Summary auf der Results-Seite zeigt die verwendeten Methoden, zum Beispiel „Statistical method: Frequentist (binary) / Frequentist (numeric)". ## Decision rules Eine Variation wird nur dann als **winner** oder **loser** erklärt, wenn alle drei Bedingungen erfüllt sind. Die Results-Seite wiederholt diese Regel unter der Summary. | Einstellung | Bedeutung | Standard | | ----------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------- | ---------------------- | | **Confidence level** | Die Certainty, die ein Result erreichen muss, von 50% bis 99.9%. Verfügbare Stufen: 50, 70, 75, 80, 85, 90, 92, 95, 96, 97, 98, 99, 99.5, 99.8, 99.9. | Pro Project festgelegt | | **Minimum conversions** | Anzahl der Conversions, die die Variation vor einer Entscheidung braucht. | 100 | | **Minimum runtime** | Anzahl der Tage, die das Experiment vor einer Entscheidung gelaufen sein muss. | 2 days | Fehlt eine Bedingung, ist der Zustand **inconclusive**, auch wenn die Certainty hoch ist. * **Winner**: Das Result ist sicher und die Änderung geht in die winning direction des Goals. * **Loser**: Das Result ist sicher und die Änderung geht gegen die winning direction. * **Inconclusive**: nicht sicher, oder Minimum runtime bzw. Minimum conversions nicht erreicht. Die Minimum runtime zählt ab dem Tag, an dem das Goal zum Experiment hinzugefügt wurde. ### Die Einstellungen ändern Lege die Standardwerte für das Project unter **Project → Settings → Statistics & Analytics** fest: **Confidence level**, **Minimum conversions** und **Minimum runtime**. Für ein einzelnes Experiment öffnest du **Edit settings**, gehst zum Bereich **Statistics** und aktivierst **Override project defaults**. Dann ersetzen die drei Werte des Experiments die Standardwerte des Projects. > Ein höheres Confidence level senkt das Risiko eines falschen Results, braucht aber mehr Participants und eine längere Laufzeit. > Ändere die Einstellungen, bevor das Experiment startet. Wenn du sie änderst, nachdem du die Results gesehen hast, werden diese weniger zuverlässig. Weitere Optionen unter **Statistics & Analytics**: | Option | Beschreibung | | ------------------------------ | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | | **SRM check** | Zeigt in den Results eine Warnung an, wenn die Traffic-Verteilung nicht stimmt, siehe [Den Traffic Split prüfen (SRM)](https://docs.ablyft.com/de/guides/results/interpret-results/#check-the-traffic-split-srm). | | **Auto-pause on significance** | Pausiert ein laufendes Experiment automatisch, siehe [Primary and secondary goals](https://docs.ablyft.com/de/guides/goals-and-measurement/configure-goals/#primary-and-secondary-goals). | ## Nächste Schritte * [Results interpretieren](https://docs.ablyft.com/de/guides/results/interpret-results/) * [Metrics](https://docs.ablyft.com/de/guides/results/metrics/) * [Pre-test calculator](https://docs.ablyft.com/de/guides/results/pre-test-calculator/), um die Laufzeit zu planen