Pre-test calculator
Schätze ab, wie lange ein Test laufen muss und wie groß ein Effekt sein muss, damit er erkannt wird.
Bevor du ein Experiment startest, hilft dir der Pre-Test Calculator bei der Frage: Wie lange muss der Test mit meinem Traffic laufen und wie klein darf eine Änderung sein, damit er sie noch erkennt? Die Antwort ist der Minimum Detectable Effect (MDE): die kleinste relative Änderung der Conversion Rate, die dein Test zuverlässig erkennen kann. Ein niedrigerer MDE braucht mehr Participants und eine längere Laufzeit.
Öffne ihn in deinem Project unter Utilities → Pre-Test Calculator. Der Calculator ist ein Planungswerkzeug. Er liest keine Daten aus deinen Experiments und ändert nichts in deinem Project.
Deine Daten eingeben
Verwende die Zahlen der Page und der Metrik, die du verbessern möchtest, idealerweise dein Primary Goal.
Test page data
| Feld | Beschreibung |
|---|---|
| Weekly traffic | Gesamtzahl der eindeutigen Visitors oder Sessions pro Woche. |
| Weekly conversions | Anzahl der Conversions (zum Beispiel Käufe oder Anmeldungen) pro Woche. |
| Number of variations | Von 2 bis 10, einschließlich der Control (Original). Standard: 2. |
Calculator settings
| Feld | Beschreibung |
|---|---|
| Baseline conversion rate | Wird automatisch als Weekly conversions ÷ Weekly traffic in Prozent berechnet. Du kannst sie überschreiben. |
| Confidence level | Von 80% bis 99%. Sie startet mit dem Confidence level deines Projects. |
Die Results erscheinen, sobald du Weekly traffic und eine Baseline conversion rate eingibst. Sie aktualisieren sich während der Eingabe.
Die Results lesen
Die Tabelle zeigt, was passiert, wenn du den Test 1, 2, 3, 4, 6, 8, 10 oder 12 Wochen laufen lässt:
| Spalte | Bedeutung |
|---|---|
| Number of weeks running test | Die Laufzeit des Tests. |
| Min. Detectable Effect (MDE) | Die kleinste relative Änderung, die der Test nach dieser Zeit erkennen kann. |
| Participants / Variation | Weekly traffic × Wochen, geteilt durch die Anzahl der Variations, aufgerundet. |
Die Zeilen sind von Grün (kurze Tests) über Gelb bis Orange (lange Tests) eingefärbt.
Beispiel: Bei einer Baseline von 5% und einem MDE von 10% kann der Test eine Änderung von 5.0% auf 5.5% oder mehr erkennen. Eine kleinere Änderung geht im Rauschen unter. Wenn deine Idee wahrscheinlich eine kleinere Änderung bewirkt, brauchst du mehr Wochen, weniger Variations oder mehr Traffic.
So wird gerechnet
Die Berechnung verwendet eine statistische Power von 80% und diese Formel für den absoluten Unterschied δ:
δ = (Z(confidence) + Z(power)) × √(2 × p × (1 − p) ÷ n)
wobei p die Baseline conversion rate ist, n die Participants pro Variation und Z(confidence) der zweiseitige z-Wert deines Confidence level. Der MDE ist δ geteilt durch p, in Prozent angezeigt.
Der Calculator erwartet eine Baseline conversion rate zwischen 0% und 100% und positiven Traffic. Andernfalls zeigt er „Enter your test data above to see results."
Tipps zur Planung
- Teste über volle Wochen, damit jeder Wochentag enthalten ist.
- Wenn der MDE höher ist als der Effekt, den du erwartest, endet der Test wahrscheinlich inconclusive. Teste eine mutigere Änderung, eine Page mit mehr Traffic oder weniger Variations.
- Vergleiche die Laufzeit mit der Minimum runtime und den Minimum conversions deines Projects, siehe Statistical Methods.