← Alle Skills · Automatisierung · A/B Test Planner

A/B Test Planner — fertiges Ergebnis
Runs inClaude Code Codex Cursor Muse Dot Grok Bot Cue OpenClaw Hermes
Du brauchst:Das Test-Briefing: ab-test.txt (eine Hypothesis-Zeile, eine Page-Zeile, eine Metric-Zeile mit Metriknamen und | Baseline: 5%, eine MDE-Zeile als relative Verbesserung, eine Control-Zeile, eine Variant-Zeile je Variante, eine Traffic-Zeile mit Besuchern pro Tag — plus optionale Split-, Secondary-, Guardrail-, Confidence-, Power- und Note-Zeilen).

Similar Skills

View all skills →

Das bekommst du

  • Einen vorab registrierten Testplan: Hypothese, Gruppen, Stichprobengröße, Laufzeit und Entscheidungsregel, vor Teststart festgehalten
  • Eine Stichprobengröße je Variante, berechnet aus deiner Basis und deinem MDE — 8.160 je Variante bei 5 % Basis und 20 % Verbesserung, gegengeprüft mit der veröffentlichten Referenztabelle
  • Eine erwartete Laufzeit in Tagen bei deinem Tages-Traffic und deiner Aufteilung — etwa 9 Tage bei 2.000 Besuchern pro Tag, 50/50
  • Eine Entscheidungsregel, die den Stichtag und die Gewinnschwelle nennt — kein vorzeitiges Spähen, kein vorzeitiger Stopp wegen eines Siegs
  • Jede Lücke, jeder Eingabefehler und jede Warnung im Bericht benannt

Gut geeignet für

  • Einen Test planen, bevor Traffic dafür ausgegeben wird — und die Stichprobengröße vorab festlegen
  • Entscheiden, ob eine Änderung überhaupt einen Test wert ist — ein kleiner MDE bei niedriger Basis braucht mehr Besucher, als du hast
  • Einen beendeten Test nach der Regel beurteilen, die du vor den Ergebnissen geschrieben hast

Nicht geeignet für

  • Den Test ausführen — das Skript plant ihn, dein Test-Tool führt ihn aus
  • Ergebnisse analysieren oder aus Daten einen Gewinner bestimmen — das Skript liest deine Analysen nie
  • Garantieren, dass der Test den Effekt erkennt — die Stichprobengröße ist eine Planungsschätzung, kein Versprechen

Beispielergebnis

Ein Beispiel dafür, was dieser Skill produziert. Beispielinhalt, zur Veranschaulichung gezeigt.

A/B Test Plan — sample

Metric: Signup start rate | Baseline: 5% | MDE: +20% relative (+1.00 pp) | Arms: 2 (Control + 1 variant) | Confidence: 95% | Power: 80%

Sample size: 8,160 per variant | 16,320 total | About 9 days at 2,000 visitors/day (50/50 split)

Decision rule (pre-registered): call the test only when the smallest arm reaches 8,160 visitors; a variant wins only if it beats control by at least 1.00 pp and the difference is significant at 95% confidence. A significant result smaller than the MDE is real but too small to ship on this hypothesis. An inconclusive result is not a reason to extend the test — plan a new one.

Sample sizes are planning estimates from the normal approximation at the stated confidence and power — not a guarantee, and this script does not analyse results.

Über diesen Skill

You say
Wir wollen testen, ob der Signup-CTA über dem Fold auf der BeanLoop-Preisseite mehr Anmeldungen bringt — planen wir den Test, bevor wir ihn starten.

Installation

  1. Kopiere den Installations-Prompt in deinen Agenten: Read https://skillu.dev/install/agent.md, then install the A/B Test Planner skill (ab-test-planner).
  2. Oder lade das Skill-Paket nach dem Start von dieser Seite herunter und lege seinen Ordner in das Skills-Verzeichnis deines Agenten.
  3. Rufe ihn per Slash-Befehl auf, z. B. /ab-test-planner, und beschreibe in einfachen Worten, was du willst.

Häufige Fragen

Bedeutet Ready to run, dass die Änderung gewinnen wird?

Nein. Es bedeutet, dass alle Teile des Plans vorhanden sind und die Eingabe fehlerfrei war — der Plan ist vollständig, nicht das Ergebnis. Die meisten Tests verlieren oder enden unentschieden; ein Plan, der das offen sagt, erfüllt seine Aufgabe.

Warum ist die Stichprobe für eine kleine Verbesserung so groß?

Weil eine kleine relative Verbesserung eine kleine absolute Differenz ist — 20 % auf 5 % Basis sind nur 1 Prozentpunkt, und 5 % von 6 % verlässlich zu unterscheiden, braucht etwa 8.160 Besucher je Variante. Halbiere den MDE, und die Stichprobe vervierfacht sich ungefähr.

Premium holen Mehr Skills ansehen