← Tous les Skills · Automatisation · A/B Test Planner

A/B Test Planner — résultat final
Runs inClaude Code Codex Cursor Muse Dot Grok Bot Cue OpenClaw Hermes
Il vous faut :Le brief du test : ab-test.txt (une ligne Hypothesis, une ligne Page, une ligne Metric avec le nom de la métrique et | Baseline: 5%, une ligne MDE en amélioration relative, une ligne Control, une ligne Variant par variante, une ligne Traffic avec les visiteurs par jour — plus les lignes facultatives Split, Secondary, Guardrail, Confidence, Power et Note).

Similar Skills

View all skills →

Ce que vous obtenez

  • Un plan de test préenregistré : hypothèse, groupes, taille d'échantillon, durée et règle de décision, écrits avant le début
  • Une taille d'échantillon par variante calculée à partir de votre base et de votre MDE — 8 160 par variante avec une base de 5 % et une amélioration de 20 %, vérifiée par recoupement avec le tableau de référence publié
  • Une durée prévue en jours selon votre trafic quotidien et votre répartition — environ 9 jours avec 2 000 visiteurs par jour, 50/50
  • Une règle de décision qui nomme le point d'appel et le seuil de victoire — pas de coup d'œil en avance, pas d'arrêt anticipé pour une victoire
  • Chaque lacune, erreur de saisie et avertissement nommés dans le rapport

Idéal pour

  • Planifier un test avant d'y consacrer du trafic — et vouloir la taille d'échantillon décidée à l'avance
  • Décider si un changement vaut même la peine d'être testé — un petit MDE sur une base faible exige plus de visiteurs que vous n'en avez
  • Juger un test terminé selon la règle écrite avant d'avoir vu les résultats

Pas pour

  • Exécuter le test — le script le planifie, votre outil de test l'exécute
  • Analyser les résultats ou déclarer un vainqueur à partir de données — le script ne lit jamais vos analytics
  • Garantir que le test détectera l'effet — la taille d'échantillon est une estimation de planification, pas une promesse

Exemple de résultat

Un exemple de ce que produit ce Skill. Contenu d'échantillon, montré à titre d'illustration.

A/B Test Plan — sample

Metric: Signup start rate | Baseline: 5% | MDE: +20% relative (+1.00 pp) | Arms: 2 (Control + 1 variant) | Confidence: 95% | Power: 80%

Sample size: 8,160 per variant | 16,320 total | About 9 days at 2,000 visitors/day (50/50 split)

Decision rule (pre-registered): call the test only when the smallest arm reaches 8,160 visitors; a variant wins only if it beats control by at least 1.00 pp and the difference is significant at 95% confidence. A significant result smaller than the MDE is real but too small to ship on this hypothesis. An inconclusive result is not a reason to extend the test — plan a new one.

Sample sizes are planning estimates from the normal approximation at the stated confidence and power — not a guarantee, and this script does not analyse results.

À propos de ce Skill

You say
Nous voulons tester le déplacement du CTA d'inscription au-dessus de la ligne de flottaison sur la page tarifs de BeanLoop — planifions le test avant de le lancer.

Comment l'installer

  1. Copiez l'invite d'installation dans votre agent : Read https://skillu.dev/install/agent.md, then install the A/B Test Planner skill (ab-test-planner).
  2. Ou téléchargez le paquet du Skill depuis cette page après le lancement et placez son dossier dans le répertoire de skills de votre agent.
  3. Appelez-le avec une commande barre oblique, p. ex. /ab-test-planner, et décrivez ce que vous voulez en mots simples.

Questions fréquentes

Ready to run signifie-t-il que le changement va gagner ?

Non. Cela signifie que toutes les parties du plan sont présentes et que la saisie ne comportait pas d'erreur — le plan est complet, pas le résultat. La plupart des tests perdent ou finissent à égalité ; un plan qui le dit franchement remplit son rôle.

Pourquoi l'échantillon est-il si grand pour une petite amélioration ?

Parce qu'une petite amélioration relative est une petite différence absolue — 20 % sur une base de 5 %, ce n'est qu'un point de pourcentage, et distinguer 5 % de 6 % de façon fiable demande environ 8 160 visiteurs par variante. Divisez le MDE par deux et l'échantillon est multiplié par quatre environ.

Obtenir Premium Parcourir plus de Skills