← Todos los Skills · Automatización · A/B Test Planner

A/B Test Planner: resultado final
Runs inClaude Code Codex Cursor Muse Dot Grok Bot Cue OpenClaw Hermes
Necesitas:El informe de la prueba: ab-test.txt (una línea Hypothesis, una línea Page, una línea Metric con el nombre de la métrica y | Baseline: 5%, una línea MDE como mejora relativa, una línea Control, una línea Variant por variante, una línea Traffic con las visitas diarias, más las líneas opcionales Split, Secondary, Guardrail, Confidence, Power y Note).

Similar Skills

View all skills →

Qué obtienes

  • Un plan de prueba prerregistrado: hipótesis, grupos, tamaño de muestra, duración y regla de decisión, escritos antes de empezar
  • Un tamaño de muestra por variante calculado a partir de tu base y tu MDE: 8.160 por variante con una base del 5 % y una mejora del 20 %, contrastado con la tabla de referencia publicada
  • Una duración prevista en días según tu tráfico diario y tu reparto: unos 9 días con 2.000 visitas al día, 50/50
  • Una regla de decisión que nombra el punto de corte y el umbral de victoria: sin mirar antes de tiempo, sin parar antes por una victoria
  • Cada brecha, error de entrada y advertencia nombrados en el informe

Ideal para

  • Planificar una prueba antes de gastar tráfico en ella, y querer el tamaño de muestra decidido de antemano
  • Decidir si un cambio merece siquiera probarse: un MDE pequeño sobre una base baja necesita más visitantes de los que tienes
  • Juzgar una prueba terminada con la regla que escribiste antes de ver los resultados

No es para

  • Ejecutar la prueba: el script la planifica, tu herramienta de pruebas la ejecuta
  • Analizar resultados o declarar un ganador a partir de datos: el script nunca lee tus analíticas
  • Garantizar que la prueba detectará el efecto: el tamaño de muestra es una estimación de planificación, no una promesa

Resultado de ejemplo

Un ejemplo de lo que produce este Skill. Contenido de muestra, mostrado a modo de ilustración.

A/B Test Plan — sample

Metric: Signup start rate | Baseline: 5% | MDE: +20% relative (+1.00 pp) | Arms: 2 (Control + 1 variant) | Confidence: 95% | Power: 80%

Sample size: 8,160 per variant | 16,320 total | About 9 days at 2,000 visitors/day (50/50 split)

Decision rule (pre-registered): call the test only when the smallest arm reaches 8,160 visitors; a variant wins only if it beats control by at least 1.00 pp and the difference is significant at 95% confidence. A significant result smaller than the MDE is real but too small to ship on this hypothesis. An inconclusive result is not a reason to extend the test — plan a new one.

Sample sizes are planning estimates from the normal approximation at the stated confidence and power — not a guarantee, and this script does not analyse results.

Acerca de este Skill

You say
Queremos probar a mover el CTA de registro por encima del pliegue en la página de precios de BeanLoop: planifiquemos la prueba antes de ejecutarla.

Cómo instalarlo

  1. Copia el prompt de instalación en tu agente: Read https://skillu.dev/install/agent.md, then install the A/B Test Planner skill (ab-test-planner).
  2. O descarga el paquete del Skill desde esta página tras el lanzamiento y coloca su carpeta en el directorio de skills de tu agente.
  3. Llámalo con un comando de barra, p. ej. /ab-test-planner, y describe lo que quieres con palabras sencillas.

Preguntas frecuentes

¿Ready to run significa que el cambio ganará?

No. Significa que todas las partes del plan están presentes y la entrada no tenía errores: el plan está completo, no el resultado. La mayoría de las pruebas pierden o empatan; un plan que lo dice sin rodeos está cumpliendo su función.

¿Por qué el tamaño de muestra es tan grande para una mejora pequeña?

Porque una mejora relativa pequeña es una diferencia absoluta pequeña: un 20 % sobre una base del 5 % es solo 1 punto porcentual, y distinguir el 5 % del 6 % con fiabilidad requiere unos 8.160 visitantes por variante. Reduce el MDE a la mitad y la muestra se multiplica aproximadamente por cuatro.

Obtener Premium Explorar más Skills