← Todos os Skills · Automação · A/B Test Planner

A/B Test Planner — resultado final
Runs inClaude Code Codex Cursor Muse Dot Grok Bot Cue OpenClaw Hermes
Você precisa de:O briefing do teste: ab-test.txt (uma linha Hypothesis, uma linha Page, uma linha Metric com o nome da métrica e | Baseline: 5%, uma linha MDE como melhoria relativa, uma linha Control, uma linha Variant por variante, uma linha Traffic com as visitas diárias — mais as linhas opcionais Split, Secondary, Guardrail, Confidence, Power e Note).

Similar Skills

View all skills →

O que você recebe

  • Um plano de teste pré-registrado: hipótese, grupos, tamanho de amostra, duração e regra de decisão, escritos antes do início
  • Um tamanho de amostra por variante calculado a partir da sua base e do seu MDE — 8.160 por variante com base de 5% e melhoria de 20%, conferido com a tabela de referência publicada
  • Uma duração prevista em dias conforme o seu tráfego diário e a divisão — cerca de 9 dias com 2.000 visitas por dia, 50/50
  • Uma regra de decisão que nomeia o ponto de corte e o limiar de vitória — sem espiar, sem parar antes por uma vitória
  • Cada lacuna, erro de entrada e aviso nomeados no relatório

Ideal para

  • Planejar um teste antes de gastar tráfego com ele — e querer o tamanho de amostra decidido de antemão
  • Decidir se uma mudança sequer vale o teste — um MDE pequeno sobre uma base baixa precisa de mais visitantes do que você tem
  • Julgar um teste encerrado pela regra que você escreveu antes de ver os resultados

Não serve para

  • Executar o teste — o script o planeja, sua ferramenta de testes o executa
  • Analisar resultados ou declarar um vencedor a partir de dados — o script nunca lê as suas análises
  • Garantir que o teste detectará o efeito — o tamanho de amostra é uma estimativa de planejamento, não uma promessa

Resultado de exemplo

Um exemplo do que este Skill produz. Conteúdo de amostra, mostrado para ilustração.

A/B Test Plan — sample

Metric: Signup start rate | Baseline: 5% | MDE: +20% relative (+1.00 pp) | Arms: 2 (Control + 1 variant) | Confidence: 95% | Power: 80%

Sample size: 8,160 per variant | 16,320 total | About 9 days at 2,000 visitors/day (50/50 split)

Decision rule (pre-registered): call the test only when the smallest arm reaches 8,160 visitors; a variant wins only if it beats control by at least 1.00 pp and the difference is significant at 95% confidence. A significant result smaller than the MDE is real but too small to ship on this hypothesis. An inconclusive result is not a reason to extend the test — plan a new one.

Sample sizes are planning estimates from the normal approximation at the stated confidence and power — not a guarantee, and this script does not analyse results.

Sobre este Skill

You say
Queremos testar mover o CTA de cadastro para acima da dobra na página de preços da BeanLoop — vamos planejar o teste antes de executá-lo.

Como instalar

  1. Copie o prompt de instalação no seu agente: Read https://skillu.dev/install/agent.md, then install the A/B Test Planner skill (ab-test-planner).
  2. Ou baixe o pacote do Skill nesta página após o lançamento e coloque a pasta dele no diretório de skills do seu agente.
  3. Chame-o com um comando de barra, ex.: /ab-test-planner, e descreva o que você quer em palavras simples.

Perguntas frequentes

Ready to run significa que a mudança vai vencer?

Não. Significa que todas as partes do plano estão presentes e a entrada não tinha erros — o plano está completo, não o resultado. A maioria dos testes perde ou empata; um plano que diz isso com clareza está cumprindo o seu papel.

Por que o tamanho de amostra é tão grande para uma melhoria pequena?

Porque uma melhoria relativa pequena é uma diferença absoluta pequena — 20% sobre uma base de 5% é apenas 1 ponto percentual, e distinguir 5% de 6% com confiabilidade exige cerca de 8.160 visitantes por variante. Reduza o MDE à metade e a amostra aproximadamente quadruplica.

Obter o Premium Ver mais Skills