← 모든 Skills · 자동화 · A/B Test Planner

A/B Test Planner — 완성된 결과물
Runs inClaude Code Codex Cursor Muse Dot Grok Bot Cue OpenClaw Hermes
필요 사항:테스트 개요: ab-test.txt(Hypothesis 행, Page 행, 지표 이름과 | Baseline: 5%를 포함한 Metric 행, 상대 상승률 형식의 MDE 행, Control 행, 변형마다 한 줄씩 Variant 행, 하루 방문자 수를 담은 Traffic 행 — 선택적으로 Split, Secondary, Guardrail, Confidence, Power, Note 행).

Similar Skills

View all skills →

제공 내용

  • 사전 등록된 테스트 계획: 가설, 각 군, 표본 크기, 기간, 판정 규칙을 테스트 시작 전에 문서화
  • 기준과 MDE에서 계산한 군별 표본 크기 — 기준 5%, 상승 20%에서 군별 8,160, 공개 참조표와 대조 완료
  • 하루 트래픽과 배분 기준 예상 기간 — 하루 방문자 2,000명, 50/50에서 약 9일
  • 판정 시점과 승리 기준을 명시한 판정 규칙 — 몰래 엿보지 않고, 승리했다고 일찍 중단하지 않기
  • 보고서에 명시되는 모든 격차, 입력 오류, 경고

이런 분께 적합

  • 트래픽을 쓰기 전에 테스트를 계획하고 표본 크기를 미리 정하고 싶을 때
  • 변경이 테스트할 가치가 있는지 판단하고 싶을 때 — 낮은 기준에 작은 MDE는 가진 것보다 많은 방문자를 요구합니다
  • 결과를 보기 전에 작성한 규칙으로 끝난 테스트를 평가하고 싶을 때

적합하지 않은 경우

  • 테스트 실행 — 스크립트는 계획하고, 테스트 도구가 실행합니다
  • 결과 분석이나 데이터로 승자 판정 — 스크립트는 분석 데이터를 읽지 않습니다
  • 테스트가 효과를 반드시 검출한다는 보증 — 표본 크기는 계획용 추정치이지 약속이 아닙니다

샘플 출력

이 Skill이 생성하는 것의 예시입니다. 설명을 위한 샘플 콘텐츠입니다.

A/B Test Plan — sample

Metric: Signup start rate | Baseline: 5% | MDE: +20% relative (+1.00 pp) | Arms: 2 (Control + 1 variant) | Confidence: 95% | Power: 80%

Sample size: 8,160 per variant | 16,320 total | About 9 days at 2,000 visitors/day (50/50 split)

Decision rule (pre-registered): call the test only when the smallest arm reaches 8,160 visitors; a variant wins only if it beats control by at least 1.00 pp and the difference is significant at 95% confidence. A significant result smaller than the MDE is real but too small to ship on this hypothesis. An inconclusive result is not a reason to extend the test — plan a new one.

Sample sizes are planning estimates from the normal approximation at the stated confidence and power — not a guarantee, and this script does not analyse results.

이 Skill 소개

You say
BeanLoop 요금 페이지에서 가입 CTA를 첫 화면 위로 옮기는 테스트를 하고 싶어요 — 실행하기 전에 계획을 세우죠.

설치 방법

  1. 설치 프롬프트를 에이전트에 복사하세요: Read https://skillu.dev/install/agent.md, then install the A/B Test Planner skill (ab-test-planner).
  2. 또는 출시 후 이 페이지에서 Skill 패키지를 다운로드해, 그 폴더를 에이전트의 skills 디렉터리에 넣습니다.
  3. 슬래시 명령으로 호출하세요. 예: /ab-test-planner. 그리고 원하는 것을 평범한 말로 설명하세요.

자주 묻는 질문

Ready to run이면 변경이 승리한다는 뜻인가요?

아닙니다. 계획의 모든 요소가 갖춰졌고 입력에 오류가 없다는 뜻입니다 — 계획이 완성됐을 뿐, 결과가 나온 것이 아닙니다. 대부분의 테스트는 지거나 비깁니다. 그 사실을 솔직히 말하는 계획이 제 역할을 하는 것입니다.

상승률이 작은데 표본 크기가 왜 이렇게 큰가요?

상대 상승률이 작으면 절대 차이도 작기 때문입니다. 기준 5%에서 20% 상승은 고작 1%포인트이고, 5%와 6%를 확실히 구분하려면 군별 약 8,160명의 방문자가 필요합니다. MDE를 절반으로 줄이면 표본은 대략 네 배가 됩니다.

Premium 받기 더 많은 Skills 둘러보기