← すべての Skills · 自動化 · A/B Test Planner

A/B Test Planner — 完成した成果物
Runs inClaude Code Codex Cursor Muse Dot Grok Bot Cue OpenClaw Hermes
必要なもの:テストの概要:ab-test.txt(Hypothesis 行、Page 行、指標名と | Baseline: 5% を含む Metric 行、相対リフト形式の MDE 行、Control 行、バリアントごとに1行の Variant 行、1日あたりの訪問者数を示す Traffic 行——任意で Split、Secondary、Guardrail、Confidence、Power、Note 行)。

Similar Skills

View all skills →

得られるもの

  • 事前登録済みのテスト計画:仮説、各群、サンプルサイズ、期間、判定ルールをテスト開始前に文書化
  • ベースラインと MDE から計算した群ごとのサンプルサイズ——5% ベースライン、20% リフトで群あたり 8,160、公開参照表と突き合わせ済み
  • 1日のトラフィックと割り当てから算出した想定期間——1日 2,000 訪問、50/50 で約 9 日
  • 判定時点と勝利のしきい値を明記した判定ルール——のぞき見なし、勝利のための早期停止なし
  • レポートに明記されるすべてのギャップ、入力エラー、警告

こんな方に最適

  • トラフィックを使う前にテストを計画し、サンプルサイズを先に決めたいとき
  • 変更がテストする価値があるか判断したいとき——低いベースラインに小さな MDE では、手持ちより多くの訪問者が必要になる
  • 結果を見る前に書いたルールで、終わったテストを評価したいとき

向いていない用途

  • テストの実行——スクリプトは計画し、実行はテストツールが行う
  • 結果の分析やデータからの勝敗判定——スクリプトは分析データを読み取らない
  • テストが効果を必ず検出することの保証——サンプルサイズは計画用の推定値であり、約束ではない

出力サンプル

この Skill が生成するものの例です。サンプルコンテンツであり、説明用に表示しています。

A/B Test Plan — sample

Metric: Signup start rate | Baseline: 5% | MDE: +20% relative (+1.00 pp) | Arms: 2 (Control + 1 variant) | Confidence: 95% | Power: 80%

Sample size: 8,160 per variant | 16,320 total | About 9 days at 2,000 visitors/day (50/50 split)

Decision rule (pre-registered): call the test only when the smallest arm reaches 8,160 visitors; a variant wins only if it beats control by at least 1.00 pp and the difference is significant at 95% confidence. A significant result smaller than the MDE is real but too small to ship on this hypothesis. An inconclusive result is not a reason to extend the test — plan a new one.

Sample sizes are planning estimates from the normal approximation at the stated confidence and power — not a guarantee, and this script does not analyse results.

この Skill について

You say
BeanLoop の料金ページで、登録 CTA をファーストビューに移すテストをしたい——走らせる前に計画を立てよう。

インストール方法

  1. インストールプロンプトをあなたのエージェントにコピーしてください: Read https://skillu.dev/install/agent.md, then install the A/B Test Planner skill (ab-test-planner).
  2. または、公開後にこのページから Skill パッケージをダウンロードし、そのフォルダをエージェントの skills ディレクトリに配置します。
  3. スラッシュコマンドで呼び出します。例:/ab-test-planner。あとは欲しいものをそのまま言葉で伝えるだけです。

よくある質問

Ready to run は変更が勝つという意味ですか?

いいえ。計画のすべての要素がそろい、入力にエラーがないという意味です——計画が完成しているのであって、結果が出たのではありません。ほとんどのテストは負けるか引き分けます。それを率直に示す計画こそ役割を果たしています。

小さなリフトなのにサンプルサイズがこれほど大きいのはなぜですか?

相対リフトが小さいと絶対差も小さいからです。5% のベースラインに対する 20% はわずか 1 ポイントで、5% と 6% を確実に見分けるには群あたり約 8,160 人の訪問者が必要です。MDE を半分にすればサンプルはおよそ 4 倍になります。

Premium を入手 他の Skills を見る