← すべての Skills · 自動化 · A/B Test Planner
自動化 Premium
A/B Test Planner
仮説とベースラインの転換率から、事前登録済みのA/Bテスト計画を作る——対照群とバリアント群、群ごとのサンプルサイズ、想定期間、そしてテスト開始前に決める勝敗の判定ルール。
バージョン 1.0.0
Subscribe — All Skills, one subscription. No exclusions. Curated, verified, and continuously updated.
Premium でこの Skill を入手 プランを見る Install in your agent
あなたが書いたプレーンテキスト ab-test.txt を読み取ります。Hypothesis 行(何が起きると信じているか、どう確かめるか)、Page 行(テスト対象)、Metric 行(指標名と | Baseline: 5%)、MDE 行(最小検出効果を相対リフトで)、Control 行(訪問者が今見ているもの)、バリアントごとに1行の Variant 行、Traffic 行(1日あたりの訪問者数)、任意で Split、Secondary、Guardrail、Confidence、Power、Note 行——ab-test-plan.md を生成します。最初に指標と集計、次に Readiness、各群、群ごとのサンプルサイズとあなたのトラフィックでの想定期間、事前登録した判定ルール、ガードレール指標、副次指標、備考、そしてギャップ、エラー、警告。サンプルサイズは指定した信頼水準と検出力のもと、正規近似で計算した計画用の推定値で、上流スキルの公開参照表と突き合わせてあります(ベースライン5%、リフト20%:こちらは群あたり8,160、あちらは8.2k)。バリアントの勝利は、対照群を少なくともMDE以上上回り、その差が指定した信頼水準で有意な場合のみ。数字が良く見えるからといって早期に止めることは決してありません——早期停止が許されるのはガードレール指標が悪化した場合のみです。ローカルのみ、標準ライブラリのみ。重複行、未知のラベル、空の値、迷子の行は破棄して明示します。Ready to run の計画もあくまで計画です。テストを実行することも、結果を分析することもありません。
こんな方に最適 トラフィックを使う前にテストを計画し、サンプルサイズを先に決めたいとき 変更がテストする価値があるか判断したいとき——低いベースラインに小さな MDE では、手持ちより多くの訪問者が必要になる 結果を見る前に書いたルールで、終わったテストを評価したいとき
Similar Skills View all skills →
得られるもの 事前登録済みのテスト計画:仮説、各群、サンプルサイズ、期間、判定ルールをテスト開始前に文書化 ベースラインと MDE から計算した群ごとのサンプルサイズ——5% ベースライン、20% リフトで群あたり 8,160、公開参照表と突き合わせ済み 1日のトラフィックと割り当てから算出した想定期間——1日 2,000 訪問、50/50 で約 9 日 判定時点と勝利のしきい値を明記した判定ルール——のぞき見なし、勝利のための早期停止なし レポートに明記されるすべてのギャップ、入力エラー、警告
こんな方に最適 トラフィックを使う前にテストを計画し、サンプルサイズを先に決めたいとき 変更がテストする価値があるか判断したいとき——低いベースラインに小さな MDE では、手持ちより多くの訪問者が必要になる 結果を見る前に書いたルールで、終わったテストを評価したいとき
向いていない用途 テストの実行——スクリプトは計画し、実行はテストツールが行う 結果の分析やデータからの勝敗判定——スクリプトは分析データを読み取らない テストが効果を必ず検出することの保証——サンプルサイズは計画用の推定値であり、約束ではない
出力サンプル この Skill が生成するものの例です。サンプルコンテンツであり、説明用に表示しています。
A/B Test Plan — sample
Metric: Signup start rate | Baseline: 5% | MDE: +20% relative (+1.00 pp) | Arms: 2 (Control + 1 variant) | Confidence: 95% | Power: 80%
Sample size: 8,160 per variant | 16,320 total | About 9 days at 2,000 visitors/day (50/50 split)
Decision rule (pre-registered): call the test only when the smallest arm reaches 8,160 visitors; a variant wins only if it beats control by at least 1.00 pp and the difference is significant at 95% confidence. A significant result smaller than the MDE is real but too small to ship on this hypothesis. An inconclusive result is not a reason to extend the test — plan a new one.
Sample sizes are planning estimates from the normal approximation at the stated confidence and power — not a guarantee, and this script does not analyse results.
この Skill について
You say BeanLoop の料金ページで、登録 CTA をファーストビューに移すテストをしたい——走らせる前に計画を立てよう。
インストール方法 インストールプロンプトをあなたのエージェントにコピーしてください: Read https://skillu.dev/install/agent.md, then install the A/B Test Planner skill (ab-test-planner). または、公開後にこのページから Skill パッケージをダウンロードし、そのフォルダをエージェントの skills ディレクトリに配置します。 スラッシュコマンドで呼び出します。例:/ab-test-planner。あとは欲しいものをそのまま言葉で伝えるだけです。
よくある質問 Ready to run は変更が勝つという意味ですか? いいえ。計画のすべての要素がそろい、入力にエラーがないという意味です——計画が完成しているのであって、結果が出たのではありません。ほとんどのテストは負けるか引き分けます。それを率直に示す計画こそ役割を果たしています。
小さなリフトなのにサンプルサイズがこれほど大きいのはなぜですか? 相対リフトが小さいと絶対差も小さいからです。5% のベースラインに対する 20% はわずか 1 ポイントで、5% と 6% を確実に見分けるには群あたり約 8,160 人の訪問者が必要です。MDE を半分にすればサンプルはおよそ 4 倍になります。
Premium を入手 他の Skills を見る