← 全部 Skills · 自動化 · A/B Test Planner

A/B Test Planner——最終產出
Runs inClaude Code Codex Cursor Muse Dot Grok Bot Cue OpenClaw Hermes
需要:測試簡報:ab-test.txt(Hypothesis 行、Page 行、帶指標名與 | Baseline: 5% 的 Metric 行、相對提升形式的 MDE 行、Control 行、每個變體一行 Variant 行、帶每日訪客數的 Traffic 行——另加可選的 Split、Secondary、Guardrail、Confidence、Power、Note 行)。

Similar Skills

View all skills →

你將獲得

  • 一份預先登記的測試方案:假設、各組、樣本量、時長與判定規則,都在開測前寫好
  • 按你的基準與 MDE 算出的每組樣本量——5% 基準、20% 提升時每組 8,160,已與公開參考表交叉核對
  • 按你的日流量與分流算出的預計天數——每天 2,000 訪客、50/50 分流時約 9 天
  • 寫明判定點與獲勝門檻的判定規則——不偷看、不因數字好看提前停測
  • 報告中點名每一個缺口、輸入錯誤與警告

適合對象

  • 花流量之前先把測試規劃好——樣本量要提前定下來
  • 判斷一個改動值不值得測——低基準配小 MDE,需要的訪客可能比你有的還多
  • 拿開測前寫好的規則,去評判一場已經跑完的測試

不適合

  • 跑測試——腳本只做規劃,測試由你的測試工具來跑
  • 分析結果或憑數據判定勝負——腳本從不讀你的分析數據
  • 保證測試一定能檢出效應——樣本量只是規劃估計值,不是承諾

範例輸出

此 Skill 產出的範例。範例內容,僅供說明。

A/B Test Plan — sample

Metric: Signup start rate | Baseline: 5% | MDE: +20% relative (+1.00 pp) | Arms: 2 (Control + 1 variant) | Confidence: 95% | Power: 80%

Sample size: 8,160 per variant | 16,320 total | About 9 days at 2,000 visitors/day (50/50 split)

Decision rule (pre-registered): call the test only when the smallest arm reaches 8,160 visitors; a variant wins only if it beats control by at least 1.00 pp and the difference is significant at 95% confidence. A significant result smaller than the MDE is real but too small to ship on this hypothesis. An inconclusive result is not a reason to extend the test — plan a new one.

Sample sizes are planning estimates from the normal approximation at the stated confidence and power — not a guarantee, and this script does not analyse results.

關於此 Skill

You say
我們想在 BeanLoop 定價頁測試把註冊 CTA 移到首屏上方——開測前先把方案定下來。

如何安裝

  1. 把安裝提示詞複製到你的 Agent: Read https://skillu.dev/install/agent.md, then install the A/B Test Planner skill (ab-test-planner).
  2. 或在上線後從本頁下載 Skill 包,把它的資料夾放入你的 Agent 的 skills 目錄。
  3. 用斜線命令呼叫它,例如 /ab-test-planner,然後用大白話描述你想要什麼。

常見問題

Ready to run 是不是意味著這個改動會贏?

不是。它只說明方案的每一部分都齊全、輸入沒有錯誤——方案完整,不等於結果。多數測試會輸或打平;一份直說這一點的方案正在盡職。

為什麼小幅提升需要的樣本量這麼大?

因為相對提升小,絕對差異就小——5% 基準上提升 20% 只有 1 個百分點,要可靠地區分 5% 與 6%,每組大約需要 8,160 名訪客。MDE 減半,樣本量大約翻四倍。

取得 Premium 瀏覽更多 Skills