← 全部 Skills · 自动化 · A/B Test Planner

A/B Test Planner——最终产出
适用平台Claude Code Codex Cursor Muse Dot Grok Bot Cue OpenClaw Hermes
需要:测试简报:ab-test.txt(Hypothesis 行、Page 行、带指标名与 | Baseline: 5% 的 Metric 行、相对提升形式的 MDE 行、Control 行、每个变体一行 Variant 行、带每日访客数的 Traffic 行——另加可选的 Split、Secondary、Guardrail、Confidence、Power、Note 行)。

相似技能

查看全部技能 →

你将获得

  • 一份预先登记的测试方案:假设、各组、样本量、时长与判定规则,都在开测前写好
  • 按你的基准与 MDE 算出的每组样本量——5% 基准、20% 提升时每组 8,160,已与公开参考表交叉核对
  • 按你的日流量与分流算出的预计天数——每天 2,000 访客、50/50 分流时约 9 天
  • 写明判定点与获胜门槛的判定规则——不偷看、不因数字好看提前停测
  • 报告中点名每一个缺口、输入错误与警告

适合人群

  • 花流量之前先把测试规划好——样本量要提前定下来
  • 判断一个改动值不值得测——低基准配小 MDE,需要的访客可能比你有的还多
  • 拿开测前写好的规则,去评判一场已经跑完的测试

不适合

  • 跑测试——脚本只做规划,测试由你的测试工具来跑
  • 分析结果或凭数据判定胜负——脚本从不读你的分析数据
  • 保证测试一定能检出效应——样本量只是规划估计值,不是承诺

示例输出

此 Skill 产出的示例。示例内容,仅供说明。

A/B Test Plan — sample

Metric: Signup start rate | Baseline: 5% | MDE: +20% relative (+1.00 pp) | Arms: 2 (Control + 1 variant) | Confidence: 95% | Power: 80%

Sample size: 8,160 per variant | 16,320 total | About 9 days at 2,000 visitors/day (50/50 split)

Decision rule (pre-registered): call the test only when the smallest arm reaches 8,160 visitors; a variant wins only if it beats control by at least 1.00 pp and the difference is significant at 95% confidence. A significant result smaller than the MDE is real but too small to ship on this hypothesis. An inconclusive result is not a reason to extend the test — plan a new one.

Sample sizes are planning estimates from the normal approximation at the stated confidence and power — not a guarantee, and this script does not analyse results.

关于此 Skill

你说
我们想在 BeanLoop 定价页测试把注册 CTA 移到首屏上方——开测前先把方案定下来。

如何安装

  1. 把安装提示词复制到你的 Agent: Read https://skillu.dev/install/agent.md, then install the A/B Test Planner skill (ab-test-planner).
  2. 或在上线后从本页下载 Skill 包,把它的文件夹放入你的 Agent 的 skills 目录。
  3. 用斜杠命令调用它,例如 /ab-test-planner,然后用大白话描述你想要什么。

常见问题

Ready to run 是不是意味着这个改动会赢?

不是。它只说明方案的每一部分都齐全、输入没有错误——方案完整,不等于结果。多数测试会输或打平;一份直说这一点的方案正在尽职。

为什么小幅提升需要的样本量这么大?

因为相对提升小,绝对差异就小——5% 基准上提升 20% 只有 1 个百分点,要可靠地区分 5% 与 6%,每组大约需要 8,160 名访客。MDE 减半,样本量大约翻四倍。

获取 Premium 浏览更多 Skills