A/B 实验设计与判定
说清要验证的改动和可用流量 → 产出指标契约、样本量与运行周期、随机化与 SRM 方案,以及上线或下线的判定规则。
功能与用途
它负责 A/B 和多变量实验的工程侧:上线前把假设、唯一主指标和护栏指标锁死,按业务影响而不是统计上的方便来定最小可检测效应,算出每组要多少样本、要跑几天并考虑周期性和季节性,再安排随机化单元、分桶和 SRM 监控。跑完后按预注册的分析计划出读数,给出上线、迭代、下线还是保留长期对照组。红线是不许 p-hacking、不许不做校正就反复偷看结果。
适用场景
- 改版方案已经定了,但没人说得清主指标是哪个、涨到多少算赢,团:改版方案已经定了,但没人说得清主指标是哪个、涨到多少算赢,团队打算先看一周再说。
- 实验跑了三天就出显著结果,你想马上放量,却担心流量还没走完一:实验跑了三天就出显著结果,你想马上放量,却担心流量还没走完一个完整的周周期。
- 复盘时发现两组样本比例是 49 比 51,你不知道该从分桶、:复盘时发现两组样本比例是 49 比 51,你不知道该从分桶、曝光日志还是埋点查起。
适用人群
- 增长团队的数据科学家
- 负责转化优化的实验工程师
- 带实验平台的产品经理
使用步骤
- 明确待验证的产品改动,锁定唯一核心决策指标与业务护栏指标。
- 输入可用流量与预期业务收益,测算每组所需样本量与运行周期。
- 确定随机化分流单元与埋点规则,并在实验期间监控样本比例偏差。
- 按预定分析方案读取实验数据与置信区间,给出全量发布或下线建议。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 商业运营
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-11
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
|
依赖与权限
- 读取用户主动提供的内容