A/B测试方案设计
输入业务假设、基准转化率与流量预估,输出包含样本量测算、核心指标定义与埋点校验的完整A/B测试方案。
功能与用途
本规范用于指导产品、运营及数据分析团队在上线对比实验前建立严谨的A/B测试方案。它覆盖了从假设明确、实验分型选择(如A/B、A/B/n、分流URL)、单核心指标与护栏指标冻结,到样本量和测试周期的统计学测算(基于基准转化率、MDE、显著性水平与统计功效)。同时,方案包含严格的埋点验证检查项(事件上报、变体归因、数据去重与样本比例失配SRM检测)以及硬性准入卡点,防止中途偷看数据(peeking)、指标任意修改或因样本量不足导致的实验失效。
适用场景
- 核心功能改版评估:评估产品界面或核心交互改版对用户留存与参与度的因果影响,预先测算样本量并锁定核心指标,避免贸然全量上线引发体验衰退。
- 营销落地页转化优化:在推广投放或注册转化漏斗中对比不同文案、视觉或布局方案,精准计算最小可检测效应(MDE),验证真实转化率提升。
- 上线前埋点与分流核验:在实验切流前执行事件上报、变体归因与样本比例失配(SRM)检查,确保数据埋点准确无误,防止脏数据干扰决策。
适用人群
- 产品经理
- 增长黑客
- 数据分析师
- 前端与全栈开发工程师
- 数字化运营人员
使用步骤
- 锁定业务假设:明确受众范围、改动点、预期提升方向及预期最小可检测效应(MDE)
- 确定指标体系:选定唯一的胜负评价核心指标,并配置辅助指标及防止负向副作用的护栏指标
- 测算样本与周期:基于基准转化率、MDE、alpha与功效计算各组样本量,并换算为合理测试天数
- 校验数据埋点:在测试环境验证事件上报、变体ID挂载、防刷重上报以及样本比例分配(SRM)
- 通过准入卡点并运行:确认所有前置条件满足后启动分流,实验期间严禁中途修改变体或提前按胜率关停
- 解读结论与归档:基于统计显著性与业务实际判断是否推全上线,记录测试得失并沉淀为知识库
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 商业运营
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-24
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Use when designing an A/B or split test: define the hypothesis, control and variants, estimate sample size, verify tracking, and predeclare metrics and stopping rules.
依赖与权限
- 读取用户主动提供的内容