AI Skill 大全

A/B测试方案设计

输入业务假设、基准转化率与流量预估,输出包含样本量测算、核心指标定义与埋点校验的完整A/B测试方案。

功能与用途

本规范用于指导产品、运营及数据分析团队在上线对比实验前建立严谨的A/B测试方案。它覆盖了从假设明确、实验分型选择(如A/B、A/B/n、分流URL)、单核心指标与护栏指标冻结,到样本量和测试周期的统计学测算(基于基准转化率、MDE、显著性水平与统计功效)。同时,方案包含严格的埋点验证检查项(事件上报、变体归因、数据去重与样本比例失配SRM检测)以及硬性准入卡点,防止中途偷看数据(peeking)、指标任意修改或因样本量不足导致的实验失效。

适用场景

  • 核心功能改版评估:评估产品界面或核心交互改版对用户留存与参与度的因果影响,预先测算样本量并锁定核心指标,避免贸然全量上线引发体验衰退。
  • 营销落地页转化优化:在推广投放或注册转化漏斗中对比不同文案、视觉或布局方案,精准计算最小可检测效应(MDE),验证真实转化率提升。
  • 上线前埋点与分流核验:在实验切流前执行事件上报、变体归因与样本比例失配(SRM)检查,确保数据埋点准确无误,防止脏数据干扰决策。

适用人群

  • 产品经理
  • 增长黑客
  • 数据分析师
  • 前端与全栈开发工程师
  • 数字化运营人员

使用步骤

  1. 锁定业务假设:明确受众范围、改动点、预期提升方向及预期最小可检测效应(MDE)
  2. 确定指标体系:选定唯一的胜负评价核心指标,并配置辅助指标及防止负向副作用的护栏指标
  3. 测算样本与周期:基于基准转化率、MDE、alpha与功效计算各组样本量,并换算为合理测试天数
  4. 校验数据埋点:在测试环境验证事件上报、变体ID挂载、防刷重上报以及样本比例分配(SRM)
  5. 通过准入卡点并运行:确认所有前置条件满足后启动分流,实验期间严禁中途修改变体或提前按胜率关停
  6. 解读结论与归档:基于统计显著性与业务实际判断是否推全上线,记录测试得失并沉淀为知识库

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
商业运营
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-24
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Use when designing an A/B or split test: define the hypothesis, control and variants, estimate sample size, verify tracking, and predeclare metrics and stopping rules.

依赖与权限

  • 读取用户主动提供的内容

同类 Skill