AI Skill 大全

A/B 实验设计与判定

说清要验证的改动和可用流量 → 产出指标契约、样本量与运行周期、随机化与 SRM 方案,以及上线或下线的判定规则。

功能与用途

它负责 A/B 和多变量实验的工程侧:上线前把假设、唯一主指标和护栏指标锁死,按业务影响而不是统计上的方便来定最小可检测效应,算出每组要多少样本、要跑几天并考虑周期性和季节性,再安排随机化单元、分桶和 SRM 监控。跑完后按预注册的分析计划出读数,给出上线、迭代、下线还是保留长期对照组。红线是不许 p-hacking、不许不做校正就反复偷看结果。

适用场景

  • 改版方案已经定了,但没人说得清主指标是哪个、涨到多少算赢,团:改版方案已经定了,但没人说得清主指标是哪个、涨到多少算赢,团队打算先看一周再说。
  • 实验跑了三天就出显著结果,你想马上放量,却担心流量还没走完一:实验跑了三天就出显著结果,你想马上放量,却担心流量还没走完一个完整的周周期。
  • 复盘时发现两组样本比例是 49 比 51,你不知道该从分桶、:复盘时发现两组样本比例是 49 比 51,你不知道该从分桶、曝光日志还是埋点查起。

适用人群

  • 增长团队的数据科学家
  • 负责转化优化的实验工程师
  • 带实验平台的产品经理

使用步骤

  1. 明确待验证的产品改动,锁定唯一核心决策指标与业务护栏指标。
  2. 输入可用流量与预期业务收益,测算每组所需样本量与运行周期。
  3. 确定随机化分流单元与埋点规则,并在实验期间监控样本比例偏差。
  4. 按预定分析方案读取实验数据与置信区间,给出全量发布或下线建议。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
商业运营
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-11
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

|

依赖与权限

  • 读取用户主动提供的内容

同类 Skill