A/B 测试怎么做？从假设到显著性的六步与四个常见错误方法词条

概述

A/B 测试是把流量随机分成两组、只改一个变量、用统计检验判断差异是否真实的方法。它的产出不是「哪个方案数字高」，而是**「这个差异有多大概率不是随机波动」**。绝大多数失败的 A/B 测试不是工具问题，而是统计纪律问题——提前偷看结果、同时改多个变量、跑完不算样本量。

适用场景

• 适合：流量足够、决策可逆的改动（文案、按钮、价格、流程步骤）；结论需要跨团队公信力时。
• 不适合：流量太小（一个月凑不满样本）；一次改很多地方（赢了不知道是谁的功劳）；探索性问题（该用原型测试，不是线上实验）。
• 前置条件：埋点可信、分流随机且互斥、有一个事先约定的唯一主要指标。

操作步骤

1. 写假设：「把注册按钮从 X 改成 Y，会提升注册转化率，因为我们认为……」——说不出理由的假设不值得花流量。
2. 定指标与样本量：指定唯一主要指标（转化率、客单价等），显著性水平 α 通常取 5%、统计功效取 80%，再算出每组所需最小样本量，据此预估实验时长。算不出来就先别开跑。
3. 分流：随机、互斥；同一用户在整个实验期内只进一组；按 userId 分流比按设备号稳。
4. 跑实验：跑满预定样本量之前不看结果（或至少不做决策）。中途必看时用序贯检验等专门方法，不要拿普通 p 值反复看。
5. 读结果：p < 0.05 意味着「若原假设为真，观察到这么极端差异的概率不到 5%」——它不是「方案有 95% 概率更好」。同时看效应量：统计显著但提升 0.1% 的改动，可能不值得上线。
6. 做决策与复盘：赢 → 全量并观察长期效应（新奇效应会衰减）；输 → 写下结论存档，避免半年后重测同一个坑。

常见坑

• 重复检验显著性（最经典）：每隔几小时看一次 p 值，「显著了就停」——这会让假阳性率远超 5%。解法：事先定样本量和时长，跑完再看。
• 多重比较：同时看 20 个指标，总有一个「显著」。主要指标只留一个，其余标注为探索性。
• 偷换变量：实验中途改了对照组或加了第二个改动，数据作废。
• 样本量不足就下结论：「没显著差异」≠「两个方案一样」，很可能只是样本不够（第二类错误）。
• 只看相对提升：基数很小的功能，+50% 可能只多了 3 个用户——永远同时看绝对量。
• 赢了不上线/输了不存档：实验的另一半价值在结论库。

效果衡量

• 实验开跑前：假设、主要指标、样本量、时长四项是否都写在实验文档里；
• 运行中：是否无人在未达样本量时依据 p 值做决策；
• 结束后：结论（含阴性结果）是否进了团队的实验结论库。

相关方法怎么选