企业站做 AB 测试的现实前提：样本量够不够

AB 测试被当成优化的标准做法，但它有一个很硬的前提：需要足够多的样本才能分辨出真实差异与随机波动。多数企业官网不满足这个前提，而在不满足时做测试，得到的结论往往比不测更有误导性。

需要多少样本

所需样本量取决于三件事：当前转化率、希望检出的提升幅度、以及可接受的误判概率。转化率越低、要检出的提升越小，需要的样本越多。一个粗略的感觉是：基础转化率在百分之几的量级、想检出相对提升两成左右，通常每组需要数千次访问。

把这个数和站点的实际流量对一下。月访问量几千的官网，跑一个测试需要几个月，而这期间市场活动、季节因素、渠道结构都会变，测试本身的前提已经被破坏。

提前看结果是最常见的错误

测试跑了两天，看到 B 版本领先，于是停下来宣布 B 更好。问题在于：转化数据在早期波动极大，任何一组都可能短暂领先。反复查看并在看到想要的结果时停止，会显著提高得出错误结论的概率。

正确做法是在开始前就确定样本量和停止条件，达到之前不看结论，或者使用允许中途查看的统计方法。这一条说起来简单，执行起来需要克制。

流量不足时的替代做法

• 做大改动而不是小改动。按钮文案这类细微调整需要很大样本才能检出，而整页结构重做的效果可能明显到不需要统计检验；
• 用定性方法替代：找五到八个目标用户实际走一遍流程，观察卡在哪里。这类问题往往不需要统计就能看出来；
• 看漏斗各步骤的绝对流失，而不是比较两个版本。某一步流失七成，说明那一步有问题，这个判断不依赖 AB 对比；
• 按时间段前后对比，接受它不如 AB 严谨，但在改动幅度大时仍有参考价值。

什么情况下值得做

流量确实大、改动确实存在争议、而且结果会影响后续较大投入时，AB 测试是值得的。为了「科学一点」而对一个没人反对的改动做测试，只是推迟上线。

我们在企业官网定制项目里通常建议先把明显的问题改掉，等流量积累到一定规模再考虑测试，排期安排见合作流程。