假设你正在做一个按钮颜色的A/B测试。A组是原来的蓝色按钮，B组是新的红色按钮，每组各跑了100个用户。结果A组转化率10.2%，B组11.0%，p值为0.25，大于0.05。于是结论是差异不显著，红色按钮方案被搁置。
但这个"不显著"的结论很可能是错的。100个用户的样本量太小，即使红色按钮真的有效果，这点数据也没有能力检测出来。样本量不足会导致错误决策，它直接决定你还要不要继续优化这个方案。
要做出可信的A/B实验，既需要理解样本量背后的统计逻辑，也需要像ThinkingAI这样能承接实验数据收集与分析的企业数据智能平台。先把几个基础概念弄清楚。
一、三个基础概念：显著性、统计功效、最小可检测效应
1. 显著性水平
显著性水平α是统计学约定的判断门槛，表示你愿意容忍多大的概率把没有效果误判为有效果。常用标准是0.05，也就是5%。
通俗来说，假设A、B两个版本其实没有任何真实差异，只是随机波动碰巧让它们看起来不一样。显著性水平0.05的意思是，这种误判你允许最多发生5%的概率。当p值小于0.05，结果就达到统计显著。p值越小，你越有把握说这个差异不是随机波动造成的。
显著性水平控制的只是误报风险，它不保证结论一定正确，只给你一个错误判断的概率上限。
2. 统计功效
统计功效是1-β，表示真实效果确实存在时，你有多少概率把它检测出来。行业常用的标准是80%。
如果红色按钮真的能把转化率提升1%，统计功效80%意味着你有80%的概率在实验中看到这个提升并得出显著结论。剩下的20%就是漏报率β：真实效果明明存在，你却没检测出来，错误地认为没有差异。
显著性水平控制误报，统计功效控制漏报。 一个管"把没有的说成有"，一个管"把有的说成没"。
3. 最小可检测效应
最小可检测效应MDE是你希望实验能检测到的最小提升幅度。想在转化率上检测到1个百分点的提升，MDE就是1%。
MDE不是越小越好，它取决于业务价值判断和流量约束。检测1%的提升和检测0.1%的提升，需要的样本量天差地别。先问自己：多大的提升才值得投入资源去检测。如果1%的提升对业务价值有限，就没必要把MDE设得太小，否则实验会跑得很久。
二、决定样本量的四个因素
A/B实验每组需要多少样本量，不是拍脑袋定的，它由四个参数共同决定：基线转化率、最小可检测效应、显著性水平和统计功效。
1. 基线转化率
基线转化率是现有版本的转化表现，也是计算样本量的起点。基线转化率越低，需要的样本量越大。
原因在于方差。转化率接近50%时随机波动最大；基线较低时，转化事件本身比较稀疏，随机波动更难与真实差异区分。在相同的MDE和显著性设置下，基线10%需要的样本量远高于基线50%的场景。基线相差几倍，样本量需求可能差出几倍到十几倍。
2. 最小可检测效应
MDE越小，需要的样本量越大。 想检测更小的差异，就需要更多数据来降低噪声。
举个例子：基线转化率5%、α为0.05、统计功效80%时，要检测0.2个百分点的绝对提升，按公式估算每组大约需要19万样本。MDE再缩小，样本量会成倍上升。这就是为什么MDE不能想设多小就设多小，它直接决定实验的流量压力和周期长短。
3. 显著性水平和统计功效
显著性水平α越小、统计功效要求越高，需要的样本量越大。
行业通用的默认值是α=0.05、统计功效80%，两者对应的Z值总和约为2.8。这个默认值在多数业务场景中已经够用。如果把α降到0.01，或者把功效提到90%，样本量都会显著增加。
4. 四个参数如何共同作用
四个参数不是独立存在的，样本量实质上是基线转化率、MDE、α和功效的一个函数，任何一个参数变动，都会改变最终需要的用户数量。
变化方向可以这样记：基线越低、MDE越小、α越严、功效越高，样本量越大；反过来则越小。实际工作中，这类参数计算可以借助ThinkingAI等企业数据智能平台完成，让团队把精力放在业务判断而不是公式运算上。
三、A/B实验每组样本量怎么估算
理解四个参数之后，下一步就是动手估算。整个过程不需要默写公式，但需要理解每个输入参数的含义，以及它们变动对样本量带来的影响方向。
1. 确定基线转化率
第一件事是从历史数据或现有版本中获取基线转化率。这是转化率A/B测试样本量公式的核心输入，没有它，后面的计算都无从谈起。
如果数据不完整，可以用历史均值或相近版本的表现做近似，但一定要标注估算边界。样例数据只能作为起点，不能当成精确值。基线转化率偏差过大，会直接影响样本量计算的可靠性。
2. 设定最小可检测效应
接下来回答一个问题：多大的提升才有业务价值？ 这个问题比公式本身更重要。如果一次改版只能带来0.1%的提升，而你的业务目标是把整体转化率提高3%，那这个MDE可能太小，实验成本和周期都不划算。
MDE要结合流量和试错成本综合判断。设太小，实验周期过长，可能错过业务窗口；设太大，又可能漏掉有价值的优化机会。一般是先确定你愿意为之投入流量和时间的提升幅度，再反过来计算样本量。
3. 确定显著性水平和统计功效
绝大多数业务场景下，直接用默认值α=0.05、统计功效80%就够了。这两个默认值在行业里被广泛使用，平衡了误报和漏报风险，也不会让样本量大到难以承受。
到这里，样本量计算的四个核心输入就齐了：基线转化率、MDE、α、统计功效。
4. 代入公式或用计算器
比例检验的简化公式：
每组所需样本量 = (Zα/2 + Zβ)² × 2 × p × (1-p) / δ²
其中p是基线转化率，δ是最小可检测效应MDE，Zα/2是显著性水平对应的标准正态分位数，Zβ是统计功效对应的分位数。α=0.05时Zα/2约为1.96，功效80%时Zβ约为0.84。
实际工作中不需要默写公式，在线样本量计算器已经把这些运算封装好了。更值得关注的是四个输入参数的含义。比如MDE减半，样本量大约会变为原来的四倍，因为δ在公式中以平方形式出现在分母上。
5. 一个简化计算示例
用一组具体数字演示：基线转化率10%、MDE为1%、α=0.05、统计功效80%。
代入公式：p=0.10，δ=0.01，Zα/2=1.96，Zβ=0.84，计算得到每组大约需要1.5万用户，A、B两组共约3万用户，才能在这个设置下可靠地检测到1个百分点的提升。
有了结果就可以规划实验流量和周期。如果每天能分给实验的流量是1万用户，两组各5000用户，实验大约需要跑3天。如果流量紧张，可以适当放宽MDE，或者降低统计功效要求，但后者会提高漏报风险。
四、样本量不足的4个误区
很多A/B实验的失败，不是假设出了问题，而是样本量设计从一开始就埋下了隐患。下面四个误区，是业务团队最常踩的坑。
1. 先跑起来，边跑边看数据
很多团队的做法是先把实验跑起来，边跑边看数据。但A/B测试不是跑一下看看，样本量不够时，结果根本不可信。
小样本下的实验结果极不稳定。实验上线第3小时，绿色按钮的点击率是7.7%，比红色按钮高出1.6个百分点；两分钟后一个新用户点击了红色按钮，红色的点击率立刻反超到8.8%。两个用户的一次点击，就能让结论完全翻转。样本量不足最常见的结果就是结论不可信，今天看似有效的方案，明天可能就无效。
2. 提前停止实验
偷看数据后提前停止实验，会显著抬高假阳性率。很多人喜欢每天看一次数据，看到p值小于0.05就立刻停止实验宣布胜利。多次检验会导致错误概率累积，最终的假阳性率远高于你设定的5%。
正确做法是提前规划实验时长，按样本量计算出的周期来跑，避免中途偷看数据。如果必须中途检查，也要对显著性判断做校正。
3. 样本量越多越好吗
与直觉相反，实际工作中样本量应该越少越好，够用就行。流量是有限的，试错成本也很高。拿50%的用户跑实验，如果实验组的总收入一周内下降20%，相当于给整个公司带来10%的营收损失。这不是决策，是冒险。
在保证统计功效的前提下，用最少的样本量完成实验，才是合理的做法。多出来的流量可以用于其他测试。
4. 只看统计显著，不看业务指标
统计显著不等于业务有效。 你可能同时看到CTR提升3%、p值小于0.05，于是宣布实验成功。但如果总成交额GMV没有变化甚至下降，这个CTR提升就毫无意义：用户点得更多，却买得更少。
实验设计阶段就要明确核心业务指标，而不是只盯住某个中间指标。CTR、停留时长这类指标只有在能传导到最终转化时才有价值。
常见问题
A/B测试需要多少样本量才有效？
没有固定数字，取决于基线转化率、最小可检测效应、显著性水平和统计功效。以基线10%、MDE为1%、α=0.05、功效80%为例，每组约需1.5万用户。如果MDE更小或基线更低，样本量可能上升到数万甚至十几万，需要代入公式或用计算器确认。
统计功效和显著性水平有什么区别？
显著性水平α是容忍假阳性的概率，通常设为5%，控制误报风险，也就是把没有效果误判为有效果。统计功效1-β是检测到真实效果的概率，通常设为80%，控制漏报风险，也就是真实效果存在但检测不出来。一个管误报，一个管漏报。
最小可检测效应怎么设？
先问自己多大的提升才有业务价值，再结合流量和试错成本判断。想检测越小的提升，所需样本量越大，实验周期越长。MDE不是越小越好，而是要在业务价值和实验成本之间找平衡。
A/B测试样本量不足会怎样？
最常见的是统计功效不足，真实效果存在但检测不出来，被误判为无效。小样本下的结果也不稳定，可能出现假显著或假不显著。最终你会基于不可信的数据做决策，可能错过有效的优化方案，也可能上线一个实际上无效的方案。
转化率A/B测试样本量公式是什么？
比例检验常用Z检验公式，输入基线转化率、最小可检测效应、显著性水平和统计功效四个参数：
每组所需样本量 = (Zα/2 + Zβ)² × 2 × p × (1-p) / δ²
实际中多用在线计算器，理解参数含义比默写公式更重要。
