A/B 测试中的“置信度”需要结合平台的统计定义理解。 频率学派的95%置信水平描述构造区间的方法在重复抽样中的覆盖率,对应 α=0.05;某些报表显示1−p,另一些显示贝叶斯后验胜出概率。这些数值不能直接互换,也不能一概解释为本次结论有95%的概率正确。
在 A/B 测试报表里,置信度经常被当成一个判决数字:超过 95% 就上线,不到 95% 就继续跑。这个做法省事,也容易把不同口径的数字混在一起。置信度本身不等于结论正确的概率,不同平台显示的也可能是三种不同的统计量。把它放回实验设计和报表语境里,判断会稳得多。
在中文语境里,AB实验置信度和 A/B 测试置信度经常指同一件事。下面先给出直接定义,再拆开三种常见口径。
一、A/B测试置信度是什么
实际报表里,置信度可能指三种不同的东西。
1. 三种常见的置信度口径
| 口径 | 常见显示 | 它回答的问题 |
|---|---|---|
| 实验前设定的置信水平 | 95%、99% | 如果重复做很多次同样的实验,按同一方法构造的区间有多大比例会覆盖真实效应 |
| 频率学派报表里的置信度 | 1 减 p,如 84.7%、99.86% | 当前数据与两组没有差异的假设有多不相容 |
| 贝叶斯报表里的胜出概率 | 92% | 在给定先验和模型下,B 优于 A 的后验概率 |
这三种数字在中文里都可能被叫作置信度,数值不能直接互换。看报表前先确认它用的是哪一种,后面的判断才有意义。即使都叫置信度,不同平台使用的检验方法也可能不同,跨平台比较前要确认方法说明。
二、置信度、显著性水平和p值是什么关系
1. 置信水平与显著性水平
显著性水平 α 是实验前设定的误报容忍度。置信水平等于 1 减 α。取 α 等于 5%,置信水平就是 95%。这个 95% 是实验前就设定好的方法参数,在实验结束后不会因为结果变化而重新定义。
它描述的是重复抽样下的长期表现:如果同样的实验重复很多次,按同一方法构造的 95% 置信区间,大约有 95% 会覆盖真实效应。对单次实验来说,真实效应要么在区间内,要么在区间外。
把置信水平从 95% 提高到 99%,在样本量不变时区间会更宽。要维持同样的检测能力,实验通常需要更多样本和更长运行时间。
2. p值和1减p
p 值回答一个问题:假设两组没有差异,出现当前或更极端结果的概率有多大。p 值小于 0.05 时,在 5% 显著性水平下拒绝两组没有差异的假设,通常称为统计显著。
有些平台会把 1 减 p 显示成置信度。Adobe Target 的统计计算文档就明确写到,报表中的置信度为 1 减 p 值。这个数字超过 95%,等价于 p 值小于 0.05。它可以作为读表指标,含义仍然是数据与零假设的相容程度,不能读成结论为真的概率。
3. 置信区间补上了什么信息
置信区间给出效应量的范围。比如提升的 95% 置信区间是 0.8% 到 3.2%,读者能看到提升幅度的上限和下限;如果区间跨过 0,说明当前数据还无法排除没有差异。
NIST 的统计手册把置信水平解释为按同一方法构造的区间覆盖参数的概率,并指出置信区间与假设检验可以互相转换。实际读表时,置信度和置信区间放在一起看,信息比单个百分比完整。
三、95%置信度不等于95%的概率结论为真
这是最常见的误读。95% 置信水平描述的是构造区间的方法在重复实验中的覆盖率,不能读成某一次实验的结论有 95% 的概率正确。频率学派不把固定但未知的参数当成随机变量,因此不会说真实效应有 95% 的概率落在这个区间里。
把 95% 理解成 B 比 A 好的概率是 95%,需要贝叶斯后验概率。贝叶斯方法可以给出 B 优于 A 的概率,但它依赖先验分布和模型设定,和频率学派的 1 减 p 不是同一个量。
p 值也不回答零假设为真的概率。EORTC 的 p 值说明强调,p 值受样本量影响,不能单独说明效应大小。样本足够大时,很小的差异也可能显著;样本太小时,真实差异也可能被噪声盖住。
对业务团队来说,95% 更像一条决策门槛:你愿意接受多高的误报风险。它帮助团队统一规则,不能替代对收益、成本和风险的判断。
四、样本量、实验时长和提前查看结果会改变置信度
1. 同样提升,样本量不同,置信度不同
假设 A 组转化率 10%,B 组 12%,绝对提升 2 个百分点。按常用两比例检验近似估算,可以得到下面的结果。
| 每组样本 | A组转化率 | B组转化率 | 绝对提升 | 95%置信区间 | 报表置信度 |
|---|---|---|---|---|---|
| 1000 | 10% | 12% | 2个百分点 | -0.74% 到 4.74% | 约84.7% |
| 5000 | 10% | 12% | 2个百分点 | 0.77% 到 3.23% | 约99.86% |
每组 1000 人时,95% 置信区间大约是 -0.74% 到 4.74%,区间跨过 0,报表置信度约为 84.7%。每组 5000 人时,区间收窄到 0.77% 到 3.23%,报表置信度约为 99.86%。
同样的转化率差异,只因为样本量增加,置信度就从 84.7% 升到 99.86%。这说明置信度高低同时受效应大小和样本量影响。看到更高的置信度,不能直接推断提升幅度更大。
2. 为什么提前查看结果会抬高误报
实验中途反复查看结果,看到显著就停止,没看到显著就继续跑,会提高误报率。Adobe Target 的样本量文档专门提醒,这种跑到显著为止的做法会让置信区间被低估,增加误报风险。更稳妥的做法是实验前确定样本量和运行时长,达到预定条件后再做判定。
这类做法属于常见的 A/B 测试误区,团队可以在实验规范里写清楚查看频率和停止规则。
3. 多重比较会放大误报
同时比较多个变体、多个指标或多个细分人群,误报概率会上升。Adobe Target 的文档给过一个例子:5 个方案、4 组对比,在每次比较 95% 置信水平下,至少出现一次误报的概率约为 18.5%。预先指定主指标和主要对比,能减少这类问题。
统计功效也需要提前考虑。常见做法是把功效设在 80%,意思是如果真实差异达到最小可检测效应,实验有 80% 的概率能发现它。功效不足时,置信度低可能只是样本不够,不能据此断言方案无效。
五、看到一个置信度数字,按五步判断
- 先确认口径。 看平台文档或报表说明,确认它是置信水平、1 减 p,还是贝叶斯胜出概率。口径不明时,不拿它和其他平台横向比较。
- 再看效应量和置信区间。 看提升的绝对值和区间范围。区间跨过 0,说明当前数据还无法排除无差异;区间下限能否覆盖成本,决定方案是否值得上线。
- 然后看样本量和实验时长。 对照实验前计算的 A/B 测试样本量,确认是否达到;运行时长是否覆盖完整业务周期,避免星期几、活动档期带来的偏差。
- 还要看多重比较和分组。 多个变体、多个指标、多个细分人群会提高误报概率。主指标和主要对比最好在实验前定好,分组结论需要复验。
- 最后看业务价值和护栏指标。 统计显著只说明差异不太像随机波动。上线前还要看收益、开发维护成本、用户体验、留存和风险指标。
如果五步里有任何一步说不清,先不要用单个置信度数字做决定。
常见问题
1. A/B测试置信度多少算合格?
常见门槛是 95%,对应 5% 的显著性水平。风险较高的场景可以用 99%,但需要更多样本和更长实验时间。风险较低、决策可逆的探索,可以和团队约定 90% 的门槛。关键是把门槛、样本量和判定规则提前写清楚,避免看到结果后再改标准。
2. 置信度和置信区间有什么区别?
置信度是一个门槛或把握程度,置信区间是效应量的范围。置信度告诉你愿意接受多高的误报风险,置信区间告诉你提升可能落在哪个范围。判断方案是否值得上线时,两个数字一起看,比只看置信度更可靠。
3. 置信度90%和95%差在哪里?
90% 对应 10% 的显著性水平,95% 对应 5%。95% 的门槛更严,误报容忍度更低,通常需要更多样本。90% 更容易得到显著结果,误报风险也更高。选择哪一个,要看错误决策的成本和团队对风险的接受程度。
4. 置信度高但提升很小,要不要上线?
先算绝对收益。转化率提升 0.2 个百分点,在低客单价、低流量场景里可能覆盖不了开发和维护成本;在高客单价场景里可能值得做。还要看置信区间下限、长期效果和护栏指标。统计显著与业务上值得上线是两件事。
5. 置信度低是不是说明实验没效果?
不一定。样本不足、功效不够、实验周期太短,都可能让真实差异显示不出来。看置信区间和最小可检测效应,能帮助区分没有效果和没测出来。如果区间很宽,先补样本或延长实验,再下结论。
6. 贝叶斯A/B测试的胜出概率能直接比较吗?
不能直接比较。频率学派的置信度围绕重复抽样和零假设展开,贝叶斯胜出概率是给定先验和模型后的后验概率。两个数字可能很接近,含义和适用条件不同。跨平台比较前,先统一口径。
置信度是实验证据的一部分,不是判决书。先确认口径,再看区间、样本量和业务价值,最后用复验降低偶然性。工具可以把计算自动化,决策规则仍要团队自己定。ThinkingAI 的 A/B 实验能力覆盖实验设计、分流和结果分析,具体报表口径以产品文档为准。
参考资料
本文核查时间:2026年11月10日。






