ThinkingAI Logo
返回博客列表

p值是什么?如何判断统计显著性?

p值是在原假设成立时,出现当前或更极端结果的概率。文章用抛硬币和A/B测试例子讲清p值的算法、0.05阈值的由来、五种常见误读,以及实验前中后如何结合效应量和置信区间做判断。

2026-11-1310分钟
p值是什么?如何判断统计显著性?

p值是在原假设成立的前提下,出现当前观测结果或更极端结果的概率。它衡量数据与原假设之间的不相容程度,数值越小,说明当前数据越不容易在原假设下出现。放到 A/B 测试 里,p=0.03 通常表示:如果两组本来没有差异,出现当前或更极端差异的概率约为 3%。

这个数字经常被拿来当开关,p 小于 0.05 就上线,p 大于 0.05 就放弃。它确实能提供一条判断线索,但只靠这一条线,容易把统计问题变成拍脑袋。下面把 p 值的含义、算法、0.05 的来历和业务里的用法拆开讲。

一、p值是什么

把 p 值翻成一句直白的话,它回答的是:假如原假设成立,眼前这组数据有多稀奇。

原假设通常写成两组没有差异、两个变量没有关系,或者某项改动没有效果。以 A/B 测试为例,原假设就是实验组和对照组的真实转化率相同。p 值算的是,在这个前提下,出现当前差异或更大差异的概率。

这里有两个方向不能颠倒。p 值是在原假设成立的条件下,计算数据出现的概率。它不回答原假设为真的概率,也不回答实验组更好的概率。美国统计协会在 2016 年的 p 值声明中把这一点列为核心原则,提醒研究者和业务人员不要把 p 值当成假设为真的概率。

p 值小,说明数据与原假设不太相容,可以考虑拒绝原假设。p 值大,说明数据与原假设不矛盾,但也不能反过来证明原假设为真。统计显著只是一个基于阈值的标签,表示 p 值越过了事先设定的判断线,不表示差异一定真实存在,更不表示差异在业务上重要。

二、p值怎么算出来

p 值的计算通常分四步。

  • 写出原假设和备择假设。原假设描述没有差异的状态,备择假设描述研究者希望发现的差异。
  • 选一个检验统计量,把样本中的差异压缩成一个数值。A/B 测试里常见的是两组转化率之差相对于波动幅度的比值。
  • 假定原假设成立,确定这个统计量在反复抽样中的分布。
  • 看实际观测值落在分布尾部的概率。这个尾部概率就是 p 值。

差异有方向,检验也分单侧和双侧。业务实验通常关心两个方向的变化,因此更常用双侧 p 值。单侧还是双侧,应该在实验开始前确定,不能看到数据后再选一个更有利的口径。

统计分布曲线与右侧尾部阴影示意

分布曲线右侧的阴影区域表示 p 值,即原假设成立时出现当前或更极端结果的概率。图为方法示意,不对应具体实验数据。

1. 抛硬币的例子

假设要检验一枚硬币是否公平。原假设是正面概率为 0.5。连续抛 10 次,结果全是正面。

在公平硬币的假设下,出现 10 次正面或 10 次反面,按双侧计算,概率是 2/1024,约 0.002。这个 0.002 就是 p 值。它说明这组结果在公平硬币的假设下很少见,因此有理由怀疑硬币不公平。

如果只抛 3 次,3 次都是正面,双侧 p 值是 2/8,等于 0.25。结果看起来同样“全是正面”,但样本太少,p 值并不小。p 值同时受差异大小和样本量影响,单看它的大小,读不出效果有多大。

2. A/B测试里的计算逻辑

假设对照组转化率是 10.0%,实验组是 10.8%,样本量和检验条件满足要求,算得 p=0.03。合理的解释是:如果两组真实转化率相同,出现绝对值不小于 0.8 个百分点的差异的概率约为 3%。

这里的 0.8 个百分点是观察到的效应量,p=0.03 是检验得到的 p 值。两个信息要一起看:效应量说明差异有多大,p 值说明在原假设及检验假设成立时,出现当前或更极端结果的概率。

同样的效应,换一个样本量,p 值会变。一项方法学文章用假设数据说明过这一点:两个研究的比值比都是 1.71,小样本研究的 p 值是 0.605,大样本研究的 p 值小于 0.0001。效应没有变,变的是估计的精度。样本量越大,估计越精确,同样的差异更容易得到较小的 p 值。

在实际工作里,p 值通常由 Excel、Python、R 或实验平台直接算出。业务人员更需要确认的是:原假设写对了吗,主指标定义一致吗,用的是单侧还是双侧,样本量够不够。输入错了,p 值算得再准也没有意义。

三、0.05这条线从哪里来

0.05 常被追溯到统计学家 Ronald Fisher。他在 20 世纪 20 年代提出,把 1/20 作为一个方便的界线,用来判断偏差是否值得进一步研究。后来,这条线逐渐成为许多领域的惯例。

0.05 更像一条行业约定,并没有数学上的必然性。 美国统计协会在 2016 年的声明中明确提醒,科学结论和商业决策不应只取决于 p 值是否越过某个阈值。Nature 在 2019 年刊发的评论中,三位作者和 800 多位联署者进一步呼吁,不要用“显著”和“不显著”把结果切成两半。

不同场景可以选择不同的判断线。误判成本高、验证要求严的场景,可以把线设得更严,比如 0.01。探索性分析可以更宽松,但要在报告里说明这是探索,不能直接当成上线依据。判断线应该在实验开始前确定,事后根据结果调整,会让结论失去可信度。

四、五个常见误读

p 值被误读,常见原因是它太容易被当成一个万能结论。数学本身并不难,难的是把结论放回实验设计和业务语境。下面五种说法在实验复盘里很常见。

常见说法问题更准确的理解
p=0.03,说明方案有效的概率是97%把 p 值当成方案为真的概率p 值描述原假设成立时出现当前或更极端结果的概率,不给出方案有效的概率
p=0.05,说明原假设为真的概率是5%反推了原假设的概率计算 p 值时已经假定原假设成立,p 值不能回答原假设为真的概率
p>0.05,说明两组没有差异把不显著当成无差异不显著只表示证据不足以拒绝原假设,可能样本不足、效应小或波动大
p<0.05,说明效果很大把显著当成效果大大样本下很小的差异也可能显著,效果大小要看效应量和置信区间
多比较几个指标,总能找到显著忽略多重比较比较次数越多,出现假阳性的概率越高,应预先指定主指标并控制比较次数

假阳性指本来没有差异,却被判为有差异。实验里同时看很多指标、很多分组,出现至少一个 p<0.05 的概率会上升。预先指定主指标,限定分组分析的范围,必要时做多重比较校正,能减少这类误判。

还有两种做法会破坏 p 值的含义。一种是反复查看结果,看到显著就停止实验;另一种是不断调整指标、筛选样本,直到结果显著。前者会改变预设的误差控制,后者属于选择性报告。美国统计协会的声明把完整报告和透明度列为正确推断的前提,原因就在这里。

五、A/B测试里怎么用p值

p 值在 A/B 测试里是一个判断工具,单独使用容易失真。更稳妥的做法,是把它放进实验设计、执行和复盘的完整流程。

1. 实验前先定好判断标准

  • 写出原假设和备择假设,明确这次实验要回答哪一个问题。
  • 指定一个主指标,同时列出护栏指标。主指标判断方案是否有效,护栏指标防止为了提升主指标而损害体验、成本或稳定性。
  • 估算样本量,确定实验周期。样本太小,真实存在的效果也可能检验不出来,这就是统计功效不足。
  • 确定显著性水平和判断规则,写进实验方案。
  • 统一指标口径,避免同一个指标在不同报表里有不同算法。

统一指标口径属于数据治理工作,也会直接影响 p 值。分子、分母、统计周期或去重规则不同,算出的差异和波动都会变,最后的显著性判断也跟着变。如果团队正在梳理指标定义,可以参考 ThinkingAI 的 统一指标口径 指南,把指标的业务含义和技术口径先对齐。

2. 实验后把p值放回业务语境

实验结束后,报告里至少要放四类信息:效应量、置信区间、p 值和样本量。效应量说明差异有多大,置信区间说明差异的可能范围,范围越窄,估计越精确。p 值说明数据与原假设的相容程度,样本量帮助读者判断结果的精度。

统计显著只说明差异不太像随机波动,是否上线还要看业务收益、成本和风险。 假设实验组转化率提高 0.8 个百分点,p=0.03,统计上显著。如果上线成本很高,提升带来的收益覆盖不了成本,或者护栏指标出现恶化,这个方案仍然可能不值得全量。反过来,p 值略高于 0.05,但效应量和置信区间都指向正向收益,也可以结合证据继续验证,而不是直接宣布失败。

分组分析要克制。实验前没有计划的用户分层、渠道拆分、时间段拆分,事后逐个看显著性,很容易找到偶然的“显著结果”。这些结果可以作为下一轮实验的假设,不适合直接当成确定结论。

ThinkingAI 提供 A/B 实验分析能力,用于实验分析、实验决策和效果验证。截至 2025 年 7 月,ThinkingAI 已服务全球超过 1500 家企业,接入产品超过 8000 款。工具可以把 p 值算得很快,业务判断仍要回到效应量、置信区间和实际收益。

常见问题

1. p值小于0.05就说明方案更好吗

不能。p<0.05 只说明数据与原假设不太相容,方案是否更好还要看效应方向、效应大小、置信区间、成本和风险。一个统计显著但收益很小的方案,可能不值得投入。

2. p值大于0.05说明两组没有差异吗

不能。p>0.05 只表示证据不足以拒绝原假设,原因可能是样本量不足、效应本身较小、数据波动较大,或者实验设计有问题。Nature 在 2019 年的评论专门提醒,不要把“统计不显著”解读成“没有差异”。这时更应该看置信区间和实验功效。

3. p值越小效果越大吗

不能。p 值受效应量和样本量共同影响。大样本下,很小的差异也可能得到很小的 p 值;小样本下,明显的差异也可能得到较大的 p 值。效果大小要看效应量,比如转化率提高几个百分点、客单价提高多少。

4. 样本量越大p值一定越小吗

如果真实效果不为零,样本量增加通常会让估计更精确,p 值更容易变小。但 p 值还受效应大小、数据波动、实验设计和检验方法影响,不能保证一定变小。样本量规划要基于预期效应量和历史波动,不能为了追求小 p 值无限加量。

5. 实验中途看到显著能直接停吗

不建议。反复查看结果并择机停止,会改变预设的误差控制,让 0.05 这条线失去原来的含义。更稳妥的做法是实验前定好样本量和结束条件;如果业务必须提前判断,可以使用支持序贯检验的方法,并事先说明判断规则。序贯检验允许在预先设定的多个时间点查看数据,同时控制整体误差。

参考资料

  • 美国统计协会,Statement on Statistical Significance and P-Values,2016,https://www.eurekalert.org/news-releases/906692
  • Tanha K,Mohammadi N,Janani L,P-value,What is and what is not,Medical Journal of the Islamic Republic of Iran,2017,https://pmc.ncbi.nlm.nih.gov/articles/PMC5804470/
  • Amrhein V,Greenland S,McShane B,Scientists rise up against statistical significance,Nature,2019,https://www.nature.com/articles/d41586-019-00857-9
  • 中国疾病预防控制中心科技文献服务系统,Nature评论,800名科学家联名反对统计学意义,2019,https://literature.chinacdc.cn/xuekefuwu/gonggongweishengxueshuredianzhuiz/201903/t20190328_200561.html

推荐文章

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询