ThinkingAI Logo
返回博客列表

显著性水平α是什么?与p值有什么区别?

统计显著性水平 α 是假设检验前设定的误报风险门槛,常用 0.05。文章讲清 α 与 p 值的分工、α 的选择与多重比较风险,并给出企业 A/B 测试中的判断步骤和常见误读。

2026-11-138分钟
显著性水平α是什么?与p值有什么区别?

读A/B测试报告时,显著性水平α是检验前约定的一类错误率上限,p值则由本次样本与选定检验方法计算得到。在检验假设和方法条件成立时,可以将p值与预先设定的α比较,作出是否拒绝原假设的统计判断。

α取0.05,描述的是原假设成立时,这套检验在重复应用中错误拒绝原假设的概率控制。它不表示本次结论有5%的概率错误;反复查看、临时改变阈值或同时进行多次检验,也需要按相应统计方案处理。

理解 α,能帮你看懂报告里的“显著”二字,也能判断一次实验该继续、该停止,还是该重新设计。下面从定义、与 p 值的分工、取值选择,一直讲到企业 A/B 测试中的实际用法。

一、统计显著性水平指什么

先把场景放进一次假设检验。研究者提出原假设 H0,通常表示没有差异、没有效果;再提出备择假设 H1,表示存在差异或效果。检验要回答的问题是,样本数据是否提供了足够证据来拒绝 H0。这种以 α 为门槛的假设检验,也常被称为显著性检验。

α 描述的是拒绝 H0 时可能犯的错误。原假设本来为真,样本的随机波动却让结果看起来有差异,于是错误地拒绝了 H0,这类错误叫第一类错误,也叫假阳性。α 就是允许第一类错误发生的最大概率。 NIST 在术语表中把它定义为错误拒绝原假设的概率,并列出常用取值 0.05、0.01 和 0.001。

以 α=0.05 为例,这个数值要放在重复检验的语境里理解。假设原假设一直成立,按同一套规则做很多次独立检验,在适用假设与检验规则下,长期误拒比例不超过预设的 5% 门槛,被判成显著。这个 5% 约束的是判定规则本身的误报率,并不针对某一次具体结果。

α 不描述效应大小,也不说明结果在业务上是否值得采纳。 它只回答一个问题,在原假设成立时,这套规则允许多大比例的误报。

二、显著性水平怎么和 p 值配合

一次完整的检验通常按四步走:

  • 明确原假设和备择假设。
  • 选定检验方法,在收集数据前确定 α。
  • 用样本计算检验统计量和 p 值。
  • 比较 p 与 α。p ≤ α 时拒绝原假设,结论写成差异具有统计显著性;p > α 时不拒绝原假设。

p 值回答的是另一个问题,在原假设成立的前提下,出现当前结果或更极端结果的概率。它由数据算出来,样本一变,p 值就可能变。α 由研究者事先设定,不会随着新数据自动调整。两者一个像门槛,一个像证据刻度,缺了任何一方都无法完成判定。

项目显著性水平 αp 值
由谁确定研究者在检验前设定由样本数据计算
含义原假设为真时,错误拒绝它的最大概率原假设为真时,出现当前或更极端结果的概率
是否随样本变化不随样本变化随样本和检验方法变化
在判定中的作用给出拒绝原假设的门槛与门槛比较,提供数据证据
统计检验中 p 值与显著性水平 α 的比较示意图

图中的数值用于示意判定关系。0.05 是事先设定的门槛,p=0.03 落在门槛左侧,判定为统计显著;p=0.08 落在门槛右侧,只能说明证据没有越过门槛。

这里有三个容易混淆的点。第一,p=0.03 表示在原假设成立时,出现这类数据的概率约为 3%,它并不表示原假设为真的概率是 3%。第二,α=0.05 也不表示某个显著结论有 5% 的概率是错的;显著结果背后的错误概率还取决于研究假设的先验可信度、检验设计和效应大小。第三,p 值略高于 α 时,只能说明证据没有越过预设门槛,不能据此证明两组完全相同。

美国统计学会在 2016 年关于 p 值的声明中提醒,p 值不衡量研究假设为真的概率,也不衡量数据仅由随机性产生的概率;统计显著性不衡量效应大小或结果的重要性,科学结论和商业决策不应只看 p 值是否越过某个阈值。

三、为什么常用 0.05

0.05、0.01、0.001 是长期形成的常用约定,没有数学上的唯一正确性。NIST 的术语说明把这些值列为典型选择,同时强调显著性水平由检验者确定。

选择 α 时,需要权衡两类错误:

  • α 越小,假阳性越少。同样的样本量下,真实差异更容易被漏掉,第二类错误 β 会上升,统计功效 1-β 下降。
  • α 越大,发现真实差异的机会增加,误报也会增加。
  • 想同时降低两类错误,通常需要更大的样本量。

一个实用做法是按错误代价定门槛。药物有效性、资金安全、重大产品改版等场景,误判的代价高,α 可以取 0.01 或更小;探索性分析、早期筛选可以适当放宽到 0.10,但结论应标注为初步发现,后续再用更严格的设计验证。无论取哪个值,α 都应在看到数据前确定,并在报告中写明。 看到结果后再调整 α,等于移动球门,会破坏检验的风险控制。

比较次数也会改变实际风险。一次实验同时比较多个指标、多个分组或多个用户分层,每次都按 α=0.05 判定,出现至少一次假阳性的概率会明显高于 5%。常见处理是预先指定一个主指标,或者用 Bonferroni 方法把每次比较的门槛调整为 α/m,m 是比较次数。这个方法偏保守,计算简单,适合结论需要严格控制误报的场景。

另一个常被忽略的问题是反复查看数据。实验进行中每天看一次,看到 p<0.05 就停止,名义上的 5% 误报率会失效。稳妥做法是提前估算样本量,运行到预定规模再判定。业务上确实需要提前决策时,应使用序贯检验等专门方法,并明确它的假设和适用条件。

四、企业 A/B 测试里怎么用

业务实验的目标,是判断一个改动是否带来了真实、可复现的提升。显著性水平在这里承担风险闸门的作用。一个可执行的流程包括:

  • 写清主指标、次指标和最小可检测效应。最小可检测效应要结合业务成本判断,不能只追求统计上的微小差异。
  • 根据基线水平、最小可检测效应、α 和统计功效估算样本量。
  • 固定分流比例和实验时长,避免中途按结果调整。
  • 到期后计算 p 值和置信区间,再结合效应量做决策。
  • 记录本次的 α、样本量、指标定义和结论,供后续复盘。

举个简化例子。对照组转化率 10%,实验组 11%,双侧检验得到 p=0.03。若事先设定 α=0.05,可以判定差异具有统计显著性。这个结论仍要补三项判断,提升幅度是一个百分点,换算成收入和成本后是否值得上线;置信区间是否包含接近零的数值;实验周期内是否存在促销、节假日等外部干扰。统计显著说明差异不太容易由随机波动解释,业务显著才说明这个差异值得投入。

反过来,p=0.20 也不等于改动无效。它可能意味着样本量不足、效应本身较小,或者指标波动过大。此时更准确的表述是“没有发现足够证据支持差异”,下一步可以评估是否扩大样本、换更稳定的指标,或者重新设计实验。

在工具层面,把分流、指标计算和结果查看放在同一条数据链路里,可以减少口径不一致带来的误判。ThinkingAI 的用户行为分析与 A/B 测试能力可用于实验分析和效果验证,适合需要把实验结论接回运营动作的团队。工具能降低计算和协作成本,α 的选择、指标定义和上线判断仍要由业务团队负责。

五、四种常见误读

  • 把 α 当成结论出错概率。 α=0.05 描述的是原假设为真时的误报率,不能直接读成这个结论有 5% 概率是错的。
  • 把 p>0.05 当成没有差异。 样本不足时,真实差异可能无法被检出。报告应同时给出效应量和置信区间。
  • 把统计显著当成业务显著。 样本足够大时,很小的差异也可能显著。是否上线还要看收益、成本和风险。
  • 事后改 α 或反复检验。 为了让结果显著而调整门槛、删指标、换分组,会让 α 失去意义,结论也难以复现。

常见问题

1. 统计显著性水平用一句话怎么解释

它是检验前设定的假阳性容忍度,常用 0.05。p 值低于它,就称结果统计显著;高于它,就说没有足够证据拒绝原假设。

2. 显著性水平 0.05 和置信水平 95% 是什么关系

两者相关,含义不同。双侧检验中 α=0.05 对应 95% 置信水平。置信水平描述重复抽样时置信区间覆盖真实参数的比例,显著性水平描述原假设为真时错误拒绝它的概率。报告里应分别说明区间估计和检验结论。

3. 显著性水平可以事后调整吗

不建议。α 是检验设计的一部分,事后调整会改变错误率。若确实需要探索不同门槛,应把它标为敏感性分析或探索性分析,并保留原始预设结果。

4. 单侧检验和双侧检验会改变 α 吗

α 总量不变,分配方式不同。双侧检验把 α 分到分布两端,单侧检验只在一端设拒绝域。选择哪一种,要在看数据前根据研究问题确定,不能看到方向后再改。

5. 样本量越大,显著性水平会变吗

α 不变,p 值会变。样本量增加通常让检验更容易发现真实差异,p 值可能变小。α 仍是事先设定的门槛,样本量规划应在实验开始前完成。

6. 统计显著就一定能上线吗

不能。统计显著只说明数据与原假设的不兼容程度越过了门槛。上线决策还要看效应量、置信区间、实现成本、长期影响和风险承受能力。

参考资料

  • NIST CSRC 术语表,显著性水平 α 条目,https://csrc.nist.gov/glossary/term/Level_of_Significance_a
  • 美国统计学会,2016 年关于统计显著性与 p 值的声明,新闻稿,https://www.eurekalert.org/news-releases/906692
  • 科普中国,检验法则,https://cloud.kepuchina.cn/h5/detail?id=6969183223233630208

推荐文章

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询