最好看的结果，也可能最容易误读
一个文档抽取系统通过一百个验证案例，未出错。能否说它永远不会出错？只能说这些案例中未观察到错误，未来风险仍未知。本文把结果转为正确的定量判断，而不将有限成功变为普遍保证。案例是合成的，并非 EL-AI 产品评估。
精确问题是：n 次零错误后，95% 单侧置信上界是多少？先从“未观察到错误”的概率推导，再规划测试。只需基础概率与对数。点估计此时为零，但不确定性并未消失，两者必须区分。
计算之前：什么才算一次试验？
测试前先定义错误，例如必填字段抽取不正确。每次用 1 表示错误，0 表示无错。假设 n 个请求来自同一总体、相互独立，错误概率 p 不变。p 无量纲，n 是计数。这些假设很强：同一文档的百份副本，不会因分别执行就成为百个独立情境。
在这些假设下，错误数 X 服从二项分布。每次无错概率为 1−p，独立性允许连乘 n 次。若真实错误率为 1%，百次全对概率是 0.99^100，约 36.60%。因此即便存在这一非零风险，零错误结果也不罕见。
反过来提问，就得到上界
寻找 p_U，使零错误的概率刚好为 alpha=0.05；更大的风险会令该结果更罕见。对 (1−p_U)^n=alpha 取对数、除以 n，再取指数，得到下式。这是精确单侧二项上界的零错误情形，是反演检验，而不是把真实风险等同于观察频率。
n=100 时上界约为 0.029513，即 2.9513%；一千次时约为 0.2991%。95% 置信描述程序在重复抽样中的覆盖性质，不是本次数据后固定参数 p 的 95% 后验概率。后验判断需要明确贝叶斯模型与先验。上界也只针对抽样总体及既定错误定义，不适用于所有想象中的未来文档。
| n | 95% 上界 | 3/n |
|---|---|---|
| 20 | 0.139108 | 0.15 |
| 100 | 0.029513 | 0.03 |
| 1000 | 0.002991 | 0.003 |
“三除以样本数”从何而来？
n 较大时，a=log(alpha)/n 是接近零的负数。展开 exp(a)=1+a+a²/2+…，得 p_U≈−log(alpha)/n。由于 −log(0.05)≈2.995732，近似为 3/n。它针对单侧 95%，并非适用于任意置信水平。二十次时近似 0.15，精确为 0.139108。正态 Wald 区间把零代入方差后退化为零，恰是应避免的误导。
先规划测试，再观察结果
要在零错误后得到 p_U≤p_0，再次反演。除以负数 log(1−p_0) 时不等号反向，得 n≥log(alpha)/log(1−p_0)，向上取整。1% 需 299 次，0.1% 需 2995 次。代码验证 n 满足而 n−1 不满足。该规划以零错误为条件；若观察到一个错误，必须按实际计数计算二项上界。
三个实际限制很重要。第一，二十个独立文档各重复五次且结果相同，独立单位可能只有二十个；组内完全依赖时上界回到 13.91%。第二，中央双侧 95% 区间把 2.5% 分给上尾，上界是更大的 1−0.025^(1/n)。第三，测试后从五个系统选最佳，不能从单独区间直接获得同时保证。若要求覆盖全部五个，可保守地用 Bonferroni 将 alpha 改为 alpha/5。
若不断检查并在上界首次达标时停止，没有适当序贯方案也可能改变覆盖性质。增大 n 无法修复数据污染、不完整标签或新文档类型。记录总体、独立性、模型版本、错误准则与停止规则，才能知道回答了什么问题。公式计算量固定，真正的工作是收集独立证据。
重复同一试验，不会增加独立证据
乘积 (1−p)^n 依赖独立性。若百次运行只重复一种情境且结果完全相同，零错误概率是 1−p，而非 (1−p)^100。二十个独立情境各重复五次且组内完全依赖，则为 (1−p)^20。这是两个特定情况的精确模型，不是通用有效样本量公式。部分依赖需要适当建模，不能凭直觉将 n 除以某个系数。
令正数 x=−log(alpha)/n，上界为 1−exp(−x)。由 exp(−x)≥1−x，精确上界不超过 x，因此该对数近似在这里是保守的，脚本核查所有表中点。n 很大时，浮点数中两个近似相等的数相减会丢失有效数字。expm1 适合在零附近计算 exp(a)−1；log1p 类似地计算 log(1+a)。这些函数改善计算，不改变统计假设。
零错误是观测，不是承诺
百次独立零错误后，可报告零观测错误及约 2.95% 的单侧 95% 上界，前提是假设成立。不能据此推出零风险或普遍可靠。计算不是贬低成功测试，而是明确证据强度和更高目标所需工作。附件代码计算上界，并未伪装成真实执行了数百次评估。
来源与复现
NIST/SEMATECH — binomial probability model.
NIST Dataplot — exact one-sided and two-sided binomial limits.
import math
alpha=.05
for n in [20,100,1000]:
upper=-math.expm1(math.log(alpha)/n)
assert abs((1-upper)**n-alpha)<1e-12
print(n,upper)
print(math.ceil(math.log(alpha)/math.log1p(-.01)))
代码、数据与说明 · JSON. 教学计算使用 Python 3.14.0，图使用 Matplotlib 3.11.2。分析由 AI 辅助，不声称经过同行评审或人工审核。原创 ImageGen 封面仅作示意，不记录 EL-AI 人员、场所或实际安装。来源查阅于 2026 年 10 月 24 日。