分类器何时应弃权？不回答的代价

少回答可能有用，但究竟统计什么？

垂直分类器识别织物缺陷。企业希望难例转交其他流程而非总给答案。只接受高分看似简单，但几乎不回答的低错误是否有用？升阈值总降低余下风险吗？完整例子区分覆盖工作量、回答中风险与弃权总成本。

摘要。20个构造有序分数含6错误。全接受风险30%；前7个零观测错误、覆盖35%、转交13个。展示非单调风险覆盖，并以错误成本1、弃权.1计算阈值成本；观测最小.065/例不是独立测试优化。另推导预定阈值独立假设样本零错单侧界：7个接受的95%风险上界34.82%，非零。未训练网络。

先定义分母再谈百分比

f预测类别，g=1接受、g=0弃权。有标签样本损失ℓ错为1对为0。选择性风险=接受错误/接受数，覆盖=接受数/全数。分母不同很关键。弃权不改变f预测，只决定使用或展示。

C=A/N R=E/A (A>0)

A=0时E/A未定义；从不回答不证明完美风险，但覆盖零与弃权成本可算。以上是样本经验量，未来总体风险不同。先统计观测，后说明统计界所需假设。

20个样本，不是20个校准概率

分数从.99按.01降至.80，错误在从1计数的8、10、13、16、19、20位。保存完整分数错误标记，非真实模型或客户频率。分数仅排序，.99不是99%正确概率。可用边际、softmax等评分，但本文不比较。

接受前k等于含等号阈值，本例无同分。全20有6错，6/20=.30；前7零错，0/7=0、覆盖7/20=.35。其余13需别处处理，有时间资源及新错成本；只报正确率不报覆盖会隐藏服务缺口。

更高阈值不保证风险单调

k=9只有第8错，风险1/9≈11.11%；升阈到k=8排掉正确第9却留错误，风险1/8=12.5%，覆盖45%降40%而风险升。选择器拒绝了正确答案。到k=7才也去错回零。因此曲线可波动，每次升阈未必降观测风险。

接受数	覆盖	错误	风险
7	35%	0	0%
8	40%	1	12.5%
9	45%	1	11.1111%
20	100%	6	30%

分数用途取决于区分错对。严格递增变换保序，配套阈值下可达风险覆盖对不变，却不产生校准概率。不同于检验90%置信是否九成正确，选择可仅靠排序评估，但必须测未覆盖工作。

拒绝有成本：计算整个服务

给接受错误成本1、正确0、弃权.1，均为抽象归一化假设，非价格时长或人工表现。对全20输入求接受错误与转交成本和，再除20。转交被建模为含后续处理的固定成本，不证明后续必对。

L(k)=[E(k)+0.1·(20−k)]/20 L(7)=[0+0.1·13]/20=0.065 L(20)=6/20=0.3; L(0)=0.1

代码遍历20个非空阈值及全弃权，观测最优k=7为.065，始终回答.3，全拒.1。选择报告共用构造错误，无独立测试，不是无偏未来成本估计或阈值部署依据。改变转交成本可改变选择；风险覆盖不定义企业偏好。

零错误不等于未来零风险

另作统计论证，与构造数据分开：独立新测试前固定选择规则。n个接受案例独立且同错误概率r，零错概率(1−r)ⁿ。零错单侧95%上界解(1−u)ⁿ=.05，高于u全对很罕见。这依赖二项假设，不认证本文人工20例。

u(n,δ)=1−δ^(1/n), for n>0 u(7,0.05)=0.348163655 u(149,0.05)=0.019904816

n=7上界34.82%不是风险估计。假设下重复采样程序至少95%覆盖真值，非参数后验概率。100个接受零错上界2.9513%，149个低于2%。数量是接受样本非全请求。

1−0.05^(1/n)≤0.02 → n≥ceil[log(0.05)/log(0.98)]=149

不能认证k=7：20例构造非独立总体样本，且用同样错误选阈。假装预定忽略选择。需独立测试或考虑搜索的校正，给经验曲线贴置信标签不会产生风险控制。

左20例经验曲线圈出7个接受零错；右预定选择器独立案例的假设95%上界。两图不互认证，前构造，后需前未验证的假设。

与风险控制的区别

Geifman/El-Yaniv的Selective Classification for Deep Neural Networks（arXivv 2,2017年6月1日）定义选择器与SGR保证风险选择。已读定义算法二项界实验；搜索校正置信，拟合评估分开，如CIFAR-10约5000/5000。作者VGG-16目标.01时测试覆盖.7856、风险.0092，非本文复现。

风险不能移植到织物或EL-AI，数据网络选择器不同。代码未用SGR/VGG/ImageNet。区分覆盖、观测风险、成本、保证；换域可改风险排序，弃权不自动修复。拒绝某子群全部可改善总数却隐藏该群无服务。

复现计算并回答问题

附件存20分数20错误标记及全阈值。确定计算无需种子；前缀重算O(N²)，累计和降低一般O(Nlog N)排序后工作。重点是分母可查非速度。代码打印7、8、9、20点和7/149界，连接公式图而非孤立数字。

部署需评估转交处理、容量、质量及子群，本文未测或归EL-AI。整体系统有经验证更好权衡时弃权才有用。低接受错误可由低覆盖、乐观选择、小样本换来。科学答案是服务风险关系，不是无背景置信数。

Yonatan Geifman, Ran El-Yaniv. Selective Classification for Deep Neural Networks, arXiv 1705.08500 v2,1 June 2017. Definitions, SGR, bounds and experiment protocol read 17 October 2026; not reproduced..

from experiment import curve,zero_upper
for row in curve():
    if row["accepted"] in [7,8,9,20]:print(row)
print(zero_upper(7),zero_upper(149))

代码、数据与说明 · JSON. 教学计算使用 Python 3.14.0，图使用 Matplotlib 3.11.2。分析由 AI 辅助，不声称经过同行评审或人工审核。原创 ImageGen 封面仅作示意，不记录 EL-AI 人员、场所或实际安装。来源查阅于 2026 年 10 月 17 日。