Responder menos puede ayudar, pero ¿qué contamos?
Clasificador de dominio detecta defectos textiles. Empresa quiere derivar casos difíciles. Aceptar puntuaciones altas parece simple, pero poco error con casi ninguna respuesta puede no servir. ¿Subir umbral siempre reduce riesgo restante? Ejemplo separa cobertura, riesgo entre respuestas y coste de abstención.
Resumen.20 puntuaciones construidas, seis errores. Aceptar todo riesgo 30%; primeros siete cero observado, cobertura 35%, trece derivados. Mostramos curva no monótona y costes con error 1, abstención.1. Mínimo observado.065/caso no usa test independiente. Límite unilateral hipotético con umbral fijo y siete aceptados sin errores:95% superior 34.82%, no cero. Sin red entrenada.
Definir denominador antes del porcentaje
f predice categoría; g acepta 1 o rechaza 0. Pérdidaℓ vale 1 si error,0 si correcto. Riesgo selectivo=errores aceptados/aceptados; cobertura=aceptados/todos. Importan denominadores distintos. Abstención no cambia predicción f, decide usarla/exponerla.
A=0 deja E/A indefinido: nunca responder no prueba perfección. Cobertura cero/coste sí definidos. Fórmulas empíricas, riesgo futuro distinto. Contamos primero y después explicitamos hipótesis de límites estadísticos.
Veinte casos, no probabilidades calibradas
Puntuaciones.99 a.80 por.01; errores en rangos 8,10,13,16,19,20 desde 1. Guardamos vectores; no modelo ni frecuencia cliente reales. Solo ordenan:.99 no significa 99% correcto. Márgenes, softmax u otros serían alternativas no comparadas aquí.
Aceptamos primeros k, umbral inclusivo sin empates.20 contienen 6 errores,6/20=.30; siete primeros 0/7=0, cobertura 7/20=.35. Trece pendientes cuestan tiempo, recursos y quizá errores. Exactitud sin cobertura oculta servicio restante.
Umbral mayor no garantiza riesgo monótono
k=9 solo error rango 8:1/9≈11.11%. Subir umbral a k=8 elimina correcto 9, conserva error:1/8=12.5%. Cobertura 45%→40%, riesgo sube porque se rechazó respuesta buena. k=7 elimina error y vuelve cero. Curva fluctúa; cada subida no mejora necesariamente riesgo.
| Aceptados | Cobertura | Errores | Riesgo |
|---|---|---|---|
| 7 | 35% | 0 | 0% |
| 8 | 40% | 1 | 12.5% |
| 9 | 45% | 1 | 11.1111% |
| 20 | 100% | 6 | 30% |
Utilidad depende de separar errores/correctos. Transformación creciente conserva orden y pares riesgo-cobertura con umbrales correspondientes, sin calibrar probabilidades. Distinto de verificar si 90% confianza significa nueve aciertos: selección admite ranking, pero debe medir trabajo descubierto.
Rechazar cuesta: contar servicio completo
Costes normalizados: error 1, correcto 0, abstención.1. Supuestos abstractos, no precios, tiempos o revisión humana. Total errores/derivaciones dividido entre 20. Derivación modela coste fijo de tratamiento posterior, no prueba acierto posterior.
Código evalúa veinte umbrales y rechazo total: mínimo observado k=7,.065 frente.3 responder siempre y.1 nunca. Selección/reporte usan mismos errores construidos, sin test independiente. No estima coste futuro sin sesgo ni autoriza umbral productivo. Otro coste de derivación cambia elección; curva no define preferencias empresariales.
Cero errores no significa riesgo futuro cero
Argumento estadístico aparte: fijar selección antes de test independiente. n aceptados independientes, mismo error r, dan probabilidad cero errores(1−r)ⁿ. Límite unilateral 95% resuelve(1−u)ⁿ=.05; por encima u todo acierto es raro. Derivación binomial, no certificado de veinte casos artificiales.
n=7 da cota 34.82%, no estimación. Bajo hipótesis, procedimiento cubre verdadero riesgo al menos 95% al repetir, no posterior.100 aceptados sin errores 2.9513%;149 bajan de 2%.Cuenta número aceptado, no peticiones totales.
No certifica k=7: casos construidos, no independientes, y umbral elegido con mismos errores. Fingirlo fijo ignora selección. Se necesita test independiente o corrección por búsqueda. Etiquetar confianza no controla riesgo.
Diferencia con control de riesgo
Geifman/El-Yaniv, Selective Classification for Deep Neural Networks, arXivv 2,1 junio 2017, formalizan selector y SGR. Leímos definiciones, algoritmo, cota y experimentos. Búsqueda corrige confianza; ajuste/evaluación separados,5000/5000 CIFAR-10. VGG-16 ajeno reporta cobertura.7856, riesgo.0092 con objetivo.01, no reproducido aquí.
Riesgo no se transfiere a textiles/EL-AI: datos, red, selector distintos. Sin SGR, VGG/ImageNet. Separamos cobertura, riesgo, coste, garantía. Cambio de dominio altera ranking; abstención no lo repara. Rechazar todo subgrupo mejora total ocultando servicio ausente.
Reproducir cálculo y responder pregunta
Paquete guarda 20 puntuaciones,20 errores y umbrales. Cálculos deterministas sin semilla. Resumar prefijos O(N²); sumas acumuladas reducen trabajo tras orden O(Nlog N).Importa inspeccionar denominadores, no velocidad. Fragmento imprime 7,8,9,20 y límites 7/149, conectando código, fórmulas, figura.
Despliegue exige evaluar derivación, capacidad, calidad, subgrupos, no medidos ni atribuidos a EL-AI. Abstenerse sirve si sistema completo mejora compromiso verificado. Poco error aceptado puede comprarse con baja cobertura, selección optimista o muestra pequeña. Respuesta vincula servicio/riesgo, no confianza sin contexto.
from experiment import curve,zero_upper
for row in curve():
if row["accepted"] in [7,8,9,20]:print(row)
print(zero_upper(7),zero_upper(149))Código, datos e instrucciones · JSON. Cálculos didácticos ejecutados con Python 3.14.0; figuras con Matplotlib 3.11.2. Análisis asistido por IA, sin afirmar revisión por pares ni humana. Portada original ImageGen ilustrativa: no documenta personas, sedes ni instalaciones de EL-AI. Fuentes consultadas el 17 de octubre de 2026.