El mejor resultado también puede malinterpretarse
Un extractor documental supera cien comprobaciones sin errores. ¿Podemos afirmar que nunca falla? No observamos fallos en esas pruebas, pero el riesgo futuro sigue desconocido. Buscamos una interpretación cuantitativa que no convierta un éxito limitado en garantía universal. Los casos son sintéticos, no una evaluación de un producto EL-AI.
La pregunta exacta es qué límite superior de confianza al 95% corresponde a n pruebas sin fallos. Lo derivamos de la probabilidad de observar cero errores y después planificamos una prueba. Bastan probabilidad elemental y logaritmos. La estimación puntual vale cero; la incertidumbre permanece.
Antes del cálculo: ¿qué cuenta como prueba?
Definimos antes el error, por ejemplo extraer incorrectamente un campo obligatorio. Cada prueba vale 1 si falla y 0 si no. Suponemos n solicitudes independientes de la misma población y probabilidad p constante. p no tiene unidades; n es un conteo. Cien copias del mismo documento no son cien situaciones independientes por ejecutarse por separado.
Con esos supuestos X, número de errores, es binomial. Cada acierto tiene probabilidad 1−p y la independencia permite multiplicar n veces. Si el riesgo real fuese 1%, cien aciertos tendrían probabilidad 0,99^100, aproximadamente 36,60%. Una serie perfecta no sería sorprendente con ese riesgo no nulo.
El límite aparece al invertir la pregunta
Buscamos p_U para el que cero errores tenga probabilidad alpha=0,05; riesgos mayores hacen el resultado aún menos probable. Resolver (1−p_U)^n=alpha exige tomar logaritmos, dividir por n y exponenciar. Es el caso de cero fallos del límite binomial exacto unilateral: invertimos una prueba, no igualamos riesgo y frecuencia observada.
Con n=100 el límite es aproximadamente 0,029513, o 2,9513%; con mil, cerca de 0,2991%. La confianza del 95% describe cobertura en muestreos repetidos, no probabilidad posterior del 95% para p fijo tras este experimento. Esa interpretación requeriría modelo bayesiano y prior explícitos. El límite corresponde a la población y definición de error elegidas, no a todo documento futuro imaginable.
| n | Límite 95% | 3/n |
|---|---|---|
| 20 | 0.139108 | 0.15 |
| 100 | 0.029513 | 0.03 |
| 1000 | 0.002991 | 0.003 |
¿De dónde sale la regla del tres?
Con n grande, a=log(alpha)/n es pequeño y negativo. Expandir exp(a)=1+a+a²/2+… da p_U≈−log(alpha)/n. Como −log(0,05)≈2,995732, aproximamos por 3/n. Es para límite unilateral del 95%, no cualquier confianza. Con veinte pruebas da 0,15 frente a 0,139108 exacto. El intervalo normal de Wald introduce cero en la varianza y colapsa a cero: el resultado engañoso que debemos evitar.
Planificar antes de ver el resultado
Para p_U≤p_0 con cero errores invertimos otra vez. Dividir por log(1−p_0), negativo, invierte la desigualdad: n≥log(alpha)/log(1−p_0), redondeando hacia arriba. Para 1% y 0,1% hacen falta 299 y 2995 pruebas. El código comprueba que n sirve y n−1 no. Si aparece un fallo, debe calcularse el límite del conteo observado, no usar este atajo.
Tres límites importan. Veinte documentos independientes repetidos cinco veces con idénticos resultados pueden aportar veinte unidades, no cien: con dependencia perfecta interna el límite vuelve al 13,91%. Un intervalo bilateral central del 95% usa 2,5% en la cola superior y da el mayor 1−0,025^(1/n). Elegir después el mejor de cinco sistemas tampoco hereda garantía simultánea de límites separados; Bonferroni usa alpha/5 si deben cubrirse los cinco.
Comprobar repetidamente y detenerse al cruzar el objetivo también puede alterar cobertura sin un plan secuencial adecuado. Aumentar n no repara contaminación, etiquetas incompletas ni tipos de documento nuevos. Registrar población, independencia, versión, criterio de error y parada aclara qué pregunta respondemos. Calcular la fórmula cuesta trabajo constante; reunir evidencia independiente es la parte sustancial.
Repetir la misma prueba no crea evidencia nueva
El producto (1−p)^n depende de independencia. Cien ejecuciones de una situación con resultados perfectamente compartidos dan probabilidad 1−p, no (1−p)^100. Veinte situaciones independientes repetidas cinco veces con dependencia perfecta interna dan (1−p)^20. Son dos modelos exactos, no una fórmula universal de tamaño efectivo. La dependencia parcial requiere modelado, no dividir n por un factor intuitivo.
Con x=−log(alpha)/n positivo, el límite es 1−exp(−x). Como exp(−x)≥1−x, el límite exacto no supera x: la aproximación logarítmica es conservadora aquí. El código verifica todos los puntos. Para n enorme, restar números flotantes casi iguales pierde cifras. expm1 evalúa exp(a)−1 cerca de cero y log1p hace lo propio con log(1+a). Mejoran el cálculo sin cambiar los supuestos estadísticos.
Cero errores es una observación, no una promesa
Tras cien pruebas independientes sin fallos podemos informar cero observados y límite unilateral del 95% de aproximadamente 2,95%, bajo los supuestos declarados. No implica riesgo cero ni fiabilidad universal. El cálculo no devalúa el éxito: indica la fuerza de la evidencia y el trabajo para un objetivo mayor. El código calcula límites, no inventa evaluaciones reales.
Fuentes y reproducibilidad
NIST/SEMATECH — binomial probability model.
NIST Dataplot — exact one-sided and two-sided binomial limits.
import math
alpha=.05
for n in [20,100,1000]:
upper=-math.expm1(math.log(alpha)/n)
assert abs((1-upper)**n-alpha)<1e-12
print(n,upper)
print(math.ceil(math.log(alpha)/math.log1p(-.01)))
Código, datos e instrucciones · JSON. Cálculos didácticos ejecutados con Python 3.14.0; figuras con Matplotlib 3.11.2. Análisis asistido por IA, sin afirmar revisión por pares ni humana. Portada original ImageGen ilustrativa: no documenta personas, sedes ni instalaciones de EL-AI. Fuentes consultadas el 24 de octubre de 2026.