Il risultato migliore può essere anche quello più facile da fraintendere
Un sistema che estrae informazioni da documenti supera cento casi di verifica senza sbagliarne uno. Possiamo scrivere che non commette errori? La risposta dipende da cosa intendiamo: in quei cento casi non ne abbiamo osservati; sulle richieste future il rischio resta sconosciuto. Vogliamo tradurre quel risultato in una conclusione quantitativa corretta, senza trasformare un successo limitato in una garanzia universale. I casi di questo articolo sono sintetici: non riportano una valutazione di un prodotto EL-AI.
La domanda precisa è: dopo n prove senza errori, quale probabilità di errore è ancora compatibile con un limite superiore di confidenza al 95%? Costruiremo il limite dalla probabilità di non vedere errori, poi lo useremo per pianificare un test. Servono soltanto probabilità elementari e logaritmi; ogni simbolo verrà collegato al caso iniziale. Distingueremo una stima puntuale, che qui vale zero, da un’affermazione sull’incertezza, che non scompare.
Prima del calcolo: che cosa conta come prova?
Definiamo errore con una regola fissata prima del test, per esempio un campo obbligatorio estratto in modo scorretto. Ogni prova produce un indicatore 1 se c’è errore, 0 altrimenti. Assumiamo n richieste indipendenti, estratte dalla stessa popolazione, e una probabilità p di errore invariata. p non ha unità; n è un conteggio. Queste ipotesi sono forti: cento copie dello stesso documento non diventano cento situazioni indipendenti solo perché il programma le esegue separatamente.
Con queste ipotesi il numero X di errori segue una distribuzione binomiale. Per nessun errore, non serve sommare casi complicati: ogni richiesta riesce con probabilità 1−p e l’indipendenza consente di moltiplicare n volte. Se il rischio reale fosse 1%, cento successi consecutivi avrebbero probabilità 0,99^100, circa 36,60%. Il risultato “tutto corretto” non sarebbe affatto sorprendente neppure con quel rischio non nullo.
Il limite nasce da una domanda al contrario
Cerchiamo ora il valore p_U per cui osservare zero errori sarebbe un evento con probabilità appena alpha=0,05. Per rischi superiori sarebbe ancora meno probabile. Risolvere (1−p_U)^n=alpha dà la formula sotto: prendiamo il logaritmo, dividiamo per n e torniamo dalla scala logaritmica. È il caso zero del limite binomiale esatto unilaterale. Non stiamo sostituendo il rischio con la frequenza osservata; stiamo invertendo un test sulla probabilità del risultato.
Con n=100 otteniamo circa 0,029513, cioè 2,9513%; con mille prove circa 0,2991%. “Confidenza 95%” descrive la copertura della procedura su ripetizioni del campionamento, non assegna una probabilità del 95% al parametro fisso p dopo questo esperimento. Per una probabilità posteriore servirebbero un modello bayesiano e una prior espliciti. Inoltre il limite riguarda la popolazione campionata e la definizione di errore scelta, non ogni documento futuro immaginabile.
| n | Limite 95% | 3/n |
|---|---|---|
| 20 | 0.139108 | 0.15 |
| 100 | 0.029513 | 0.03 |
| 1000 | 0.002991 | 0.003 |
Da dove arriva la regola del tre?
Per n grande, poniamo a=log(alpha)/n, un numero negativo piccolo. L’espansione exp(a)=1+a+a²/2+… dà p_U≈−log(alpha)/n. Poiché −log(0,05)≈2,995732, arrotondiamo a 3/n. È un’approssimazione del limite unilaterale 95%, non una legge generale per qualsiasi confidenza. A venti prove vale 0,15 contro 0,139108 esatto; la differenza non va ignorata quando il campione è piccolo. L’intervallo normale di Wald, invece, sostituisce p con zero nella varianza e collassa a zero: proprio il risultato ingannevole da evitare.
Pianificare il test prima di guardare il risultato
Per ottenere p_U≤p_0 dopo zero errori, invertiamo ancora la formula. Dividendo per log(1−p_0), che è negativo, il verso della disuguaglianza si inverte: n≥log(alpha)/log(1−p_0). Arrotondiamo all’intero superiore. Con p_0=1% servono 299 prove; con 0,1% ne servono 2995. Il codice controlla che n soddisfi il requisito e n−1 no. È una pianificazione condizionata a zero errori: se ne osserviamo uno, occorre il limite binomiale per quel conteggio, non questa scorciatoia.
Tre limiti pratici cambiano davvero l’interpretazione. Primo: con venti documenti indipendenti ripetuti cinque volte e risultati identici, il numero informativo può essere venti, non cento; nel caso di dipendenza perfetta il limite torna al 13,91%. Secondo: un intervallo bilaterale centrale 95% assegna 2,5% alla coda superiore e produce 1−0,025^(1/n), più alto di quello unilaterale. Terzo: scegliere a posteriori il migliore fra cinque sistemi rende inadeguata una garanzia simultanea ottenuta trattando ogni sistema da solo. Una correzione prudente di Bonferroni usa alpha/5, se il piano richiede coprire tutti e cinque.
Anche fermarsi appena il limite scende sotto l’obiettivo può alterare la copertura se si ripete la verifica senza un piano sequenziale appropriato. E un dataset contaminato, etichette incomplete o nuovi tipi di documento non sono corretti aumentando n nella formula. Registrare popolazione, indipendenza, versione del modello, criterio di errore e regola di arresto permette di capire a quale domanda abbiamo davvero risposto. Il costo computazionale della formula è costante; raccogliere prove indipendenti resta il lavoro sostanziale.
La stessa prova ripetuta non crea nuova evidenza
Il prodotto (1−p)^n dipende dall’indipendenza. Se cento esecuzioni replicano una sola situazione con esito perfettamente comune, zero errori ha probabilità 1−p, non (1−p)^100. Con venti situazioni indipendenti ripetute cinque volte ciascuna e dipendenza perfetta entro ogni gruppo, la probabilità diventa (1−p)^20. Sono modelli esatti di questi due casi, non una formula universale di campione efficace. Con dipendenza parziale serve un modello appropriato: non basta dividere n per un fattore intuitivo.
Possiamo controllare anche il verso dell’approssimazione. Ponendo x=−log(alpha)/n, positivo, il limite è 1−exp(−x). Poiché exp(−x)≥1−x, il limite esatto non supera x: l’approssimazione logaritmica è conservativa in questo caso. Lo script verifica la relazione sui punti della tabella. Per n molto grande, sottrarre da uno un numero quasi uguale a uno perde cifre in virgola mobile. expm1 valuta exp(a)−1 in modo adatto ad a vicino a zero; log1p fa lo stesso per log(1+a). Queste funzioni migliorano il calcolo, senza cambiare le ipotesi statistiche.
Nessun errore è un dato, non una promessa
Dopo cento prove indipendenti senza errori possiamo riportare zero osservati e un limite superiore unilaterale 95% di circa 2,95%, nelle ipotesi dichiarate. Non possiamo dedurne rischio nullo né affidabilità universale. Il vantaggio del calcolo non è svalutare il test riuscito: è sapere quale forza ha l’evidenza e quanto altro lavoro serve per sostenere un obiettivo più ambizioso. Il codice allegato calcola i limiti, non simula centinaia di verifiche reali mai eseguite.
Fonti e riproducibilità
NIST/SEMATECH — binomial probability model.
NIST Dataplot — exact one-sided and two-sided binomial limits.
import math
alpha=.05
for n in [20,100,1000]:
upper=-math.expm1(math.log(alpha)/n)
assert abs((1-upper)**n-alpha)<1e-12
print(n,upper)
print(math.ceil(math.log(alpha)/math.log1p(-.01)))
Codice, dati e istruzioni · JSON. Calcoli didattici eseguiti con Python 3.14.0; figure con Matplotlib 3.11.2. Analisi con assistenza AI, senza dichiarare peer review o revisione umana. Copertina originale ImageGen, illustrativa: non documenta persone, sedi o installazioni EL-AI. Fonti consultate il 24 ottobre 2026.