Il 19 settembre 2026 John Poole, l’autore di Geekbench, ha guardato un punteggio attribuito a un chip Apple M6 Pro e ha detto a MacRumors di averci trovato “incoerenze interne”: risultato probabilmente falso. Mark Gurman aveva gia’ riportato che Apple salta del tutto M6 Pro e M6 Max. Quindi un database di benchmark ha ospitato per giorni la misura di un chip che forse non esiste, con il nome del prodotto attaccato sopra.

Non e’ un caso isolato di quella settimana. Sono usciti altri tre numeri sull’AI che hanno la forma della misura e non ne hanno il metodo. Vale la pena metterli in fila, perche’ chi deve scegliere un modello per un’automazione aziendale li incontra tutti nello stesso pomeriggio.

Un benchmark pubblico e’ un compito d’esame che gira in rete

Vals, startup nata nel 2024, ha chiuso ad agosto 2026 una serie A da 40 milioni di dollari guidata da Andreessen Horowitz, dopo un seed di 8VC e Bloomberg Beta. La tesi del co-fondatore Rayan Krishnan, raccontata a TechCrunch, e’ semplice: i benchmark accademici sono rimasti indietro rispetto ai modelli che dovrebbero misurare, e quasi tutti sono pubblici. Un test pubblico puo’ finire nei dati di addestramento, e a quel punto il punteggio non dice piu’ quanto il modello ragiona, ma quanto ha gia’ visto quell’esame. Per questo Vals tiene i propri set chiusi.

La conseguenza per chi compra: un punteggio alto su un benchmark noto e’ un indizio di marketing prima che di capacita’. Misura una popolarita’ del test, non il tuo caso d’uso.

Il 605% senza denominatore

Il direttore dell’FBI Kash Patel ha dichiarato in un’intervista a Fox News che l’uso di AI nell’agenzia e’ cresciuto del 605% da quando e’ in carica. Tom’s Hardware ha provato a ricostruire a cosa si riferisca e non ci e’ riuscito. I due conteggi con una fonte sono altri: l’inventario dei casi d’uso AI del Dipartimento di Giustizia, in un rapporto di febbraio 2026, ne attribuisce 50 all’FBI di cui 9 “ad alto impatto”; ad agosto la Chief AI Officer dell’agenzia Katie Noyes ne ha dichiarati 139 approvati. Da 50 a 139 la crescita e’ del 178%: e’ un calcolo mio sui due dati qui sopra, non una cifra dichiarata dall’agenzia. Un altro numero ancora, ma con una base che si puo’ controllare.

Una percentuale senza denominatore non e’ un dato: e’ una forma retorica. Vale per un’agenzia federale e vale per il fornitore che ti scrive “riduciamo del 70% il tempo di gestione delle richieste” senza dirti settanta per cento di cosa, misurato su quante pratiche e in quanto tempo.

Lo 0% di chi vende le GPU

Jensen Huang ha detto alla CBS, in un’intervista ripresa da Bloomberg e riportata da Tom’s Hardware, che c’e’ “0% di probabilita’” che l’AI distrugga il mondo entro il 2030. Evan Hubinger, gia’ responsabile dell’Alignment Science di Anthropic, aveva scritto che a suo giudizio la probabilita’ e’ sopra il 10% nel prossimo decennio. Due numeri sullo stesso evento, distanti due ordini di grandezza, nessuno dei due accompagnato da un metodo verificabile. Uno arriva da chi vende gli acceleratori, l’altro da chi vende la sicurezza dei modelli.

Non e’ ipocrisia da entrambe le parti: e’ che una probabilita’ senza modello sottostante e’ un’opinione con il travestimento di una statistica.

Il filo: il numero vale quanto il metodo che lo produce

Quattro numeri, quattro difetti diversi dello stesso tipo. Un punteggio su un chip inesistente, un test pubblico che il candidato ha potuto studiare, una percentuale senza base, una probabilita’ senza modello. Nessuno di questi e’ una bugia in senso stretto: sono numeri veri che non misurano quello che sembrano misurare.

Chi lavora con PMI e professionisti li incontra in versione ridotta, tutti i giorni, nelle schede prodotto dei tool AI e nelle demo dei fornitori. La difesa non e’ diffidare per principio, che porta solo a non decidere. E’ avere una misura tua.

Il benchmark privato da trenta casi

Serve mezza giornata, una volta sola, e poi si riusa a ogni cambio di modello o di fornitore.

  1. Prendi 30 casi reali del tuo lavoro dove la risposta giusta la conosci gia’: richieste arrivate dal form contatti, ticket di assistenza, righe di preventivo da classificare.
  2. Tienili fuori da internet. Non in un Google Doc pubblico, non incollati in una chat che finisce nel training: e’ esattamente il difetto dei benchmark pubblici, in piccolo.
  3. Fai girare i due o tre modelli candidati sullo stesso prompt, conta gli errori e segna il costo per caso.
  4. Rimisura quando il fornitore aggiorna il modello. Il punteggio pubblico non si muove, il comportamento sul tuo caso si’, e spesso in silenzio.

Trenta casi non sono statistica, e va detto: sono un campione piccolo e serve a scartare, non a certificare. Ma un modello che sbaglia 7 volte su 30 sulle tue email lo scarti in un pomeriggio, mentre sulla classifica pubblica quel modello resta primo. Per la scelta tra un modello di punta e uno medio ho messo i criteri in questo confronto sulle automazioni WordPress, e sul perche’ una valutazione indipendente conti piu’ della scheda tecnica c’e’ il caso dell’audit esterno su Claude.

La regola operativa, in una riga: prima di firmare per uno strumento AI, chiedi al fornitore su quali casi ha misurato e con quale denominatore. Se non risponde con un numero e una base, il suo benchmark e’ il tuo rischio.