Sul benchmark finanziario di Vals AI, aggiornato a settembre 2026, Claude Opus 5 prende 58,63% di accuratezza e Gemini 3.5 Flash 57,86%. Settantasette centesimi di punto fra il modello di punta di Anthropic e un modello di fascia media che costa circa la metà e gira quasi al doppio della velocità. Se stai scegliendo quale modello mettere dentro un’automazione che lavora tutti i giorni, quel dato vale più di qualsiasi annuncio di lancio: il premio di accuratezza della fascia alta è sottile, il divario di prezzo no.
La classifica arriva da Finance Agent v2, il benchmark con cui Vals misura i modelli sul lavoro di un analista finanziario junior: 927 domande riviste da esperti, divise fra parte pubblica, validazione privata e una held-out mai diffusa. Il 19 settembre 2026 TechCrunch ha raccontato l’azienda, nata nel 2024 e arrivata ad agosto 2026 a un round da 40 milioni di dollari guidato da Andreessen Horowitz, su una valutazione di 400 milioni.
Il criterio: quanto costa un punto di accuratezza
Il confronto qui non è fra due prodotti ma fra due fasce di prezzo della stessa generazione: il modello di punta, che prendo come Claude Opus 5, e il modello medio, che prendo come Gemini 3.5 Flash. Il criterio che uso è uno solo: quanti punti di accuratezza compro con ogni franco in più, sul compito che sto automatizzando. Non sulla media di tutti i compiti, non sulla sensazione di qualità della chat.
I numeri di Finance Agent v2 al 19 settembre 2026 danno la misura. In testa c’è Muse Spark 1.2 con 60,60%, poi Opus 5 a 58,63%, poi Gemini 3.5 Flash a 57,86%. Vals segnala che il capofila costa circa un settimo di Opus 5, e che i modelli di fascia media stanno pochi punti sotto i leader a una frazione del prezzo. Due conseguenze, e la seconda è quella che conta: la scala del prezzo è logaritmica e quella dell’accuratezza no, e il primo posto non appartiene al modello più caro.
Cosa misura davvero quella classifica
Vals tiene i materiali di test riservati, e non è un dettaglio burocratico: un benchmark pubblico finisce nei dati di addestramento e smette di misurare. Storicamente la valutazione è stata astratta, dice il CEO Rayan Krishnan a TechCrunch: «il modello sa abbastanza da passare un esame da avvocato?». Finance Agent v2 chiede invece di completare compiti reali su bilanci e documenti societari.
Un punto da tenere presente: sono le aziende che producono i modelli a pagare Vals per farli testare, e i risultati finiscono nelle model card di OpenAI, Anthropic, Google, Meta e xAI. È una valutazione indipendente dal team di prodotto, non dal mercato che misura: utile per ordinare le opzioni, non per chiudere la decisione.
Il modello di punta: dove il prezzo si ripaga
Vantaggi reali: tiene meglio le catene lunghe, sbaglia meno quando servono numeri intermedi precisi, è più prevedibile sui casi strani. Su Finance Agent v2 le categorie più dure restano Financial Modeling e Precedents, dove i migliori si fermano al 34,52% e al 36,37%: lì la fascia conta.
Il costo però non è solo la fattura API: è latenza dentro a un flusso che qualcuno sta aspettando, ed è dipendenza da un fornitore che può deprecare la versione prima che tu abbia riscritto i prompt. E la fascia alta non compra il primo posto: Opus 5 costa circa sette volte Muse Spark 1.2 e gli sta due punti sotto. Su un’automazione che gira 5.000 volte al mese quel moltiplicatore va giustificato con punti misurati sul tuo compito.
Il modello medio: dove vince davvero
Vince quando il compito è stretto e verificabile: classificare, estrarre campi da un documento, riscrivere un testo dentro uno schema fisso, decidere se una richiesta va inoltrata a una persona. Ai prezzi rilevati da Vals, Gemini 3.5 Flash costa circa la metà di Opus 5 e va quasi al doppio della velocità, lasciando sul tavolo 0,77 punti di accuratezza.
Dove perde: sui compiti aperti in cui l’errore non è visibile a occhio. Uno scarto sotto il punto percentuale non compare in nessuna dashboard — compare quando lo trova un cliente, e a quel punto non vale più un punto.
Il numero che ribalta la decisione
C’è un dato dentro la stessa pagina che vale più della classifica. Quel 60,60% è calcolato con il credito parziale: il modello prende punti anche quando prende parte della risposta. Con il punteggio All-Pass, cioè il compito giusto per intero o niente, il capofila scende a 50,88% e tutti gli altri modelli restano sotto il 48%.
Questo è il numero da usare per un’automazione, perché un’automazione consegna compiti interi. Metà dei compiti completati bene non è una percentuale con cui si spegne una revisione umana: è il livello a cui l’AI prepara il lavoro e una persona lo chiude. Chi ne ricava un flusso senza supervisione ha usato la metrica sbagliata, non il modello sbagliato.
Come si traduce su un sito WordPress
Prendi un compito vero: un form che apre un ticket, e vuoi che l’AI assegni categoria, priorità e destinatario prima che arrivi a una persona. La prova costa un pomeriggio: 30 ticket già chiusi con l’esito che conosci, due passaggi identici con i due modelli. Conta i casi in cui tutti e tre i campi sono corretti — è il tuo all-pass — e confrontalo con la differenza in fattura su un mese di volume reale.
Nella maggior parte dei casi esce un routing a due livelli: il medio fa il primo passaggio su tutto, e solo i casi sopra una soglia di ambiguità salgono alla fascia alta. È lo stesso principio per cui un modello locale può filtrare i ticket prima del cloud. E vale la regola del costo per task invece che del prezzo di listino: un modello che ragiona di più consuma più token.
La take
La fascia di punta è la scelta giusta solo dove il compito è lungo, ramificato e caro da sbagliare. Per tutto il resto — e nelle PMI il resto è quasi tutto — il medio con un buon routing batte la fascia alta usata ovunque: il premio di accuratezza si misura in punti singoli, il prezzo in multipli. La domanda seria non è quale modello scegliere: è se il tuo compito regge un all-pass del 50,88% nel caso migliore e sotto il 48% in tutti gli altri. Se non lo regge, nessuna delle due opzioni è pronta per lavorare da sola, e la scelta vera è dove mettere la persona.
Cosa fare adesso
Prendi 30 casi già chiusi e scrivi l’esito atteso. Misura l’all-pass dei due modelli su quei casi, non il credito parziale. Se il salto di fascia non compra almeno cinque punti di all-pass, resta sul medio e investi la differenza nel controllo.