Un avvocato di Columbia, South Carolina, ha speso 9.450 dollari per un server con 12 GPU Nvidia V100 usate, le schede per data center uscite nel 2018, e ci fa girare DeepSeek V4.1 Flash, un modello i cui esperti richiedono quasi 280 GiB, senza che i fascicoli dei clienti lascino l’ufficio. Sul codice arriva a 184 token al secondo. Su un documento da 256.000 token, però, il primo token compare dopo 58 secondi. Questi due numeri, presi insieme, dicono già se una macchina così fa per il vostro studio.

Il caso è stato raccontato da Tom’s Hardware in tre articoli, il 9, il 14 e il 20 novembre 2026, e vale la pena leggerlo con un occhio da consulente: non per copiare la build, ma per capire che cosa costa davvero tenere l’AI dentro l’azienda. Per uno studio professionale, un’agenzia o una PMI che gestisce dati sensibili, la domanda non è «si può?», ma «per quale parte del lavoro, a quali condizioni e con quale persona che la mantiene?».

Il caso: documenti che non escono dall’ufficio

L’autore del progetto è Nick Mermiges, avvocato e fondatore di PLI Labs, una società di consulenza tecnologica distinta dal suo studio legale. Secondo il secondo articolo di Tom’s Hardware, tra febbraio e luglio 2026 aveva costruito un sistema di lavoro legale attorno a un modello commerciale. I tentativi di replicarlo con un modello locale erano falliti, finché non è arrivato DeepSeek V4.1 Flash, che è riuscito a portare sul suo hardware, pur riconoscendo che resta sotto i modelli di frontiera.

L’uso quotidiano è molto concreto, e vale la pena riportarlo senza abbellimenti. Il server legge una cartella di atti, estrae fatti, date e cifre, li riassume e prepara una prima bozza di documenti di routine. La sua regola, citata da Tom’s Hardware, è «nothing goes out the door without a real review»: niente esce senza una revisione umana vera. Il sistema ha un archivio RAG e chiamate a strumenti, e si pilota con un’interfaccia in stile chat via SSH da un PC Windows.

Il motivo dichiarato è la riservatezza: ci sono pratiche i cui documenti non si possono mandare a un cloud o a un modello di frontiera. L’autore stima che il 50-60% del suo lavoro con l’AI possa ormai evitare i modelli di frontiera. È una stima sua, non una misura indipendente, e va letta così.

Che cosa c’è dentro la macchina

La configurazione iniziale, descritta il 9 novembre, aveva otto schede Tesla V100 SXM2 da 32 GB ciascuna, con memoria HBM2 a 900 GB/s, montate su due baseboard da quattro GPU ciascuna. Dentro ogni baseboard le quattro GPU sono collegate con NVLink; fra le due baseboard il traffico passa invece dal PCIe. Il resto è hardware da workstation: una scheda madre Gigabyte Threadripper Pro con CPU 3945WX a 12 core, 256 GB di RAM DDR4 e due alimentatori da 2.800 W complessivi, collegati a due circuiti elettrici di ufficio separati.

L’ultimo aggiornamento, del 20 novembre, porta le schede a 12, quattro per ogni baseboard. Il motivo è la capienza: le otto schede originali offrivano 254 GiB, mentre gli esperti del modello in formato NVFP4 di Nvidia ne richiedono 278,9. Prima, per farci stare tutto, gli esperti erano compressi a 2 bit, con i 5.949 più usati, circa il 38,7%, portati a NVFP4. Oggi tutti i 15.360 esperti stanno nelle schede a 4 bit. Nella versione a otto schede del 9 novembre circa 110 GB di tabelle Engram stavano nella RAM di sistema, con un costo di lettura di circa 0,12 millisecondi a passo che, secondo l’autore, incideva poco sulla velocità.

C’è un dettaglio tecnico che spiega perché una scheda del 2018 regga un formato recente: la V100 non ha tensor core FP4 né FP8. Ogni valore NVFP4 viene decompresso via software in mezza precisione prima del calcolo. La compressione conviene lo stesso «because the cards read fewer bytes, not because they compute faster», cioè perché le schede leggono meno byte, non perché calcolano più in fretta.

Le misure: che cosa dicono e che cosa no

I numeri più citati sono quelli della configurazione a otto schede del 9 novembre, misurati dall’autore con decodifica greedy, 1.024 token in uscita e media di due prove.

  • 1.000 token di prompt: primo token dopo 1,2 secondi, 215 token/s sul codice, 118 sulla scrittura legale.
  • 32.000 token: 17,2 secondi di attesa, 200 token/s sul codice, 117 sulla scrittura legale.
  • 128.000 token: 59,2 secondi di attesa, 183 token/s sul codice, 111 sulla scrittura legale.
  • 256.000 token: 118,7 secondi di attesa, 160 token/s sul codice, 103 sulla scrittura legale.

Con 12 schede e potenza per scheda portata da 150 a 175 W (con il clock limitato a 1.452 MHz), l’attesa sul primo token a 256.000 token scende a 58 secondi, contro i 108,4 della versione intermedia del 14 novembre (la tabella del 9 novembre riportava 118,7), mentre la lettura del prompt oltre i 32.000 token arriva a circa 4.500 token al secondo, contro i circa 2.200 della prima versione. Tom’s Hardware nota che il limite di potenza più alto probabilmente spiega una parte del guadagno. In decodifica il miglioramento è modesto: +23% a 1.000 token sul codice, nessun guadagno reale da 32.000 in su.

Per chi lavora con documenti, il numero che conta è quello dell’attesa, non i token al secondo. Un’ora di atti da leggere è un lavoro che si lancia e si controlla dopo, non una chat. E lo stesso autore mette i limiti nero su bianco: il 9 novembre il sistema serviva una richiesta alla volta, e dal 14 novembre ne gestisce due o tre in parallelo. Con tre richieste contemporanee a 128.000 token ottiene circa 360 token/s totali sul codice e 213 sulla scrittura legale, ma scrive che «this is not a batched-decode engine», non è un motore pensato per molte richieste insieme.

Soprattutto, Tom’s Hardware riporta che questi numeri non stabiliscono la «answer quality in use», la qualità delle risposte nell’uso reale. Velocità e qualità sono due misure diverse. L’autore dice che per lui è il primo modello locale che «works like Opus 4.6», ma è un giudizio personale dopo pochi giorni d’uso, non un test.

I costi che il titolo non racconta

La cifra di 9.450 dollari è il prezzo che l’autore ha pagato, non quello che pagherebbe chi ricomincia oggi. Tom’s Hardware segnala che le V100 SXM2 da 32 GB sono in vendita su eBay a circa 900 dollari, più del doppio dei 400 circa del post originale, e che i prezzi stanno ancora salendo. Facendo il conto io: 12 schede a 900 dollari sono 10.800 dollari, già oltre l’intera spesa dell’autore, prima di baseboard, scheda madre, CPU, RAM, alimentatori e cavi.

Poi ci sono i costi che non stanno in una fattura.

  1. Stabilità elettrica. Nel primo articolo il server si è riavviato due volte per un errore PCIe fatale, entrambe le volte con limiti di potenza più alti e clock non limitati; le schede assorbivano 192-232 W contro un limite di 180 W. I riavvii sono finiti dopo aver limitato i clock e tolto una baseboard con un connettore di alimentazione bruciato; il 14 novembre la causa più probabile è stata indicata in un alimentatore difettoso. «Check your connectors, people» è la sua conclusione. Anche l’ultima prova a 200 W per scheda ha fatto saltare l’host una volta, con quattro chat lunghe in parallelo.
  2. Errori di memoria. La RAM ha mostrato errori ECC non correggibili, spariti dopo aver abbassato la velocità da DDR4-3200 a DDR4-2666. Dal 14 novembre la RAM è salita a 1 TB.
  3. Fine del supporto. Le V100 sono, parole dell’autore, in «borrowed time»: R580 è l’ultima famiglia di driver Nvidia che le supporta.
  4. Competenza. Claude Code ha scritto i kernel ed eseguito i benchmark su indicazione dell’autore, secondo Tom’s Hardware. Restano a carico di una persona competente la direzione del lavoro e la diagnosi dell’hardware: ripartire gli strati del modello fra le GPU, leggere un errore PCIe, riconoscere un connettore bruciato.
  5. Consumi. Nei tre articoli non ho trovato un consumo misurato a parete. Il solo limite per scheda (12 per 175 W) vale 2.100 W per le sole GPU, più CPU, RAM, ventole e il raffreddamento dell’ufficio.

Nessuno di questi punti è un difetto del progetto: sono il prezzo normale dell’hardware usato da data center. Il problema nasce quando un titolo con una cifra sola diventa il preventivo di una PMI.

Quando ha senso per uno studio o una PMI

Per decidere uso tre domande, in questo ordine. Se la risposta a una è no, il server in casa probabilmente non è la strada giusta.

  1. I dati non possono uscire davvero? Distinguo i documenti coperti da segreto professionale o da obblighi contrattuali dai documenti che sono solo scomodi da condividere. Un fornitore cloud con contratto di trattamento dati ai sensi dell’art. 28 del GDPR e misure di sicurezza adeguate ai sensi dell’art. 32 può bastare per una parte del lavoro. Per la valutazione giuridica serve il vostro legale o il vostro DPO, non un blog.
  2. Il lavoro è batch o interattivo? Una macchina che regge due o tre richieste in parallelo e impiega un minuto sul primo token funziona per la prima lettura di fascicoli, da lanciare la sera. Non funziona per dieci persone che usano una chat contemporaneamente: l’autore stesso scrive che oltre quel numero si guadagna poco.
  3. C’è qualcuno che la mantiene? Driver in scadenza, connettori da controllare, aggiornamenti dei kernel: se questa persona è il titolare nel weekend, il costo vero è il suo tempo.

Alternative più sobrie da provare prima

La mia opinione tecnica è netta: per la maggior parte delle PMI la V100 è un esperimento da seguire, non un acquisto da fare. Prima di comprare 12 GPU userei tre gradini intermedi, tutti più economici da annullare.

  • Modello più piccolo su una workstation singola. Per estrazione di date e importi da contratti o fatture non serve un modello che richiede quasi 280 GiB di GPU. Se un modello da pochi miliardi di parametri sbaglia sul vostro campione di documenti, lo scoprite in un pomeriggio.
  • Fornitore con residenza dei dati e contratto chiaro. Per i documenti non coperti da segreto, un servizio con DPA firmato e regione europea riduce il rischio senza hardware da gestire. Il confronto con il server interno vale anche per altri servizi, come nell’analisi su server interno o Microsoft 365.
  • Separazione per sensibilità. I documenti sensibili restano in locale, tutto il resto va al modello migliore. È quello che fa l’autore del caso: non ha rinunciato ai modelli di frontiera, ha tolto loro una quota del lavoro.

Se poi il locale vi serve davvero, il collo di bottiglia sarà la qualità del recupero dei documenti, non la GPU. Una pipeline RAG mal costruita dà risposte sbagliate più velocemente. Il confronto fra RAG gestito e personalizzato affronta proprio questo, e chi gestisce hardware proprio dovrebbe leggere anche come tenere sotto controllo inventario e telemetria delle GPU.

Una prova di cinque giorni prima di spendere

Prima di preventivare hardware, farei un test su dati veri e anonimizzati. Servono cinque giorni, nessun acquisto e un foglio di calcolo.

  1. Giorno 1: scegliere 30 documenti reali di tre tipi diversi, rimuovere nomi e codici identificativi, e scrivere per ciascuno la risposta corretta che vi aspettate (date, importi, parti coinvolte).
  2. Giorno 2: eseguire l’estrazione con un modello commerciale e con un modello aperto piccolo, in locale su un portatile o una workstation già in azienda.
  3. Giorno 3: confrontare gli errori uno per uno e annotare quelli che un revisore umano non avrebbe notato.
  4. Giorno 4: misurare il tempo reale di attesa su documenti lunghi come quelli che trattate, non sul prompt di prova.
  5. Giorno 5: decidere con tre numeri: percentuale di errori, minuti risparmiati a documento, costo orario di chi controlla.

Se il modello piccolo arriva a una percentuale di errori accettabile con revisione umana, avete risolto il problema senza una stanza piena di GPU. Se non ci arriva, avete un criterio misurato per giustificare un investimento maggiore, e il caso di Columbia diventa un riferimento utile per dimensionarlo.

Che cosa farei lunedì

Terrei il caso dell’avvocato come prova di fattibilità, non come ricetta. Dimostra che un modello aperto di grandi dimensioni può girare dentro un ufficio su hardware di seconda mano, con tempi accettabili per il lavoro in batch. Non dimostra che la qualità regga su un vostro caso d’uso, e non rende conveniente l’operazione per chi parte oggi con le schede a 900 dollari.

Le tre azioni, in ordine: separare i documenti per sensibilità, fare la prova di cinque giorni con un modello piccolo, e mettere sempre una revisione umana prima di qualsiasi output che esca dallo studio. Solo dopo, se i numeri lo giustificano, chiedere un preventivo per l’hardware, includendo manutenzione, consumi e sostituzione delle schede quando i driver non saranno più aggiornati.

Fonti consultate