Quanto valgono davvero i modelli di intelligenza artificiale quando devono svolgere un lavoro professionale vero, e non rispondere a un quiz? La domanda ha trovato questa settimana una risposta scomoda per i leader di mercato. Secondo i test pubblicati dalla societa' Snorkel AI sul suo benchmark GDPval+, il nuovo Grok 4.5 di xAI supera sia GPT-5.5 di OpenAI sia Claude Opus 4.8 di Anthropic proprio nei compiti che richiedono giudizio esperto. Ma il dato piu' interessante non e' chi vince: e' quanto poco, in assoluto, riescano ancora a fare questi modelli sul lavoro reale.
Come funziona un benchmark sul lavoro reale
GDPval+ fa parte di una nuova generazione di test costruiti per misurare qualcosa di molto piu' vicino al mondo del lavoro rispetto ai benchmark accademici tradizionali. Le prove, circa 2.000, sono scritte da esperti di settore che definiscono compiti realistici e producono i "prodotti finiti" attesi: documenti, fogli di calcolo, presentazioni. Il modello viene valutato sulla capacita' di consegnare un elaborato all'altezza di quello di un professionista, non di indovinare la risposta esatta a una domanda chiusa.
E' un'evoluzione del concetto di GDPval, il benchmark che valuta i modelli su compiti economicamente rilevanti tratti da decine di occupazioni reali. L'idea di fondo e' semplice ma potente: se l'IA deve davvero cambiare il lavoro, allora va misurata sul lavoro, con criteri stabiliti da chi quel lavoro lo fa.
I numeri: Grok 4.5 davanti, ma tutti sotto un terzo
Sui circa 2.000 compiti di GDPval+, Grok 4.5 ottiene un tasso medio di superamento del 29%, davanti a GPT-5.5 (22%) e Opus 4.8 (21%). Il vantaggio si concentra nei domini che richiedono giudizio professionale approfondito: nell'ambito legale Grok 4.5 raggiunge il 40% contro il 27-28% dei rivali, nell'istruzione il 58% contro il 35-42%, in sanita' il 35% contro il 23-25%, nell'analisi di qualita' il 37% contro il 19-27%.
Letti nel verso giusto, pero', questi numeri raccontano soprattutto i limiti attuali. Anche il miglior modello sul mercato supera meno di un terzo dei compiti professionali reali secondo il giudizio degli esperti. Significa che, su tre incarichi tipici di un professionista, l'IA piu' avanzata ne porta a termine in modo soddisfacente circa uno. Siamo lontani dallo scenario dell'automazione totale del lavoro intellettuale: la realta' e' quella di un assistente potente ma ancora inaffidabile se lasciato solo.
Perché questi test contano più delle classifiche
La distinzione e' cruciale per chi deve decidere se e come adottare l'IA in azienda. I benchmark di ragionamento e programmazione, quelli che riempiono le classifiche e i comunicati stampa, misurano capacita' astratte che non sempre si traducono in valore sul lavoro. Un modello puo' brillare in matematica e fallire nel redigere un contratto o nell'impostare un'analisi finanziaria coerente con le prassi del settore.
I test come GDPval+ colmano proprio questo scarto, e il risultato e' un promemoria di sobrieta' utile in una fase di grande entusiasmo. Il fatto che sia Grok 4.5 a guidare, poi, e' significativo anche perche' e' lo stesso modello che i test indipendenti hanno segnalato per un tasso elevato di allucinazioni: eccellere sui compiti professionali e sbagliare con sicurezza non sono incompatibili, e questo rende ancora piu' necessaria la supervisione umana.
Cosa dovrebbe fare un'azienda con questi dati
La lezione pratica e' duplice. Da un lato, conviene scegliere i modelli sulla base dei compiti specifici che si vogliono automatizzare, non della posizione generale in classifica: un modello puo' essere ottimo in ambito legale e mediocre altrove. Dall'altro, con tassi di successo ancora sotto il 30%, ogni flusso di lavoro basato sull'IA va progettato con un controllo umano nei punti critici, non come una delega cieca. La strada verso un'IA che svolga davvero il lavoro professionale in autonomia e' ancora lunga, e benchmark come questo servono proprio a misurarne la distanza con onesta'.
