Dammi un LLM e ti dimostro quel che vuoi, e il suo contrario…

Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.

Recentemente circolano sempre più notizie sui ritorni irrisori prodotti dagli investimenti in AI, specialmente, anche se non solo, da parte delle imprese più grandi. Uno studio recente del MIT stima siano il 95% le organizzazioni che non registrano ritorni apprezzabili dagli investimenti in tecnologie AI.

Il fenomeno è sempre più evidente quindi si iniziano a cercare le cause: AI-Generated “Workslop” Is Destroying Productivity (Harvard Business Review, settembre 2025). Workslop: contenuto generato con l’AI che all’apparenza si presenta bene, ma poi si rivela privo di sostanza, quindi inutile. Si usa anche la forma verbale: you have been workslopped, ti hanno mollato un pacco, una sciatteria da AI. L’articolo ha rilevato che il 40% su un totale di 1150 impiegati in varie imprese americane lamenta di ricevere workslop. Il problema è macroscopico perché i testi sciatti perfondono il sistema comunicativo delle aziende costringendo altri colleghi a dissipare tempo prezioso nel valutare e correggere, se non riscrivere ex novo, i workslop; di conseguenza viene speso tempo improduttivo e i flussi di informazione si deteriorano. L’articolo ipotizza che la causa sia “AI slop”, sciatteria da AI.

L’AI slop affligge anche noi utenti comuni. Nella stragrande mggioranza dei casi adoperiamo le chat senza un piano B: mi occorre un’informazione che non posseggo, chiedo a ChatGPT (o altro) e uso la risposta. Fine della storia. Gli utenti accorti e consapevoli sono una quantità infinitesima. Inutile girarci attorno. Il problema affligge anche scolari e studenti: ChatGPT vola quando i ragazzi tornano a scuola¹. O pensiamo che loro sì, usino l’AI in modo consapevole, attuando verifiche e controlli del caso? O confidiamo che gli insegnanti, che poi sono alcuni di noi, abbiano competenze e strumenti per affrontare un problema del genere?

Ma se la sciatteria è il problema, come valutarne gli effetti? Ebbene, recentemente è uscito un articolo che affronta rigorosamente la questione in un contesto ben definito. Il lavoro è stato proposto in questi giorni da un gruppo di ricercatori dell’Università Bocconi, delle università di Zurigo, Gothenburg, Leiden e dell’Istituto per le Scienze Sociali Leibniz².

L’articolo è cospicuo. In 78 pagine, con il supporto di 138 voci bibliografiche gli autori sviscerano gli esiti dell’ormai dilagante costume nel campo delle scienze sociali di analizzare i testi avvalendosi della capacità di annotazione automatica che riesce in maniera particolarmente efficiente con gli LLM.

Qualcuno può obiettare trattarsi di un lavoro troppo di nicchia, per noi comuni cittadini. Forse, ma i problemi evidenziati nello studio sono esattamente gli stessi che caratterizzano gli LLM adoperati dal grande pubblico. La specificità sta unicamente nel contesto strettamente controllato che consente di prendere rigorosamente le misure ai modelli. Quindi studio controllato in contesto specifico ma conseguenze valide generalmente.

Non v’è dubbio tuttavia che l’indagine debba interessare molto i colleghi che si occupano di scienze sociali ma anche tutti quelli che utilizzano gli LLM per condurre ricerche senza debiti controlli e accortezze — sfortunatamente la maggioranza, come emerge dalla ricerca.

In breve per chi non ha tempo

L’analisi dei testi è una pratica fondamentale delle scienze sociali. Questa comporta prima di tutto la fase di annotazione che arricchisce il testo con parole chiave, riferimenti, etichette, intepretazioni, trasformandolo in uno strumento di ricerca. Per fare un esempio, se una ricerca concerne la determinazione di posizioni politiche o ideologiche in gruppi differenti riconoscibili nei testi, i ricercatori possono utilizzare test statistici per mettere in luce l’esistenza di eventuali differenze, purché i testi siano appropriatamente annotati.

Negli ultimi anni, grazie alla rete e ad altre tecnologie digitali, questo campo di ricerca è stato rivoluzionato dalla possibilità di accedere a sterminate quantità di dati. Un vero tesoro ma anche un grosso problema per l’impossibilità pratica di annotare materiali eccessivamente estesi. Ecco che con gli LLM i ricercatori si sono ritrovati una bacchetta magica che consente di elaborare quantità di testi prima inimmaginabili. In un batter d’occhio l’annotazione automatica via LLM è diventata la prassi.

Infatti gli studiosi hanno rilevato che, sul campione selezionato di 103 articoli scientifici, nell’88% dei casi i rispettivi autori impiegavano gli LLM per l’annotazione automatica dei testi ma non solo, ne raccomandavano anche l’uso. Mentre, di converso, solo il 12% si ponevano domande sulla validità della procedura. Inoltre emerge che nel 43% si ometteva qualsiasi forma di validazione e solo in quattro casi gli autori commentavano esplicitamente il rischio di giungere a conclusioni errate.

Sarebbe perfetto se le proporzioni dell’affidabilità della bacchetta magica collimassero con questo quadro. Invece la ricerca mette in luce una realtà assai diversa. Emerge infatti che

I modelli allo stato dell’arte hanno una probabilità su tre di fornire risultati scorretti
È soprendentemente facile (shockingly easy) manipolare gli LLM in modo da rendere statisticamente significativo qualsiasi effetto i ricercatori si propongano di indagare — si può ottenere quello che si vuole
Morale: i ricercatori dovrebbero imparare ad utilizzare questi sistemi saggiamente, non estesamente (88%)

Pare indubbiamente strana la discordanza fra il problema e la percezione che ne hanno la maggior parte dei ricercatori. Ma proprio di una questione di percezione si tratta. Per il grande pubblico — ma evidentemente anche per molti ricercatori — l’intelligenza artificiale, che in questo contesto si identifica con gli LLM, è percepita come un’entità monolitica con la quale dialogare, collaborare e a cui affidare compiti. La realtà è invece molto diversa. Questi sistemi hanno sì in comune gli elementi fondamentali (reti neurali, transformer ecc.) e applicano metodologie simili (pre-addestramento, fine-tuning, chain-of-thought ecc.) ma sono architettati in modi diversi e vengono addestrati su dati solo in parte coincidenti ma che possono anche includere repositori diversi, lingue e contesti differenti. Non solo, molti chatbot offrono la scelta fra varie versioni degli LLM più o meno o diversamente “pensosi”. Ogni scelta — tipo e variante di modello — si traduce in una risposta diversa, di poco o di tanto.

Non solo, la risposta dipende anche da come viene formulata la domanda, il cosiddetto prompt, anche solo cambiando dettagli apparentemente non significativi, come l’ordine di parole o brani. Si genera così una sorta di albero di sentieri biforcanti³ che da un medesimo punto di partenza genera una varietà di risposte diverse.

A maggior ragione quando, come è il caso in questo tipo di impieghi, invece di utilizzare strumenti di chat, si accede agli LLM via software attraverso le API (Application Programming Interface), perché in tal caso è possibile anche intervenire sugli iperparametri che ne regolano il funzionamento, primo fra tutti la temperatura.

Insomma, deve essere chiaro che tutti questi fattori (modello, variante e iperparametri del medesimo, tipo di prompt) determinano un cosiddetto spazio delle configurazioni capace di generare uno spettro di risposte che può essere molto ampio. Quando in un lavoro di ricerca si utilizza un modello senza prendersi la briga di andare a vedere cosa succede se si cambia un fattore o un altro si rischia di giungere a conclusioni che hanno scarso valore perché sarebbero potute essere completamente diverse cambiando di poco la configurazione iniziale.

Ma quello che succede ai ricercatori di scienze sociali succede anche a noi. Ogni volta che apriamo un chatbot, ChatGPT o altro, selezionamo una variante (veloce, esperta…) e formuliamo una domanda (il prompt), ci infiliamo in uno dei tanti percorsi nell’albero delle possibilità, senza essere consapevoli del fatto che altre vie ci avrebbero portato altrove. Non solo, pur ripetendo gli stessi quesiti nelle stesse identiche condizioni le risposte possono variare, in virtù della “creatività” a cui gli LLM non possono rinunciare. Cosa possiamo fare dunque? In generale aumentare il livello di diffidenza. In particolare provare a giocare con alcune delle seguenti possibilità:

Ripetere…

la stessa identica domanda allo stesso chatbot più volte
la stessa domanda formulata in modi diversi allo stesso chatbot
la stessa domanda a versioni diverse dello stesso chatbot
la stessa domanda ad altri chatbot

Quindi valutare i risultati e confrontarli fra loro. Più allarghiamo l’indagine, confrontando i vari risultati, maggiore sarà la qualità del risultato complessivo. Per inciso, queste dovrebbero essere attività obbligate nella scuola per sollecitare nei giovani la fallacità dell macchina.

In conclusione, l’uso indiscriminato e acritico degli LLM produce sciatteria. Per evitare o ridurre il rischio l’utente deve guidare l’AI, controllare costantemente i risultati e confrontarli nelle possibili repliche che abbiamo visto, non dialogarci come fosse un pari.

Qualche dettaglio in più

Per chi ha ancora voglia ma non abbastanza da leggersi l’articolo originale —anche se sarebbe meglio — diamo qualche dettaglio sui contenuti dell’articolo.

Large Language Model Hacking

Cosa intendono gli autori con questa espressione? Con “hacking” non si riferiscono a questioni di cybersecurity ma a conclusioni scorrette causate da errori di annotazione, che vengono classificate in quattro tipi:

Tipo I — Falsi positivi: rilevazione di effetti inesistenti
Tipo II — Falsi negativi: omissione di effetti esistenti
Tipo S — Rilevazione di effetti esistenti ma di segno opposto
Tipo M — Rilevazione di effetti di entità esagerata rispetto alla realtà

Domande di ricerca

Gli autori si pongono le seguenti domande:

Come vengono adoperano gli LLM per l’annotazione automatica di testi nel campo delle scienze sociali?
Quali i rischi di incorrere in errori accidentali con vari modelli e diversi tipi di compiti?
Quali possibili strategie e pratiche di validazione per ridurre tali rischi?
In che misura utenti disonesti possono manipolare LLM per ottenere risultati artefatti?

Metodo

Analisi della letteratura

La revisione della letteratura si è avvalsa di cinque fonti — Scopus (362 articoli), Web of Science (133), Semantic Scholar (17), ACL Anthology (57), Google Scholar (999) e 24 articoli aggiunti manualmente — per un totale di 1592 lavori pubblicati nel periodo 2022-2025 inerenti all’impiego di LLM nell’ambito delle scienze sociali.

Eliminando doppioni e lavori non adeguatamente attinenti al tema della ricerca gli autori hanno selezionato 103 lavori che sono serviti a focalizzare le modalità di impiego degli LLM nelle scienze sociali.

Disegno sperimentale

Sono stati individuati 37 tipi di annotazioni su testi estratti da 21 dataset di testi, ad esempio identificazione di posizione, classificazione, sentiment analysis in domini pertinenti: scienze politiche, sanità pubblica e psicologia sociale (Tabella 1 dell’articolo). Sull’insieme di questi testi gli autori hanno generato 13 milioni di annotazioni.

Su tale messe di dati gli autori hanno individuato 2361 ipotesi valutabili statisticamente, per un totale di 1.4 milioni di test effettuati assumendo la classica soglia p > 0.05.

Lo spazio delle configurazioni comprende 18 diversi LLM appartenenti a 4 principali famiglie: Llama, Qwen, Gemma e GPT-4o.

Tutti prompt sono stati parafrasati in 5 modi diversi.

Sono stati coinvolti annotatori umani in maniera da avere almeno un’annotazione umana per caso (media su tutti i task 2.3 annotatori umani per caso).

Risultati

Li abbiamo già menzionati. Più in dettaglio:

Le annotazioni generate da LLM portano a conclusioni statistiche errate nel 31-50% dei casi
È soprendentemente facile (shockingly easy) manipolare gli LLM in modo da rendere statisticamente significativo qualsiasi effetto i ricercatori si propongano di indagare. Ad esempio gli autori sono riusciti a genere artificialmente almeno un errore del tipo I (falsi positivi) nel 94.4% dei casi testati e nel 98.1% dei casi per il tipo II (falsi negativi).
Risultati prossimi alla soglia statistica sono completamente inaffidabili: il rischio di hacking supera il 70% in prossimità della soglia p > 0.05

Linee guida

Gli autori propongono una serie di linee guida al fine di ridurre il rischio di hacking (L’elenco completo nella tabella 5 dell’articolo)

Preferire modelli con molti parametri
Esercitare la massima cautela in presenza di risultati prossimi alla soglia statistica p > 0.05
Privilegiare le versioni few-shot rispetto a quelle zero-shot dei prompt (aiutare il modello)
Integrare le analisi con il massimo numero possibile di annotatori umani esperti
Generare annotazioni quanto più possibili accurate perché ciò influenza molto il rischio di hacking
Nei report dei risultati specificare chiaramente tutti i modelli testati, le versioni, i prompt e i valori degli iperparametri
Specificare prima delle analisi modelli testati, versioni, prompt e valori degli iperparametri
Formulare ipotesi e test statistici prima di applicarli
Documentare le analisi di sensibilità delle configurazioni

Theo Burman (28 agosto 2025) ChatGPT Usage Skyrockets as Kids Return to School. Newsweek, https://www.newsweek.com/chatgpt-use-skyrockets-school-kids-homework-2120753 ↩︎
Joachim Baumann, Paul Röttger, Aleksandra Urman, Albert Wendsjö, Flor Miriam Plaza-del-Arco, Johannes B. Gruber, Dirk Hovy (10 settembre 2025) Large Language Model Hacking: quantifying the hidden risk of using LLMs for text annotation. https://arxiv.org/abs/2509.08825 ↩︎
Espressione mutuata dal titolo di un noto articolo che mette in guardia dalle scelte implicite che un ricercatore può fare nell’impostazione delle analisi statistiche:
Gelman A., Loken E. (2013) The garden of forking paths: Why multiple comparisons can be a problem, even when there is no “fishing expedition” or “p-hacking” and the research hypothesis was posited ahead of time. https://sites.stat.columbia.edu/gelman/research/unpublished/forking.pdf
Noi usiamo l’espressione in un contesto più generale ma il concetto è quello. ↩︎