Non esiste una AI generativa sicura

Questo articolo fa parte di una sorta di Corso accelerato sull’AI — il link conduce a un indice aggiornato.

---

Fuori dai denti:

Ad oggi non esiste un sistema di AI generativa sicuro.

Più precisamente: ad oggi non esiste nessun sistema di AI generativa che possa garantire l’assenza completa di allucinazioni nelle sue risposte.

Di conseguenza le fanfare su fasti imminenti in settori critici, quali ad esempio sanità, finanza, pubblica sicurezza sono mendaci. E in altri contesti l’impiego dell’AI va comunque valutato con molta attenzione.

Cosa sono le allucinazioni dell’AI generativa

Le allucinazioni nel contesto dell’AI generativa sono risposte false ma che appaiono completamente plausibili e coerenti. E non riguardano solo l’ambito del Natural Language Processing (NPL). Melanie Mitchell (L’intelligenza Artificiale) ha menzionato studi dove pochi pixel alterati possono indurre l’AI a scambiare uno scuolabus per uno struzzo, mentre noi continuiamo a vedere uno scuolabus.

Prima di approfondire la questione è opportuno chiarire che cosa si intenda con allucinazioni. Negli umani queste consistono nella percezione di cose inesistenti o nella percezione alterata di cose esistenti. Attengono quindi alla percezione del mondo esterno. Invece l’AI generativa non percepisce nulla ma può inventare informazioni di sana pianta lasciando credere che siano vere. Una cosa diversa dalle allucinazioni umane ma non per questo meno preoccupanti, anzi molto preoccupanti perché possono produrre informazioni false causando decisioni sbagliate con conseguenze potenzialmente molto gravi.

Le allucinazioni sono diverse da altri problemi forse più noti, quali la presenza di distorsioni nei dati usati per l’addestramento (biased data) o la distanza eccessiva dai dati su cui il sistema si è formato (out-of-distribution errors). Anche questi tipi di errori pongono sfide formidabili. Nel primo caso, chi produce più dati è destinato a predominare e le inevitabili sperequazioni che affliggono i corpora di dati per l’addestramento — unica fonte di conoscenza dell’AI generativa — sono difficilissime da compensare. Nel secondo caso è ovvio che invocando risposte su temi poco rappresentati nei dati il rischio di risposte sbagliate sale vertiginosamente. Invece le allucinazioni non dipendono né dalla qualità dei dati né dalla distanza da essi e possono comparire anche in assenza di bias (teoricamente) e su argomenti ottimamente rappresentati nel corpus di addestramento. Tuttavia sono assai più insidiose perché si verificano in maniera casuale. Vale a dire che risomministrando più volte uno stesso input, il sistema può dar luogo a un’allucinazione in maniera completamente imprevedibile. Magari una volta su cento. La natura casuale del fenomeno rende praticamente impossibile la ricerca dell’errore, ovvero rende impossibile il classico debugging che si applica agli algoritmi convenzionali.

Ma non c’è solo il problema del debugging. Molto peggio è rendersi conto dell’esistenza del bug! Perché quello che inganna è la sorprendente ragionevolezza e coerenza delle risposte, almeno in superficie, per cui la panzana assume i connotati dell’ago nel pagliaio.

La sinergia fra aziende che sgomitano nel mercato, gestione dell’informazione fuori controllo e utenza avvezza a trangugiare quel che viene, genera scenari a loro volta allucinati e allucinanti. Impensabile che si possano affidare decisioni critiche a sistemi AI del genere, vuoi che si tratti di frenare un’auto autonoma nel traffico, di diagnosticare un melanoma o di orientare investimenti nel mercato.

Non è finita qui. I problemi ci sono anche con applicazioni apparentemente più tranquille. Una stupidaggine infilata a caso in un testo può propagarsi nel sistema comunicativo di un’organizzazione rischiando di produrre decisioni infondate, con conseguenze imprevedibili. Va molto di moda farsi fare sommari per velocizzare il lavoro, perché pare che la velocità sia sempre più un valore di riferimento. Ma come assicurarsi che nel sommario sia venuto a mancare un punto cruciale o che vi sia finito uno inessenziale o inventato? Semplice verrebbe da dire: analizzando con attenzione l’output! Ma allora la velocità dove finisce? Ancora: una stupidaggine infilata a caso in un testo utilizzato in un contesto didattico che effetti può produrre? Chi se ne può accorgere? Possiamo sperare di istruire adeguatamente gli insegnanti laddove abbiamo ancora pesanti difficoltà ad utilizzare adeguatamente tecnologie ben più semplici? (che peraltro usano in ben pochi)

Insomma, pare che la difficoltà essenziale stia nel spiegare al sempre più vasto mondo di utenti le gravi limitazioni di questi sistemi.

Ad oggi non esiste un sistema di AI generativa che sia esente da allucinazioni.

La questione è perversa perché tutti siamo sempre più abituati a sistemi che funzionano (quasi sempre): la confidenza cresce, l’attenzione scema. Ma oltre che perversa la questione è fondamentale, nel vero senso della parola, perché la comparsa di un’allucinazione non è un bug ma una caratteristica inerente ai modelli generativi, e pure desiderabile!

Da dove provengono le allucinazioni dell’AI generativa?

Abbiamo visto (Che succede alle parole nell’AI?, Generative Pre-trained Transformer: il cavallo di battaglia dell’AI) come i significati vengano in qualche modo immaganizzati in sterminati spazi semantici pluridimensionati mediante la fase di training per essere poi recuperati e modulati attraverso le relazioni fra le parole presenti negli input che proponiamo al sistema.

Se è indubbiamente affascinante l’idea di popolare di significati universi sconfinati resta tuttavia il fatto che di mere relazioni statistiche si tratta. Come insistono a ricordare i linguisti: l’AI generativa non possiede nessuna teoria del mondo. Di conseguenza, quando decide di emettere una frase anziché un’altra, lo fa in base ad una sorta di punteggio, confrontandolo con quelli di altre possibili frasi, spesso molto vicini fra loro.

Il criterio statistico dell’AI generativa è un criterio di plausibilità ma la plausibilità non corrisponde necessariamente alla verità fattuale.

I modelli di AI generativa non possiedono alcuna nozione su cosa sia il vero e il falso. Il problema di fondo risiede nel fatto che il modello statistico cerca soluzioni in un contesto di continuità: mi sposto di poco, cambia di poco il punteggio, cambia di poco la plausibilità: scelgo la migliore, anche se di poco, perchè so di sbagliare di poco. Pare ineccepibile, no? Invece è proprio qui che sta il problema.

La verità fattuale non è continua ma discontinua.

Sbaglio di poco, è vero, ma la frase può non essere più vera. Quindi sul piano della verità fattuale sbaglio di molto. Da qui l’allucinazione. La magagna è aggravata dal fatto che la costruzione delle frasi è sequenziale per cui una deviazione nel mezzo di una frase la può far divergere, e non si sa di quanto. Di che si tratta dunque, di un difetto dell’AI? Di un bug? Magari un bug che qualche ingegnere riuscirà ad eliminare? No, non si tratta di un difetto perché in realtà si tratta di una qualità! La qualità fondamentale dell’AI generativa di essere appunto generativa.

L’AI diviene generativa nel momento in cui emette frasi che non ha mai trovato nel corpus di conoscenze su cui si è formata ma che ritiene plausibili in base a quelle che invece ha studiato — ritiene ma statisticamente, non dimentichiamolo. Se, presi dal timore, la soffochiamo, impedendole di generare nuove combinazioni diventa una mera ripetitrice del corpus di conoscenze utilizzato per l’apprendimento. Una cosa che non interessa nessuno. Abbiamo già avuto sentore di questo compromesso quando ci siamo occupati del problema di scegliere la prossima parola nella costruzione di una frase (Generative Pre-trained Transformer: il cavallo di battaglia dell’AI), scoprendo che ci conveniva mantenere l’AI un po’ brilla, pena ritrovarsela insulsa. Dunque…

L’AI generativa è una macchina allucinogena.

Come eliminare questo problema? (problema che preoccupa molto più i protagonisti che l’AI la costruiscono piuttosto che gli end-user, quelli sì abbastanza brilli). Non si può eliminare, almeno con questo paradigma di AI. Si può lenire con una serie di accorgimenti sulla qualità dei corpora usati per l’addestramento e sui modelli utilizzati per generare gli ouput. Ma non si può mai essere sicuri. Si tratta in sostanza del problema delle code lunghe molto ben descritto da Melanie Mitchell: possono essere confinate quanto si vuole ma senza la certezza che si ritorcano contro in qualche maniera disastrosa. Oppure, dicono sempre gli esperti, occorre cambiare paradigma, ma non si sa come.

Comunque l’AI generativa ce l’abbiamo fra noi, un po’ ovunque. Non stiamo qui ad analizzare le cause, lo prendiamo come un dato di fatto con cui dobbiamo fare i conti. L’utente, se consapevole dei problemi e se adeguatamente istruito, può mettere in atto pratiche che riducano (non eliminino) la probabilità di ricevere riposte allucinate ma di queste ragioneremo in un altro articolo.