In questi giorni sto cercando di approfondire la natura della doppia narrativa sull’AI dove, da un lato abbiamo il mondo dei ricercatori e di numerosi osservatori tecnicamente informati preoccupati per i problemi di una tecnologia ritenuta ancora troppo fragile dalle dinamiche in buona parte oscure; dall’altro si assiste invece a un profluvio di dichiarazioni ottimistiche decorate da parole chiave come rivoluzione o game changer — filone alimentato da organizzazioni varie che dicono o, più spesso prevedono, migliori affari e maggior introiti grazie all’introduzione dell’AI nei processi produttivi.
Le due narrazioni sono nettamente disgiunte e, mentre non faccio pari a studiare articoli scientifici e review sul primo aspetto, sul secondo stento a trovare testimonianze concrete di situazioni specifiche in cui l’impiego dell’AI abbia già sortito dei vantaggi quantificabili e di come vengano affrontati e tamponati i gravi problemi che caratterizzano l’AI.
Rivolgo quindi a tutti questa domanda:
C’è qualcuno in grado di testimoniare, con dati alla mano, storie di successo dove l’impiego dell’AI ha già sortito benefici concreti, in termini di risultati e di risparmio di risorse economiche e umane?
Chi è in grado di rispondere può farlo con un commento qui, attraverso i social se siamo in contatto oppure per email: arf AT unifi DOT it
Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.
Sono grato a Marianna Nezhurina e ai suoi collaboratori, autori dell’articolo 1 di cui scriviamo qui, per lo scambio di idee.
Aggiornamento 8 dicembre: ho aggiunto alla tabella sul quesito di Alice anche le risposte ottenute in ottobre e dicembre. Si vede come progressivamente vengano corretti i risultati, salvo qualche caso, che rientra nel fenomeno delle allucinazioni.
Opera di Sir John Tenniel, Pubblico dominio, via Wikimedia Commons
Alice ha 3 fratelli e ha anche 6 sorelle. Quante sorelle ha un fratello di Alice?
A una domanda del genere rispondono anche i vostri bambini ma non necessariamente un chatbot. Provate. Questo è un esempio di quello che ho ottenuto io:
L’articolo dimostra come tutti i Large Language Model (LLM) 3, anche quelli super-intelligenti che dominano le classifiche dei benchmark di coding e ragionamento matematico, che “ragionano a livello di PhD”, che se la battono con i matematici su problemi difficilissimi, in realtà balbettano di fronte a domande a cui possono rispondere bambini di dieci anni. Com’è possibile? E, se è vero, cosa vuol dire?
In questo articolo proviamo a sintetizzare il lavoro di questi ricercatori, mettendo in fila qualche concetto. Invito il lettore motivato a leggere senz’altro l’articolo originale.
È andata a finire che questa faccenda dell’intelligenza artificiale mi sta occupando praticamente a tempo pieno. Non mi era però mai capitato di confrontarmi con i cittadini, al di fuori di contesti istituzionali o inerenti alla formazione. Da tempo ho la sensazione che sia importante perché vedo che c’è un grande disorientamento e anche molti timori, alcuni giustificati altri privi di fondamento. Ma mi pareva anche parecchio difficile perché non è banale rendere accessibile una materia così intricata.
Dopo l’incontro di San Polo so che invece si può fare. Doveva durare un’ora e invece grazie all’attiva partecipazione di tutti non ci siamo accorti che di ore ne erano passate due. Per quanto mi riguarda è stato molto divertente ma soprattutto utile per chiarire ancora meglio vari aspetti e per aggiustare il tiro in altri eventuali incontri del genere.
Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.
Amici e conoscenti, genitori che trovano ChatGPT nei cellulari dei bambini, perfino compagni di osteria, tutti mi chiedono se veramente le macchine stiano diventando più intelligenti di noi.
Circolano due racconti. Quello dei capitani dell’AI che continuano a drenare capitali cosmici senza avere reso praticamente nulla di concreto e quello di studiosi e specialisti dell’AI che gridano all’inganno. L’AGI è dietro l’angolo! — proclamano i primi — Guardatevi da loro! — inveiscono i secondi. 1
Vabbè, siamo nell’era della post-verità no? No, siamo oltre: siamo nell’era dell’irrealtà. Che ce ne importa della prossima stupida magagna terrena, sostiene Musk. Ci stiamo preparando al viaggio su Marte, usiamo auto così intelligenti che possiamo disfarci di 3/4 dei sensori (Tesla), abbiamo chatbot che fanno il mazzo a dottori di ricerca e battono matematici nei problemi più difficili. Abbiamo insomma la magia, che ci importa della sporca terra, degli sfigati, degli oppressi. Gli Alpha ci servono, perché siamo gloriosamente entrati nello Strange New World dell’irrealtà generata dall’AI 2 .
Poi si scopre 3 che recentemente la BBC ha chiesto a quattro chatbot di riassumere cento articoli pubblicati sul suo sito. Nel 51% delle risposte sono stati riscontrati problemi e nel 19% dei casi erano presenti errori fattuali.
Poi si scopre 4 che i migliori chatbot brillano su problemi matematici olimpionici ma naufragano miseramente su quesiti da terza elementare: Alice ha N fratelli e M sorelle. Quante sorelle hanno i fratelli di Alice? (Provate vari chatbot con diversi valori di N e M…)
Poi si scopre 5 che in uno studio su quesiti di tipo legale i chatbot hanno dato risultati inaffidabili in proporzioni che oscillano fra il 69% e l’88%.
Poi si scopre 6 che un noto giornalista viene a sapere da un chatbot di essere un pedofilo e pericoloso criminale.
Eccetera.
Diamoci una calmata:
Tutta l’intelligenza artificiale generativa che c’è in giro lavora esclusivamente su schemi statistici appresi durante l’addestramento su domini molto ampi ma pur sempre finiti. Appena ci si allontana, anche di poco, dal dominio coperto dall’addestramento, le prestazioni crollano miseramente.
Relax, please,
Artificial General Intelligence (AGI), Intelligenza Artificiale Forte, Intelligenza Artificiale Generale: capacità di una macchina di svolgere gli stessi compiti intellettuali di un umano. ↩︎
Se solo Huxley potesse vedere… Grazie Will Lockett! Grande giornalista indipendente. ↩︎
Nezhurina M. et al (2024) Alice in Wonderland: simple task showing complete reasoning breakdown in state-of-the-art Large Language Models, https://arxiv.org/pdf/2406.02061↩︎
Quello che nel mio piccolo sto cercando di fare è di consentire, anche a coloro che sono in poca confidenza con le matematiche, di comprendere un po’ più in profondità alcuni elementi essenziali che sostengono l’AI, in modo da rendersi conto della natura dei problemi che l’affliggono ed essere un po’ più consapevoli di quello che fanno quando ci si avvicinano.
Mi ha spinto non poco in questa imprevista ma divertente avventura constatare la dissonanza fra gli sforzi e le preoccupazioni di coloro che studiano, progettano e programmano l’AI e la proliferazione di “esperti” che propongono corsi a destra e a manca, anche in campi nei quali occorrerebbe la massima prudenza, come quello della formazione, soprattutto dei giovani.
Agisco principalmente 1) studiando articoli scritti da specialisti dell’AI, cioè di coloro che la stanno facendo; 2) recuperando vari attrezzi del precedente mestiere di ricercatore che utilizzavo in tutt’altri campi (nemmeno così lontani, mi sto rendendo conto) e 3) scaricando e provando vari LLM o parti di essi, non per mettere su qualcosa ma per toccare con mano alcune delle cose che studio.
Puntini sull’AI è uno spazio di informazione e riflessione critica sull’impatto che l’intelligenza artificiale ha nelle nostre vite quotidiane. Ogni episodio è un invito a scoprire un nuovo aspetto dell’IA, attraverso dialoghi con esperti che ci guideranno tra opportunità, sfide e innovazioni emergenti. Un viaggio per esplorare insieme, un punto alla volta, come l’IA possa essere plasmata per migliorare il nostro presente e costruire un futuro più sostenibile e umano.
Le puntate sono ordinate in successione cronologica inversa.
Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato. Allo stesso tempo fa parte di una trilogia dedicata al Transformer:
Alla fine dell’articolo proponiamo un’ottima demo interattiva sul funzionamento del Transformer sviluppata da un gruppo di ricercatori del Georgia Institute of Technology1. Sono debitore di Marco Cerrone per questa risorsa.
Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.
Grande clamore mediatico su DeepSeek. Copiose le analisi geopolitiche e le iperboli. “Evento epocale”? No, evento molto interessante ma normale nel quadro dell’evoluzione dell’AI. Nessun algoritmo alternativo bensì perfetta continuità.