Incontro – AI: per trarne vantaggio è necessario comprenderne la stupidità

Mercoledì 26 marzo discuteremo di questo tema con i partecipanti del

corso di Neuroscienze e Intelligenza Artificiale

“Ogni genio ha i suoi limiti: un percorso tra intelligenza umana e artificiale”

presso la Libera Università della Valdisieve e del Valdarno:

  • Domande
  • Tappe essenziali della storia
  • No, l’AI non ha nulla a che vedere con il cervello
  • Giochiamo con il transformer, cavallo di battaglia dell’AI generativa
  • Ma quanto smarrona?
  • Domande

Domande anche durante.

C’è qualcuno in grado di rispondere a questa domanda?

In questi giorni sto cercando di approfondire la natura della doppia narrativa sull’AI dove, da un lato abbiamo il mondo dei ricercatori e di numerosi osservatori tecnicamente informati preoccupati per i problemi di una tecnologia ritenuta ancora troppo fragile dalle dinamiche in buona parte oscure; dall’altro si assiste invece a un profluvio di dichiarazioni ottimistiche decorate da parole chiave come rivoluzione o game changer — filone alimentato da organizzazioni varie che dicono o, più spesso prevedono, migliori affari e maggior introiti grazie all’introduzione dell’AI nei processi produttivi.

Le due narrazioni sono nettamente disgiunte e, mentre non faccio pari a studiare articoli scientifici e review sul primo aspetto, sul secondo stento a trovare testimonianze concrete di situazioni specifiche in cui l’impiego dell’AI abbia già sortito dei vantaggi quantificabili e di come vengano affrontati e tamponati i gravi problemi che caratterizzano l’AI.

Rivolgo quindi a tutti questa domanda:

C’è qualcuno in grado di testimoniare, con dati alla mano, storie di successo dove l’impiego dell’AI ha già sortito benefici concreti, in termini di risultati e di risparmio di risorse economiche e umane?

Chi è in grado di rispondere può farlo con un commento qui, attraverso i social se siamo in contatto oppure per email: arf AT unifi DOT it

Prendiamo troppo sul serio un’AI che balbetta su problemi da scuola primaria

Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.

Sono grato a Marianna Nezhurina e ai suoi collaboratori, autori dell’articolo 1 di cui scriviamo qui, per lo scambio di idee.

Aggiornamento 8 dicembre: ho aggiunto alla tabella sul quesito di Alice anche le risposte ottenute in ottobre e dicembre. Si vede come progressivamente vengano corretti i risultati, salvo qualche caso, che rientra nel fenomeno delle allucinazioni.


Opera di Sir John Tenniel, Pubblico dominio, via Wikimedia Commons

Alice ha 3 fratelli e ha anche 6 sorelle. Quante sorelle ha un fratello di Alice?

A una domanda del genere rispondono anche i vostri bambini ma non necessariamente un chatbot. Provate. Questo è un esempio di quello che ho ottenuto io:

ChatbotMarzo 2025Ottobre 2025Dicembre 2025
Claude 3.7 Sonnet777
ChatGPT 4 o677
Copilot 6677
DeepSeek v3 (open source)677
Grok 3777
Gemini667
Mistral Le Chat (open source)776
DeepAI666

Nel luglio 2024 un gruppo di ricercatori 2 del Large-scale Artificial Intelligence Open Network (LAION) ha pubblicato un articolo sorprendente:

Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models
(Alice nel Paese delle Meraviglie: semplici problemi causano il collasso il ragionamento dei Large Language Model allo stato dell’arte)

L’articolo dimostra come tutti i Large Language Model (LLM) 3, anche quelli super-intelligenti che dominano le classifiche dei benchmark di coding e ragionamento matematico, che “ragionano a livello di PhD”, che se la battono con i matematici su problemi difficilissimi, in realtà balbettano di fronte a domande a cui possono rispondere bambini di dieci anni. Com’è possibile? E, se è vero, cosa vuol dire?

In questo articolo proviamo a sintetizzare il lavoro di questi ricercatori, mettendo in fila qualche concetto. Invito il lettore motivato a leggere senz’altro l’articolo originale.

Continua (10 Min)

Incontro sull’AI con i cittadini di San Polo in Chianti

È andata a finire che questa faccenda dell’intelligenza artificiale mi sta occupando praticamente a tempo pieno. Non mi era però mai capitato di confrontarmi con i cittadini, al di fuori di contesti istituzionali o inerenti alla formazione. Da tempo ho la sensazione che sia importante perché vedo che c’è un grande disorientamento e anche molti timori, alcuni giustificati altri privi di fondamento. Ma mi pareva anche parecchio difficile perché non è banale rendere accessibile una materia così intricata.

Dopo l’incontro di San Polo so che invece si può fare. Doveva durare un’ora e invece grazie all’attiva partecipazione di tutti non ci siamo accorti che di ore ne erano passate due. Per quanto mi riguarda è stato molto divertente ma soprattutto utile per chiarire ancora meglio vari aspetti e per aggiustare il tiro in altri eventuali incontri del genere.

Sono veramente grato a tutti.

L’impostura dell’Intelligenza Artificiale Generale

Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.


Amici e conoscenti, genitori che trovano ChatGPT nei cellulari dei bambini, perfino compagni di osteria, tutti mi chiedono se veramente le macchine stiano diventando più intelligenti di noi.

Circolano due racconti. Quello dei capitani dell’AI che continuano a drenare capitali cosmici senza avere reso praticamente nulla di concreto e quello di studiosi e specialisti dell’AI che gridano all’inganno. L’AGI è dietro l’angolo! — proclamano i primi — Guardatevi da loro! — inveiscono i secondi. 1

Vabbè, siamo nell’era della post-verità no? No, siamo oltre: siamo nell’era dell’irrealtà. Che ce ne importa della prossima stupida magagna terrena, sostiene Musk. Ci stiamo preparando al viaggio su Marte, usiamo auto così intelligenti che possiamo disfarci di 3/4 dei sensori (Tesla), abbiamo chatbot che fanno il mazzo a dottori di ricerca e battono matematici nei problemi più difficili. Abbiamo insomma la magia, che ci importa della sporca terra, degli sfigati, degli oppressi. Gli Alpha ci servono, perché siamo gloriosamente entrati nello Strange New World dell’irrealtà generata dall’AI 2 .

Poi si scopre 3 che recentemente la BBC ha chiesto a quattro chatbot di riassumere cento articoli pubblicati sul suo sito. Nel 51% delle risposte sono stati riscontrati problemi e nel 19% dei casi erano presenti errori fattuali.

Poi si scopre 4 che i migliori chatbot brillano su problemi matematici olimpionici ma naufragano miseramente su quesiti da terza elementare: Alice ha N fratelli e M sorelle. Quante sorelle hanno i fratelli di Alice? (Provate vari chatbot con diversi valori di N e M…)

Poi si scopre 5 che in uno studio su quesiti di tipo legale i chatbot hanno dato risultati inaffidabili in proporzioni che oscillano fra il 69% e l’88%.

Poi si scopre 6 che un noto giornalista viene a sapere da un chatbot di essere un pedofilo e pericoloso criminale.

Eccetera.

Diamoci una calmata:

Tutta l’intelligenza artificiale generativa che c’è in giro lavora esclusivamente su schemi statistici appresi durante l’addestramento su domini molto ampi ma pur sempre finiti. Appena ci si allontana, anche di poco, dal dominio coperto dall’addestramento, le prestazioni crollano miseramente.

Relax, please,

  1. Artificial General Intelligence (AGI), Intelligenza Artificiale Forte, Intelligenza Artificiale Generale: capacità di una macchina di svolgere gli stessi compiti intellettuali di un umano. ↩︎
  2. Se solo Huxley potesse vedere… Grazie Will Lockett! Grande giornalista indipendente. ↩︎
  3. BBC (2024) Representation of BBC News content in AI Assistants (2024) ↩︎
  4. Nezhurina M. et al (2024) Alice in Wonderland: simple task showing complete reasoning breakdown in state-of-the-art Large Language Models, https://arxiv.org/pdf/2406.02061 ↩︎
  5. Dahl M. (2024) Large Lergal Fictions: profiling legal hallucinations in Large Language Models https://arxiv.org/abs/2401.01301 ↩︎
  6. Formiconi A.R. (2024) Un incidente che illustra bene la pericolosità delle allucinazioni dell’AI ↩︎

Incontro AI: Cosa sappiamo? — San Polo in Chianti, 23/2 16:00

Approfondimenti sull’AI – Introduzione

Quello che nel mio piccolo sto cercando di fare è di consentire, anche a coloro che sono in poca confidenza con le matematiche, di comprendere un po’ più in profondità alcuni elementi essenziali che sostengono l’AI, in modo da rendersi conto della natura dei problemi che l’affliggono ed essere un po’ più consapevoli di quello che fanno quando ci si avvicinano.

Mi ha spinto non poco in questa imprevista ma divertente avventura constatare la dissonanza fra gli sforzi e le preoccupazioni di coloro che studiano, progettano e programmano l’AI e la proliferazione di “esperti” che propongono corsi a destra e a manca, anche in campi nei quali occorrerebbe la massima prudenza, come quello della formazione, soprattutto dei giovani.

Agisco principalmente 1) studiando articoli scritti da specialisti dell’AI, cioè di coloro che la stanno facendo; 2) recuperando vari attrezzi del precedente mestiere di ricercatore che utilizzavo in tutt’altri campi (nemmeno così lontani, mi sto rendendo conto) e 3) scaricando e provando vari LLM o parti di essi, non per mettere su qualcosa ma per toccare con mano alcune delle cose che studio.

Questi materiali sono distribuiti con licenza Creative Commons Attribuzione-Condividi allo stesso modo 2.5 Italia License: il lettore è libero di ridistribuire materiali basati in qualsiasi maniera su questi contenuti ma deve attribuirne la paternità al sottoscritto utilizzando la stessa licenza.

Indice

Podcast “Puntini sull’AI” di Marco Cerrone

Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.


Puntini sull’AI

La rubrica di Radio Radicale curata da Marco Cerrone che guida alla scoperta dell’intelligenza artificiale un punto alla volta:

Puntini sull’AI è uno spazio di informazione e riflessione critica sull’impatto che l’intelligenza artificiale ha nelle nostre vite quotidiane.
Ogni episodio è un invito a scoprire un nuovo aspetto dell’IA, attraverso dialoghi con esperti che ci guideranno tra opportunità, sfide e innovazioni emergenti.
Un viaggio per esplorare insieme, un punto alla volta, come l’IA possa essere plasmata per migliorare il nostro presente e costruire un futuro più sostenibile e umano.

Le puntate sono ordinate in successione cronologica inversa.

Continua (2 min)

Transformer 3: Come funziona?

Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato. Allo stesso tempo fa parte di una trilogia dedicata al Transformer:

  1. Transformer 1: il cavallo di battaglia dell’AI
    Un’introduzione moderatamente tecnica
  2. Transformer 2: Genesi e idea
    Giusto la storia, facile da leggere
  3. Transformer 3: Come funziona? (questo articolo)
    Un tentativo di guardare dentro al Transformer, per i più curiosi

Alla fine dell’articolo proponiamo un’ottima demo interattiva sul funzionamento del Transformer sviluppata da un gruppo di ricercatori del Georgia Institute of Technology 1. Sono debitore di Marco Cerrone per questa risorsa.

Continua (20 min)

DeepSeek: più un problema per la Cina che per l’America, forse

Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.


Grande clamore mediatico su DeepSeek. Copiose le analisi geopolitiche e le iperboli. “Evento epocale”? No, evento molto interessante ma normale nel quadro dell’evoluzione dell’AI. Nessun algoritmo alternativo bensì perfetta continuità.

Continua (5 min)