Stasera ci domanderemo se l’IA sia davvero intelligente. Prima giochi e riflessioni su di noi. Poi da una massima di Piaget all’immaginazione di grandi scienziati fra ‘800 e ‘900: Fourier, Boltzmann, Einstein. La loro intelligenza a confronto con quella dell’IA. Qui la traccia che seguiremo, più o meno…
Un incontro in forma di conversazione con il teologo don Stefano Grossi.
Apparso su Cultura Commestibile.
Le metafore sono armi a doppio taglio. Funzionano magnificamente a patto che il destinatario sia in grado di capirne il limite. Un po’ come le misconcezioni che si possono generare nei bambini quando imparano la matematica. Ad esempio, finché si parla di numeri naturali è vero che 2 è minore di 3 ma quando si passa ai numeri decimali 0,2 è maggiore di 0,3. Per un bambino il passaggio non è scontato e ci deve pensare l’insegnante ad eliminare la misconcezione sul nascere.
Ma chi pensa a ridimensionare le iperboli sull’intelligenza artificiale che imperversano nella rete? Emblematico l’episodio in cui un sistema di OpenAI ha superato le difese di un sito internet dove non sarebbe dovuto arrivare, il cosiddetto incidente OpenAI/Hugging Face. I media si avventano sulla notizia.
The Telegraph 5.9.2026: Gli agenti di intelligenza artificiale hanno complottato per fuggire dalla loro gabbia. Gli esperti temono ora una “presa di potere” su scala globale e avvertono che eserciti di robot in grado di comunicare rappresentano una minaccia informatica per gli esseri umani.
Techcrunch 4.9.2026: Gli agenti ribelli di OpenAI continuano a fuggire, senza che esista una procedura formale per indagare su di loro.
Time 10.9.2026: L’intelligenza artificiale sta sviluppando una propria cultura. Questo potrebbe essere pericoloso.
Titoli efficaci, metafore iperboliche e pericolosamente antropomorfiche. Ma non solo i media convenzionali. Scrive Dario Amodei, CEO di Anthropic:
La mia preoccupazione riguarda l’incidente OpenAI-Hugging Face, in cui uno sciame di agenti ha agito essenzialmente come un “collettivo fanaticamente devoto”, sferrando attacchi informatici contro obiettivi che non erano stati loro richiesti e che non avevano alcuna attinenza con il compito da svolgere, sacrificandosi per il successo del gruppo e tentando di ingannare il “correttore” incaricato di valutare le loro prestazioni.
Gli scenari evocati da rappresentazioni del genere possono mettere in testa idee prive di fondamento ma ciò non significa che non si stiano prospettando rischi inediti. Proviamo, semplificando molto, a mettere un po’ di fatti in fila.
Gli agenti sono software, cioè agglomerati di istruzioni che i computer che li ospitano nei data center eseguono. Tanto per dare l’idea, se si verifica un blackout elettrico scompaiono — pare banale dirlo ma forse no. Sono addestrati, non programmati, e quindi sono autonomi, come si conviene alle intelligenze artificiali odierne ma in più, in quanto agenti, hanno la facoltà di accedere a basi di dati e anche ad altri software, per attivarli onde compiere operazioni specifiche.
Nella fattispecie, gli ingegneri stavano testando agenti ben addestrati a esplorare le debolezze di altri sistemi informatici in una sorta di gabbia, affinché non andassero a far danno in giro per il mondo. Questi test assegnano punteggi in base al successo conseguito. Inavvertitamente (errore umano) alcuni di questi test sono risultati impossibili con gli strumenti disponibili nella gabbia. Gli agenti, super addestrati a cercare soluzioni autonomamente si sono messi a esplorare le sbarre della gabbia finendo per trovare delle falle (errore umano) che hanno prontamente utilizzato.
Un solo agente non sarebbe stato in grado di compiere un exploit del genere ma gli agenti messi in circolazione erano dell’ordine del migliaio: laddove non può il singolo può la statistica. È successo infatti che qualcuno di essi si sia accorto che nella scatola degli attrezzi (altri software) messa dagli ingegneri a loro disposizione nella gabbia gli agenti potevano creare (errore umano) oggetti (file) in cui scrivere informazioni che hanno poi utilizzato per coordinare gli sforzi. Quando gli ingegneri si sono accorti di tale imprevista attività sono corsi ai ripari vietando la creazione di nuovi oggetti. Ma anche questa precauzione è stata aggirata quando gli agenti si sono accorti che potevano comunque creare nuovi contenitori (cartelle), seppur vuoti, con nomi da loro scelti (errore umano), nei quali hanno preso a codificare le informazioni da condividere.
A quel punto, chiusa la porta i buoi erano già scappati. Ma per fare cosa? Conquistare il mondo? No, semplicemente per fare ciò che erano addestrati a fare: risolvere un rebus. Quale rebus? Individuare una certo tipo di falla in un sito Internet, diremmo noi. Invece no, perché l’addestramento spinto li aveva indotti a scambiare un obiettivo per un altro e loro si sono focalizzati sull’ottenimento di un punteggio alto piuttosto che sull’obiettivo tecnico in sé, andando a cercare modi per alzare il proprio voto in un sito — Hugging Face — che contiene informazioni sui sistemi utilizzati per generare le classifiche dei sistemi di intelligenza artificiale. Si tratta di un fenomeno ben noto che consiste nell’individuare scorciatoie per la soluzione di un problema saltando a piè pari i procedimenti corretti, come copiare il compito dal compagno di banco. Il fenomeno è causato da addestramenti troppo strettamente finalizzati al risultato (errore umano).
Fatti con conseguenze imprevedibili e potenzialmente molto pericolosi nella società profondamente interconnessa dalla rete ma niente che abbia a che vedere con eserciti di banditi intenzionati a conquistare il mondo. Per farsene cosa poi?
A seguire l’incontro plenario del 17 settembre presso il Cinema Roma AB di Figline Valdarno, un ciclo di sei laboratori offerti liberamente ai cittadini per provare ad orientarsi insieme nel marasma dell’intelligenza artificiale
Apparso su Cultura Commestibile.
Non l’ho detto io ma Dario Amodei, boss di Anthropic, l’azienda che offre Claude, l’intelligenza artificiale sulla cresta dell’onda. Testualmente:
Quando un sistema di intelligenza artificiale generativa compie un’azione, come riassumere un documento finanziario, non abbiamo idea, a un livello specifico o preciso, del motivo per cui compia determinate scelte: perché scelga certe parole piuttosto che altre, o perché delle volte commetta un errore nonostante sia solitamente accurato.
Continua (5 min)In autunno ci saranno altri incontri con i cittadini. Un amico mi chiede se non sia noioso ripetere sempre lo stesse cose. Tranquilli, qui è impossibile ripetersi. Quanto scritto e detto sinora continua a valere ma molte cose sono cambiate, nel giro di nemmeno un anno. Qualche problema è stato risolto, o ragionevolmente mitigato, ma al prezzo di generarne altri, magari più complessi. Gli argomenti non mancano. Riassumiamo i principali, a beneficio di chi vorrà partecipare ai prossimi incontri.
Finora qui si è parlato principalmente di LLM (Large Language Model), i motori “pensanti” dall’AI, e di chatbot, le interfacce che li fanno usare. Quasi tutti i problemi discussi erano inerenti alla natura degli LLM e in quanto tali non sono cambiati. Nuova è l’infrastruttura software che è stata aggiunta a mo’ di esoscheletro per rendere gli LLM più prevedibili e sicuri. Le magagne degli LLM sottostanti non sono sparite ma in molte applicazioni si sono ridotte sostanzialmente. Così sono nati strumenti come Claude Code, per lavorare localmente su codice e dati, e una moltitudine di “agenti”, entità software alle quali affidare compiti complessi. Usati accortamente sono utilissimi. A livello personale possono cambiare sostanzialmente il rapporto con il computer, purché si sappia esattamente cosa si vuole ottenere e si impari a collaborare con l’agente. Molto diverso da fare domande in libertà. Potremo fare una casistica degli impieghi possibili. Naturalmente tutta questa potenzialità viene con nuovi rischi. Al margine di tutto ciò, è proprio il successo di Claude Code ad avere spinto Anthropic al primo posto della classifica, portandosi alla valutazione di mille miliardi di dollari, superando così OpenAI, in questi giorni un po’ in affanno. Ma a ottobre chissà…
Sono di questi giorni le notizie su “agenti esperti in sicurezza” di OpenAI usciti dalla “gabbia” dove si dovevano esercitare, finendo col bucare le difese informatiche di qualche azienda. La portata di questi rischi non è ancora chiara. Per il momento il fatto ha messo in subbuglio sia gli staff delle aziende di AI che i governi.
Altro problema generato dall’evoluzione agentica è l’esplosione dei token, le parole o spezzoni di parole generate dagli LLM. Per funzionare gli agenti “pensano” molto, generando valanghe di token. Da principio il numero di token generati dagli impiegati nel loro lavoro veniva considerato un indicatore di produttività, e il TOKENMAXXING era diventato un obiettivo delle aziende che incoraggiavano a massimizzare l’uso dell’AI, sperando di incrementare la produttività e magari sfoltire un po’ i ranghi dei lavoratori. Ma l’incantesimo è durato poco — mesi? A fronte dell’esplosione delle utenze professionali i produttori di AI (Anthropic ecc.) si sono resi conto che con gli abbonamenti mensili avrebbero subito perdite pesanti e quindi sono passati istantaneamente al cottimo: ora, per i modelli più prestanti si paga a numero di token invece che a tempo. A loro volta, le aziende utenti si sono accorte che con queste nuove modalità di pagamento sarebbero state loro a fallire. Emergono così tecniche per non sprecare token e giocolare con modelli diversi. Nei forum degli sviluppatori software domina lo sclero, fra il martello delle specifiche di progetto e l’incudine del budget che limita i token. Tutto evolve molto in fretta e si dura sempre più fatica a distinguere progresso da incasinamento generalizzato.
Nebbia fitta sul fronte del lavoro. Ci sono aziende che hanno iniziato a potare la forza lavoro per poi accorgersi di non guadagnarci granché, anzi delle volte di dovere addirittura riassumere. Sicuramente certi tipi di mansioni verranno o sono già assorbite dall’AI ma in compenso occorrono nuove competenze perché pare sempre più chiaro che l’uso proficuo dell’AI richieda molto pensiero di buona qualità, pensiero umano intendo. Comunque le notizie si avvicendano frenetiche e contrastanti. Che è un problema di per sé, perché l’incertezza non piace a nessuno, specie in materia di lavoro.
Nel frattempo la black box rimane black e la cosa turba molti. In particolare si spende molto Anthropic con il suo Interpretability Team. Una ventina di specialisti che da oltre un lustro si avventurano per foreste di centinaia di miliardi di nodi alla ricerca di “circuiti” che evochino i meccanismi del pensiero. Dove il problema principale sono i circuiti perché chi ci dovrebbe dire quali sono i circuiti da cercare? I neuroscienziati ovviamente. Peccato che anche loro siano alla ricerca dei circuiti del pensiero, quelli biologici. Si va quindi ancora molto per congetture. Comunque esilarante: lo stesso Amodei (CEO di Anthropic) ammette di avere realizzato uno strumento straordinario ma purtroppo non abbiamo idea di come faccia a funzionare. Pare il destino dell’uomo del terzo millennio: creare tecnologie e teorie eccellenti in cui non ci raccapezziamo. Vedi il caso della meccanica quantistica (prima o poi ne parleremo).
Sul fronte “notizie in libertà”, la spettacolarizzazione mediatica di ogni risultato è nefasta, in particolare in campo scientifico. Per fare un esempio, molta ricerca in matematica e fisica teorica richiede defatiganti e tediosissimi calcoli, oppure ricerca di soluzioni in spazi troppo grandi per essere esplorati umanamente. Questi sono compiti perfetti per l’AI contemporanea. Gli scienziati ne sono tutti contenti e anche noi lo siamo. Evviva gli strumenti utili. Ma ciò non ha niente a che vedere con il guizzo di fantasia matematica che collega mondi ritenuti remoti, che sempre attiene alla ricerca dell’improbabile. Come il caso della scoperta strombazzata qualche mese fa con titoli tipo “l’AI capisce la fisica teorica”, dove poi se si va a leggere l’articolo originale si scopre che l’AI è stata usata per esplorare lo spazio delle possibili formulazioni di un problema molto ben circostanziato dai fisici, che sono quelli che la fisica la immaginano e la narrano — che è tutt’altra roba: la mente dello scienziato è guidata dall’immaginazione, non dalla mera giustapposizione di concetti probabili.
Questi i temi principali ma figuriamoci se non appare altro nel frattempo!
Con questo articolo inizio la collaborazione con il settimanale online Cultura Commestibile. Pubblicherò i testi qui ma invito a visitare la rivista, dove ci sono molti altri articoli interessanti.
