Apparso su Cultura Commestibile.
Non l’ho detto io ma Dario Amodei, boss di Anthropic, l’azienda che offre Claude, l’intelligenza artificiale sulla cresta dell’onda. Testualmente:
Quando un sistema di intelligenza artificiale generativa compie un’azione, come riassumere un documento finanziario, non abbiamo idea, a un livello specifico o preciso, del motivo per cui compia determinate scelte: perché scelga certe parole piuttosto che altre, o perché delle volte commetta un errore nonostante sia solitamente accurato.
Quel “non abbiamo idea” rammenta la chiusa di Vango per passione dei Gatti Mézzi:
— Bimbo, l’ha fatto te quer po’ po’ di buho?
— Sì, l’ho fatto io! Che po’ po’ di buho t’ho fatto!
Ed eccoci lì, a contemplare il buco da cui caviamo tutte le soluzioni del mondo, attoniti noi ma persino loro, gli oligopolisti che continuano a farsi prestare centinaia di miliardi di dollari l’anno per farlo quel buco. E non si limitano allo stupore ma spendono anche sonanti denari per mantenere un interpretability team, dove fior fiore di scienziati non fanno altro che arrampicarsi su per foreste di migliaia di miliardi di nodi alla ricerca di “circuiti” che evochino i meccanismi cerebrali del nostro pensare. Detto meglio: alla ricerca di quelli che ci immaginiamo potrebbe essere i meccanismi del pensiero, che in realtà non conosciamo, o che conosciamo così poco da rendere lo sforzo di ravvisarli nella macchina un’ingenua acrobazia. Detto così sembra una follia ma, d’altro canto, questi buchi neri funzionano maledettamente bene, purché si impari a domarne le bizzarrie. Si chiama «interpretabilità meccanicistica» questo campo di studio che vede proprio gli scienziati intenti alla costruzione della macchina impegnarsi a capire cosa faccia. Christopher Olah, leader del team non usa mezzi termini:
Spesso la gente si stupisce del fatto che dobbiamo occuparci proprio di interpretabilità, che non riusciamo a comprendere questi sistemi che noi stessi abbiamo creato. In un certo senso, non costruiamo le reti neurali: le facciamo crescere, le impariamo.
La franchezza di questi ricercatori è al medesimo tempo affascinante e esilarante:
Vogliamo che questi modelli siano sicuri e affidabili. Studiando come funzionano al loro interno, praticando questa sorta di “biologia dei modelli”, possiamo mettere in atto una sorta di “medicina dei modelli” in grado di diagnosticare e curare ciò che li affligge e aiutarli a fare ciò che stanno cercando di fare. (Alan Jermin)
L’IA si trova in un momento davvero interessante del suo sviluppo: abbiamo capito alcune cose che funzionano, ma non ne conosciamo i limiti. E stiamo appena iniziando a trovare le parole giuste per descrivere ciò che sta accadendo. (Josh Batson)
Il lavoro dell’interpretability team è interessante. Per quantità — oltre 30 ponderosi articoli in un lustro — ma anche per qualità. Ma chi viene dal ‘900 fatica a riconoscere questo tipo di letteratura. Senza dubbio gli articoli sono utili per capire meglio i meccanismi che prendono forma nelle reti dell’IA e sono parecchio affascinanti. Ma non sembrano articoli scientifici, fatti di teorie falsificabili, metodi ed esperimenti. In uno dei più recenti, dedicato alla rappresentazione “mentale” di concetti esprimibili verbalmente, gli autori dichiarano di non volersi immischiare in questioni attinenti alla “coscienza artificiale”, salvo poi evocarla implicitamente in tutto il testo, a partire dal titolo stesso: Verbalizable Representations Form a Global Workspace in Language Models. Infatti nelle neuroscienze il Global Workspace è uno dei filoni di ricerca sulla coscienza. In realtà di teorie ve ne sono molte ma sono tutte in uno stato preliminare in quanto sono ancora non falsificabili, quindi non utilizzabili nel contesto del paradigma scientifico, dove si possono validare solo teorie falsificabili: vere fino alla prima prova contraria.
La produzione dell’interpretability team è qualcosa di diverso: per quanto detto non può essere considerata propriamente scientifica ma non è nemmeno divulgativa tout court perché richiede una discreta conoscenza matematica. È un nuovo genere, ibrido fra l’articolo scientifico e il comunicato stampa. Letture affascinanti per chi le possa digerire ma forse soprattutto veicoli di marketing, utili per solleticare gli appetiti di investitori avventurosi. E il mondo si divide intorno alla bolla: chi la vede e chi non la vede. Senza sapere come funziona.
I brani citati sono tratti dal video “What is interpretability” nella pagina dell’Interpretability team.