Avevo iniziato con poca voglia, più che altro sollecitato dalle domande che mi pongono alcuni amici. Scarsa voglia perché ci sono già tante persone che se ne occupano, alcune ottimamente, tante altre meno. Poi ho preso a divertirmi e quello che sta venendo fuori, devo ammetterlo, è una roba tipo crash course on AI o AI for dummies.
Continua (5 min)Categoria: Artificial Intelligence
AI: non parole ma tocchetti
Difficile fare un discorso breve sull’AI. Questi appunti sono destinati a proliferare, obbligandoci anche a compiere vari passi indietro. Ad esempio, è già emerso come per l’AI le parole siano meri numeri ma non si tratta di una semplice questione di codifica. Se lasciamo la cosa lì rischiamo di capire poco.
Cosa intendiamo normalmente per codifica? Ad esempio, semplificando, le lettere che sto scrivendo in questo testo vengono immediatamente trasformate in sequenze di uno e zero, un byte (otto bit) per ogni carattere, per la precisione. Il testo verrà memorizzato, eventualmente elaborato e infine in qualche modo riprodotto ma all’interno di tale processo i byte viaggeranno indisturbati, codici di simboli che per noi sono lettere. Altrettanto indisturbate viaggeranno le parole composte da tali lettere, e così i relativi significati.
Nell’AI la storia è assai diversa e ritroveremo le nostre fidate parole disperse in spazi talmente complessi da non potere essere immaginati. Ci vorrà un po’ di tempo e un po’ di fantasia per farsene una ragione. Andiamo quindi per gradi rifacendosi dall’inizio: cosa succede ad una parola appena introdotta nell’AI?
Continua (3 min)Può un topo guidare un aereo?
Più precisamente, possono controllare il volo di un aereo simulato 25’000 neuroni della corteccia cerebrale di un topo? Ovvero meno di un mm2 di corteccia cerebrale[1]? Risposta quasi ovvia: no, perché niente sa il topo di un aereo, figuriamoci una sola manciata dei suoi neuroni.
Invece sì [2][3]. Cito questo incredibile esperimento perché aiuta a capire la straordinaria flessibilità delle reti neuronali, e quindi di quelle neurali.
Discesa del gradiente, il motore del machine learning
Il gradiente è stato citato una volta sola nella nostra conversazione con l’AI ma vediamolo un attimo perché ci servirà nei prossimi discorsi. Intanto cos’è il machine learning che abbiamo tirato fuori nel titolo? Ci si riferisce con questo a un’ampia varietà di metodi statistici in grado di imparare da un insieme predisposto di dati per poi essere in grado di fornire risposte su nuovi dati senza bisogno di ulteriori istruzioni. La performance di un sistema di machine learning dipende da quello che ha appreso nei dati usati per l’addestramento e dalla sua architettura. Ambedue le cose sono soggette a grande variabilità.
Continua (5 min)Nota su alcuni termini che compaiono parlando di AI: vettori e matrici
Un amico mi ha fatto notare che nel post della conversazione con l’AI sarebbero utili delle note esplicative in parole povere di termini estranei all’uso comune, come gradiente, matrici, etc. Ha ragione anche perché qui mi rivolgo a lettori non specializzati. Nessuna pretesa di completezza. Mi sforzo di dire il minimo per dare un’idea intuitiva di alcuni concetti in relazione all’armamentario dell’AI. Mi riferisco inoltre ai sistemi di Natural Language Processing, tipo ChatGPT e similari.
Continua: 5 minConversazione sull’AI con l’AI
22 aprile — Un amico mi ha fatto notare che ci starebbero bene delle note esplicative in parole povere di termini estranei all’uso diffuso come gradiente, matrici, etc. Ha ragione. Intanto ecco una nota su vettori e matrici e una sulla discesa del gradiente.
Mi sto divertendo a guardare sotto il cofano dell’AI. È un po’ come guardare sotto il cofano di un’automobile odierna per uno che ha conosciuto quelle di cinquant’anni fa. In quelle moderne lì per lì ti confondi perché sono piene zeppe di dispositivi e ammenicoli vari ma poi, piano piano si inizia a riconoscere le parti essenziali, girando di qua o di là intorno al motore o alzando qualche coperchio di plastica.
Così succede con gli arnesi del mestiere di un tempo, che dopo un po’ emergono dall’intrico di accorgimenti e trovate più o meno geniali dell’AI, e si ritrovano cose come metodi iterativi, massimo gradiente, regolarizzazione, retroproiezione e via dicendo.
Agisco principalmente in due direzioni: 1) studiando articoli scritti da specialisti dell’AI, cioè di coloro che la stanno facendo; 2) scaricando e provando alcuni sistemi messi a disposizione da Google, alcuni autori e altri, non per mettere su qualcosa ma per toccare con mano alcune delle cose che studio.
Mi astengo da perdermi nell’eccesso di cose dette, troppe e spesso, mi pare, avventate o palesemente insensate. Molto più equilibrati e prudenti i pareri degli specialisti che affrontano seriamente i vari problemi che affliggono l’AI, anche molto gravi e senza chiare prospettive di soluzione. Li affronterò piano piano qui ma mi pare divertente iniziare riportando un’interessante discussione avuta fra ieri e oggi con ChatGPT 4.0, che ho provato a coinvolgere in un approfondimento su alcuni aspetti tecnici di ciò che la fa funzionare. Particolarmente interessante è il giudizio equilibrato sulle differenze fra la sua intelligenza e quella umana nella parte finale della conversazione, giudizio che pare più ponderato di tanti proclami che capita di leggere.
Ho usato l’inglese perché la quantità di dati usata per l’addestramento è dominata dall’inglese e questo influenza le performance. Qui volevo confrontarmi con un’AI meno allucinata possibile.
Mi sono focalizzato sui cosiddetti transformer e in particolare il meccanismo dell’auto-attenzione (Ashish et al, Attention is all you need, Computation and Launguage, Arxiv, 2017), la trovata che ha rapidamente sostituito le reti ricorrenti nel Natural Language Processing (NLP).
Il titolo è stato scelto da ChatGPT stessa.
Continua (10 min)
Andreas Formiconi 