Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.
In GPT-4 ogni parola viene trasformata in un insieme di 16’384 numeri.
Strano perché 16’384 numeri sono davvero tanti. Perché complicarsi così la vita?
Quanto segue potrà parere un po’ noioso ma è di fondamentale importanza per iniziare a capire qualcosa di AI. Quindi armiamoci di un poco di pazienza.
Continua (10 min)Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.
Difficile fare un discorso breve sull’AI. Questi appunti sono destinati a proliferare, obbligandoci anche a compiere vari passi indietro. Ad esempio, è già emerso come per l’AI le parole siano meri numeri ma non si tratta di una semplice questione di codifica. Se lasciamo la cosa lì rischiamo di capire poco.
Cosa intendiamo normalmente per codifica? Ad esempio, semplificando, le lettere che sto scrivendo in questo testo vengono immediatamente trasformate in sequenze di uno e zero, un byte (otto bit) per ogni carattere, per la precisione. Il testo verrà memorizzato, eventualmente elaborato e infine in qualche modo riprodotto ma all’interno di tale processo i byte viaggeranno indisturbati, codici di simboli che per noi sono lettere. Altrettanto indisturbate viaggeranno le parole composte da tali lettere, e così i relativi significati.
Nell’AI la storia è assai diversa e ritroveremo le nostre fidate parole disperse in spazi talmente complessi da non potere essere immaginati. Ci vorrà un po’ di tempo e un po’ di fantasia per farsene una ragione. Andiamo quindi per gradi rifacendosi dall’inizio: cosa succede ad una parola appena introdotta nell’AI?
Continua (3 min)Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.
Più precisamente, possono controllare il volo di un aereo simulato 25’000 neuroni della corteccia cerebrale di un topo? Ovvero meno di un mm2 di corteccia cerebrale[1]? Risposta quasi ovvia: no, perché niente sa il topo di un aereo, figuriamoci una sola manciata dei suoi neuroni.
Invece sì [2][3]. Cito questo incredibile esperimento perché aiuta a capire la straordinaria flessibilità delle reti neuronali, e quindi di quelle neurali.
Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.
Il gradiente è stato citato una volta sola nella nostra conversazione con l’AI ma vediamolo un attimo perché ci servirà nei prossimi discorsi. Intanto cos’è il machine learning che abbiamo tirato fuori nel titolo? Ci si riferisce con questo a un’ampia varietà di metodi statistici in grado di imparare da un insieme predisposto di dati per poi essere in grado di fornire risposte su nuovi dati senza bisogno di ulteriori istruzioni. La performance di un sistema di machine learning dipende da quello che ha appreso nei dati usati per l’addestramento e dalla sua architettura. Ambedue le cose sono soggette a grande variabilità.
Continua (5 min)Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.
Un amico mi ha fatto notare che nel post della conversazione con l’AI sarebbero utili delle note esplicative in parole povere di termini estranei all’uso comune, come gradiente, matrici, etc. Ha ragione anche perché qui mi rivolgo a lettori non specializzati. Nessuna pretesa di completezza. Mi sforzo di dire il minimo per dare un’idea intuitiva di alcuni concetti in relazione all’armamentario dell’AI. Mi riferisco inoltre ai sistemi di Natural Language Processing, tipo ChatGPT e similari.
Continua: 5 minQuesto articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.
Questo è il primo articolo di questa serie, iniziata con l’idea di guardare sotto il cofano dell’AI. È un po’ come guardare sotto il cofano di un’automobile odierna per uno che ha conosciuto quelle di cinquant’anni fa. In quelle moderne lì per lì ti confondi perché sono piene zeppe di dispositivi e ammennicoli vari ma poi, piano piano si inizia a riconoscere le parti essenziali, girando di qua o di là intorno al motore o alzando qualche coperchio di plastica.
Così succede con gli arnesi del mestiere di un tempo, che dopo un po’ emergono dall’intrico di accorgimenti e trovate più o meno geniali dell’AI, e si ritrovano cose come metodi iterativi, massimo gradiente, regolarizzazione, retroproiezione e via dicendo.
Mi astengo da perdermi nell’eccesso di cose dette, troppe e spesso, mi pare, avventate o palesemente insensate. Molto più equilibrati e prudenti i pareri degli specialisti che affrontano seriamente i vari problemi che affliggono l’AI, anche molto gravi e senza chiare prospettive di soluzione. Li affronterò piano piano qui ma mi pare divertente iniziare riportando un’interessante discussione avuta fra ieri e oggi con ChatGPT 4.0, che ho provato a coinvolgere in un approfondimento su alcuni aspetti tecnici di ciò che la fa funzionare. Particolarmente interessante è il giudizio equilibrato sulle differenze fra la sua intelligenza e quella umana nella parte finale della conversazione, giudizio che pare più ponderato di tanti proclami che capita di leggere.
Ho usato l’inglese perché la quantità di dati usata per l’addestramento è dominata dall’inglese e questo influenza le performance. Qui volevo confrontarmi con un’AI meno allucinata possibile.
Mi sono focalizzato sui cosiddetti transformer e in particolare il meccanismo dell’auto-attenzione (Ashish et al, Attention is all you need, Computation and Launguage, Arxiv, 2017), la trovata che ha rapidamente sostituito le reti ricorrenti nel Natural Language Processing (NLP).
Il titolo è stato scelto da ChatGPT stessa.
Continua (10 min)