Questo articolo fa parte di una serie di approfondimenti sull’AI — il link conduce a un indice aggiornato.
Sono debitore per i contenuti di questo post a Alejandro Piad Morffis, computer scientist dell’Università dell’Avana, in particolare per i grafici e la demo per illustrare il ruolo dei parametri Temperatura e Top P.
A proposito dell’architettura dei Generative Pre-trained Transformer (GPT) avevamo discusso della “temperatura”, parametro [1] sbarazzino che ci aveva fatto ricordare l’effetto di un buon bicchiere di vino. Sbarazzino ma cruciale per la tanto decantata generatività del sistema.
In realtà i chatbot disponibili in rete non consentono di intervenire su temperatura o altri parametri. Questi sono sistemi aggiustati con valori intermedi per l’utente generico, che non ha tempo e voglia di imparare a tarare la macchina. Sono quindi proposti con valori intermedi, che non possono certo essere ottimali per tutte le circostanze. Tuttavia i chatbot possono essere guidati attraverso il prompt engineering, l’arte di fare domande, che dobbiamo ancora discutere. Quindi perché occuparsi di questi parametri? Per due motivi: da un lato per capire meglio il funzionamento dei chatbot, quindi per imparare a prenderli per quello che sono, dall’altro perché i Large Language Model (LLM) possono essere usati non solo attraverso i chatbot direttamente accessibili in rete ma anche da altre applicazioni; modalità che può interessare le organizzazioni, ad esempio le scuole, come vedremo in seguito.
Continua (10 min)