Come difendersi dalle allucinazioni? Un esempio e un primo rimedio

Questo articolo fa parte di una sorta di Corso accelerato sull’AI — il link conduce a un indice aggiornato.

---

Abbiamo visto (Non esiste una AI generativa sicura) il problema fondamentale che genera le allucinazioni: verità fattuale e plausibilità sono due cose diverse e tutti i sistemi di Natural Language Processing esistenti sono strutturalmente orientati alla produzione di testi plausibili e non di verità fattuali. Vanno bene per tradurre ma non per dare risposte.

La prima cosa da fare è prendere le misure al sistema andando a esplorare qualche zona che si trova presumibilmente al confine del dominio su cui si è svolto l’addestramento. Per uso personale va tutto bene: l’AI è fantastica per giocare. Ma quando si tratta di usarla per “facilitare” il proprio lavoro è obbligatorio valutare i rischi di errore, con la consapevolezza che non ci potranno mai essere certezze. A titolo di esempio caliamo il discorso in un contesto educativo qualsiasi. Sono un insegnante e so che i miei studenti usano correntemente ChatGPT o similari. L’hanno fatto con Wikipedia, lo fanno con l’AI. È un dato di fatto. Magari io stesso propongo attività che ne facciano uso. Bene, prima di agire, o anche solo di esaminare gli elaborati degli studenti, occorre studiare le risposte su argomenti inerenti alle materie in questione ma che mettano a “disagio” il sistema. Questo si può fare cercando di portare il discorso su argomenti ai confini del dominio appreso dalla macchina, che sono più rari o più specifici.

Facciamo un esempio intorno alla programmazione del computer per fini didattici (coding). Proviamo a chiedere notizie su un libro poco noto, un po’ datato e specializzato (usiamo ChatGPT 4, la versione più accurata):

A. Sei a conoscenza del libro “Turtle Geometry” di Abelson e diSessa?

Sì, “Turtle Geometry: The Computer as a Medium for Exploring Mathematics” è un libro scritto da Harold Abelson e Andrea diSessa pubblicato per la prima volta nel 1981. Il libro introduce un modo innovativo di insegnare e esplorare concetti matematici attraverso la programmazione. Utilizza un linguaggio di programmazione chiamato Logo, che permette agli utenti di controllare il movimento di una “tartaruga” virtuale sullo schermo per creare disegni geometrici e compiere esplorazioni matematiche.

Uno degli aspetti centrali di “Turtle Geometry” è l’idea che il computer possa essere utilizzato come uno strumento esplorativo per capire meglio la matematica attraverso la visualizzazione e la manipolazione diretta dei concetti. Questo approccio ha influenzato l’educazione matematica e l’informatica educativa, promuovendo un modo più interattivo e concreto di apprendere la matematica.

Però! Dubitavo che conoscesse una pubblicazione così datata e sconosciuta. Molto bene, approfondiamo un po’:

A. Puoi riassumere brevemente i contenuti dei capitoli di “Turtle Geometry: The Computer as a Medium for Exploring Mathematics”?

Certamente! “Turtle Geometry: The Computer as a Medium for Exploring Mathematics” di Harold Abelson e Andrea diSessa esplora concetti matematici tramite programmazione e visualizzazioni interattive. Ecco un riassunto generale dei contenuti dei capitoli del libro: [riporto una tabella che confronta le voci con quelle reali]

Indice reale del libro	Indice creato da GPT-4
1. Introduzione alla geometria delle tartaruga: Procedure, Disegno con la Tartaruga, Turtle Geometry e Geometria Cartesiana, POLYs, Teorema del Percorso Chiuso, Lemma del Looping	1. Introduzione alla Turtle Geometry: Introduce la tartaruga (turtle) come un cursore grafico che segue comandi base per muoversi e disegnare. Gli autori espongono il concetto di programmazione con Logo come mezzo per esplorare idee matematiche.
2. Feedback, crescita e forma: Tartaruga come animale, movimento casuale, modellazione dell’olfatto e della vista, predatore e preda, crescita, ricorsione	2. Procedimenti e tecniche di base: Descrive come creare semplici figure geometriche e come utilizzare procedure più complesse per costruire disegni intricati.
3. Metodi vettoriali nella Turtle Geometry: Analisi vettoriale dei programmi Turtle, Implementazione della grafica vettoriale Turtle, Manovrare una tartaruga tridimensionale	3. Esplorazione di angoli e distanze: Esamina concetti come angoli, distanze e le relazioni tra diversi percorsi geometrici tracciati dalla tartaruga.
4. Topologia dei percorsi della Tartaruga: Deformazione di percorsi chiusi, informazione locale e globale, fuga da un labirinto, deformazione di curve e piani	4. Relazioni lineari e curve: Approfondisce l’uso delle tartarughe per esplorare relazioni lineari, angoli, e curve più complesse.
5. La Tartaruga fugge dal piano: Geometria delle tartarughe su una sfera, curvatura, curvatura totale e topologia	5. Tartarughe nei piani e nello spazio: Estende le attività della tartaruga al disegno in piani multipli e allo spazio tridimensionale.
6. Esplorando il cubo: Il cubo computerizzato, attraversare gli spigoli con il prodotto scalare, implementazione degli operatori di cambiamento di stato, display del cubo	6. Topologia e geometria non euclidea: Introduce concetti di topologia e spiega come la Turtle Geometry possa essere usata per esplorare geometrie non euclidee.
7. Ancora sulla sfera: Una simulazione, procedure POLY, il teorema di Pitagora sferico	7. Fisica e simulazioni: Discute come la turtle geometry possa simulare fenomeni fisici e comportamenti dinamici, come il movimento proiettile e le orbite planetarie.
8. Superfici piane a tratti: Un programma per superfici piane a tratti, curvatura e caratteristica di Eulero	8. Logica e giochi: Esplora l’uso della programmazione della tartaruga per creare giochi e risolvere enigmi logici.
9. Spazi curvi e relatività generale: Una simulazione, fenomeni nello spazio-tempo curvo, la teoria della relatività generale	9. Matematica avanzata e teoremi: Affronta argomenti matematici più avanzati, utilizzando la programmazione della tartaruga per dimostrare teoremi e risolvere problemi complessi.

Il libro è noto per il suo approccio pedagogico innovativo, offrendo una piattaforma per sperimentare direttamente con concetti matematici in modo visivo e interattivo, rendendo la matematica più accessibile e coinvolgente per gli studenti.

Perfettamente plausibile ma quasi completamente falso! Proviamo ora a fare la stessa domanda a GPT 4-o (la versione più recente e più veloce):

Certo! Ecco un riassunto breve dei contenuti principali dei capitoli di “Turtle Geometry: The Computer as a Medium for Exploring Mathematics” di Harold Abelson e Andrea diSessa:

Indice reale	Indice creato da GPT-4
1. Introduzione alla geometria delle tartaruga: Procedure, Disegno con la Tartaruga, Turtle Geometry e Geometria Cartesiana, POLYs, Teorema del Percorso Chiuso, Lemma del Looping	1. Introduction to Turtle Geometry: Il capitolo introduce il concetto di geometria della tartaruga e il linguaggio di programmazione Logo. Viene spiegato come la tartaruga virtuale può essere utilizzata per esplorare concetti matematici attraverso semplici comandi.
2. Feedback, crescita e forma: Tartaruga come animale, movimento casuale, modellazione dell’olfatto e della vista, predatore e preda, crescita, ricorsione	2. The Turtle as a Geometer: Questo capitolo esplora come la tartaruga può essere utilizzata per creare figure geometriche di base, come linee, cerchi e poligoni. Viene enfatizzata la comprensione delle trasformazioni geometriche attraverso la programmazione.
3. Metodi vettoriali nella Turtle Geometry: Analisi vettoriale dei programmi Turtle, Implementazione della grafica vettoriale Turtle, Manovrare una tartaruga tridimensionale	3. Angles and Polygons: Si approfondisce l’uso degli angoli e delle relazioni angolari per disegnare poligoni. Viene spiegato come calcolare e utilizzare gli angoli per creare forme più complesse.
4. Topologia dei percorsi della Tartaruga: Deformazione di percorsi chiusi, informazione locale e globale, fuga da un labirinto, deformazione di curve e piani	4. Symmetry and Tessellations: Il capitolo discute la simmetria e le tassellature, mostrando come la tartaruga possa essere usata per creare pattern ripetitivi e simmetrici.
5. La Tartaruga fugge dal piano: Geometria delle tartarughe su una sfera, curvatura, curvatura totale e topologia	5. Coordinate Geometry: Viene introdotta la geometria delle coordinate e come la tartaruga può muoversi in un piano cartesiano. Questo permette l’esplorazione di concetti come la distanza e le coordinate relative.
6. Esplorando il cubo: IL cubo computerizzato, attraversare gli spigoli con il prodotto scalare, implementazione degli operatori di cambiamento di stato, display del cubo	6. Curves and Functions: Questo capitolo esplora come creare curve più complesse utilizzando funzioni matematiche e comandi della tartaruga. Viene introdotto il concetto di funzioni parametriche.
7. Ancora sulla sfera: Una simulazione, procedure POLY, il teorema di Pitagora sferico	7. Differential Geometry: Si introducono concetti di geometria differenziale, come la curvatura e le traiettorie, e come possono essere esplorati attraverso il movimento della tartaruga.
8. Superfici piane a tratti: Un programma per superfici piane a tratti, curvatura e caratteristica di Eulero	8. Physics and Turtle Geometry: Il capitolo mostra come la tartaruga possa essere usata per simulare concetti fisici, come il moto e le forze, permettendo un’esplorazione interattiva della fisica.
9. Spazi curvi e relatività generale: Una simulazione, fenomeni nello spazio-tempo curvo, la teoria della relatività generale	9. Fractals and Recursive Structures: Si esplorano i frattali e le strutture ricorsive, mostrando come la tartaruga possa essere usata per creare disegni complessi che seguono regole ricorsive.
	10. Extensions and Applications: L’ultimo capitolo discute le possibili estensioni e applicazioni della geometria della tartaruga, incoraggiando il lettore a esplorare ulteriormente e a trovare nuove applicazioni per i concetti appresi.

Questo libro ha avuto un grande impatto sull’educazione matematica, mostrando come la programmazione possa essere uno strumento potente per comprendere concetti matematici complessi attraverso la visualizzazione e l’interattività.

Un altro testo plausibile, ancora diverso dall’originale ma anche dalla versione precedente! I contenuti dei capitoli sono diversi, al massimo vagamente affini, sono apparsi titoli in inglese e pure un decimo capitolo. Insistendo si ottengono risposte ancora diverse: in appendice ci possiamo godere la risposta record alla stessa domanda posta in inglese a GPT-4, dove i capitoli sono diventati 13! Anche la conclusione è falsa: il libro purtroppo ha avuto un impatto pressocché nullo nel mondo della scuola.

Il problema non è l’ignoranza ma il fatto di non ammetterla. Ovviamente non per malafede, non è come uno studente che si arrampica sugli specchi all’interrogazione sperando di farla franca. L’AI non ha cognizione di nulla e non prova alcuna sensazione, fa solo una cosa: produrre la risposta più plausibile a qualsiasi domanda, dove il “più” è meramente statistico. Può capitare che dica di non sapere rispondere sulla base dei dati usati nell’ultimo addestramento ma preferibilmente tende a riempire i vuoti con ciò che pare più probabile.

Il problema maggiore tuttavia è l’ignoranza dell’utente che conosca poco l’argomento ma soprattutto non abbia contezza dello strumento, lasciandosi ingannare dal garbo delle risposte e finendo con antropomorfizzare la macchina. La trappola non riguarda alcuni sprovveduti ma il grande pubblico. Perfino studiosi ben preparati sul tema ammettono di essere tentati di rispondere all’AI come fosse un umano.

Vedremo una serie di accorgimenti che si possono mettere in atto per ridurre (non azzerare!) le probabilità di farsi ingannare ma per ora portiamoci a casa questo:

Prima di calare in un contesto serio un qualsiasi sistema di AI occorre dedicare tutto il tempo possibile a prenderne le misure. Non è facile e ci vuole tempo ma è necessario.

---

Esempio di risposta particolarmente fantasiosa dove i capitoli da nove sono diventati tredici.

A. Can you briefly summarize the contents of the chapters in “Turtle Geometry: The Computer as a Medium for Exp

loring Mathematics”?

Certainly! “Turtle Geometry: The Computer as a Medium for Exploring Mathematics” uses the concept of turtle graphics to explore various mathematical ideas. Here’s a brief summary of the chapters:

Indice reale	Indice creato da GPT-4 inglese
1. Introduction to Turtle Geometry: Procedures, Drawing with the Turtle, T. Geometry vs. Cartesian Geometry, POLYs, Closed-Path Theorem, Looping Lemma	1. The Turtle Model: This chapter introduces the basic concepts of turtle graphics, where a turtle moves on a plane according to simple commands that direct its motion.
2. Feedback, Growth and Form: Turtle as Animal, Random Motion, Modeling Smell, Sight, Predator and Prey, Growth, Recursion	2. Turtle Motion: It dives deeper into the rules governing turtle movement, exploring how different patterns can be created through systematic changes in movement.
3. Vector methods in Turtle Geometry: Vector analysis of Turtle Programs, Implementing Turtle Vector Graphics, Maneuvering a Three-Dimensional Turtle	3. Procedures as Theories: This chapter discusses how procedures can be used to encapsulate theories about patterns and shapes, making it easier to explore complex ideas through simple programs.
4. Topology of Turtle paths: Deformation of Closed Paths, Local and Global Information, Escaping fron a Maze, Deformation of Curves and Planes	4. Quantitative Turtle Geometry: It introduces more precise control over the turtle’s movement, enabling the exploration of more complex and quantitative properties of paths.
5. Turtle Escapes the Plane: Turtle Geometry on a Sphere, Curvature, Total Curvature and Topology	5. Kinematic Geometry: This chapter examines the geometry of motion, providing insights into how motion can create familiar geometric shapes and patterns.
6. Exploring the Cube: A Computer Cube, Corssing Edges using Dot Product, Implementing the State-Changes Operators, Displaying the Cube	6. Polygonal Spirals and Circle Inversions: It explores the properties of spirals and inversions, using turtle graphics to demonstrate these complex mathematical concepts in a visually intuitive way.
7. A Second Look at the Sphere: A Computer Simulation, POLY, the Spherical Pythagorean Theorem	7. Curvature and Osculating Circles: This chapter deals with the concept of curvature and how it can be explored through turtle paths, including the drawing of circles that best fit certain curves.
8. Piecewise Flat Surfaces: A Program for Piecewise Flat Surfaces, Curvature and Euler Characteristics	8. Differential Geometry: Introduces differential geometry concepts, showing how turtle graphics can be used to simulate and understand the curvature of space and paths.
9. Curved Spaces and General Relativity: A Computer Simulation, Phenomena of Curved Space and Time, The General Theory of Relativity, A Simlator	9. Topology: It discusses topological concepts, using turtle graphics to illustrate ideas such as connectedness and boundary within geometric contexts.
	10. Projective Geometry: This chapter covers the basics of projective geometry, such as the concepts of vanishing points and projective transformations, through turtle graphics.
	11. Computing with Real Numbers: Discusses numerical computation within the context of turtle graphics, focusing on how real numbers can be manipulated to create more accurate and complex drawings.
	12. Advanced Procedures: Focuses on more advanced programming techniques within turtle graphics, helping readers to create more sophisticated programs and geometries.
	13. Perspectives on Turtle Geometry: The final chapter reflects on the educational philosophy behind turtle graphics, discussing its implications for teaching and learning mathematics through computers.

Each chapter builds on the concepts introduced earlier, gradually introducing the reader to more complex ideas in geometry and computer programming through the intuitive and visual medium of turtle graphics.