Logo vs Scratch: valutazione quantitativa dell’apprendimento del concetto di angolo
Premessa: questo post è un report tecnico di un lavoro di ricerca in fieri. Lo scrivo per fissare le idee in un periodo nel quale sono distratto da una quantità di progetti e soprattutto per dare un primo riconoscimento agli studenti che hanno collaborato sino ad ora: Martina Fini (Massa), Fabiola Izzo (Lucca), Marianna Fazzino (Grosseto) e Silvia Ercoli (Firenze). Quindi prima di tutto un grosso grazie a Martina, Fabiola, Marianna e Silvia perché senza il loro fondamentale contributo questo lavoro non sarebbe possibile.
Sono tre anni che lavoro con Logo e Scratch con i miei studenti di Formazione Primaria, circa 250 studenti l’anno. Ho avuto anche la fortuna di lavorare in alcune classi di terza e quarta primaria. Mi sono quindi fatto delle idee, sintetizzate (per ora in inglese) in un position paper intitolato A step Back into the Future (PDF), che mi hanno condotto a formulare la seguente domanda di ricerca:
In un lavoro mirato al rinforzo dell’apprendimento di uno specifico concetto matematico c’è una differenza fra i due linguaggi, Logo e Scratch?
C’è letteratura scientifica a riguardo: la questione se si impari di più con Logo o Scratch è ambigua. Tendenzialmente pare che la pratica di Logo migliori la comprensione profonda dei concetti mentre Scratch funzioni meglio per assimilare velocemente costrutti specifici, oppure che i ragazzi che hanno fatto un’esperienza con Logo siano alla fine vogliosi di cimentarsi in sfide più complesse mentre quelli che hanno lavorato con Scratch hanno la sensazione di essersi divertiti. Ancora, in sintesi, Logo viene percepito come un lavoro cognitivo, Scratch come una sorta di videogioco.
In questa breve anticipazione ci bastano due riferimenti: il lavoro di Richard Noss (Children’s learning of geometrical concept through Logo, Journal for reasearch in mathematics education, 18(5): 343-362, 1987) e quello di Colleen M. Lewis (How programming environment shapes perception, learning and goals: Logo vs. Scratch – SIGCSE’10, 2010, Milwaukee, Wisconsin, USA). Dal primo abbiamo tratto il disegno sperimentale ideato per studiare l’effetto di un lavoro con Logo sull’apprendimento del concetto di angolo. Dal secondo alcuni elementi di confronto fra Logo e Scratch, ma riferiti ad aspetti più generali dell’apprendimento fra cui anche la percezione personale.
Volendo provare a rispondere alla domanda di ricerca attraverso uno studio statistico controllato, si pone il problema della dimensione del campione che è il tallone di Achille di tutti gli studi di questo genere. Da qui l’idea di coinvolgere gli studenti. L’idea è quella di cumulare il campione attraverso una serie di studi sperimentali realizzati dagli studenti durante i tirocini per le loro tesi. Fino ad ora hanno aderito le quattro studentesse citate nella premessa: Martina, Fabiola, Marianna e Silvia. Grazie alla loro collaborazione abbiamo potuto raggiungere un campione di 90 bambini, per ora.
Una descrizione dettagliata del disegno sperimentale può essere ricavata da una qualsiasi delle tesi disponibili in questa raccolta. Manca ancora quella di Silvia perché si deve laureare nella prossima sessione. In breve, il disegno richiede i seguenti passi. La classe viene divisa in due gruppi uguali: il primo parte con un percorso di studio del concetto di angolo con Logo, parallelamente il secondo usa Scratch. A metà del percorso si scambiano i ruoli e vengono rifatte le stesse cose con l’altro linguaggio. Nel corso dell’intera esperienza vengono eseguiti tre test: uno all’inizio, uno fra la prima e la seconda fase e uno finale. Ai fini della domanda di ricerca specifica si impiegano i dati del secondo test, proposto al termine del primo ciclo. Il test è composto da 13 domande diverse. Ciò che si misura è il numero di risposte corrette, per ogni bambino e per ogni quesito. I risultati vengono valutati con un test di student per dati accoppiati, conseguentemente a argomentazioni e test che assicurano la distribuzione normale dei dati.
In questo breve report sono tre i confronti che ci interessano:
- Confronto fra il test 1 e il test 2 nel gruppo Logo-first: risultato significativamente diverso con p=0.0015
- Confronto fra il test 1 e il test 2 nel gruppo Scratch-first: risultato non significativamente diverso con p=0.64
- Confronto test 1 fra Logo-first e Scratch-first: risultato non significativamente diverso con p=0.23
Il risultato netto che otteniamo è l’influenza di Logo, statisticamente significativa ad un livello prossimo all’1 per mille. Questo significa che la probabilità che tale differenza sia dovuta al caso (ipotesi H0) è inferiore al 1.5 per mille. Contrariamente, il risultato ottenuto con Scratch non rivela alcun miglioramento, anzi piuttosto un lieve peggioramento, che comunque non risulta statisticamente significativo (p=0.64). Questo risultato è in armonia con l’osservazione empirica derivante dall’esperienza di svariate decine di studenti che hanno lavorato con i propri bambini con ambedue i sistemi, secondo la quale l’interfaccia di Scratch è sì estremamente attraente e potente ma crea un contesto che distrae troppo i ragazzi, i quali fanno maggior fatica a concentrarsi. Diversamente, il paradigma proposta da Logo è quello del foglio bianco: non bottoni da premere e blocchi preconfezionati da scegliere ma istruzioni da scrivere.
Il terzo confronto lo mostriamo perché ci ha colpito la differenza di prestazioni a priori apparente fra il gruppo Logo-first e quello Scratch-first. Vale a dire che sulla valutazione delle conoscenze pregresse è risultato migliore il secondo. La differenza tuttavia non è risultata statisticamente significativa (p=0.23) e quindi la possiamo attribuire alla casualità della scelta del campione.
Quest’ultimo rilievo ci consente di mettere in luce che, se i presenti risultati sono soddisfacenti dal punto di vista della significatività statistica, che misura la probabilità di incorrere in falsi positivi, risultata bassa, non lo sono tuttavia ancora per quanto concerne la potenza del test, ovvero della probabilità di ottenere veri positivi, che dovrebbe essere alta. La potenza di un test è determinata dalla dimensione del campione, dalla dimensione dell’effetto misurato e dalla significativa richiesta. Il parametro che ci possiamo giocare è la dimensione del campione. Prime stime dicono che lo dovremmo aumentare di circa cinque volte. Forza ragazzi!
P.S. Mi servirebbe anche la versione inglese ma sono messo malissimo con il tempo, per ora. Vedi mai che qualcuno…
Andreas Formiconi 