España 
Italia 
United States 
Brasil 
Chile
Ecuador
Mexico
Colombia
Perú
Questo studio indipendente di WestEd mostra che, dopo due anni di implementazione, gli alunni che hanno utilizzato le risorse di Innovamat hanno ottenuto risultati migliori in matematica rispetto a quelli che non le utilizzavano, con una dimensione dell’effetto di 0,24.
Nell’anno scolastico 2023-2024, Innovamat arriva per la prima volta nelle aule degli Stati Uniti. Per noi, questo passo non poteva limitarsi a implementare il programma in un nuovo Paese. Volevamo anche capire quale impatto potesse avere Innovamat in questo nuovo contesto.
Per questo, fin dall’inizio, ci siamo proposti di accompagnare l’arrivo negli Stati Uniti con uno studio indipendente di efficacia. Volevamo misurare i risultati, ma anche imparare: cosa succede quando una scuola inizia a trasformare il modo di insegnare matematica? Quanto tempo serve perché questo cambiamento si consolidi? Quali effetti si osservano nell’apprendimento degli alunni?
Perché fare uno studio negli Stati Uniti?
Gli Stati Uniti hanno una lunga tradizione nella valutazione dei programmi educativi. Inoltre, dispongono di quadri di riferimento come la What Works Clearinghouse (WWC), un’iniziativa dell’Institute of Education Sciences che aiuta a rilevare studi che rispettano determinati standard di evidenza. In questo contesto si utilizzano anche i livelli di evidenza della legge ESSA (2015), che classificano la solidità delle evidenze disponibili su un programma educativo. Il punto principale è che gli studi di efficacia non hanno tutti lo stesso rigore e non permettono di trarre conclusioni con la stessa forza. Il livello di evidenza dipende da come lo studio è stato progettato. Questi livelli vanno dal giustificare le basi scientifiche o teoriche su cui si fonda un progetto (livello IV) fino a dimostrare l’impatto positivo di questo programma con uno studio sperimentale rigoroso, ben progettato e ben implementato (livello I).
Ma il fattore chiave che ci ha permesso di portare avanti questo studio è stata l’opportunità di ricevere un finanziamento da parte della Jacobs Foundation, una fondazione che promuove l’uso delle evidenze in educazione e nello sviluppo di soluzioni EdTech. Una delle condizioni per ricevere questo finanziamento era lavorare con un’istituzione indipendente raccomandata dalla stessa fondazione. Tra le opzioni disponibili, abbiamo scelto WestEd, un’organizzazione senza scopo di lucro specializzata in ricerca e valutazione educativa.
L’ipotesi: l’impatto ha bisogno di tempo
Fin dalle prime conversazioni con WestEd abbiamo condiviso un’ipotesi chiara: trasformare l’insegnamento della matematica non è qualcosa di immediato.
Innovamat non si limita solamente a cambiare alcuni materiali con altri. Implica introdurre un modo diverso di imparare matematica: più conversazione, più protagonismo degli alunni, maggiore utilizzo di molteplici rappresentazioni, sequenze collegate tra loro, lavoro con materiali concreti prima di passare al simbolico e una pratica pensata per consolidare le conoscenze e sviluppare fluidità, ecc.
Come ogni trasformazione educativa, questo cambiamento richiede tempo. Il primo anno è solitamente un anno di adattamento: cambiano le dinamiche di classe, le routine didattiche e le forme di partecipazione degli alunni. La nostra ipotesi era che i miglioramenti nel rendimento matematico sarebbero stati più rilevabili a partire dal secondo anno di uso continuativo.
Con questa idea, WestEd ha impostato uno studio longitudinale di due anni. In altre parole, è stato seguito il progresso degli studenti durante 2 anni da quando hanno iniziato a usare le risorse di Innovamat.
Come è stato progettato lo studio?
Lo studio è stato realizzato nel New Jersey con alunni di 2° e 3° grado durante gli anni scolastici 2023-2024 e 2024-2025. In quel momento, solo tre distretti degli Stati Uniti utilizzavano Innovamat. Di questi, due usavano la stessa valutazione esterna, LinkIt!, il che permetteva di disporre di dati comparabili fin dall’inizio. Questo punto era fondamentale. Per sapere se un programma ha impatto, non basta guardare come termina il percorso degli alunni. Bisogna anche sapere da dove partono. Per questo, WestEd ha utilizzato i risultati di LinkIt! dell’autunno 2023 come punto di partenza e i risultati dell’autunno 2025 come misura principale dopo due anni di implementazione.
LinkIt! è una valutazione di riferimento che alcuni distretti già utilizzavano abitualmente per misurare il progresso in matematica durante l’anno scolastico. Non è stata una prova progettata da Innovamat né somministrata specificamente per lo studio, ma una fonte esterna che faceva già parte del funzionamento ordinario dei distretti.
Poiché non era possibile assegnare in modo casuale quali scuole avrebbero usato Innovamat e quali no, WestEd ha progettato uno studio quasi sperimentale. In modo semplice: ha confrontato gli alunni che usavano Innovamat con alunni simili di altre scuole che non lo usavano.
Per costruire questo confronto, WestEd è partita da un elenco iniziale di scuole del New Jersey che non avevano adottato Innovamat. Da questo elenco, LinkIt! ha fornito a WestEd dati anonimi di 1650 studenti di 17 distretti che utilizzavano anch’essi questa valutazione. Da lì, WestEd ha applicato un processo di abbinamento a livello di alunno: per ogni studente del gruppo Innovamat, ha cercato un altro studente il più simile possibile in variabili come il rendimento iniziale, il grado, il genere, l’etnia, il livello socioeconomico o la presenza di un piano educativo individualizzato. In totale, il campione finale dello studio include 910 studenti, di cui 455 hanno utilizzato Innovamat.
La logica è facile da capire: se vogliamo confrontare i risultati, prima dobbiamo assicurarci che i gruppi confrontati si somiglino il più possibile prima di iniziare. Questo tipo di disegno, chiamato disegno quasi sperimentale con gruppi abbinati, è riconosciuto nei manuali di studi di efficacia della What Works Clearinghouse al livello ESSA Tier II. Tuttavia, nei casi in cui il campione è raggruppato in un numero ridotto di scuole e questo raggruppamento non viene preso in considerazione, il disegno è considerato parte del livello ESSA Tier III.
Risultati: il rendimento migliora a partire dal secondo anno
Come risultato principale, è emerso che dopo due anni di implementazione, gli alunni che hanno utilizzato Innovamat hanno ottenuto risultati migliori in matematica rispetto al gruppo di confronto.
In concreto, WestEd ha trovato una differenza statisticamente significativa (p = .002) tra i due gruppi, con una dimensione dell’effetto di 0,24. Anche se questi termini sono tecnici, l’idea è semplice: la differenza osservata non sembra spiegarsi con il caso, e l’entità dell’effetto è rilevante nel contesto della ricerca educativa. Secondo WestEd, una differenza di questa dimensione equivale, in modo approssimativo, a uno studente situato al 50° percentile che passerebbe al 58° percentile. In altre parole, se ordinassimo 100 studenti in base ai loro risultati, uno studente a metà del gruppo con Innovamat si collocherebbe approssimativamente alla posizione 58. Questa traduzione aiuta a farsi un’idea intuitiva del risultato, anche se va interpretata come un’approssimazione.
Nota: il gruppo “Treatment” mostra i risultati medi normalizzati degli studenti con Innovamat, mentre il gruppo “Comparison” mostra i risultati degli studenti con altre proposte educative.
È anche rilevante ciò che è accaduto dopo il primo anno: non si sono osservate differenze significative tra il gruppo Innovamat e il gruppo di confronto. Per noi, questo risultato è importante quanto il precedente, perché si inserisce nell’ipotesi iniziale. I cambiamenti profondi nell’insegnamento hanno bisogno di tempo per consolidarsi.
Lo studio ha anche esplorato se l’impatto variava in base a diversi sottogruppi. Il risultato più rilevante è stato che l’effetto sembrava maggiore negli alunni che hanno iniziato lo studio in 3° grado rispetto a quelli che hanno iniziato in 2°. Queste analisi, tuttavia, erano esplorative e devono essere interpretate con cautela.
Percezione degli insegnanti: un insegnamento più centrato sull’alunno.
Oltre ad analizzare i risultati accademici, WestEd ha intervistato insegnanti che avevano implementato Innovamat. Le loro risposte aiutano a capire meglio cosa stava succedendo nelle aule.
Gli insegnanti hanno descritto un cambiamento verso un un insegnamento più centrato sugli alunni, con più discussione matematica, più spiegazione di strategie e più opportunità di partecipare. Hanno anche evidenziato un aumento della fiducia e del coinvolgimento degli alunni, soprattutto tra gli studenti che prima si sentivano più lontani dalla matematica. È importante sottolineare che queste osservazioni sono molto coerenti con le testimonianze raccolte in un altro distretto del New Jersey, Upper Freehold.
Per esempio, il rapporto di WestEd riporta commenti di insegnanti come i seguenti:
“Devi passare il testimone ai bambini. Devi fare un piccolo passo indietro, avere un po’ di pazienza, lasciare che capiscano le cose da soli, lasciare che parlino tra loro, ed è proprio questo il cambiamento.”
“… le conversazioni che i bambini riescono a fare sulla matematica sono fenomenali. Ci arrivano ragionando ad alta voce. Raggiungono livelli di comprensione che non credo avrei mai potuto raggiungere in seconda elementare, proprio perché devono costantemente dimostrare il perché.”
“Quello che amo di più è che l’intera classe si è divertita con la matematica. … Quei bambini che all’inizio dell’anno non amavano la matematica, che facevano fatica durante la lezione, tutti sono stati in grado di partecipare… Sento che hanno acquisito molta fiducia attraverso le lezioni. … Dopo un mese o due, tutti i bambini partecipavano, il che era insolito. Spesso capitava di avere quei bambini che con la matematica si chiudevano e basta.”
Allo stesso tempo, hanno individuato sfide proprie dei primi anni di implementazione: la curva di apprendimento degli insegnanti, la preparazione dei materiali, l’allineamento con gli standard locali, gli strumenti di valutazione o alcuni aspetti tecnici. Queste sfide ricordano qualcosa di importante: la qualità di una proposta educativa non dipende solo dai materiali, ma anche dall’accompagnamento e dal processo di implementazione.
In questo senso, uno degli aspetti che gli insegnanti hanno valutato positivamente è stato il supporto ricevuto da parte dei tutor di Innovamat, che li ha aiutati ad affrontare il cambiamento di approccio, adattare i materiali alla propria realtà e portare il programma in classe.
“…Il supporto non avrebbe potuto essere migliore… sono stati molto ricettivi verso le nostre esigenze.”
Come interpretare questi risultati?
Questo studio fornisce un’evidenza promettente dell’impatto del programma Innovamat, secondo i livelli di evidenza ESSA (Tier III). In questo contesto, e dopo due anni di utilizzo, Innovamat si associa a un miglioramento significativo nei risultati di matematica.
Tuttavia, conviene essere precisi. Non si tratta di un esperimento casuale, ma di uno studio quasi sperimentale con gruppi abbinati e un campione relativamente piccolo. Questo disegno migliora il confronto tra gruppi, ma non elimina del tutto la possibilità che esistano differenze non osservate tra le scuole che hanno adottato Innovamat e quelle che non l’hanno fatto. Per questo, WestEd sottolinea che i risultati devono essere interpretati con cautela causale.
È anche importante collocare i risultati nel contesto. Valutare l’impatto di un programma curricolare in condizioni reali non è semplice. Come indica Kraft (2023), una percentuale elevata degli studi in educazione non trova alcun impatto rilevante. Questo è coerente con l’interpretazione che ci ha dato la ricercatrice principale dello studio, Mingyu Feng, quando ci ha presentato i risultati: “Questi risultati sono molto positivi. Nella maggior parte degli studi di valutazione educativa che facciamo in WestEd non vediamo risultati significativi. Inoltre, se si rilevano miglioramenti, normalmente le dimensioni dell’effetto sono più piccole.”
D’altra parte, come indica il rapporto “Rounding Up” di Bellwether sugli studi di efficacia nei curricula di matematica negli Stati Uniti, la maggior parte dei programmi viene valutata attraverso disegni correlazionali (ESSA Tier III) o quasi sperimentali (ESSA Tier II). Non è comune utilizzare disegni sperimentali con assegnazione casuale di chi implementa il programma da valutare, perché hanno costi molto elevati e sono molto difficili da implementare e coordinare. Alcuni degli studi più rilevanti negli Stati Uniti su programmi di matematica si possono trovare nella pagina Evidence for ESSA. Se fate un po’ di ricerca sugli studi di programmi curricolari di matematica che coinvolgono l’intero gruppo classe, vedrete che le dimensioni dell’effetto si collocano intorno a 0,1 e raramente superano 0,15.
In questo quadro, trovare un effetto positivo, significativo e superiore a 0,2 deviazioni standard è un risultato particolarmente incoraggiante, anche se occorre continuare ad accumulare evidenze con campioni più ampi e nuovi contesti. Per noi, i risultati rafforzano un’idea centrale: quando viene implementato in modo continuativo, un insegnamento della matematica basato sulla comprensione e sullo sviluppo delle competenze può avere un impatto sull’apprendimento.
Inoltre, questi risultati sono coerenti con altre evidenze che avevamo già raccolto in contesti diversi. In Spagna, per esempio, i nostri studi interni indicavano una relazione positiva tra l’esperienza accumulata con Innovamat e i risultati nelle prove di matematica [articolo]. Inoltre, avevamo anche osservato che gli insegnanti apprezzano in particolare l’impatto del programma sulla partecipazione, la motivazione e l’apprendimento degli alunni, così come sul proprio sviluppo professionale [articolo].
Nel complesso, questo primo studio indipendente negli Stati Uniti va nella stessa direzione di altre evidenze precedenti. Ci incoraggia a continuare a ricercare, imparare e valutare con campioni sempre più grandi e disegni sempre più rigorosi. L’obiettivo finale resta lo stesso: accompagnare al meglio le scuole e gli insegnanti per migliorare l’insegnamento e l’apprendimento della matematica.
Riferimenti:
Gold, T., Carroll, K., Newby, L.D.T., and Steel King, M. (March 2023). “Rounding Up: An Analysis of Math Curriculum Effectiveness
Studies.” BellwetherKraft, M. A. (2023). The Effect-Size Benchmark That Matters Most: Education Interventions Often Fail. Educational Researcher, 52(3), 183-187.
