Ricerca

Uno studio indipendente valuta l’impatto di Innovamat nelle scuole pubbliche di Rio de Janeiro

07/05/2026|10 min di lettura

Uno studio indipendente valuta l’impatto di Innovamat nelle scuole pubbliche di Rio de Janeiro

Questo studio indipendente di Germina mostra che, dopo due anni di implementazione, gli alunni che hanno utilizzato Innovamat hanno ottenuto risultati migliori in matematica rispetto a quelli che non lo utilizzavano. L’articolo accompagna un articolo tecnico e un Riepilogo esecutivo realizzati dal gruppo di ricerca che ha guidato lo studio

Come è iniziato tutto?

Qualche anno fa, abbiamo ricevuto nei nostri uffici la visita di alcuni membri di Fundação Lemann, una delle fondazioni educative più rilevanti in Brasile. Il loro interesse era contribuire a migliorare l’educazione matematica nelle scuole pubbliche del Brasile. E la sfida non era da poco. In Brasile, molti alunni terminano il ciclo d’istruzione obbligatoria con un livello di matematica inferiore al previsto. Come ricorda il rapporto di Germina che condividiamo qui, nel 2023 solo il 16,5% degli alunni di 9.º anno (3.º della secondaria) raggiungeva un apprendimento adeguato in matematica.

Dopo quella visita sono seguite molte conversazioni. Da Innovamat abbiamo condiviso quella volontà di migliorare l’apprendimento della matematica in Brasile. Abbiamo voluto costruire una relazione e trovare un vero punto d’incontro, ma sapevamo che avremmo dovuto fare questo passo assumendo che la proposta andasse adattata a una realtà molto diversa dalla nostra.

Così è iniziato il percorso a Rio de Janeiro.

Uno studio pilota con una valutazione rigorosa

Il primo accordo è arrivato con la Segreteria Municipale dell’Istruzione di Rio de Janeiro, nell’ambito dei Ginásios Educacionais Tecnológicos, una rete di scuole pubbliche della città. Abbiamo iniziato con un piccolo pilota di 5 scuole. L’obiettivo iniziale era capire se il progetto si adattava alla realtà del Paese, delle scuole, degli insegnanti e degli alunni.

Fin dall’inizio abbiamo concordato un aspetto importante: il pilota doveva essere accompagnato da una valutazione d’impatto indipendente. Con l’aiuto della Fundação Lemann è stata finanziata la valutazione e si è deciso di collaborare con Germina, un’istituzione di ricerca brasiliana la cui proposta di studio e il cui team ci hanno dato molta fiducia. La valutazione è stata realizzata in modo indipendente, tramite un accordo formale con la Segreteria Municipale dell’Istruzione di Rio e l’approvazione del comitato nazionale di etica in Brasile.

Se volevamo sapere che cosa stava succedendo, avevamo bisogno di dati esterni a Innovamat, di uno sguardo indipendente e di un disegno che permettesse di interpretare i risultati con prudenza.

Prima di misurare, bisognava capire come poteva avvenire il cambiamento

La valutazione non è iniziata direttamente con una prova. Prima abbiamo lavorato alla co-progettazione di una teoria del cambiamento: una spiegazione ordinata di come ci aspettavamo che il programma potesse generare impatto, a partire dalla nostra esperienza in centinaia di scuole e dalle evidenze che avevamo accumulato in studi precedenti.

E qui c’è stata un’idea centrale che abbiamo condiviso fin dall’inizio: il miglioramento educativo non è immediato.

Innovamat non migliora i risultati attraverso un intervento puntuale o isolato sugli alunni. Agisce, principalmente, attraverso l’insegnante. Il programma offre materiali manipolativi, guide didattiche, una piattaforma digitale, formazione e accompagnamento. Ma il cambiamento reale avviene quando gli insegnanti sono in grado di adattare la proposta alle esigenze della loro classe. È in quel momento che le attività prendono vita e riescono a far partecipare gli alunni in un altro modo alla classe di matematica.

Per questo, Germina ha distinto tra impatti a breve termine e impatti a lungo termine:

A breve termine ci aspettavamo di vedere cambiamenti nelle pratiche didattiche, nella dinamica di classe, nella partecipazione e nella motivazione degli alunni.
A lungo termine, ci aspettavamo di vedere miglioramenti nel rendimento nelle prove di matematica.

L’ipotesi era che durante il primo anno potessero comparire cambiamenti in classe; ma i risultati di apprendimento avrebbero probabilmente richiesto più tempo.

A partire da questa teoria del cambiamento, Germina ha progettato lo studio in modo indipendente e utilizzando dati indipendenti da Innovamat: principalmente i risultati della ADR, la valutazione diagnostica della rete municipale di Rio de Janeiro.

Come è stato progettato lo studio?

Lo studio ha avuto due fasi. La prima è stata il pilota iniziale del 2024. Germina ha progettato un’assegnazione casuale stratificata per scegliere le scuole trattate e confrontarle con un gruppo di controllo (scuole che non fanno Innovamat) il più simile possibile. In pratica, questo ha significato usare dati pubblici delle scuole, come rendimento precedente, livello socioeconomico, dimensione, proporzione di studenti di diverse etnie e altre variabili, per formare gruppi comparabili e assegnare il trattamento in modo casuale all’interno di quei gruppi. Questa assegnazione casuale aiuta a ridurre possibili bias di selezione, cioè evita che partecipino solo scuole o persone con caratteristiche particolari che potrebbero influire sui risultati, come una maggiore motivazione o un interesse speciale per la matematica. Inoltre, l’uso di un’assegnazione casuale stratificata permette che i gruppi confrontati siano il più equilibrati possibile. In questo modo, i risultati ottenuti possono essere interpretati con maggiore fiducia.

Infine, 5 scuole hanno iniziato con Innovamat e 34 scuole sono rimaste come gruppo di controllo. Questa prima fase ha permesso di osservare due cose: che cosa è successo durante il primo anno di implementazione e che cosa è successo dopo due anni in quelle stesse scuole.

La seconda fase è arrivata nel 2025, quando il programma si è esteso ad altre 25 scuole. In questo caso, la selezione non è stata casuale, ma amministrativa: l’ha fatta la stessa Segreteria Municipale dell’Istruzione di Rio. Per questo, questi risultati vanno letti con maggiore cautela. Inoltre, per queste scuole abbiamo ancora solo i dati del primo anno di implementazione. Per sapere se gli effetti a lungo termine si replicano anche in esse, bisognerà aspettare i dati dell’anno scolastico 2026-2027.

L’analisi principale è stata fatta con una metodologia chiamata differenze nelle differenze (DiD, secondo l’acronimo inglese). Detto in modo semplice: si confronta come evolvono gli alunni delle scuole con Innovamat rispetto a come evolvono gli alunni di scuole simili senza Innovamat. Inoltre, Germina ha completato questi dati con questionari agli insegnanti: ha ottenuto 1.049 risposte da 393 scuole in tre momenti diversi. Oltre ad interviste qualitative per capire meglio i cambiamenti nella pratica didattica.

Primo risultato: la lezione cambia

Il primo apprendimento è stato molto chiaro: a breve termine, gli insegnanti hanno descritto cambiamenti nel modo di insegnare.

Gli insegnanti delle scuole con Innovamat hanno dichiarato di usare più risorse sia fisiche sia digitali, di proporre più situazioni di apprendimento attivo e di dare più feedback strutturato agli alunni. Nel riepilogo esecutivo, Germina evidenzia tre cifre: +28 punti percentuali nell’uso di risorse digitali, +20 punti nelle pratiche di apprendimento attivo e +25 punti nel feedback strutturato. Ma ci sono molte più sfumature e per questo vi consigliamo di leggere l’articolo tecnico più in dettaglio. Questo è importante perché conferma una parte essenziale della teoria del cambiamento. Prima di vedere miglioramenti nelle prove, dovevamo vedere che il programma stava modificando ciò che accadeva in classe. Ed è questo che mostrano i dati.

Secondo risultato: dopo due anni, gli alunni imparano di più

Nel primo anno del pilota, Germina non ha rilevato un effetto significativo sull’apprendimento a livello aggregato. Ciò non ci ha sorpreso, perché era coerente con l’ipotesi iniziale. Cambiare le routine didattiche, adattare i materiali e trasformare la dinamica di classe richiede tempo.

Tuttavia, la parte più rilevante è arrivata nel secondo anno. Nelle 5 scuole della prima fase, gli alunni di 2.º e 3.º hanno mostrato miglioramenti significativi in matematica. In 2.º, l’effetto stimato è stato di +0,16 deviazioni standard, equivalente approssimativamente a +9 punti SAEB (il sistema nazionale di valutazione del Brasile che misura il rendimento scolastico e la qualità del sistema educativo mediante esami standardizzati e censuari). In 3.º, l’effetto è stato di +0,20 deviazioni standard, equivalente approssimativamente a +12 punti SAEB. Entrambi i risultati sono stati statisticamente significativi. La conversione in punti SAEB aiuta a rendere il risultato più intuitivo, anche se Germina avverte che deve essere interpretata come un’approssimazione: la ADR e il SAEB sono prove diverse.

Come indica Germina nel suo articolo tecnico, queste dimensioni dell’effetto sono rilevanti se le confrontiamo con quelle che di solito si trovano nelle valutazioni rigorose di interventi educativi. Germina le confronta con la base dati ampliata di Kraft (2023), che raccoglie risultati di studi randomizzati con prove standardizzate di apprendimento in sei archivi internazionali, tra cui il What Works Clearinghouse e la Education Endowment Foundation. In quel confronto, la mediana degli effetti si colloca di solito tra +0,03σ e +0,14σ, a seconda della fonte. L’effetto osservato in 3.º (+0,20σ) supera il 70º percentile in cinque delle sei basi analizzate, e quello di 2.º (+0,16σ) lo supera in quattro. Detto in modo semplice: non solo sono risultati positivi, ma, inseriti nel contesto, sono al di sopra della norma in questo tipo di studi.

È anche importante essere prudenti: nella prima fase erano solo 5 le scuole che utilizzavano Innovamat. I risultati sono positivi, promettenti e statisticamente significativi, ma sarà importante confermare che l’effetto si mantenga quando avremo il secondo anno di dati delle 25 scuole della seconda fase.

Terzo risultato: si riducono anche i divari

Lo studio ha analizzato anche l’equità. Seguendo le pratiche abituali nella ricerca sulla politica educativa in Brasile, Germina raggruppa come PPI le persone razzializzate appartenenti a gruppi che storicamente hanno subito maggiori disuguaglianze educative (i gruppi classificati come Preta, Parda e Indígena nel Census Nacional del Brasile).

Considerando le due fasi e gli anni disponibili, il programma si è associato a una riduzione significativa di 0,07 deviazioni standard nel divario tra studenti PPI e non PPI.

Questo risultato ci sembra particolarmente rilevante. Innovamat non includeva in questo pilota un intervento specifico di equità razziale, per cui il miglioramento sembra prodursi in modo indiretto: ricostruendo apprendimenti e offrendo esperienze matematiche più ricche, accessibili e partecipative, il programma avvantaggia proporzionalmente di più chi partiva da una situazione più vulnerabile.

Discussione generale

Per noi, il punto più importante da sottolineare è che i risultati sono coerenti con altri studi precedenti che avevamo realizzato internamente (biblioteca di studi), il che fornisce evidenze a favore dell’uso del programma nel contesto di Rio de Janeiro. In altre parole, in un contesto piuttosto diverso da studi precedenti e con una ricerca indipendente, arriviamo a conclusioni molto simili: Innovamat sostiene gli insegnanti nel generare cambiamenti nelle pratiche di classe verso una matematica più centrata sull’apprendimento concettuale profondo e sullo sviluppo di competenze. Questo richiede tempo, formazione e familiarità con il programma da parte del team docente. Ma questi cambiamenti hanno la loro ricompensa: nel secondo anno di implementazione, gli alunni mostrano un rendimento migliore nelle prove di matematica. Inoltre, questi progressi sembrano avere più impatto per quegli alunni appartenenti a gruppi più vulnerabili e contribuiscono così a ridurre il divario di equità.

Questo studio non chiude la conversazione sull’impatto di Innovamat nell’apprendimento della matematica. Al contrario: la apre con più rigore. Il campione iniziale è piccolo, la seconda fase ha ancora bisogno di un secondo anno di follow-up e sarà necessario confrontare i risultati con altre prove, come Prova Rio, SAEB 2025 e future valutazioni di fluidità matematica. Però, in parte grazie a questi risultati positivi, nell’anno scolastico 2026-2027 Innovamat si sta già implementando in 159 scuole pubbliche di Rio de Janeiro. C’è una grande opportunità per continuare a ricercare e a imparare sulle sfide di implementazione, sui cambiamenti in classe e su quale relazione abbia tutto questo con i risultati.

Questo studio rafforza un’idea semplice, ma molto importante: il modo di insegnare conta. E ci ricorda anche che, in educazione, per sapere se qualcosa funziona non basta implementarla: bisogna accompagnarla, valutarla bene, riconoscerne i limiti e continuare a imparare dalle informazioni.

Contare sull’analisi di istituzioni esterne è molto positivo e ci indica che stiamo andando nella direzione giusta. E per questo siamo aperti al fatto che la comunità scientifica e i migliori ricercatori continuino a collaborare con noi, esaminando la nostra proposta per proseguire con una ricerca congiunta di primo livello.