España
Italia 
United States 
Brasil 
Chile
Ecuador
Mexico
Colombia
Perú
United States
Quando una scuola adotta un programma curricolare di matematica, è frequente che emerga una domanda ricorrente, sia a casa sia a scuola: «Va bene, ma… funziona?». La domanda è legittima. Il problema è che difficilmente la risposta si può ridurre a un sì o a un no.
In questo articolo analizziamo la complessità di valutare un programma di matematica da una prospettiva ampia di ricerca educativa.
Il National Research Council (NRC) avvertiva già anni fa che valutare un curricolo di matematica non dovrebbe ridursi a un unico risultato o a un unico tipo di studio. Nel suo rapporto del 2004 propone di intendere la valutazione come un insieme di evidenze complementari: studi di impatto, studi di implementazione, analisi dei contenuti e analisi del quadro teorico (cioè: quale teoria dell’apprendimento e dell’insegnamento sostiene la proposta). Di fatto, lo stesso rapporto ha esaminato 698 studi su 19 curricoli di matematica e ha concluso che solo 147 soddisfacevano gli standard minimi di qualità —e che neppure questi bastavano da soli a stabilire l’efficacia di un programma: nessuna valutazione isolata può chiudere la questione.
Questa idea è fondamentale: un programma educativo non è solo un insieme di materiali. È un esempio di come apprendono gli alunni e di quali pratiche didattiche rendono possibile questo apprendimento. Per questo, quando lo si valuta, ha senso porsi domande come:
In altre parole, gli studi di impatto sono importanti, ma vanno integrati con altri studi più qualitativi per comprendere in profondità come, quando, perché e per chi il programma ha un impatto.
All’arrivo di un nuovo programma, è frequente aspettarsi un miglioramento automatico dei risultati. Ma, dentro e fuori dall’aula, le cose non sono così semplici (né rapide). Ciò che finisce per accadere somiglia di più a una rete di fattori interrelati: elementi strutturali (curricolo, risorse dell’istituto, politica educativa, disuguaglianze, ecc.); fattori dell’insegnante (conoscenze, convinzioni, atteggiamenti, identità, ecc.); fattori degli alunni (capacità, atteggiamenti, identità, benessere, ecc.); contesto familiare e sociale (aspettative, supporto, ansia matematica, risorse, ecc.).
E tutti questi fattori influiscono su un elemento chiave che spesso si dà per scontato: l’implementazione. Cioè, il modo in cui il programma arriva davvero in classe: quale continuità ha, con quale qualità si applica, se raggiunge tutti gli alunni o come si adatta alla realtà dell’istituto.
L’evidenza scientifica al riguardo è chiara: adottare un nuovo curricolo, da solo, sposta appena i risultati, mentre i programmi che trasformano ciò che accade in classe —tutoraggio, lavoro cooperativo, organizzazione della classe— hanno effetti decisamente maggiori (Slavin e Lake, 2008; Pellegrini et al., 2021).
Cosa fa la differenza? Che il materiale sia accompagnato da un reale cambiamento nella pratica didattica. Combinare materiali con formazione e implementazione centrate sull’aula migliora i risultati rispetto all’applicare solo una delle due cose (Lynch et al., 2019), soprattutto quando si cambiano le pratiche pedagogiche —piani di lezione strutturati insieme a materiali per gli alunni e accompagnamento agli insegnanti (Piper et al., 2018).
La conclusione è chiara: un programma può essere valido e, nonostante questo, non generare il cambiamento atteso se l’implementazione non è abbastanza solida o se non produce alcun cambiamento strutturale nell’insegnamento della matematica.
Un aspetto centrale da considerare quando parliamo di evidenze sull’impatto è che non tutti gli studi hanno lo stesso livello di rigore. In questo senso, il disegno della ricerca è fondamentale, poiché determina fino a che punto possiamo attribuire i cambiamenti osservati al programma e non ad altri fattori (come il livello socioeconomico o la motivazione precedente dell’insegnante). Correlazione, quindi, non implica causalità.
Negli Stati Uniti, la legge ESSA (Every Student Succeeds Act) classifica le evidenze in quattro livelli da una prospettiva di qualità scientifica: dall’evidenza forte (studi randomizzati o RCT) all’evidenza promettente (studi correlazionali) o alla dimostrazione del ragionamento (fondamento teorico e valutazione in corso).
Questo paradigma comune ha favorito la creazione di diverse istituzioni progettate per garantire uno scrutinio di ogni ricerca che voglia dimostrare uno di questi livelli di qualità scientifica. Le più importanti sono la What Works Clearinghouse (WWC) ed Evidence for ESSA, due repertori che raccolgono, rivedono e classificano queste evidenze in base al loro rigore metodologico. Applicando criteri comuni e indipendentemente da chi sviluppa ciascun programma, ci permettono di collocare, confrontare e classificare i risultati in modo imparziale.
Detto questo, avere una buona classificazione non significa che l’evidenza abbondi. Quando Bellwether (2023) ha esaminato i 59 curricoli di matematica della scuola primaria e secondaria con i contenuti di migliore qualità, 42 di essi non avevano alcuno studio di efficacia pubblicato —una lacuna di evidenza di circa il 70%—. E tra gli studi che esistevano, solo il 10% erano studi randomizzati.
Negli studi di impatto con metodi quantitativi, ci sono due indicatori che compaiono spesso e che conviene comprendere bene:
Esistono diversi quadri di interpretazione. Per esempio, Hattie (2009) ha reso popolare l’idea di un «punto di riferimento» intorno a 0,4 deviazioni standard per considerare che un impatto sia chiaramente rilevante.
Tuttavia, Kraft (2020) propone riferimenti più realistici per la ricerca educativa applicata: meno di 0,05 sarebbe un effetto piccolo, tra 0,05 e meno di 0,20 un effetto medio, e 0,20 o più un effetto grande, sottolineando inoltre che la sua interpretazione dipende da aspetti essenziali del disegno.
Questi riferimenti non sono arbitrari. Kraft (2023) ha raccolto 3.426 dimensioni dell’effetto provenienti da 973 studi randomizzati in educazione e ha osservato che la mediana si attesta intorno a 0,10 deviazioni standard, che più di un terzo degli studi non raggiunge 0,05 e che solo il 10% supera 0,57. Evans e Yuan (2022) trovano una distribuzione quasi identica (mediana di 0,10) nei paesi a basso e medio reddito. Nella ricerca educativa, quindi, un effetto intorno a 0,10 sarebbe già considerato rilevante.
Di fatto, rivedendo i programmi con evidenza analizzati da WWC o Evidence for ESSA, osserviamo che gli effetti si muovono in fasce modeste ma significative che variano secondo il tipo di programma. I curricoli completi di matematica tendono ad avere effetti tra 0,09 e 0,11 SD, ma gli effetti tendono a essere maggiori negli interventi educativi focalizzati (0,19-0,51 SD) o nei programmi di tutoraggio di alto impatto (0,20-0,40 SD).
Tutto questo focus sui valori p e sulle dimensioni dell’effetto dà per scontata una decisione previa che raramente viene esplicitata: cosa abbiamo scelto di misurare. E questo rimanda a una domanda ancora più di base: cosa intendiamo per «migliorare» in matematica?
Parliamo di ottenere risultati migliori nelle prove standardizzate? E, se sì, in quali prove e con quale tipo di attività? Oppure ci riferiamo a una competenza matematica più profonda: capacità di ragionare, di risolvere problemi, di comprendere il senso di ciò che si fa?
Forse vogliamo anche misurare cambiamenti meno visibili, ma altrettanto rilevanti: l’atteggiamento verso la matematica, la fiducia, l’identità matematica degli alunni. Oppure cambiamenti nella pratica didattica: come si insegna, quali opportunità di apprendimento si generano in classe, quali interazioni avvengono.
E c’è anche un’altra dimensione che spesso resta fuori dagli studi a breve termine: gli effetti a lungo termine. Le decisioni accademiche, i percorsi formativi o persino le future opportunità professionali.
Tutti questi sguardi hanno senso, ma alcuni sono più difficili da misurare di altri. Per esempio, misurare l’impatto che un programma di matematica ha sulle future opportunità professionali degli alunni richiede molti anni di follow-up, è molto costoso e, in molti casi, è impraticabile. In questo senso, la maggior parte degli studi si basa sui risultati nelle prove standardizzate, ma è importante capire che ci sono altri aspetti rilevanti che queste prove non sono in grado di misurare.
A questo si aggiunge una sfumatura tecnica importante: non è la stessa cosa misurare con una prova allineata al programma stesso o con una prova standardizzata e indipendente. Le valutazioni fatte su misura del programma tendono a mostrare effetti maggiori, perciò conviene leggere con cautela i risultati ottenuti con prove proprie. In definitiva, ciò che si misura condiziona sia la risposta sia quanto si pensa di migliorare.
A questo punto, è opportuna un’ultima avvertenza: anche quando uno studio offre una dimensione dell’effetto, quel numero non è una proprietà fissa del programma. Ci sono diversi fattori che possono aumentarla o ridurla, e conoscerli aiuta a leggere l’evidenza con criterio.
Importa, in primo luogo, cosa si misura. Non è la stessa cosa valutare con una prova progettata su misura del programma o con un test standardizzato e indipendente: le misure allineate ai contenuti del programma tendono a mostrare effetti sistematicamente maggiori. Per questo conviene dare più peso alle prove indipendenti e guardare con cautela ai risultati ottenuti con valutazioni del programma stesso.
Importa, inoltre, contro cosa e con chi si fa il confronto. Confrontare un programma con un gruppo che non riceve nulla produce effetti maggiori che confrontarlo con un’alternativa reale altrettanto attiva. E gli studi che selezionano scuole particolarmente favorevoli, o che monitorano l’implementazione con un’intensità difficile da replicare, ottengono effetti più elevati di quelli che lavorano con campioni rappresentativi. In quei casi, l’effetto va inteso come un tetto, non come ciò che ci si può aspettare su larga scala.
Importa, inoltre, quando si misura. Molti miglioramenti si attenuano con il tempo (il cosiddetto fade-out): un anno dopo, di solito si conserva solo tra un terzo e la metà dell’effetto iniziale (Bailey et al., 2017). Poiché quasi nessuno studio misura oltre un anno scolastico, gli effetti pubblicati sono quasi sempre stime immediate che sovrastimano l’impatto cumulato. Da qui l’importanza di misurare non solo subito dopo l’intervento, ma anche a medio termine.
Infine, conviene ricordare che l’evidenza educativa ha un forte bias verso risultati positivi: i risultati nulli o negativi vengono pubblicati raramente. A ciò si aggiunge un pattern molto consistente: gli effetti dei piloti superano quasi sempre quelli osservati quando il programma viene portato su larga scala —il coaching, per esempio, scende da 0,28 a 0,10 SD passando da studi pilota a studi su larga scala (Kraft, Blazar e Hogan, 2018)— e gli studi con campioni piccoli riportano effetti molto più grandi di quelli ampi (Evans e Yuan, 2022).
Come regola pratica, gli effetti più affidabili sono quelli di studi indipendenti, misurati con prove standardizzate, confrontati con alternative reali e con follow-up oltre un anno scolastico.
Nulla di tutto ciò significa che il materiale non conti. Al contrario: conta soprattutto quando è progettato per indurre cambiamenti didattici ben fondati; quando struttura buone pratiche, propone attività di valore e accompagna lo sviluppo professionale degli insegnanti. È lì che un buon programma smette di essere un insieme di pagine per diventare una leva di miglioramento.
Ormai lo vediamo: valutare un programma educativo non significa cercare un verdetto semplice, ma comprendere un processo complesso. Significa costruire una mappa che ci aiuti a rispondere a cosa funziona, per chi, in quali condizioni, con quali supporti e con quali costi di implementazione.
Per questo ha senso combinare diversi tipi di evidenza e continuare a investire sia in studi rigorosi sia nella ricerca sull’implementazione. Perché, alla fine, la domanda importante non è solo «Funziona?», ma cosa deve succedere perché funzioni qui, con questi insegnanti e questi alunni?
Bailey, D. H., Duncan, G. J., Odgers, C. L., & Yu, W. (2017). Persistence and fadeout in the impacts of child and adolescent interventions. Journal of Research on Educational Effectiveness, 10(1), 7–39.
Bellwether Education Partners. (2023). Rounding up: An analysis of math curriculum effectiveness studies. Bill & Melinda Gates Foundation.
Evans, D. K., & Yuan, F. (2022). How big are effect sizes in international education studies? Educational Evaluation and Policy Analysis, 44(3), 532–540.
Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. Routledge.
Kraft, M. A. (2020). Interpreting effect sizes of education interventions. Educational Researcher, 49(4), 241–253. https://doi.org/10.3102/0013189X20912798
Kraft, M. A. (2023). The effect size benchmark that matters most: Education interventions often fail. Educational Researcher, 52(3), 183–187.
Kraft, M. A., Blazar, D., & Hogan, D. (2018). The effect of teacher coaching on instruction and achievement: A meta-analysis of the causal evidence. Review of Educational Research, 88(4), 547–588.
Lynch, K., Hill, H. C., Gonzalez, K. E., & Pollard, C. (2019). Strengthening the research base that informs STEM instructional improvement efforts: A meta-analysis. Educational Evaluation and Policy Analysis, 41(3), 260–303.
National Research Council. (2004). On evaluating curricular effectiveness: Judging the quality of K-12 mathematics evaluations. Washington, DC: The National Academies Press.
Pellegrini, M., Lake, C., Neitzel, A., & Slavin, R. E. (2021). Effective programs in elementary mathematics: A best-evidence synthesis. AERA Open, 7(1), 1–29.
Piper, B., Zuilkowski, S. S., Dubeck, M., Jepkemei, E., & King, S. J. (2018). Identifying the essential ingredients to literacy and numeracy improvement: Teacher professional development and coaching, student textbooks, and structured teachers’ guides. World Development, 106, 324–336.
Slavin, R. E., & Lake, C. (2008). Effective programs in elementary mathematics: A best-evidence synthesis. Review of Educational Research, 78(3), 427–515.
U.S. Department of Education. (2016). Non-regulatory guidance: Using evidence to strengthen education investments. Washington, DC: Author. https://www.ed.gov/sites/ed/files/policy/elsec/leg/essa/guidanceuseseinvestment.pdf
