España
Italia 
United States 
Brasil 
Chile
Ecuador
Mexico
Colombia
Perú
United States
Quan una escola incorpora un programa curricular de matemàtiques, és habitual que aparegui una pregunta recurrent, tant a casa com a l’escola: «D’acord, però… funciona?». La pregunta és legítima. El problema és que la resposta difícilment pot reduir-se a un sí o un no.
En aquest article analitzem la complexitat d’avaluar un programa de matemàtiques des d’una perspectiva àmplia de recerca educativa.
El National Research Council (NRC) ja advertia fa anys que avaluar un currículum de matemàtiques no hauria de reduir-se a un únic resultat o a un únic tipus d’estudi. En el seu informe del 2004, proposa entendre l’avaluació com un conjunt d’evidències complementàries: estudis d’impacte, estudis d’implementació, anàlisi de contingut i anàlisi del marc teòric (és a dir: quina teoria de l’aprenentatge i de l’ensenyament sosté la proposta). De fet, aquest mateix informe va revisar 698 estudis de 19 currículums de matemàtiques i va concloure que només 147 complien els estàndards mínims de qualitat —i que ni tan sols aquests bastaven per si sols per establir l’efectivitat d’un programa: cap avaluació aïllada no pot tancar la qüestió.
Aquesta idea és primordial: un programa educatiu no és només un conjunt de materials. És un exemple de com aprenen els alumnes i quines pràctiques docents fan possible aquest aprenentatge. Per això, a l’hora d’avaluar-lo, té sentit fer-nos preguntes com:
És a dir, els estudis d’impacte són importants, però s’han de complementar amb altres estudis més qualitatius per entendre en profunditat com, quan, per què i per a qui el programa té un impacte.
Davant l’arribada d’un nou programa, és habitual esperar una millora automàtica dels resultats. Però, dins i fora de l’aula, les coses no són tan senzilles (ni ràpides). El que acaba passant s’assembla més a una xarxa de factors interrelacionats: elements estructurals (currículum, recursos del centre, política educativa, desigualtats, etc.); factors del docent (coneixements, creences, actituds, identitat, etc.); factors de l’alumnat (capacitats, actituds, identitat, benestar, etc.); context familiar i social (expectatives, suport, ansietat matemàtica, recursos, etc.).
I tots aquests factors influeixen en una peça clau que sovint es dona per feta: la implementació. És a dir, la manera com el programa arriba realment a l’aula: quina continuïtat té, amb quina qualitat s’aplica, si arriba a tot l’alumnat o com s’adapta a la realitat del centre.
L’evidència científica és clara al respecte: adoptar un nou currículum, per si sol, amb prou feines mou els resultats, mentre que els programes que transformen el que passa a l’aula —tutoria, treball cooperatiu, organització de la classe— tenen efectes força més grans (Slavin i Lake, 2008; Pellegrini et al., 2021).
Què marca la diferència? Que el material vagi acompanyat d’un canvi real en la pràctica docent. Combinar materials amb formació i implementació centrades a l’aula millora els resultats respecte a aplicar només una de les dues coses (Lynch et al., 2019), especialment en canviar pràctiques pedagògiques —plans de classe estructurats juntament amb materials per a l’alumnat i acompanyament al professorat (Piper et al., 2018).
La conclusió és clara: un programa pot ser bo i, tot i això, no generar el canvi esperat si la implementació no és prou sòlida o si no genera cap canvi estructural en l’ensenyament de les matemàtiques.
Un aspecte central a considerar quan parlem d’evidències sobre impacte és que no tots els estudis tenen el mateix nivell de rigor. En aquest sentit, el disseny de la recerca és fonamental, ja que determina fins a quin punt podem atribuir els canvis observats al programa i no a altres factors (com el nivell socioeconòmic o la motivació prèvia del docent). Correlació, doncs, no implica causalitat.
Als Estats Units, la llei ESSA (Every Student Succeeds Act) classifica l’evidència en quatre nivells des d’una perspectiva de qualitat científica: des d’evidència forta (assaigs aleatoritzats o RCTs) fins a evidència prometedora (estudis correlacionals) o demostració de raonament (fonament teòric i avaluació en marxa).
Aquest paradigma comú ha propiciat la creació de diferents institucions dissenyades per assegurar un escrutini de tota recerca que vulgui demostrar un d’aquests nivells de qualitat científica. Les més importants són la What Works Clearinghouse (WWC) i Evidence for ESSA, dos repositoris que recopilen, revisen i classifiquen aquesta evidència segons el seu rigor metodològic. En aplicar criteris comuns i al marge de qui desenvolupa cada programa, ens permeten situar, comparar i classificar els resultats de manera imparcial.
Ara bé, tenir una bona classificació no significa que l’evidència abundi. Quan Bellwether (2023) va revisar els 59 currículums de matemàtiques de primària i secundària amb els continguts de millor qualitat, 42 d’ells no tenien cap estudi d’efectivitat publicat —un buit d’evidència de prop del 70%—. I entre els estudis que sí existien, només el 10 % eren assaigs aleatoritzats.
En estudis d’impacte amb mètodes quantitatius, hi ha dos indicadors que apareixen sovint i que convé entendre bé:
Existeixen diferents marcs d’interpretació. Per exemple, Hattie (2009) va popularitzar la idea d’un «punt de referència» entorn de 0,4 desviacions típiques per considerar que un impacte és clarament rellevant.
Tanmateix, Kraft (2020) proposa referències més realistes per a la recerca educativa aplicada: menys de 0,05 seria un efecte petit, entre 0,05 i menys de 0,20 un efecte mitjà, i 0,20 o més un efecte gran, subratllant a més que la seva interpretació depèn d’aspectes essencials del disseny.
Aquestes referències no són arbitràries. Kraft (2023) va reunir 3.426 mides d’efecte procedents de 973 assaigs aleatoritzats en educació i va observar que la mediana se situa entorn de 0,10 desviacions típiques, que més d’un terç dels estudis no arriba a 0,05 i que només un 10 % supera 0,57. Evans i Yuan (2022) troben una distribució gairebé idèntica (mediana de 0,10) en països de renda baixa i mitjana. En recerca educativa, per tant, un efecte entorn de 0,10 ja es consideraria rellevant.
De fet, en revisar els programes amb evidència analitzats per WWC o Evidence for ESSA, observem que els efectes es mouen en rangs modestos però significatius que varien segons el tipus de programa. Els currículums complets de matemàtiques solen tenir efectes entre 0,09 i 0,11 SD, però els efectes solen ser més grans en intervencions educatives focalitzades (0,19-0,51 SD) o en programes de tutories d’alt impacte (0,20-0,40 SD).
Tot aquest focus en valors p i mides d’efecte dona per suposada una decisió prèvia que rares vegades es fa explícita: què hem triat mesurar. I això remet a una pregunta més bàsica: Què entenem per «millorar» en matemàtiques?
Parlem de treure millors resultats en proves estandarditzades? I, si és així, en quines proves i amb quin tipus de tasques? O ens referim a una competència matemàtica més profunda: capacitat de raonar, de resoldre problemes, d’entendre el sentit del que es fa?
Potser també volem mesurar canvis menys visibles, però igualment rellevants: l’actitud cap a les matemàtiques, la confiança, la identitat matemàtica de l’alumnat. O canvis en la pràctica docent: com s’ensenya, quines oportunitats d’aprenentatge es generen a l’aula, quines interaccions es donen.
I encara hi ha una altra dimensió que sovint queda fora dels estudis a curt termini: els efectes a llarg termini. Les decisions acadèmiques, les trajectòries formatives o fins i tot les oportunitats professionals futures.
Totes aquestes mirades tenen sentit, però algunes són més difícils de mesurar que d’altres. Per exemple, mesurar l’impacte que té un programa de matemàtiques en les oportunitats professionals futures de l’alumnat requereix molts anys de seguiment, és molt costós i, en moltes ocasions, és inviable. En aquest sentit, la majoria d’estudis es basen en resultats en proves estandarditzades, però és important entendre que hi ha altres aspectes rellevants que aquestes proves no són capaces de mesurar.
A això s’afegeix un matís tècnic important: no és el mateix mesurar amb una prova alineada amb el propi programa que amb una prova estandarditzada i independent. Les avaluacions fetes a mida del programa tendeixen a mostrar efectes més grans, així que convé llegir amb cautela els resultats obtinguts amb proves pròpies. En definitiva, què es mesura condiciona tant la resposta com quant sembla que es millora.
Arribats a aquest punt, convé una darrera advertència: fins i tot quan un estudi ofereix una mida d’efecte, aquest número no és una propietat fixa del programa. Hi ha diversos factors que poden augmentar-lo o reduir-lo, i conèixer-los ajuda a llegir l’evidència amb criteri.
Importa, en primer lloc, què es mesura. No és el mateix avaluar amb una prova dissenyada a mida del programa que amb un test estandarditzat i independent: les mesures alineades amb el propi contingut tendeixen a mostrar efectes sistemàticament més grans. Per això convé donar més pes a les proves independents i mirar amb cautela els resultats obtinguts amb avaluacions del propi programa.
Importa, també, contra què i amb qui es compara. Comparar un programa amb un grup que no rep res produeix efectes més grans que comparar-lo amb una alternativa real igualment activa. I els estudis que seleccionen escoles especialment favorables, o que supervisen la implementació amb una intensitat difícil de replicar, obtenen efectes més alts que els que treballen amb mostres representatives. En aquests casos, l’efecte s’ha d’entendre com un sostre, no com el que cal esperar a gran escala.
Importa, a més, quan es mesura. Moltes millores s’atenuen amb el temps (l’anomenat fade-out): un any després, sol conservar-se només entre un terç i la meitat de l’efecte inicial (Bailey et al., 2017). Com que gairebé cap estudi mesura més enllà d’un curs, els efectes publicats són gairebé sempre estimacions immediates que sobreestimen l’impacte acumulat. D’aquí el valor de mesurar no només just després de la intervenció, sinó també a mig termini.
I convé, finalment, recordar que l’evidència educativa té un fort biaix cap a resultats positius: els resultats nuls o negatius rares vegades es publiquen. A això s’hi suma un patró molt consistent: els efectes dels pilots gairebé sempre superen els que s’observen en escalar el programa —el coaching, per exemple, cau de 0,28 a 0,10 SD en passar d’estudis pilot a estudis a gran escala (Kraft, Blazar i Hogan, 2018)— i els estudis amb mostres petites reporten efectes molt més grans que els grans (Evans i Yuan, 2022).
Com a regla pràctica, els efectes més fiables són els d’estudis independents, mesurats amb proves estandarditzades, comparats contra alternatives reals i amb seguiment més enllà d’un curs.
Res d’això no significa que el material no importi. Al contrari: importa especialment quan està dissenyat per induir canvis didàctics ben fonamentats; quan estructura bones pràctiques, proposa activitats de valor i acompanya el desenvolupament professional del professorat. És aquí on un bon programa deixa de ser un conjunt de pàgines per convertir-se en una palanca de millora.
Ja ho veiem: avaluar un programa educatiu no és buscar un veredicte simple, sinó entendre un procés complex. És construir un mapa que ens ajudi a respondre què funciona, per a qui, en quines condicions, amb quins suports i amb quins costos d’implementació.
Per això té sentit combinar diferents tipus d’evidència i continuar invertint tant en estudis rigorosos com en recerca sobre implementació. Perquè, al final, la pregunta important no és només «Funciona?», sinó què ha de passar perquè funcioni aquí, amb aquests docents i aquest alumnat?
Bailey, D. H., Duncan, G. J., Odgers, C. L., & Yu, W. (2017). Persistence and fadeout in the impacts of child and adolescent interventions. Journal of Research on Educational Effectiveness, 10(1), 7–39.
Bellwether Education Partners. (2023). Rounding up: An analysis of math curriculum effectiveness studies. Bill & Melinda Gates Foundation.
Evans, D. K., & Yuan, F. (2022). How big are effect sizes in international education studies? Educational Evaluation and Policy Analysis, 44(3), 532–540.
Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. Routledge.
Kraft, M. A. (2020). Interpreting effect sizes of education interventions. Educational Researcher, 49(4), 241–253. https://doi.org/10.3102/0013189X20912798
Kraft, M. A. (2023). The effect size benchmark that matters most: Education interventions often fail. Educational Researcher, 52(3), 183–187.
Kraft, M. A., Blazar, D., & Hogan, D. (2018). The effect of teacher coaching on instruction and achievement: A meta-analysis of the causal evidence. Review of Educational Research, 88(4), 547–588.
Lynch, K., Hill, H. C., Gonzalez, K. E., & Pollard, C. (2019). Strengthening the research base that informs STEM instructional improvement efforts: A meta-analysis. Educational Evaluation and Policy Analysis, 41(3), 260–303.
National Research Council. (2004). On evaluating curricular effectiveness: Judging the quality of K-12 mathematics evaluations. Washington, DC: The National Academies Press.
Pellegrini, M., Lake, C., Neitzel, A., & Slavin, R. E. (2021). Effective programs in elementary mathematics: A best-evidence synthesis. AERA Open, 7(1), 1–29.
Piper, B., Zuilkowski, S. S., Dubeck, M., Jepkemei, E., & King, S. J. (2018). Identifying the essential ingredients to literacy and numeracy improvement: Teacher professional development and coaching, student textbooks, and structured teachers’ guides. World Development, 106, 324–336.
Slavin, R. E., & Lake, C. (2008). Effective programs in elementary mathematics: A best-evidence synthesis. Review of Educational Research, 78(3), 427–515.
U.S. Department of Education. (2016). Non-regulatory guidance: Using evidence to strengthen education investments. Washington, DC: Author. https://www.ed.gov/sites/ed/files/policy/elsec/leg/essa/guidanceuseseinvestment.pdf
