España 
Italia 
United States 
Brasil 
Chile
Ecuador
Mexico
Colombia
Perú
Aquest estudi independent de Germina mostra que, després de dos anys d’implementació, els alumnes que van utilitzar els recursos d’Innovamat van obtenir millors resultats en matemàtiques que els que no els feien servir. L’article acompanya un article tècnic i un Resum Executiu realitzats pel grup de recerca que ha liderat l’estudi.
Com va començar tot?
Fa uns anys, vam rebre a les nostres oficines la visita d’alguns membres de Fundaçãо Lemann, una de les fundacions més rellevants en educació al Brasil. El seu interès era contribuir a millorar l’educació matemàtica en escoles públiques del Brasil. I el repte no era menor. Al Brasil, molts alumnes arriben al final de l’educació obligatòria amb un nivell de matemàtiques per sota de l’esperat. Com recorda l’informe de Germina que compartim aquí, el 2023 només el 16,5% dels alumnes de 9è curs (3r de secundària) assolien un aprenentatge adequat en matemàtiques.
Després d’aquella visita van venir moltes converses. Des d’Innovamat vam connectar amb aquesta voluntat de millorar l’aprenentatge de les matemàtiques al Brasil. Vam voler forjar una relació i trobar-hi un encaix real, però sabíem que havíem de fer el pas assumint que la proposta s’havia d’adaptar a una realitat molt diferent de la nostra.
Així va començar el camí a Rio de Janeiro.
Un estudi pilot amb una avaluació rigorosa
El primer acord va arribar amb la Secretaria Municipal d’Educació de Rio de Janeiro, dins dels Gimnasios Educacionais Tecnològicos, una xarxa d’escoles públiques de la ciutat. Vam començar amb un pilot petit de 5 escoles. L’objectiu inicial era entendre si el projecte encaixava amb la realitat del país, de les escoles, dels docents i dels alumnes.
Des del principi vam acordar una cosa important: el pilot havia d’anar acompanyat d’una avaluació d’impacte independent. Amb l’ajuda de la Fundação Lemann es va finançar l’avaluació i es va decidir col·laborar amb Germina, una institució de recerca brasilera la proposta d’estudi i l’equip de la qual ens van donar molta confiança. L’avaluació es va fer de manera independent, amb acord formal amb la Secretaria Municipal d’Educació de Rio i aprovació del comitè nacional d’ètica al Brasil.
Si volíem saber què estava passant, necessitàvem dades externes a Innovamat, una mirada independent i un disseny que permetés interpretar els resultats amb prudència.
Abans de mesurar, calia entendre com podia produir-se el canvi
L’avaluació no va començar directament amb una prova. Primer vam treballar en el disseny conjunt d’una teoria del canvi: una explicació ordenada de com esperàvem que el programa pogués generar impacte, a partir de la nostra experiència en centenars d’escoles i de l’evidència que havíem acumulat en estudis previs.
I aquí hi va haver una idea central que vam compartir des del principi: la millora educativa no és immediata.
Innovamat no millora els resultats mitjançant una intervenció puntual o aïllada sobre els alumnes. Actua, principalment, a través del docent. El programa ofereix materials manipulatius, guies didàctiques, una plataforma digital, formació i acompanyament. Però el canvi real es produeix quan els docents són capaços d’adaptar la proposta a les necessitats de la seva aula. És en aquest moment quan les activitats cobren vida i aconsegueixen que els alumnes participin d’una altra manera a l’aula de matemàtiques.
Per això, Germina va distingir entre impactes de curt termini i impactes de llarg termini:
- A curt termini esperàvem veure canvis en les pràctiques docents, en la dinàmica d’aula, en la participació i en la motivació de l’alumnat.
- A llarg termini, esperàvem veure millores en el rendiment en proves de matemàtiques.
La hipòtesi era que durant el primer year podien aparèixer canvis a l’aula; però els resultats d’aprenentatge probablement necessitarien més temps.
A partir d’aquesta teoria del canvi, Germina va dissenyar l’estudi de manera independent i utilitzant dades independents d’Innovamat: principalment els resultats de l’ADR, l’avaluació diagnòstica de la xarxa municipal de Rio de Janeiro.
Com es va dissenyar l’estudi?
L’estudi va tenir dues fases. La primera va ser el pilot inicial de 2024. Germina va dissenyar una aleatorització estratificada per escollir les escoles tractades i comparar-les amb un grup de control (escoles que no fan Innovamat) el més semblant possible. A la pràctica, això va significar usar dades públiques de les escoles —com rendiment previ, nivell socioeconòmic, mida, proporció d’estudiants de diferents ètnies i altres variables— per formar grups comparables i assignar el tractament de manera aleatòria dins d’aquests grups. Aquesta assignació aleatòria ajuda a reduir possibles biaixos de selecció, és a dir, evita que participin només escoles o persones amb característiques particulars que podrien influir en els resultats, com una motivació més gran o un interès especial per les matemàtiques. A més, l’ús d’una aleatorització estratificada permet que els grups comparats siguin el més equilibrats possible. D’aquesta manera, els resultats obtinguts poden interpretar-se amb més confiança.
Finalment, 5 escoles van començar amb Innovamat i 34 escoles van quedar com a grup de control. Aquesta primera fase els va permetre observar dues coses: què va passar durant el primer any d’implementació i què va passar després de dos anys en aquestes mateixes escoles.
La segona fase va arribar el 2025, quan el programa es va ampliar a 25 escoles més. En aquest cas, la selecció no va ser aleatòria, sinó administrativa: la va fer la mateixa Secretaria Municipal d’Educació de Rio. Per això, aquests resultats s’han de llegir amb més cautela. A més, per a aquestes escoles encara només tenim dades del primer any d’implementació. Per saber si els efectes de llarg termini es reprodueixen en elles, caldrà esperar les dades del curs 2026-2027.
L’anàlisi principal es va fer amb una metodologia anomenada diferències en diferències (DiD, per les seves sigles en anglès). Dit de manera senzilla: es compara com evolucionen els alumnes de les escoles amb Innovamat respecte a com evolucionen els alumnes d’escoles similars sense Innovamat. A més, Germina va complementar aquestes dades amb enquestes a docents: van obtenir 1.049 respostes de 393 escoles en tres moments diferents. I també entrevistes qualitatives per entendre millor els canvis en la pràctica docent.
Primer resultat: la classe canvia
El primer aprenentatge va ser molt clar: a curt termini, els docents van descriure canvis en la manera d’ensenyar.
Els docents de les escoles amb Innovamat van declarar usar més recursos tant físics com digitals, proposar més situacions d’aprenentatge actiu i donar més feedback estructurat als alumnes. En el resum executiu, Germina destaca tres xifres: +28 punts percentuals en ús de recursos digitals, +20 punts en pràctiques d’aprenentatge actiu i +25 punts en feedback estructurat. Però hi ha molts més matisos i per això us recomanem llegir l’article tècnic (link) més en detall. Això és important perquè confirma una part essencial de la teoria del canvi. Abans de veure millores en proves, havíem de veure que el programa estava modificant el que passava a l’aula. I això és el que mostren les dades.
Segon resultat: després de dos anys, els alumnes aprenen més
El primer any del pilot, Germina no va detectar un efecte significatiu en l’aprenentatge a nivell agregat. Això no ens va sorprendre, ja que era coherent amb la hipòtesi inicial. Canviar rutines docents, adaptar materials i transformar la dinàmica d’aula requereix temps.
Tanmateix, la part més rellevant va arribar el segon any. A les 5 escoles de la primera fase, els alumnes de 2n i 3r van mostrar millores significatives en matemàtiques. A 2n, l’efecte estimat va ser de +0,16 desviacions estàndard, equivalent aproximadament a +9 punts SAEB (el sistema nacional d’avaluació del Brasil que mesura el rendiment escolar i la qualitat del sistema educatiu mitjançant exàmens estandarditzats i censals). A 3r, l’efecte va ser de +0,20 desviacions estàndard, equivalent aproximadament a +12 punts SAEB. Tots dos resultats van ser estadísticament significatius. La conversió a punts SAEB ajuda a fer més intuïtiu el resultat, tot i que Germina adverteix que s’ha d’interpretar com una aproximació: l’ADR i el SAEB són proves diferents.
Com indica Germina en el seu article tècnic, aquestes mides d’efecte són rellevants si les comparem amb les que solen trobar-se en avaluacions rigoroses d’intervencions educatives. Germina les contrasta amb la base de dades ampliada de Kraft (2023), que recull resultats d’assajos aleatoritzats amb proves estandarditzades d’aprenentatge en sis repositoris internacionals, entre ells el What Works Clearinghouse i la Education Endowment Foundation. En aquesta comparació, la mediana dels efectes se sol situar entre +0,03σ i +0,14σ, segons la font. L’efecte observat a 3r (+0,20σ) supera el percentil 70 en cinc de les sis bases analitzades, i el de 2n (+0,16σ) el supera en quatre. Dit de manera senzilla: no només són resultats positius, sinó que, posats en context, estan per sobre del que és habitual en aquest tipus d’estudis.
També és important ser prudents: en la primera fase només eren 5 escoles les que utilitzaven Innovamat. Els resultats són positius, prometedors i estadísticament significatius, però serà important confirmar que l’efecte es manté quan tinguem el segon any de dades de les 25 escoles de la segona fase.
Tercer resultat: també es redueixen bretxes
L’estudi també va analitzar l’equitat. Seguint les pràctiques habituals en la recerca sobre política educativa al Brasil, Germina agrupa com a PPI persones racialitzades de grups que històricament han patit més desigualtats educatives (els grups classificats com a Preta, Parda i Indígena en el Cens Nacional del Brasil).
Tenint en compte les dues fases i els anys disponibles, el programa es va associar amb una reducció significativa de 0,07 desviacions estàndard en la bretxa entre estudiants PPI i no PPI.
Aquest resultat ens sembla especialment rellevant. Innovamat no incorporava en aquest pilot una intervenció específica d’equitat racial, per la qual cosa la millora sembla produir-se de manera indirecta: en recompondre aprenentatges i oferir experiències matemàtiques més riques, accessibles i participatives, el programa beneficia proporcionalment més els qui partien d’una situació més vulnerable.
Discussió general
Per a nosaltres, el punt més important a destacar és que els resultats són consistents amb altres estudis previs que havíem fet internament (biblioteca d’estudis), fet que aporta evidència a favor de l’ús del programa en el context de Rio de Janeiro. És a dir, en un context bastant diferent d’estudis previs i amb una recerca independent, arribem a conclusions molt semblants: Innovamat dona suport als docents per generar canvis en les pràctiques d’aula cap a unes matemàtiques més centrades en l’aprenentatge conceptual profund i el desenvolupament de competències. Això requereix temps, formació i familiarització amb el programa per part de l’equip docent. Però aquests canvis tenen la seva recompensa: en el segon any d’implementació, els alumnes mostren un millor rendiment en les proves de matemàtiques. A més, aquests avenços semblen tenir més impacte per a aquells alumnes de grups més vulnerables i contribueixen així a reduir la bretxa d’equitat.
Aquest estudi no tanca la conversa sobre l’impacte d’Innovamat en l’aprenentatge de les matemàtiques. Al contrari: l’obre amb més rigor. La mostra inicial és petita, la segona fase encara necessita un segon any de seguiment i caldrà contrastar els resultats amb altres proves, com Prova Rio, SAEB 2025 i futures avaluacions de fluïdesa matemàtica. Però, en part gràcies a aquests resultats positius, el curs 2026-2027 Innovamat ja s’està implementant en 159 escoles públiques de Rio de Janeiro. Hi ha una gran oportunitat per continuar investigant i aprenent sobre els reptes d’implementació, els canvis a l’aula i quina relació té tot això amb els resultats.
Aquest estudi reforça una idea senzilla, però molt important: la manera d’ensenyar importa. I també ens recorda que en educació, per saber si alguna cosa funciona, no n’hi ha prou amb implementar-la: cal acompanyar-la, avaluar-la bé, reconèixer-ne els límits i continuar aprenent de la informació.
Comptar amb l’anàlisi d’institucions externes és molt positiu i ens indica que anem en la bona direcció. I per això estem oberts que la comunitat científica i els millors investigadors continuïn col·laborant amb nosaltres, examinant la nostra proposta per continuar fent recerca conjunta de primer nivell.
Referències
Kraft, M. A. (2023). The Effect-Size Benchmark That Matters Most: Education Interventions Often Fail. Educational Researcher, 52(3), 183-187.
