Recerca

Primer estudi independent sobre l’impacte d’Innovamat als Estats Units

07/05/2026|13 min de lectura

Primer estudi independent sobre l’impacte d’Innovamat als Estats Units

Aquest estudi independent de WestEd mostra que, després de dos anys d’implementació, els alumnes que van utilitzar els recursos d’Innovamat van obtenir millors resultats en matemàtiques que els que no els feien servir, amb una mida de l’efecte de 0,24.

El curs 2023-2024, Innovamat va arribar per primera vegada a les aules dels Estats Units. Per a nosaltres, aquest pas no podia limitar-se a implementar el programa en un país nou. També volíem entendre quin impacte podia tenir Innovamat en aquest nou context.

Per això, des de l’inici, ens vam proposar acompanyar l’arribada als Estats Units amb un estudi independent d’eficàcia. Volíem mesurar resultats, però també aprendre: què passa quan una escola comença a transformar la manera d’ensenyar matemàtiques? Quant temps necessita aquest canvi per consolidar-se? Quins efectes s’observen en l’aprenentatge de l’alumnat?

Per què fer un estudi als Estats Units?

Els Estats Units tenen una llarga tradició en l’avaluació de programes educatius. A més, compten amb marcs de referència com la What Works Clearinghouse (WWC), una iniciativa del Institute of Education Sciences que ajuda a identificar estudis que compleixen certs estàndards d’evidència. En aquest context també s’utilitzen els nivells d’evidència de la llei ESSA (2015), que classifiquen la solidesa de les evidències disponibles sobre un programa educatiu. El punt principal és que els estudis d’eficàcia no tenen tots el mateix rigor i no permeten extreure conclusions amb la mateixa fermesa. El nivell d’evidència depèn de com l’estudi està dissenyat. Aquests nivells van des de justificar les bases científiques o teòriques en què es basa un projecte (nivell IV) fins a demostrar l’impacte positiu d’aquest programa amb un estudi experimental rigorós, ben dissenyat i ben implementat (nivell I).

Però el factor clau que ens va permetre tirar endavant aquest estudi és que va sorgir l’oportunitat de rebre finançament per part de la Jacobs Foundation, una fundació que impulsa l’ús de l’evidència en educació i en el desenvolupament de solucions EdTech. Una de les condicions per rebre aquest finançament era treballar amb una institució independent recomanada per la mateixa fundació. Entre les opcions disponibles, vam escollir WestEd, una organització sense ànim de lucre especialitzada en recerca i avaluació educativa.

La hipòtesi: l’impacte necessita temps

Des de les primeres converses amb WestEd vam compartir una hipòtesi clara: transformar l’ensenyament de les matemàtiques no és una cosa immediata.

Innovamat no consisteix només a canviar uns materials per uns altres. Implica introduir una manera diferent d’aprendre matemàtiques: més conversa, més protagonisme de l’alumnat, més ús de múltiples representacions, seqüències connectades entre si, treball amb materials concrets abans de passar al simbòlic, i una pràctica pensada per consolidar coneixements i desenvolupar fluïdesa, etc.

Com qualsevol transformació educativa, aquest canvi requereix temps. El primer any sol ser un any d’adaptació: canvien dinàmiques d’aula, rutines docents i formes de participació de l’alumnat. La nostra hipòtesi era que les millores en rendiment matemàtic serien més detectables a partir del segon any d’ús continuat.

Amb aquesta idea, WestEd va plantejar un estudi longitudinal de dos anys. És a dir, es va seguir el progrés dels estudiants durant 2 anys des que van començar a utilitzar els recursos d’Innovamat.

Com es va dissenyar l’estudi?

L’estudi es va realitzar a Nova Jersey amb alumnat de 2n i 3r grau durant els cursos 2023-2024 i 2024-2025. En aquell moment, només tres districtes dels Estats Units utilitzaven Innovamat. D’aquests, dos utilitzaven la mateixa avaluació externa, LinkIt!, cosa que permetia disposar de dades comparables des de l’inici. Aquest punt era clau. Per saber si un programa té impacte, no n’hi ha prou amb mirar com acaba l’alumnat. També cal saber d’on parteix. Per això, WestEd va utilitzar els resultats de LinkIt! de tardor de 2023 com a punt de partida, i els resultats de tardor de 2025 com a mesura principal després de dos anys d’implementació.

LinkIt! és una avaluació de referència que alguns districtes ja utilitzaven de manera habitual per mesurar el progrés en matemàtiques durant el curs. No va ser una prova dissenyada per Innovamat ni administrada específicament per a l’estudi, sinó una font externa que ja formava part del funcionament ordinari dels districtes.

Com que no era possible assignar a l’atzar quines escoles utilitzaven Innovamat i quines no, WestEd va dissenyar un estudi quasi experimental. Dit de manera senzilla: va comparar l’alumnat que utilitzava Innovamat amb alumnat similar d’altres escoles que no l’utilitzaven.

Per construir aquesta comparació, WestEd va partir d’una llista inicial d’escoles de Nova Jersey que no havien adoptat Innovamat. D’aquesta llista, LinkIt! va proporcionar dades anònimes a WestEd de 1650 estudiants de 17 districtes que també utilitzaven aquesta avaluació. A partir d’aquí, WestEd va aplicar un procés d’emparellament a nivell d’alumne: per a cada estudiant del grup Innovamat, va buscar un altre estudiant tan semblant com fos possible en variables com el rendiment inicial, el curs, el gènere, l’ètnia, el nivell socioeconòmic o si tenia un pla educatiu individualitzat. En total, la mostra final de l’estudi inclou 910 estudiants, dels quals 455 van utilitzar Innovamat.

La lògica és fàcil d’entendre: si volem comparar resultats, primer hem d’assegurar-nos que els grups comparats s’assemblen el màxim possible abans de començar. Aquest tipus de disseny, anomenat disseny quasi experimental amb grups emparellats, està reconegut als manuals d’estudis d’eficàcia de la What Works Clearinghouse en el nivell ESSA Tier II. Tot i això, en els casos on la mostra està agrupada en poques escoles i aquesta agrupació no es té en compte, el disseny es considera part del nivell ESSA Tier III.

Resultats: el rendiment millora a partir del segon any

Com a resultat principal, es va trobar que després de dos anys d’implementació, l’alumnat que va utilitzar Innovamat va obtenir millors resultats en matemàtiques que el grup de comparació.

En concret, WestEd va trobar una diferència estadísticament significativa (p = .002) entre els dos grups, amb una mida de l’efecte de 0,24. Tot i que aquests termes són tècnics, la idea és simple: la diferència observada no sembla explicar-se per atzar, i la magnitud de l’efecte és rellevant en el context de la recerca educativa. Segons WestEd, una diferència d’aquesta mida equival, de manera aproximada, a què un estudiant situat al percentil 50 passés al percentil 58. En altres paraules, si ordenéssim 100 estudiants segons els seus resultats, un estudiant a la meitat del grup amb Innovamat passaria a situar-se aproximadament en la posició 58. Aquesta traducció ajuda a fer-se una idea intuïtiva del resultat, encara que s’ha d’interpretar com una aproximació.

Nota: el grup “Treatment” mostra els resultats mitjans normalitzats dels estudiants amb Innovamat, mentre que el grup “Comparison” mostra els resultats dels estudiants amb altres propostes educatives.

També és rellevant el que va passar després del primer any: no es van observar diferències significatives entre el grup Innovamat i el grup de comparació. Per a nosaltres, aquest resultat és tan important com l’anterior, perquè encaixa amb la hipòtesi inicial. Els canvis profunds en l’ensenyament necessiten temps per consolidar-se.

L’estudi també va explorar si l’impacte variava segons diferents subgrups. El resultat més destacat va ser que l’efecte va semblar ser més gran en l’alumnat que va començar l’estudi en 3r grau que en el que va començar en 2n. Aquests anàlisis, però, eren exploratoris i s’han d’interpretar amb cautela.

Percepció docent: un ensenyament més centrat en l’alumne.

A més d’analitzar resultats acadèmics, WestEd va entrevistar docents que havien implementat Innovamat. Les seves respostes ajuden a entendre millor què estava passant a les aules.

Els docents van descriure un canvi cap a una ensenyament més centrat en l’alumnat, amb més discussió matemàtica, més explicació d’estratègies i més oportunitats per participar. També van destacar un augment en la confiança i la implicació de l’alumnat, especialment entre estudiants que abans se sentien més allunyats de les matemàtiques. És important destacar que aquestes observacions són molt coherents amb els testimonis recollits en un altre districte de New Jersey, Upper Freehold.

Per exemple, l’informe de WestEd recull comentaris de docents com els següents:

“Cal deixar-ho en mans dels infants. Has de fer un petit pas enrere, tenir una mica de paciència, deixar que ho esbrinin per si sols, deixar que parlin entre ells… i aquí és on es produeix el canvi.”

“Les converses que els infants poden arribar a tenir sobre matemàtiques són increïbles. Van raonant mentre en parlen. Estan arribant a comprensions a les quals jo no crec que hagués arribat a segon de primària, perquè constantment han d’explicar el perquè.”

“El que més em va agradar és que tota la classe gaudia de les matemàtiques. … Aquells infants que a principi de curs no gaudien de les matemàtiques, o que hi tenien dificultats, van poder participar. … Crec que aquestes sessions els van donar molta confiança. … Al cap d’un o dos mesos, tots els infants participaven, i això no era habitual. Moltes vegades tenies aquests infants que simplement desconnectaven de les matemàtiques.”

Al mateix temps, van identificar reptes propis dels primers anys d’implementació: la corba d’aprenentatge docent, la preparació de materials, l’alineació amb estàndards locals, les eines d’avaluació o alguns aspectes tècnics. Aquests reptes recorden una cosa important: la qualitat d’una proposta educativa no depèn només dels seus materials, sinó també de l’acompanyament i del procés d’implementació.

En aquest sentit, un dels aspectes que els docents van valorar de forma positiva va ser el suport rebut per part dels assessors d’Innovamat, que els va ajudar a afrontar el canvi d’enfocament, adaptar els materials a la seva realitat i traslladar el programa a l’aula.

“…L’acompanyament no podia haver estat millor… van ser molt receptius a les nostres necessitats.”

Com interpretar aquests resultats?

Aquest estudi aporta una evidència prometedora de l’impacte del programa d’Innovamat, segons els nivells d’evidència d’ESSA (Tier III). En aquest context, i després de dos anys d’ús, Innovamat s’associa amb una millora significativa en els resultats de matemàtiques.

Ara bé, convé ser precisos. No es tracta d’un experiment aleatoritzat, sinó d’un estudi quasi experimental amb grups emparellats i una mostra relativament petita. Aquest disseny millora la comparació entre grups, però no elimina del tot la possibilitat que hi hagi diferències no observades entre les escoles que van adoptar Innovamat i les que no. Per això, WestEd assenyala que els resultats s’han d’interpretar amb cautela causal.

També és important posar els resultats en context. Avaluar l’impacte d’un programa curricular en condicions reals no és senzill. Com indica Kraft (2023), un percentatge alt dels estudis en educació no troben cap impacte rellevant. Això és coherent amb la interpretació que ens va fer arribar la investigadora principal de l’estudi, Mingyu Feng, quan ens va presentar els resultats: “Aquests resultats són molt positius. En la majoria d’estudis d’avaluació d’educació que fem a WestEd no veiem resultats significatius. A més, si es detecten millores, normalment les mesures de l’efecte són més petites.”

D’altra banda, com indica el informe “Rounding Up” de Bellwether sobre estudis d’eficàcia en currículums de matemàtiques als Estats Units, la majoria de programes s’avaluen mitjançant dissenys correlacionals (ESSA Tier III) o quasi experimentals (ESSA Tier II). No és habitual utilitzar dissenys experimentals amb assignació aleatòria de qui implementa el programa a avaluar, ja que tenen un cost molt elevat i són molt difícils d’implementar i coordinar. Alguns dels estudis més rellevants als Estats Units sobre programes de matemàtiques es poden trobar a la pàgina Evidence for ESSA. Si feu una mica de recerca sobre els estudis de programes curriculars de matemàtiques que involucren el grup classe complet, veureu que les mesures de l’efecte se situen al voltant del 0.1, i rarament se supera el 0.15.

En aquest marc, trobar un efecte positiu, significatiu i superior a 0,2 desviacions estàndard és un resultat especialment encoratjador, tot i que cal seguir acumulant evidència amb mostres més àmplies i nous contextos. Per a nosaltres, els resultats reforcen una idea central: quan s’implementa de manera sostinguda, un ensenyament de les matemàtiques basat en la comprensió i el desenvolupament de competències pot tenir impacte en l’aprenentatge.

A més, aquests resultats són coherents amb altres evidències que veníem recollint en contextos diferents. A Espanya, per exemple, els nostres estudis interns apuntaven a una relació positiva entre l’experiència acumulada amb Innovamat i els resultats en proves de matemàtiques [article]. També havíem observat que el professorat valora especialment l’impacte del programa en la participació, la motivació i l’aprenentatge de l’alumnat, així com en el seu propi desenvolupament professional [article].

En conjunt, aquest primer estudi independent als Estats Units apunta en la mateixa direcció que altres evidències prèvies. Ens anima a continuar investigant, aprenent i avaluant cada vegada amb mostres més grans i dissenys més rigorosos. L’objectiu final continua sent el mateix: acompanyar millor les escoles i els docents per millorar l’ensenyament i l’aprenentatge de les matemàtiques.