España 
Italia 
United States 
Brasil 
Chile
Ecuador
Mexico
Colombia
Perú
Com ja apuntava Grace M. Hopper, mesurar de manera precisa té un valor incalculable. És el primer pas per detectar l’estat de les coses i veure en què cal millorar.
En aquest article parlarem de les ConMat, la nostra prova de referència que pretén mesurar la competència matemàtica de l’alumnat. Per a nosaltres, equival a conèixer els conceptes matemàtics que planteja el currículum de cada curs alhora que es dominen habilitats essencials com la resolució de problemes, la comunicació, el raonament i la capacitat de fer connexions.
Però tenir una eina de mesura no és suficient; també cal validar que l’eina és vàlida i mesura correctament. Què cal per assegurar-se que realment és així? En col·laboració amb la Judith Peñafiel i l’Arnau Lagarda, experts en estadística de l’Institut d’Investigació Biomèdica de Bellvitge (IDIBELL), hem estat treballant per respondre a la pregunta. En aquest article us presentem tres aspectes necessaris per avaluar la validesa d’un test:
Definir un procés rigorós per dissenyar l’eina. És a dir, sistematització, rigorositat i amb experts involucrats. D’aquest aspecte en direm procés de creació.
Validar que el test és capaç de mesurar de manera òptima; és a dir, que és adequat pel nivell dels participants, és consistent i té estabilitat temporal (mesura de manera semblant si es fa més d’una vegada). De tot això en direm validesa interna.
Determinar que el test mesura el que es vol mesurar. Una bona manera de saber-ho és identificant la relació que té amb altres tests que, a priori, mesuren una cosa semblant. En direm validesa externa.
Aquí veurem, doncs, com són aquests tres aspectes en el cas de les ConMat!
Procés de creació
Primer de tot, cal definir molt bé el marc teòric. En aquest cas, les ConMat estan inspirades en el marc de la prova TIMSS (Trends in International Mathematics and Science Study), que distingeix entre blocs de continguts i dominis cognitius, i creua les dues dimensions. A més a més, dins dels dominis cognitius, trobem una subdivisió en dues categories: continguts, que engloba conceptes (fets, vocabulari, etc.), i procediments (operacions, lectura de gràfics, ús d’instruments de mesura, etc.); i una altra subdivisió per als quatre processos: resolució de problemes, raonament i prova, connexions, i comunicació i representació. Les taules següents mostren la distribució de les preguntes en diferents cursos segons aquestes divisions.
* La ConMat2 es passa a inicis de 3r de primària.
** A l’última edició de la ConMat7, hi hem afegit una pregunta nova (bloc de contingut: Numeració i càlcul; domini cognitiu: Procedimental).
Un cop definit el marc teòric, cal ser sistemàtic i rigorós per assegurar-se que el resultat és l’esperat. En el cas de les ConMat, l’equip expert en avaluació d’Innovamat segueix els passos següents cada vegada que dissenya una prova ConMat:
Procés de creació: es tenen en compte el contingut curricular i el marc teòric definit.
Pilot: es passa la prova a centenars d’alumnes, es parla amb alumnes i docents, i s’avaluen els resultats amb anàlisis estadístiques.
Iteració: s’itera la prova segons l’anàlisi estadística*, que haurà definit si les preguntes són massa fàcils o difícils i si són prou bones discriminant alumnes de diferents nivells.
Repetició pilot: es torna a pilotar la prova. Si els resultats són positius, es considera finalitzat el procés. Si es detecten millores necessàries, es repeteix la iteració.
Producció final: es tradueix la prova a tots els idiomes corresponents i voilà, ja ho tenim!
Els criteris de Cohen i Swerdlik (pàg. 248 i 249, 2009), segons els quals els ítems haurien de tenir al voltant d’un 62,5 % d’encerts. Aquest valor s’obté a partir de calcular el 50 % —de mitjana s’espera que cada ítem el respongui bé només la meitat de la població— més la probabilitat d’encertar-lo per sort (25 %, tenint en compte que el test és de resposta múltiple amb 4 opcions) dividit entre dos. És a dir, 62,5 = 50 + 25/2. Considerem acceptables ítems amb percentatges d’encert d’entre 42,5 % (62,5 % − 20%) i 92,5 % (62,5 % + 30 %).
També es tenen en compte els resultats de la modelació dels ítems a través de la teoria de la resposta a l’ítem. Per entendre millor què és la teoria de la resposta a l’ítem, vegeu l’apartat següent.
Finalment, es consideren les observacions qualitatives que s’hagin fet el dia de la prova per acabar de definir millores possibles.
Validesa interna
Durant el procés de creació, ja es valida que cada prova ConMat estigui adaptada al nivell dels alumnes. Aquesta validació es fa en una mostra petita d’escoles que ens han ajudat amb el pilotatge. La pregunta és, doncs, si el test és adequat per a la gran majoria. En aquest apartat, la validesa interna s’avalua amb dades de més de 100 000 alumnes de 3r de primària a 1r de l’ESO, que són els cursos que tenien la ConMat disponible el curs 2024-2025.
Una de les millors maneres de saber si un test mesura bé i és adequat per a la població que el fa és a través del que s’anomena teoria de resposta a l’ítem, o item response theory (IRT), en anglès. En línies generals, la IRT es basa en la idea de relacionar el nivell general —estimat— dels participants amb les habilitats que mesura cada pregunta (ítem) del test. Aquest tipus d’anàlisi és el que utilitzen proves com PISA o TIMSS per validar que les preguntes són adequades i calcular el nivell estimat de cada alumne.
Tanmateix, hi ha més aspectes per validar internament com és de robusta una prova. Per una banda, el paràmetre alfa de Cronbach, que és una mesura que ens ajuda a saber si un conjunt de preguntes dins d’un test mesuren el mateix concepte i són coherents entre elles.
Finalment, també és important mirar l’estabilitat temporal del test; és a dir, si el nivell de l’alumnat, mesurat amb el test diverses vegades, té resultats similars al llarg del temps.
Per dur a terme aquestes anàlisis amb el màxim rigor, hem col·laborat amb la Judith Peñafiel i l’Arnau Lagarda, d’IDIBELL, que, de manera externa, han analitzat les ConMat de finals del curs passat (2023-2024). Podeu veure el document tècnic amb tots els resultats aquí. Però anem pas a pas i vegem en detall com s’ha analitzat la validesa interna de les ConMat.
Teoria de resposta a l’ítem
La IRT (per les sigles en anglès) pretén relacionar el nivell general —estimat— dels participants en un test amb les habilitats que mesura cada ítem del test. En el cas de les ConMat, s’ha utilitzat el model 3PL (Three-Parameter Logistic) i s’han definit uns criteris de validesa segons l’article tècnic de Bichi i Talib (2018). Per entendre millor de què va això de la IRT, hem de saber que cada ítem o pregunta genera una corba d’aquest estil, anomenada corba característica de l’ítem (ICC, per les sigles en anglès).
Adaptació de la figura de Bichi i Talib (2018), que mostra un exemple d’ICC. A l’eix x hi veiem el nivell estimat de l’alumne, que està estandarditzat de tal manera que el nivell mitjà sigui 0. La sigmoide en vermell ens indica la probabilitat (eix y) que un alumne específic, segons el nivell estimat que ha mostrat al test, contesti correctament aquest ítem concret. Una probabilitat igual a 1 indica que segur que l’alumne respondrà bé l’ítem, segons el model, mentre que una probabilitat de 0 indica que segur que no el contestarà bé.
Vegem ara quin tipus de corbes ens interessa obtenir per donar la pregunta per vàlida.
En el model 3PL, hi ha tres factors clau que ens interessa definir:
Discriminació de l’ítem (també anomenat paràmetre a): ens permet veure si l’ítem és capaç de discriminar entre diferents nivells. Això serà així quan la probabilitat que els alumnes de nivell més alt responguin correctament l’ítem sigui superior a la dels alumnes amb un nivell més baix. En aquest cas, a la figura 2, el factor a serà més gran com més inclinat sigui el pendent de la corba; és a dir, com més marcadament discrimini entre alumnes de nivells diferents (vegem-ne més exemples a la figura 3).
Dificultat de l’ítem (també anomenat paràmetre b): ens indica en quin punt la corba (ICC) té més pendent. És el que a la figura 2 anomenem mitjana (o average, en anglès) i ens indica a partir de quin punt hi ha més discriminació entre els alumnes de nivell més alt i nivell més baix. Com més a l’esquerra tinguem la mitjana del pendent, més fàcil serà l’ítem (vegem-ne més exemples a la figura 3).
Encert aleatori (o guessing, en anglès, també anomenat paràmetre c): aquest últim paràmetre indica quina és la probabilitat que alumnes amb un nivell molt baix encertin la resposta. En el cas de les ConMat, com que els ítems són de resposta múltiple i hi ha 4 respostes possibles, esperaríem que aquest valor estigués al voltant del 0,25. A la figura 2, el factor c serà igual al punt extrem esquerre de la corba. Tot i que aquest valor pot ser important per veure si cal iterar, en algun cas, la proposta de respostes d’un ítem concret, en aquest article no hi entrarem gaire en detall, ja que no és tan rellevant com la resta de factors per mostrar com és de vàlid un test (però vegeu la figura 3 per entendre la utilitat que pot tenir).
Exemples d’ICC d’algunes preguntes de la ConMat4. La línia vermella discontínua indica el paràmetre b o dificultat de l’ítem. Veiem que els ítems de cada columna tenen dificultats diferents, però les files tenen dificultats semblants. Per exemple, observem que la pregunta 9 (b = -1,50) és bastant més fàcil que la 12 (b = 0,52). És a dir, alumnes amb nivell estandarditzat 0 contestaran bé la pregunta 9 amb una probabilitat molt alta, però serà menys probable que contestin bé l’ítem 12. En canvi, pel que fa a la discriminació de l’ítem, veiem una diferència gran entre els ítems de la primera fila. L’ítem 9 (a = 2,07) té un pendent més inclinat que l’ítem 21 (a = 0,56) i, per tant, és més precís discriminant entre nivells. Dit d’una altra manera, la diferència entre la probabilitat d’encertar cada ítem comparant els nivells -1,5 i 0 (eix x) és més gran a l’ítem 9 (de 50 % de probabilitat al nivell -1,5 a quasi 100 % de probabilitat d’encertar-ho al nivell 0) que al 21 (de 50 % al nivell -1,5 a menys del 75 % al nivell 0). És a dir, tot i que els dos ítems són de dificultat semblant, el 21 serà més precís discriminant entre alumnes de nivell -1,5 i 0. Finalment, veiem el factor c o d’encert aleatori. En aquest cas, els ítems de la fila de baix tenen un valor c superior als de la fila de dalt. És a dir, per molt baix que sigui el nivell de l’alumnat, als ítems 22 i 12 els alumnes amb rendiment baix tindran probabilitats d’encertar la resposta. En el cas de la pregunta 22, aquest valor és superior a 25 % i, per tant, indica que alguna de les 4 respostes és molt poc probable que cap alumne la marqui. En canvi, les preguntes 21 i 29 tenen valors c inferiors al 25 %, cosa que pot indicar que hi ha alguna resposta trampa en què cauen bona part dels alumnes amb nivell baix.
Criteris segons Bichi i Talib (2018) per definir si un ítem és adequat o no.
Discriminació de l’ítem (a). Si a és inferior o igual a 0,64, vol dir que l’ítem s’ha d’eliminar o requereix revisió. De 0,64 a 1,34 vol dir que l’ítem ja és prou vàlid, tot i que es podria revisar una mica si es creu necessari. A partir d’1,35 es considera un bon ítem per discriminar entre nivells.
Dificultat de l’ítem (b). Si b és inferior a -2 indica que l’ítem és molt fàcil, de -2 a -1 que és fàcil, de -1 a 1 que és moderadament difícil, d’1 a 2 que és difícil i superior a 2 que és molt difícil. Tinguem en compte que els valors de nivell de l’alumnat estan estandarditzats perquè 0 sigui el nivell mitjà de totes les respostes.
A partir d’aquestes corbes que obtenim per a cada pregunta o ítem, podem crear el que s’anomena corba informativa del test (TIC, per les sigles en anglès). Aquesta corba mostra quanta informació —o precisió— té el conjunt del test sobre diferents nivells d’habilitat (θ) dels alumnes. Combina la informació que aporta cada ítem i mostra en quin punt és més bona discriminant trets latents (o nivells). Per tant, ens ajuda a tenir una visió general sobre com és de vàlid el test i de si és prou informatiu per discriminar entre diferents nivells. Vegem-ne un exemple!
Exemple de corba informativa del test (TIC) de la ConMat5. L’eix x indica el nivell estandarditzat dels alumnes (θ), mentre que l’eix y indica quanta informació és capaç d’aportar el test sobre cada nivell [I(θ)]. Dit d’una altra manera, com és de bo el test identificant alumnes amb un cert nivell θ. Per altra banda, la línia discontínua mostra l’error estàndard de la mesura (SE), que està relacionada de manera inversa amb la corba d’informació. Com més informació aporti el test sobre el nivell, més petit serà l’error estàndard, el que indica que la mesura és més precisa. En general, voldríem que el test fos molt bo discriminant alumnes al voltant d’un nivell 0 i que la corba fos prou ampla per discriminar alumnes amb nivells que s’apropen més als extrems. Tenint en compte els criteris de Bichi i Talib (2018), els extrems -2 a 2 són els que haurien d’incloure la majoria de la població (tenint en compte que els ítems per sota de -2 es consideren molt fàcils, i els ítems per sobre de 2, molt difícils). Per tant, és important que dins d’aquest rang la corba contínua vermella aporti prou informació I(θ) i, sobretot, que el valor I(θ) estigui per sobre del valor de la corba discontínua [SE(θ)].
Quins han sigut els resultats de les proves ConMat?
Per respondre la pregunta, mostrem una taula resum dels resultats. Es basa en els paràmetres de Bichi i Talib (2018) definits anteriorment.
Taula 1. Resum qualitatiu dels resultats de la IRT tenint en compte els factors a (discriminació de nivells) i b (dificultat de l’ítem). Es considera que els ítems no són òptims quan requereixen una revisió (a ≤ 0,64) i són bons o molt bons quan a ≥ 1,35. Per altra banda, idealment els ítems haurien d’estar distribuïts en diferents nivells, però hauria d’haver-hi pocs ítems (o cap) als nivells «molt fàcil» ì «molt difícil» si l’objectiu del test és discriminar els nivells de la majoria de la població. Sota de cada test (fila) s’indica la mida de la mostra (N), és a dir, quants alumnes han contestat la prova. Els números dins de cada casella indiquen el nombre d’ítems de la prova i columna corresponents.
* Un dels dos ítems (16) té una a negativa (-0,67) per un error tècnic en la correcció del resultat, i, per tant, no té a veure amb el fet que l’ítem necessiti revisió.
Per altra banda, a la figura següent podeu veure un resum de totes les TIC, que mostren de manera general com és de bo el test identificant alumnes amb un cert nivell estimat (θ).
TIC de cada prova ConMat. L’eix x indica el nivell estimat dels alumnes del model IRT (indicat amb el símbol θ), estandarditzat amb mitjana a 0. L’eix y a l’esquerra mostra quanta informació aporta la prova segons el nivell, I(θ). Com més alt sigui, més informació aporta. L’eix y a la dreta mostra quin és l’error estàndard de la mesura de la prova, SE(θ). Com més baix sigui, més precís és el test discriminant entre alumnes de nivell θ.
Tant la taula com les corbes TIC mostren que totes les proves ConMat tenen una bona validesa, ja que estan ben adaptades al nivell que té la majoria de la població que ha passat la prova i permeten discriminar entre nivells. Vegem-ne un resum:
Com mostra la primera columna de la taula 1, la majoria d’ítems de tots els tests són bons discriminant entre alumnes de diferents nivells i no és necessari revisar-los.
Hi ha prou variació entre el nivell dels ítems i com de bons són discriminant a cada nivell (taula 1, columnes 3-7), el que fa que a escala general els tests siguin bons discriminant entre alumnes de diferents nivells en el rang de -2 a 2 (figura 5). En canvi, com que hi ha pocs ítems «molt fàcils» (b < -2, taula 1 – columna 3) o «molt difícils» (b > 2, taula 1 – columna 7), el test és bastant menys precís discriminant entre alumnes amb nivells que se situen als extrems. Dit d’una altra manera, si un alumne té un nivell molt baix o molt i molt baix, el test segurament no serà capaç de diferenciar-ho. El mateix passarà amb els alumnes de nivell molt alt o molt i molt alt.
En general, els tests aporten més informació al voltant del nivell 0, és a dir, al voltant del nivell mitjà de la població que ha fet el test (figura 5). Tot i així, excepte per a la ConMat6, el pic de les corbes TIC està lleugerament desplaçat cap a la dreta (el cas més clar és el de la ConMat3, en què el pic està al voltant de 0,7). Això vol dir o que el test és una miqueta massa difícil, o que els ítems lleugerament difícils són els que permeten discriminar millor entre els nivells de l’alumnat.
Les corbes TIC de les ConMat5, ConMat6 i ConMat7 tenen un pic més alt (aporten més informació al voltant del nivell 0) que les corbes TIC de les ConMat3 i ConMat4. Aquest resultat segurament té a veure en el fet que la maduresa dels alumnes té un paper important. Com més madurs siguin, més consistents seran les seves respostes i més fàcil serà mesurar la seva competència matemàtica. En canvi, en edats primerenques, hi ha factors com la comprensió lectora o el fet d’estar menys entrenats a contestar preguntes d’una prova durant 1 h que poden causar certa aleatorietat i fer que la teoria de resposta a l’ítem (IRT) sigui una mica menys precisa.
Alfa de Cronbach
S’utilitza molt en psicologia, educació i investigació social per comprovar la fiabilitat d’un qüestionari o prova. Quan un test té una alfa de Cronbach superior a 0,7 sovint es considera que és prou consistent (Taber, 2018). En el cas de les ConMat, totes les proves han mostrat un valor superior a 0,7, amb un rang que va de 0,78 a la ConMat3 a 0,85 a la ConMat6, que és la que ha obtingut un valor més alt. Com en les anàlisis anteriors, veiem que les proves són una mica menys robustes en edats inferiors, tot i que segons els criteris de Taber (2018) són prou robustes a totes les edats.
Estabilitat temporal
Permet confirmar que les respostes a un test no siguin absolutament aleatòries, sinó que mesurin el coneixement matemàtic de l’alumnat de manera robusta. En aquest cas, l’objectiu és passar el test més d’una vegada i veure si les respostes de l’alumnat són consistents al llarg del temps. En el cas de les ConMat, el test es fa dues vegades, a finals d’un curs i a inicis del següent. En aquest cas, s’han comparat els tests de finals del curs 2023-2024 amb els tests d’inicis del curs 2024-2025. S’han comparat totes les proves excepte la ConMat6, a causa del salt d’etapa.
Per comprovar l’estabilitat temporal, es pot mirar o bé la correlació entre les dues vegades que s’ha passat el test, o bé les diferències en els resultats entre les dues edicions amb algun test estadístic, com per exemple una prova T-test aparellada.
En aquest cas, tots els tests tenen un resultat semblant. La correlació (Spearman) entre els dos tests és superior a 0,7 en tots els casos, excepte per a la ConMat7, que és 0,65. Per a la resta, el rang va de 0,71 a la ConMat3 a 0,8 a la ConMat5. Aquests valors indiquen una forta correlació entre els dos tests. Per altra banda, les diferències entre els resultats de final de curs i inici del següent, en tots els casos, són petites amb mides de l’efecte (Cohen d) inferiors a 0,15.
Validesa externa
Un cop ens hem assegurat que se segueix un procés rigorós de disseny i que la prova té validesa interna, ens queda l’últim pas. Realment estem mesurant la competència matemàtica de l’alumnat?
Una bona manera de respondre aquesta pregunta és correlacionar els resultats de les ConMat amb els resultats d’altres tests matemàtics externs. Com? Hem obtingut les dades de tests externs a través de preguntes d’edicions anteriors dels tests oficials i dissenyar una adaptació que segueixi l’estructura adequada. És el que anomenem mock exams, que oferim a les escoles per fer un simulacre del test oficial. Al curs 2023-2024, això es va fer amb els tests oficials de Nova Jersey (EUA) a 3r i 4t de primària, amb el test TIMSS de matemàtiques a 4t (a Mèxic) i 5è (a Catalunya), i amb el test de competències bàsiques a Catalunya de 6è de primària.
Les dades obtingudes a través d’aquest test les podem correlacionar amb les dades de les ConMat que els mateixos alumnes van fer a finals de curs. És a dir, intentem veure si els que obtenen una puntuació alta en un test també solen obtenir una puntuació alta en l’altre, i viceversa. A continuació us mostrem la correlació de les ConMat amb cada adaptació de test extern.
Nota per interpretar els gràfics: en el gràfic de correlació, veurem un núvol de punts, en què cada punt representa un alumne amb la seva puntuació en els dos tests. La línia del model lineal és una recta que intenta representar la tendència general de les dades. Si la línia puja d’esquerra a dreta, vol dir que hi ha una relació positiva (els alumnes amb bones notes en un test també obtenen bones notes en l’altre). Si la línia baixa, vol dir que la relació és negativa. L’àrea grisa representa l’interval de confiança del 95 %, que ens indica el marge d’error de la predicció feta pel model. Com més estreta sigui aquesta franja, més confiança tenim en el model. Si l’àrea és molt ampla, vol dir que hi ha molta variabilitat i que la relació entre els dos tests no és del tot clara. Finalment, veurem els paràmetres R (correlació de Pearson). La R indica la força i la direcció de la relació entre les dues variables. Una R superior a 0,7 es considera una correlació positiva alta.
En tots els casos, veiem una correlació positiva alta (R > 0,7, excepte en les TIMSS de 4t de primària, en què la correlació també s’apropa a 0,7). És a dir, els resultats que obtenen els alumnes a les ConMat s’assembla molt al resultat que obtenen en les adaptacions de diferents tests externs!
Conclusió
Amb totes les dades obtingudes i les anàlisis realitzades, tenim evidències que les ConMat tenen validesa i són útils per mesurar la competència matemàtica de l’alumnat. En resum, podem dir que:
Hi ha un procés rigorós de creació de les ConMat que permet que el test resultant tingui les propietats que s’esperen.
L’anàlisi de la validació interna, a través de la teoria de resposta a l’ítem (item response theory), mostra que el test permet discriminar entre diferents nivells i està adaptat al nivell general de la població que el fa. A més a més, el test és robust entre preguntes, com es mostra amb l’alfa de Cronbach i té una bona estabilitat temporal, com es mostra amb la comparació entre les ConMat de final de curs i les de l’inici del curs següent.
La validació externa mostra que el test mesura habilitats semblants a altres proves matemàtiques dissenyades per experts externs a Innovamat.
Referències
Bichi, A. A., i Talib, R. (2018) Item Response Theory: An Introduction to Latent Trait Models to Test and Item Development. International Journal of Evaluation and Research in Education, 7, 142-151. https://doi.org/10.11591/ijere.v7i2.12900
Cohen, R., i Swerdlik, M. (2009). Psychological Testing and Assessment: An Introduction to Tests and Measurement (7th ed.). Nova York: McGraw Hill.
Taber, K. S. The Use of Cronbach’s Alpha When Developing and Reporting Research Instruments in Science Education. Res Sci Educ 48, 1273-1296 (2018). https://doi.org/10.1007/s11165-016-9602-2
