España 
Italia 
United States 
Brasil 
Chile
Ecuador
Mexico
Colombia
Perú
Como ya apuntaba Grace M. Hopper, medir de forma precisa tiene un valor incalculable. Es el primer paso para detectar el estado de las cosas y ver en qué hay que mejorar.
En este artículo hablaremos de las ConMat, nuestra prueba de referencia que pretende medir la competencia matemática del alumnado. Para nosotros, equivale a conocer los conceptos matemáticos que plantea el currículo de cada curso a la vez que se dominan habilidades esenciales como la resolución de problemas, la comunicación, el razonamiento y la capacidad de realizar conexiones.
Pero tener una herramienta de medida no es suficiente; también hay que validar que la herramienta es válida y mide correctamente. ¿Qué es necesario para asegurarse de que realmente es así? En colaboración con Judith Peñafiel y Arnau Lagarda, expertos en estadística del Instituto de Investigación Biomédica de Bellvitge (IDIBELL), hemos estado trabajando para responder a esta pregunta. En el presente artículo os presentamos tres aspectos necesarios para evaluar la validez de un test:
Definir un proceso riguroso para diseñar la herramienta. Es decir, sistematización, rigurosidad y con expertos involucrados. Llamaremos a este aspecto proceso de creación.
Validar que el test es capaz de medir de forma óptima; es decir, que es adecuado para el nivel de los participantes, es consistente y tiene estabilidad temporal (mide de forma similar si se hace más de una vez). Llamaremos a todo esto validez interna.
Determinar que el test mide lo que se quiere medir. Una buena forma de saberlo es identificando la relación que tiene con otros test que, a priori, miden algo parecido. Lo llamaremos validez externa.
Aquí veremos, pues, cómo son estos tres aspectos en el caso de las ConMat.
Proceso de creación
Ante todo, hay que definir muy bien el marco teórico. En este caso, las ConMat están inspiradas en el marco de la prueba TIMSS (Trends in International Mathematics and Science Study), que distingue entre bloques de contenidos y dominios cognitivos, cruzando ambas dimensiones. Además, dentro de los dominios cognitivos encontramos una subdivisión en dos categorías: contenidos, que engloba conceptos (hechos, vocabulario, etc.), y procedimientos (operaciones, lectura de gráficos, uso de instrumentos de medida, etc.); y otra subdivisión para los cuatro procesos: resolución de problemas, razonamiento y prueba, conexiones, y comunicación y representación. Las siguientes tablas muestran la distribución de las preguntas en diferentes cursos según estas divisiones.
* La ConMat2 se pasa a inicios de 3º de primaria.
** En la última edición de ConMat7, hemos añadido una nueva pregunta (bloque de contenido: Numeración y cálculo; dominio cognitivo: procedimental).
Una vez definido el marco teórico, es necesario ser sistemático y riguroso para asegurarse de que el resultado es el esperado. En el caso de las ConMat, el equipo experto en evaluación de Innovamat sigue los siguientes pasos cada vez que diseña una prueba ConMat:
Proceso de creación: se tienen en cuenta el contenido curricular y el marco teórico definido.
Piloto: se pasa la prueba a cientos de alumnos, se habla con alumnos y docentes, y se evalúan los resultados con análisis estadísticos.
Iteración: se itera la prueba según el análisis estadístico*, que habrá definido si las preguntas son demasiado fáciles o difíciles y si son suficientemente buenas discriminando a alumnos de diferentes niveles.
Repetición piloto: se vuelve a pilotar la prueba. Si los resultados son positivos, se considerará finalizado el proceso. Si se detectan mejoras necesarias, se repite la iteración.
Producción final: se traduce la prueba a todos los idiomas correspondientes y voilà, ¡ya lo tenemos!
Los criterios de Cohen y Swerdlik (págs. 248 y 249, 2009), según los cuales los ítems deberían tener alrededor de un 62,5 % de aciertos. Este valor se obtiene a partir de calcular el 50 % —de media se espera que solo la mitad de la población responda bien cada ítem— más la probabilidad de acertarlo por suerte (25 %, teniendo en cuenta que el test es de respuesta múltiple con 4 opciones) dividido entre dos. Es decir, 62,5 = 50 + 25/2. Consideramos aceptables ítems con porcentajes de acierto de entre 42,5 % (62,5 % − 20 %) y 92,5 % (62,5 % + 30 %).
También se tienen en cuenta los resultados de la modelación de los ítems a través de la teoría de respuesta al ítem. Para entender mejor qué es la teoría de respuesta al ítem, véase el siguiente apartado.
Por último, se consideran las observaciones cualitativas que se hayan realizado el día de la prueba para acabar de definir posibles mejoras.
Validez interna
Durante el proceso de creación, se valida que cada prueba ConMat esté adaptada al nivel de los alumnos. Esta validación se realiza en una muestra pequeña de escuelas que nos han ayudado con el pilotaje. La pregunta es, pues, si el test es adecuado para la gran mayoría. En este apartado, la validez interna se evalúa con datos de más de 100 000 alumnos de 3º de primaria a 1º de la ESO, que son los cursos que tenían las ConMat disponibles en el curso 2024-2025.
Una de las mejores maneras de saber si un test mide bien y es adecuado para la población que lo hace es a través de lo que se llama teoría de respuesta al ítem, o item response theory (IRT), en inglés. En líneas generales, la IRT se basa en la idea de relacionar el nivel general —estimado— de los participantes con las habilidades que mide cada pregunta (ítem) del test. Este tipo de análisis es el que utilizan pruebas como PISA o TIMSS para validar que las preguntas son adecuadas y calcular el nivel estimado de cada alumno.
Sin embargo, hay más aspectos para validar internamente cuán robusta es una prueba. Por un lado, el parámetro alfa de Cronbach, que es una medida que nos ayuda a saber si un conjunto de preguntas dentro de un test miden el mismo concepto y son coherentes entre sí.
Por último, también es importante mirar la estabilidad temporal del test; es decir, si el nivel del alumnado, medido con el test en varias ocasiones, tiene resultados similares a lo largo del tiempo.
Para llevar a cabo estos análisis con el máximo rigor, hemos colaborado con Judith Peñafiel y Arnau Lagarda, de IDIBELL, que, de forma externa, han analizado las ConMat de finales del curso pasado (2023-2024). Podéis ver el documento técnico con todos los resultados aquí. Pero vayamos paso a paso y veamos en detalle cómo se ha analizado la validez interna de las ConMat.
Teoría de respuesta al ítem
La IRT (por sus siglas en inglés) pretende relacionar el nivel general —estimado— de los participantes en un test con las habilidades que mide cada ítem del test. En el caso de las ConMat, se ha utilizado el modelo 3PL (Three-Parameter Logistic) y se han definido unos criterios de validez según el artículo técnico de Bichi y Talib (2018). Para entender mejor de qué va esto de la IRT, debemos saber que cada ítem o pregunta genera una curva de este estilo, llamada curva característica del ítem (ICC, por sus siglas en inglés).
Adaptación de la figura de Bichi y Talib (2018), que muestra un ejemplo de ICC. En el eje x vemos el nivel estimado del alumno, que está estandarizado de forma que el nivel medio sea 0. La sigmoidea en rojo nos indica la probabilidad (eje y) de que un alumno específico, según el nivel estimado que ha mostrado en el test, conteste correctamente este ítem concreto. Una probabilidad igual a 1 indica que seguro que el alumno responderá bien al ítem, según el modelo, mientras que una probabilidad de 0 indica que seguro que no lo contestará bien.
Veamos ahora qué tipo de curvas nos interesa obtener para dar la pregunta por válida.
En el modelo 3PL, existen tres factores clave que nos interesa definir:
Discriminación del ítem (también llamado parámetro a): nos permite ver si el ítem es capaz de discriminar entre distintos niveles. Esto será así cuando la probabilidad de que los alumnos de mayor nivel respondan correctamente el ítem sea superior a la de los alumnos con un nivel más bajo. En este caso, en la figura 2, el factor a será mayor cuanto más inclinada sea la pendiente de la curva; es decir, cuanto más marcadamente discrimine entre alumnos de distintos niveles (véanse más ejemplos en la figura 3).
Dificultad del ítem (también llamado parámetro b): nos indica en qué punto la curva (ICC) tiene más pendiente. Es lo que en la figura 2 llamamos media (o average, en inglés) y nos indica a partir de qué punto hay una mayor discriminación entre los alumnos de nivel más alto y nivel más bajo. Cuanto más a la izquierda tengamos la media de la pendiente, más fácil será el ítem (véanse más ejemplos en la figura 3).
Acierto aleatorio (o guessing, en inglés, también llamado parámetro c): este último parámetro indica cuál es la probabilidad de que alumnos con un nivel muy bajo acierten la respuesta. En el caso de las ConMat, dado que los ítems son de respuesta múltiple y hay 4 respuestas posibles, esperaríamos que este valor estuviera alrededor del 0,25. En la figura 2, el factor c será igual en el punto extremo izquierdo de la curva. Aunque este valor puede ser importante para ver si es necesario iterar, en algún caso, la propuesta de respuestas de un ítem concreto, en el presente artículo no entraremos demasiado en detalle en esto; no es tan relevante como el resto de factores para mostrar cuán válido es un test (pero véase la figura 3 para entender la utilidad que puede tener).
Ejemplos de ICC de algunas preguntas de ConMat4. La línea roja discontinua indica el parámetro b o dificultad del ítem. Vemos que los ítems de cada columna tienen dificultades distintas, pero las filas tienen dificultades similares. Por ejemplo, observamos que la pregunta 9 (b = -1,50) es bastante más fácil que la 12 (b = 0,52). Es decir, alumnos con nivel estandarizado 0 contestarán bien la pregunta 9 con una probabilidad muy alta, pero será menos probable que contesten bien el ítem 12. En cambio, en cuanto a la discriminación del ítem, vemos una gran diferencia entre los ítems de la primera fila. El ítem 9 (a = 2,07) tiene una pendiente más inclinada que el ítem 21 (a = 0,56) y, por tanto, es más preciso discriminando entre niveles. Dicho de otro modo, la diferencia entre la probabilidad de acertar cada ítem comparando los niveles -1,5 y 0 (eje x) es mayor en el ítem 9 (de 50 % de probabilidad en el nivel -1,5 a casi 100 % de probabilidad de acertarlo en el nivel 0) que en el ítem 21 (de 50 % en el nivel -1,5 a menos del 75 % en el nivel 0). Es decir, aunque ambos ítems son de dificultad similar, el 21 será más preciso discriminando entre alumnos de nivel -1,5 y 0. Por último, vemos el factor c o de acierto aleatorio. En este caso, los elementos de la fila de abajo tienen un valor c superior a los de la fila de arriba. Es decir, por muy bajo que sea el nivel del alumnado, en los ítems 22 y 12 los alumnos con bajo rendimiento tendrán probabilidades de acertar la respuesta. En el caso de la pregunta 22, este valor es superior a 25 % y, por tanto, indica que alguna de las 4 respuestas es muy poco probable que algún alumno la marque. En cambio, las preguntas 21 y 29 tienen valores c inferiores al 25 %, lo que puede indicar que existe alguna respuesta trampa en la que cae buena parte de los alumnos con nivel bajo.
Criterios según Bichi y Talib (2018) para definir si un ítem es adecuado o no.
Discriminación del ítem (a). Si a es inferior o igual a 0,64, significa que el ítem debe eliminarse o requiere revisión. De 0,64 a 1,34 significa que el ítem ya es suficientemente válido, aunque podría revisarse un poco si se cree necesario. A partir de 1,35 se considera un buen ítem para discriminar entre niveles.
Dificultad del ítem (b). Si b es inferior a -2 indica que el ítem es muy fácil, de -2 a -1 que es fácil, de -1 a 1 que es moderadamente difícil, de 1 a 2 que es difícil y superior a 2 que es muy difícil. Tengamos en cuenta que los valores de nivel del alumnado están estandarizados para que 0 sea el nivel medio de todas las respuestas.
A partir de estas curvas que obtenemos para cada pregunta o ítem, podemos crear lo que se llama curva informativa del test (TIC, por sus siglas en inglés). Esta curva muestra cuánta información —o precisión— tiene el conjunto del test sobre distintos niveles de habilidad (θ) de los alumnos. Combina la información que aporta cada ítem y muestra en qué punto es mejor discriminando rasgos latentes (o niveles). Por tanto, nos ayuda a tener una visión general sobre lo válido que es el test y si es suficientemente informativo para discriminar entre diferentes niveles. ¡Veamos un ejemplo!
Ejemplo de curva informativa del test (TIC) de la ConMat5. El eje x indica el nivel estandarizado de los alumnos (θ), mientras que el eje y indica cuánta información es capaz de aportar el test sobre cada nivel [I(θ)]. Dicho de otro modo, cuán bueno es el test identificando a alumnos con un cierto nivel θ. Por otra parte, la línea discontinua muestra el error estándar de la medida (SE), que está relacionada de forma inversa con la curva de información. Cuanta más información aporte el test sobre el nivel, menor será el error estándar, lo que indica que la medida es más precisa. En general, querríamos que el test fuera muy bueno discriminando a alumnos alrededor de un nivel 0 y que la curva fuera suficientemente ancha para discriminar a alumnos con niveles que se acercan más a los extremos. Teniendo en cuenta los criterios de Bichi y Talib (2018), los extremos -2 a 2 son los que deberían incluir a la mayoría de la población (teniendo en cuenta que los ítems por debajo de -2 se consideran muy fáciles, y los ítems por encima de 2, muy difíciles). Por tanto, es importante que dentro de este rango la curva continua roja aporte suficiente información I(θ) y, sobre todo, que el valor I(θ) esté por encima del valor de la curva discontinua [SE(θ)].
¿Cuáles han sido los resultados de las pruebas ConMat?
Para responder a la pregunta, mostramos una tabla resumen de los resultados. Se basa en los parámetros de Bichi y Talib (2018) definidos anteriormente.
Tabla 1. Resumen cualitativo de los resultados de la IRT teniendo en cuenta los factores a (discriminación de niveles) y b (dificultad del ítem). Se considera que los ítems no son óptimos cuando requieren una revisión (a ≤ 0,64) y son buenos o muy buenos cuando a ≥ 1,35. Por otra parte, idealmente los ítems deberían estar distribuidos en distintos niveles, pero debería haber pocos ítems (o ninguno) en los niveles «muy fácil» y «muy difícil» si el objetivo del test es discriminar los niveles de la mayoría de la población. Debajo de cada test (fila) se indica el tamaño de la muestra (N), es decir, cuántos alumnos han contestado la prueba. Los números dentro de cada casilla indican el número de ítems de la prueba y columna correspondientes.
* Uno de los dos ítems (16) tiene una a negativa (-0,67) por un error técnico en la corrección del resultado, y, por tanto, no tiene que ver con que el ítem necesite revisión.
Por otra parte, en la siguiente figura podéis ver un resumen de todas las TIC, que muestran de manera general cuán bueno es el test identificando alumnos con un cierto nivel estimado (θ).
TIC de cada prueba ConMat. El eje x indica el nivel estimado de los alumnos del modelo IRT (indicado con el símbolo θ), estandarizado con media en 0. El eje y a la izquierda muestra cuánta información aporta la prueba según el nivel, I(θ). Cuanto mayor sea, más información aporta. El eje y a la derecha muestra cuál es el error estándar de la medida de la prueba, SE(θ). Cuanto menor sea, más preciso es el test discriminando entre alumnos de nivel θ.
Tanto la tabla como las curvas TIC muestran que todas las pruebas ConMat tienen buena validez, ya que están bien adaptadas al nivel que tiene la mayoría de la población que ha pasado la prueba y permiten discriminar entre niveles. Veamos un resumen de esto:
Como muestra la primera columna de la tabla 1, la mayoría de ítems de todos los test son buenos discriminando entre alumnos de distintos niveles y no es necesario revisarlos.
Existe suficiente variación entre el nivel de los ítems y cuán buenos son discriminando en cada nivel (tabla 1, columnas 3-7), lo que hace que a escala general los test sean buenos discriminando entre alumnos de diferentes niveles en el rango de -2 a 2 (figura 5). En cambio, como hay pocos ítems «muy fáciles» (b < -2, tabla 1 – columna 3) o «muy difíciles» (b > 2, tabla 1 – columna 7), el test es bastante menos preciso discriminando entre alumnos con niveles que se sitúan en los extremos. Dicho de otra forma, si un alumno tiene un nivel muy bajo o muy muy bajo, el test seguramente no será capaz de diferenciarlo. Lo mismo ocurrirá con los alumnos de nivel muy alto o muy muy alto.
En general, los test aportan más información en torno al nivel 0, es decir, en torno al nivel medio de la población que ha realizado el test (figura 5). Sin embargo, excepto para la ConMat6, el pico de las curvas TIC está ligeramente desplazado hacia la derecha (el caso más claro es el de la ConMat3, en la que el pico está alrededor de 0,7). Esto significa o que el test es algo demasiado difícil, o que los ítems ligeramente difíciles son los que permiten discriminar mejor entre los niveles del alumnado.
Las curvas TIC de las ConMat5, ConMat6 y ConMat7 tienen un pico más alto (aportan más información alrededor del nivel 0) que las curvas TIC de las ConMat3 y ConMat4. Este resultado seguramente tiene que ver con que la madurez de los alumnos desempeña un papel importante. Cuanto más maduros sean, más consistentes serán sus respuestas y más fácil será medir su competencia matemática. En cambio, en edades tempranas, existen factores como la comprensión lectora o el hecho de estar menos entrenados en contestar preguntas de una prueba durante 1 h que pueden causar cierta aleatoriedad y hacer que la teoría de respuesta al ítem (IRT) sea algo menos precisa.
Alfa de Cronbach
Se utiliza mucho en psicología, educación e investigación social para comprobar la fiabilidad de un cuestionario o prueba. Cuando un test tiene una alfa de Cronbach superior a 0,7 a menudo se considera que es suficientemente consistente (Taber, 2018). En el caso de las ConMat, todas las pruebas han mostrado un valor superior a 0,7, con un rango que va de 0,78 en la ConMat3 a 0,85 en la ConMat6, que es la que ha obtenido un mayor valor. Como en los anteriores análisis, vemos que las pruebas son algo menos robustas en edades inferiores, aunque según los criterios de Taber (2018) son suficientemente robustas en todas las edades.
Estabilidad temporal
Permite confirmar que las respuestas a un test no sean absolutamente aleatorias, sino que midan el conocimiento matemático del alumnado de forma robusta. En ese caso, el objetivo es pasar el test más de una vez y ver si las respuestas del alumnado son consistentes a lo largo del tiempo. En el caso de las ConMat, el test se realiza dos veces, a finales de un curso y a inicios del siguiente. En este caso, se han comparado los test de finales del curso 2023-2024 con los test de inicios del curso 2024-2025. Se han comparado todas las pruebas excepto la ConMat6, debido al salto de etapa.
Para comprobar la estabilidad temporal, se puede mirar, o bien la correlación entre las dos veces que se ha hecho el test, o bien las diferencias en los resultados entre ambas ediciones con algún test estadístico, como por ejemplo una prueba T-test emparejada.
En este caso, todos los test tienen un resultado similar. La correlación (Spearman) entre ambos test es superior a 0,7 en todos los casos, excepto para la ConMat7, que es 0,65. Para el resto, el rango va de 0,71 en la ConMat3 a 0,8 en la ConMat5. Estos valores indican una fuerte correlación entre los dos test. Por otra parte, las diferencias entre los resultados de finales de curso e inicios del siguiente, en todos los casos, son pequeñas con tamaños del efecto (Cohen d) inferiores a 0,15.
Validez externa
Una vez que nos hemos asegurado que se sigue un proceso riguroso de diseño y que la prueba tiene validez interna, nos queda el último paso. ¿Realmente estamos midiendo la competencia matemática del alumnado?
Una buena manera de responder a esta pregunta es correlacionar los resultados de las ConMat con los resultados de otros test matemáticos externos. ¿Cómo? Hemos obtenido los datos de test externos a través de preguntas de ediciones anteriores de los test oficiales y diseñar una adaptación que siga la estructura adecuada. Es lo que llamamos mock exams, que ofrecemos en las escuelas para realizar un simulacro del test oficial. En el curso 2023-2024, esto se hizo con los test oficiales de Nueva Jersey (EE. UU.) en 3º y 4º de primaria, con el test TIMSS de matemáticas en 4º (en México) y 5º [en Cataluña (España)], y con el test de competencias básicas en Cataluña de 6º de primaria.
Podemos correlacionar los datos obtenidos a través de este test con los datos de las ConMat que los mismos alumnos realizaron a finales de curso. Es decir, intentamos ver si los que obtienen una puntuación alta en un test también suelen obtener una puntuación alta en el otro, y viceversa. A continuación mostramos la correlación de las ConMat con cada adaptación de test externo.
Nota para interpretar los gráficos: en el gráfico de correlación, veremos una nube de puntos, en la que cada punto representa a un alumno con su puntuación en los dos test. La línea del modelo lineal es una recta que intenta representar la tendencia general de los datos. Si la línea sube de izquierda a derecha, significa que existe una relación positiva (los alumnos con buenas notas en un test también obtienen buenas notas en el otro). Si la línea baja, significa que la relación es negativa. El área gris representa el intervalo de confianza del 95 %, que nos indica el margen de error de la predicción hecha por el modelo. Cuanto más estrecha sea esa franja, más confianza tenemos en el modelo. Si el área es muy ancha, significa que hay mucha variabilidad y que la relación entre los dos test no es del todo clara. Por último, veremos los parámetros R (correlación de Pearson). La R indica la fuerza y dirección de la relación entre las dos variables. Una R superior a 0,7 se considera una correlación positiva alta.
En todos los casos, vemos una correlación positiva alta (R > 0,7, excepto en las TIMSS de 4º de primaria, en las que la correlación también se acerca a 0,7). Es decir, los resultados que obtienen los alumnos en las ConMat se parece mucho al resultado que obtienen en las adaptaciones de diferentes test externos.
Conclusión
Con todos los datos obtenidos y los análisis realizados, tenemos evidencias de que las ConMat tienen validez y son útiles para medir la competencia matemática del alumnado. En resumen, podemos decir que:
- Existe un
proceso riguroso de creación de las ConMat que permite que el test resultante tenga las propiedades que se esperan.
El análisis de la validez interna, a través de la teoría de respuesta al ítem (item response theory), muestra que el test permite discriminar entre diferentes niveles y está adaptado al nivel general de la población que lo realiza. Además, el test es robusto entre preguntas, como se muestra con el alfa de Cronbach, y tiene una buena estabilidad temporal, como se muestra con la comparación entre las ConMat de finales de curso y las de inicios del siguiente.
La validación externa muestra que el test mide habilidades similares a otras pruebas matemáticas diseñadas por expertos externos a Innovamat.
Referencias
Bichi, A. A., i Talib, R. (2018) Item Response Theory: An Introduction to Latent Trait Models to Test and Item Development. International Journal of Evaluation and Research in Education, 7, 142-151. https://doi.org/10.11591/ijere.v7i2.12900
Cohen, R., i Swerdlik, M. (2009). Psychological Testing and Assessment: An Introduction to Tests and Measurement (7th ed.). Nova York: McGraw Hill.
Taber, K. S. The Use of Cronbach’s Alpha When Developing and Reporting Research Instruments in Science Education. Res Sci Educ 48, 1273-1296 (2018). https://doi.org/10.1007/s11165-016-9602-2
