España
Italia 
United States 
Brasil 
Chile
Ecuador
Mexico
Colombia
Perú
United States
Cuando una escuela incorpora un programa curricular de matemáticas, es habitual que aparezca una pregunta recurrente, tanto en casa como en el colegio: «De acuerdo, pero… ¿funciona?». La pregunta es legítima. El problema es que la respuesta difícilmente puede reducirse a un sí o un no.
En este artículo analizamos la complejidad de evaluar un programa de matemáticas desde una perspectiva amplia de investigación educativa.
El National Research Council (NRC) ya advertía hace años que evaluar un currículo de matemáticas no debería reducirse a un único resultado o a un único tipo de estudio. En su informe de 2004, propone entender la evaluación como un conjunto de evidencias complementarias: estudios de impacto, estudios de implementación, análisis de contenido y análisis del marco teórico (es decir: qué teoría del aprendizaje y de la enseñanza sostiene la propuesta). De hecho, ese mismo informe revisó 698 estudios de 19 currículos de matemáticas y concluyó que solo 147 cumplían los estándares mínimos de calidad —y que ni siquiera estos bastaban por sí solos para establecer la efectividad de un programa: ninguna evaluación aislada puede zanjar la cuestión.
Esta idea es primordial: un programa educativo no es solo un conjunto de materiales. Es un ejemplo de cómo aprenden los alumnos y qué prácticas docentes hacen posible este aprendizaje. Por eso, a la hora de evaluarlo, tiene sentido hacerse preguntas como:
Es decir, los estudios de impacto son importantes, pero se deben complementar con otros estudios más cualitativos para entender en profundidad cómo, cuándo, por qué y para quién el programa tiene un impacto.
Ante la llegada de un nuevo programa, es habitual esperar una mejora automática de los resultados. Pero, dentro y fuera del aula, las cosas no son tan sencillas (ni rápidas). Lo que acaba sucediendo se parece más a una red de factores interrelacionados: elementos estructurales (currículo, recursos del centro, política educativa, desigualdades, etc.); factores del docente (conocimientos, creencias, actitudes, identidad, etc.); factores del alumnado (capacidades, actitudes, identidad, bienestar, etc.); contexto familiar y social (expectativas, apoyo, ansiedad matemática, recursos, etc.).
Y todos estos factores influyen en una pieza clave que a menudo se da por hecho: la implementación. Es decir, la manera en que el programa llega realmente al aula: qué continuidad tiene, con qué calidad se aplica, si llega a todo el alumnado o cómo se adapta a la realidad del centro.
La evidencia científica es clara al respecto: adoptar un nuevo currículo, por sí solo, apenas mueve los resultados, mientras que los programas que transforman lo que ocurre en el aula —tutoría, trabajo cooperativo, organización de la clase— tienen efectos bastante mayores (Slavin y Lake, 2008; Pellegrini et al., 2021).
¿Qué marca la diferencia? Que el material vaya acompañado de un cambio real en la práctica docente. Combinar materiales con formación e implementación centradas en el aula mejora los resultados respecto a aplicar solo una de las dos cosas (Lynch et al., 2019), especialmente al cambiar prácticas pedagógicas —planes de clase estructurados junto con materiales para el alumnado y acompañamiento al profesorado (Piper et al., 2018).
La conclusión es clara: un programa puede ser bueno y, aun así, no generar el cambio esperado si la implementación no es lo suficientemente sólida o si no genera ningún cambio estructural en la enseñanza de las matemáticas.
Un aspecto central a considerar cuando hablamos de evidencias sobre impacto es que no todos los estudios tienen el mismo nivel de rigor. En este sentido, el diseño de la investigación es fundamental, ya que determina hasta qué punto podemos atribuir los cambios observados al programa y no a otros factores (como el nivel socioeconómico o la motivación previa del docente). Correlación, pues, no implica causalidad.
En Estados Unidos, la ley ESSA (Every Student Succeeds Act) clasifica la evidencia en cuatro niveles desde una perspectiva de calidad científica: desde evidencia fuerte (ensayos aleatorizados o RCTs) hasta evidencia prometedora (estudios correlacionales) o demostración de razonamiento (fundamento teórico y evaluación en marcha).
Este paradigma común ha propiciado la creación de diferentes instituciones diseñadas para asegurar un escrutinio de toda investigación que desee demostrar uno de estos niveles de calidad científica. Las más importantes son la What Works Clearinghouse (WWC) y Evidence for ESSA, dos repositorios que recopilan, revisan y clasifican esa evidencia según su rigor metodológico. Al aplicar criterios comunes y al margen de quién desarrolla cada programa, nos permiten situar, comparar y clasificar los resultados de forma imparcial.
Ahora bien, tener una buena clasificación no significa que la evidencia abunde. Cuando Bellwether (2023) revisó los 59 currículos de matemáticas de primaria y secundaria con los contenidos de mejor calidad, 42 de ellos no tenían ningún estudio de efectividad publicado —una laguna de evidencia de cerca del 70%—. Y entre los estudios que sí existían, solo el 10 % eran ensayos aleatorizados.
En estudios de impacto con métodos cuantitativos, hay dos indicadores que aparecen a menudo y que conviene entender bien:
Existen distintos marcos de interpretación. Por ejemplo, Hattie (2009) popularizó la idea de un “punto de referencia” en torno a 0,4 desviaciones típicas para considerar que un impacto es claramente relevante.
Sin embargo, Kraft (2020) propone referencias más realistas para la investigación educativa aplicada: menos de 0,05 sería un efecto pequeño, entre 0,05 y menos de 0,20 un efecto medio, y 0,20 o más un efecto grande, subrayando además que su interpretación depende de aspectos esenciales del diseño.
Dichas referencias no son arbitrarias. Kraft (2023) reunió 3.426 tamaños de efecto procedentes de 973 ensayos aleatorizados en educación y observó que la mediana se sitúa en torno a 0,10 desviaciones típicas, que más de un tercio de los estudios no llega a 0,05 y que solo un 10 % supera 0,57. Evans y Yuan (2022) hallan una distribución casi idéntica (mediana de 0,10) en países de renta baja y media. En investigación educativa, por tanto, un efecto en torno a 0,10 ya se consideraría relevante.
De hecho, al revisar los programas con evidencia analizados por WWC o Evidence for ESSA, observamos que los efectos se mueven en rangos modestos pero significativos que varían según el tipo de programa. Los currículos completos de matemáticas suelen tener efectos entre 0,09 y 0,11 SD, pero los efectos suelen ser mayores en intervenciones educativas focalizadas (0,19-0,51 SD) o en programas de tutorías de alto impacto (0,20-0,40 SD).
Todo este foco en valores p y tamaños de efecto da por supuesta una decisión previa que rara vez se hace explícita: qué hemos elegido medir. Y eso remite a una pregunta más básica: ¿qué entendemos por «mejorar» en matemáticas?
¿Hablamos de obtener mejores resultados en pruebas estandarizadas? Y, si es así, ¿en qué pruebas y con qué tipo de tareas? ¿O nos referimos a una competencia matemática más profunda: capacidad de razonar, de resolver problemas, de entender el sentido de lo que se hace?
Quizás también queremos medir cambios menos visibles, pero igualmente relevantes: la actitud hacia las matemáticas, la confianza, la identidad matemática del alumnado. O cambios en la práctica docente: cómo se enseña, qué oportunidades de aprendizaje se generan en el aula, qué interacciones se dan.
Y todavía hay otra dimensión que a menudo queda fuera de los estudios a corto plazo: los efectos a largo plazo. Las decisiones académicas, las trayectorias formativas o incluso las oportunidades profesionales futuras.
Todas estas miradas tienen sentido, pero algunas son más difíciles de medir que otras. Por ejemplo, medir el impacto que tiene un programa de matemáticas en las oportunidades profesionales futuras del alumnado requiere muchos años de seguimiento, es muy costoso y, en muchas ocasiones, es inviable. En este sentido, la mayoría de estudios se basan en resultados en pruebas estandarizadas, pero es importante entender que hay otros aspectos relevantes que estas pruebas no son capaces de medir.
A esto se añade un matiz técnico importante: no es lo mismo medir con una prueba alineada con el propio programa que con una prueba estandarizada e independiente. Las evaluaciones hechas a medida del programa tienden a mostrar efectos mayores, así que conviene leer con cautela los resultados obtenidos con pruebas propias. En definitiva, qué se mide condiciona tanto la respuesta como cuánto parece que se mejora.
Llegados a este punto, conviene una última advertencia: incluso cuando un estudio ofrece un tamaño de efecto, ese número no es una propiedad fija del programa. Hay varios factores que pueden aumentarlo o reducirlo, y conocerlos ayuda a leer la evidencia con criterio.
Importa, en primer lugar, qué se mide. No es lo mismo evaluar con una prueba diseñada a medida del programa que con un test estandarizado e independiente: las medidas alineadas con el propio contenido tienden a mostrar efectos sistemáticamente mayores. Por eso conviene dar más peso a las pruebas independientes y mirar con cautela los resultados obtenidos con evaluaciones del propio programa.
Importa, también, contra qué y con quién se compara. Comparar un programa con un grupo que no recibe nada produce efectos mayores que compararlo con una alternativa real igualmente activa. Y los estudios que seleccionan escuelas especialmente favorables, o que supervisan la implementación con una intensidad difícil de replicar, obtienen efectos más altos que los que trabajan con muestras representativas. En esos casos, el efecto debe entenderse como un techo, no como lo que cabe esperar a gran escala.
Importa, además, cuándo se mide. Muchas mejoras se atenúan con el tiempo (el llamado fade-out): un año después, suele conservarse solo entre un tercio y la mitad del efecto inicial (Bailey et al., 2017). Como casi ningún estudio mide más allá de un curso, los efectos publicados son casi siempre estimaciones inmediatas que sobreestiman el impacto acumulado. De ahí el valor de medir no solo justo después de la intervención, sino también a medio plazo.
Y conviene, por último, recordar que la evidencia educativa tiene un fuerte sesgo hacia resultados positivos: los resultados nulos o negativos rara vez se publican. A ello se suma un patrón muy consistente: los efectos de los pilotos casi siempre superan a los que se observan al escalar el programa —el coaching, por ejemplo, cae de 0,28 a 0,10 SD al pasar de estudios piloto a estudios a gran escala (Kraft, Blazar y Hogan, 2018)— y los estudios con muestras pequeñas reportan efectos mucho mayores que los grandes (Evans y Yuan, 2022).
Como regla práctica, los efectos más fiables son los de estudios independientes, medidos con pruebas estandarizadas, comparados contra alternativas reales y con seguimiento más allá de un curso.
Nada de esto significa que el material no importe. Al contrario: importa especialmente cuando está diseñado para inducir cambios didácticos bien fundamentados; cuando estructura buenas prácticas, propone actividades de valor y acompaña el desarrollo profesional del profesorado. Es ahí donde un buen programa deja de ser un conjunto de páginas para convertirse en una palanca de mejora.
Ya lo vemos: evaluar un programa educativo no es buscar un veredicto simple, sino entender un proceso complejo. Es construir un mapa que nos ayude a responder qué funciona, para quién, en qué condiciones, con qué apoyos y con qué costes de implementación.
Por eso tiene sentido combinar diferentes tipos de evidencia y continuar invirtiendo tanto en estudios rigurosos como en investigación sobre implementación. Porque, al final, la pregunta importante no es solo «¿Funciona?», sino ¿qué tiene que pasar para que funcione aquí, con estos docentes y este alumnado?
Bailey, D. H., Duncan, G. J., Odgers, C. L., & Yu, W. (2017). Persistence and fadeout in the impacts of child and adolescent interventions. Journal of Research on Educational Effectiveness, 10(1), 7–39.
Bellwether Education Partners. (2023). Rounding up: An analysis of math curriculum effectiveness studies. Bill & Melinda Gates Foundation.
Evans, D. K., & Yuan, F. (2022). How big are effect sizes in international education studies? Educational Evaluation and Policy Analysis, 44(3), 532–540.
Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. Routledge.
Kraft, M. A. (2020). Interpreting effect sizes of education interventions. Educational Researcher, 49(4), 241–253. https://doi.org/10.3102/0013189X20912798
Kraft, M. A. (2023). The effect size benchmark that matters most: Education interventions often fail. Educational Researcher, 52(3), 183–187.
Kraft, M. A., Blazar, D., & Hogan, D. (2018). The effect of teacher coaching on instruction and achievement: A meta-analysis of the causal evidence. Review of Educational Research, 88(4), 547–588.
Lynch, K., Hill, H. C., Gonzalez, K. E., & Pollard, C. (2019). Strengthening the research base that informs STEM instructional improvement efforts: A meta-analysis. Educational Evaluation and Policy Analysis, 41(3), 260–303.
National Research Council. (2004). On evaluating curricular effectiveness: Judging the quality of K-12 mathematics evaluations. Washington, DC: The National Academies Press.
Pellegrini, M., Lake, C., Neitzel, A., & Slavin, R. E. (2021). Effective programs in elementary mathematics: A best-evidence synthesis. AERA Open, 7(1), 1–29.
Piper, B., Zuilkowski, S. S., Dubeck, M., Jepkemei, E., & King, S. J. (2018). Identifying the essential ingredients to literacy and numeracy improvement: Teacher professional development and coaching, student textbooks, and structured teachers’ guides. World Development, 106, 324–336.
Slavin, R. E., & Lake, C. (2008). Effective programs in elementary mathematics: A best-evidence synthesis. Review of Educational Research, 78(3), 427–515.
U.S. Department of Education. (2016). Non-regulatory guidance: Using evidence to strengthen education investments. Washington, DC: Author. https://www.ed.gov/sites/ed/files/policy/elsec/leg/essa/guidanceuseseinvestment.pdf
