España 
Italia 
United States 
Brasil 
Chile
Ecuador
Mexico
Colombia
Perú
Quando uma escola adota um programa curricular de matemática, é comum surgir uma pergunta recorrente, tanto em casa quanto na escola: “Tudo bem, mas… funciona?”. A pergunta é legítima. O problema é que a resposta dificilmente pode ser reduzida a um sim ou a um não.
Neste artigo, analisamos a complexidade de avaliar um programa de matemática a partir de uma perspectiva ampla de pesquisa educacional e apresentamos o que, por enquanto, as evidências dizem sobre a Innovamat.
Índice
Um olhar amplo: o que significa “avaliar bem”?
Há alguns anos, o National Research Council (NRC) já alertava que a avaliação de um currículo de matemática não deveria se reduzir a um único resultado ou a um único tipo de estudo. Em seu relatório de 2004, a instituição propõe entender a avaliação como um conjunto de evidências complementares: estudos de impacto, estudos de implementação, análises de conteúdo e análises do marco teórico (ou seja, a teoria da aprendizagem e do ensino que sustenta a proposta).
Essa ideia é fundamental. Um programa educacional não é apenas um conjunto de materiais. Ele é um exemplo de como os estudantes aprendem e das práticas docentes que tornam esse aprendizado possível. Por isso, na hora de avaliá-lo, faz sentido fazer perguntas como:
- Impacto: Os resultados mudam? Para quais estudantes e em quais condições?
- Implementação: Ele está sendo aplicado como previsto? Que adaptações foram feitas e por quê?
- Conteúdo: As atividades realmente promovem uma aprendizagem matemática rica?
- Coerência teórica: O programa está alinhado com o que dizem as pesquisas sobre aprender matemática?
Isso não substitui os estudos quantitativos, mas evita tirar conclusões apressadas.
O papel fundamental da implementação: o que acontece entre o programa e os resultados
Com a chegada de um novo programa, é habitual que se espere uma melhora automática nos resultados. Mas, na sala de aula, as coisas não são tão simples (nem tão rápidas). O que ocorre de fato é uma rede de fatores interconectados.
Quando se trata de matemática, muitas peças entram em jogo ao mesmo tempo: elementos estruturais (currículo, recursos da escola, organização do tempo e oportunidades reais de formação dos professores); fatores do professor (conhecimentos, crenças, segurança, habilidades didáticas); fatores da turma (capacidades, atitudes, identidade, bem-estar); contexto familiar e social (expectativas, apoio, ansiedade matemática, desigualdades).
E, no meio dessa complexidade, há um elemento-chave que muitas vezes é dado por sentado: a implementação. A implementação se refer à forma como o programa chega de fato à sala de aula, sua continuidade, a qualidade com que é aplicado, o alcance (chega a toda a turma?) e sua adaptação à realidade da escola.
Em um estudo piloto da Innovamat, voltado a compreender essa implementação, observamos alguns aspectos fundamentais que as escolas bem-sucedidas tinham em comum: visão compartilhada sobre a educação matemática, liderança pedagógica, cultura escolar capaz de acompanhar a mudança e capacidade para traduzir essa visão em decisões concretas (horários, agrupamentos, codocência, formação e acompanhamento).
A conclusão é clara: um programa pode ser bom e, ainda assim, não gerar a mudança esperada se a implementação não for suficientemente sólida.
Nem todas as evidências dizem a mesma coisa (nem com a mesma força)
Se aceitarmos que o impacto de um programa depende de vários fatores, também devemos aceitar que nem todos os estudos têm o mesmo nível de rigor.
Quando falamos de “evidências”, não nos referimos apenas aos resultados, mas também a como eles foram obtidos. O desenho da pesquisa é fundamental, pois determina até que ponto podemos atribuir as mudanças observadas ao programa e não a outros fatores (como o nível socioeconômico ou a motivação prévia do professor).
Nos Estados Unidos, a lei ESSA (Every Student Succeeds Act) classifica a evidência em níveis: da evidência forte (ensaios aleatorizados) à evidência promissora (estudos correlacionais), passando pela demonstração de raciocínio (fundamentação teórica e avaliação em andamento).
As principais variáveis dos estudos quantitativos
Em estudos de impacto com métodos quantitativos, há dois indicadores que aparecem com frequência e que é importante entender bem:
- O valor p indica se a diferença observada poderia ser explicada pelo acaso.
- O tamanho do efeito (como a d de Cohen ou g de Hedges) indica o tamanho dessa diferença.
Como interpretamos o tamanho do efeito?
Há diferentes modelos de interpretação. Por exemplo, Hattie (2008) difundiu o conceito de um ‘benchmark’ de cerca de 0,4 desvios padrão para que um impacto seja visto como expressivo.
No entanto, Kraft (2020) propõe referências mais realistas para a pesquisa educacional aplicada: menos de 0,05 seria um efeito pequeno, entre 0,05 e menos de 0,20 um efeito médio, e 0,20 ou mais, um efeito grande. Ele ressalta ainda que a interpretação depende de aspectos-chave do desenho do estudo.
De fato, é um erro comum interpretar o tamanho do efeito como se fosse uma propriedade fixa do programa. Na realidade, ele pode variar muito conforme o desenho do estudo, a amostra, o tipo de teste, o grau de alinhamento entre o que se ensina e o que se mede, ou até o tipo de comparação (comparar a “não fazer nada” ou comparar a uma alternativa semelhante).
Ainda assim, uma forma útil de situar nossos resultados é compará-los com avaliações independentes de programas de matemática publicadas na What Works Clearinghouse (WWC), um repositório que revisa e classifica evidências empíricas sobre intervenções educacionais de acordo com seu rigor metodológico.
Nesse conjunto, encontramos 3 ensaios randomizados (Tier I) com tamanhos de efeito entre 0,03 e 0,15 SD; 4 estudos quase experimentais (Tier II) com tamanhos de efeito entre 0,06 e 0,17 SD; e 4 estudos correlacionais (Tier III) com tamanhos de efeito entre 0,05 e 0,23 SD. No conjunto, a magnitude média do tamanho do efeito fica em torno de 0,1 desvio padrão, o que é considerado um efeito moderado segundo o referencial de Kraft (2020).
Que variáveis queremos medir?
Antes mesmo de entrar em estatísticas, valores p ou tamanhos de efeito, há uma pergunta mais básica que muitas vezes fica em segundo plano: o que entendemos por “melhorar” em matemática?
Estamos falando de obter melhores resultados em provas padronizadas? E, se for este o caso, em quais provas e com que tipo de tarefas? Ou nos referimos a uma competência matemática mais profunda, ou seja, a capacidade de raciocinar, de resolver problemas, de entender o sentido do que se faz?
Talvez também queiramos medir mudanças menos visíveis, mas igualmente relevantes, por exemplo, a atitude em relação à matemática, a confiança, a identidade matemática da turma. Ou queremos avaliar as mudanças na prática docente, ou seja, a forma como se ensina, as oportunidades de aprendizagem que são geradas na sala de aula, as interações que acontecem.
Além disso, há outra dimensão que muitas vezes fica de fora dos estudos de curto prazo: os efeitos de longo prazo. As decisões acadêmicas, as trajetórias formativas e até as oportunidades profissionais futuras.
Todos esses olhares fazem sentido, mas também têm limites. E, sobretudo, nem todos aparecem ao mesmo tempo. Muitas vezes, o impacto de um programa se manifesta primeiro em como se ensina e na relação da turma com a matemática, e só mais tarde (se a mudança se consolidar), nos resultados de uma prova.
Se você quer entender o que dizem as evidências sobre o Innovamat, os estudos que realizamos e todos os seus resultados, não deixe de visitar nossa página de estudos.
Fechar o círculo: evidências para melhorar
Agora está claro. Avaliar um programa educacional não consiste em chegar a um veredicto simples, e sim em entender um processo complexo. Trata-se de construir um mapa que nos ajude a responder o que funciona, para quem, em quais condições, com quais apoios e com quais custos de implementação.
Por isso, faz sentido combinar diferentes tipos de evidência e continuar investindo tanto em estudos rigorosos quanto em pesquisa sobre implementação. Porque, no fim, a pergunta importante não é só “Funciona?”, mas também o que precisa acontecer para que funcione aqui, com esses professores e essa turma?
Referências e materiais
National Research Council (2004). On Evaluating Curricular Effectiveness: Judging the Quality of K–12 Mathematics Evaluations.
ESSA e níveis de evidência (visão geral).
Kraft, M. A. (2020). Interpreting Effect Sizes of Education Interventions.
