España 
Italia 
United States 
Brasil 
Chile
Ecuador
Mexico
Colombia
Perú
Este estudo independente da WestEd mostra que, após dois anos de implementação, os alunos que utilizaram os recursos da Innovamat obtiveram melhores resultados em matemática do que aqueles que não os utilizaram, com um tamanho de efeito de 0,24.
No ano letivo de 2023-2024, a Innovamat chegou pela primeira vez às salas de aula dos Estados Unidos. Para nós, esse passo não podia se limitar a implementar o programa em um novo país. Também queríamos entender que impacto a Innovamat podia ter nesse novo contexto.
Por isso, desde o início, nos propusemos a acompanhar a chegada aos Estados Unidos com um estudo independente de eficácia. Queríamos medir resultados, mas também aprender: o que acontece quando uma escola começa a transformar a maneira de ensinar matemática? Quanto tempo essa mudança precisa para se consolidar? Que efeitos são observados na aprendizagem da turma?
Por que fazer um estudo nos Estados Unidos?
Os Estados Unidos têm uma longa tradição na avaliação de programas educacionais. Além disso, contam com marcos de referência como o What Works Clearinghouse (WWC), uma iniciativa do Institute of Education Sciences que ajuda a identificar estudos que cumprem certos padrões de evidência. Nesse contexto, também são usados os níveis de evidência da lei ESSA (2015), que classificam a solidez das evidências disponíveis sobre um programa educacional. O ponto principal é que os estudos de eficácia não têm todos o mesmo rigor e não permitem tirar conclusões com a mesma firmeza. O nível de evidência depende de como o estudo é desenhado. Esses níveis vão desde justificar as bases científicas ou teóricas em que um projeto se apoia (nível IV) até demonstrar o impacto positivo desse programa com um estudo experimental rigoroso, bem desenhado e bem implementado (nível I).
Mas o fator-chave que nos permitiu levar este estudo adiante foi o surgimento da oportunidade de receber financiamento da Jacobs Foundation, uma fundação que promove o uso de evidências na educação e no desenvolvimento de soluções EdTech. Uma das condições para receber esse financiamento era trabalhar com uma instituição independente recomendada pela própria fundação. Entre as opções disponíveis, escolhemos a WestEd, uma organização sem fins lucrativos especializada em pesquisa e avaliação educacional.
A hipótese: o impacto precisa de tempo
Desde as primeiras conversas com a WestEd, compartilhamos uma hipótese clara: transformar o ensino da matemática não é algo imediato.
A Innovamat não consiste apenas em trocar materiais. Implica introduzir uma maneira diferente de aprender matemática: mais conversa, mais protagonismo da turma, mais uso de múltiplas representações, sequências conectadas entre si, trabalho com materiais concretos antes de passar ao simbólico e uma prática pensada para consolidar conhecimentos e desenvolver fluência, etc.
Como toda transformação educacional, essa mudança exige tempo. O primeiro ano costuma ser um ano de adaptação: mudam dinâmicas de sala de aula, rotinas docentes e formas de participação da turma. Nossa hipótese era que as melhorias no desempenho em matemática seriam mais detectáveis a partir do segundo ano de uso contínuo.
Com essa ideia, a WestEd propôs um estudo longitudinal de dois anos. Ou seja, acompanhou-se o progresso dos estudantes durante 2 anos desde que começaram a usar os recursos da Innovamat.
Como o estudo foi desenhado?
O estudo foi realizado em Nova Jersey com estudantes do 2.º e do 3.º ano durante os anos letivos de 2023-2024 e 2024-2025. Naquele momento, apenas três distritos dos Estados Unidos usavam a Innovamat. Desses, dois usavam a mesma avaliação externa, LinkIt!, o que permitia dispor de dados comparáveis desde o início. Esse ponto era fundamental. Para saber se um programa tem impacto, não basta olhar como a turma termina. Também é preciso saber de onde ela parte. Por isso, a WestEd utilizou os resultados do LinkIt! do outono de 2023 como ponto de partida e os resultados do outono de 2025 como medida principal depois de dois anos de implementação.
LinkIt! é uma avaliação de referência que alguns distritos já utilizavam de forma habitual para medir o progresso em matemática ao longo do ano. Não foi uma prova criada pela Innovamat nem aplicada especificamente para o estudo, mas uma fonte externa que já fazia parte do funcionamento normal dos distritos.
Como não era possível definir ao acaso quais escolas usavam a Innovamat e quais não usavam, a WestEd desenhou um estudo quase experimental. De forma simples: comparou a turma que usava a Innovamat com uma turma semelhante de outras escolas que não a usavam.
Para construir essa comparação, a WestEd partiu de uma lista inicial de escolas de Nova Jersey que não haviam adotado a Innovamat. Dessa lista, o LinkIt! forneceu dados anônimos à WestEd de 1650 estudantes de 17 distritos que também utilizavam essa avaliação. A partir daí, a WestEd aplicou um processo de pareamento em nível de estudante: para cada estudante do grupo Innovamat, buscou outro estudante o mais parecido possível em variáveis como desempenho inicial, ano escolar, gênero, etnia, nível socioeconômico ou se tinha um plano educacional individualizado. Ao todo, a amostra final do estudo inclui 910 estudantes, dos quais 455 utilizaram a Innovamat.
A lógica é fácil de entender: se queremos comparar resultados, primeiro precisamos garantir que os grupos comparados sejam o mais parecidos possível antes de começar. Esse tipo de desenho, chamado de desenho quase experimental com grupos pareados, é reconhecido nos manuais de estudos de eficácia do What Works Clearinghouse no nível ESSA Tier II. No entanto, nos casos em que a amostra está agrupada em um número reduzido de escolas e esse agrupamento não é levado em consideração, o desenho é considerado parte do nível ESSA Tier III.
Resultados: o desempenho melhora a partir do segundo ano
Como resultado principal, constatou-se que, após dois anos de implementação, a turma que utilizou a Innovamat obteve melhores resultados em matemática do que o grupo de comparação.
Em concreto, a WestEd encontrou uma diferença estatisticamente significativa (p = .002) entre os dois grupos, com um tamanho de efeito de 0,24. Embora esses termos sejam técnicos, a ideia é simples: a diferença observada não parece ser explicada pelo acaso, e a magnitude do efeito é relevante no contexto da pesquisa educacional. Segundo a WestEd, uma diferença desse tamanho equivale, de forma aproximada, a um estudante situado no percentil 50 passar para o percentil 58. Em outras palavras, se ordenássemos 100 estudantes segundo seus resultados, um estudante no meio do grupo com a Innovamat passaria a ocupar aproximadamente a posição 58. Essa tradução ajuda a ter uma ideia intuitiva do resultado, embora deva ser interpretada como uma aproximação.
Nota: o grupo “Treatment” mostra os resultados médios normalizados dos estudantes com Innovamat, enquanto o grupo “Comparison” mostra os resultados dos estudantes com outras propostas educacionais.
Também é relevante o que aconteceu depois do primeiro ano: não foram observadas diferenças significativas entre o grupo Innovamat e o grupo de comparação. Para nós, esse resultado é tão importante quanto o anterior, porque está de acordo com a hipótese inicial. Mudanças profundas no ensino precisam de tempo para se consolidar.
O estudo também investigou se o impacto variava de acordo com diferentes subgrupos. O resultado mais destacado foi que o efeito pareceu ser maior na turma que começou o estudo no 3.º ano do que na que começou no 2.º. Essas análises, no entanto, eram exploratórias e devem ser interpretadas com cautela.
Percepção docente: um ensino mais centrado no estudante.
Além de analisar resultados acadêmicos, a WestEd entrevistou professores que haviam implementado a Innovamat. As respostas ajudam a entender melhor o que estava acontecendo nas salas de aula.
Os professores descreveram uma mudança para um ensino mais centrado na turma, com mais discussão matemática, mais explicação de estratégias e mais oportunidades para participar. Também destacaram um aumento na confiança e no envolvimento da turma, especialmente entre estudantes que antes se sentiam mais afastados da matemática. É importante destacar que essas observações são muito coerentes com os depoimentos coletados em outro distrito de Nova Jersey, Upper Freehold.
Por exemplo, o relatório da WestEd traz comentários de professores como os seguintes:
“Você tem que passar o bastão para as crianças. Você tem que recuar um pouco, ter um pouco de paciência, deixar que elas descubram as coisas, deixar que falem entre si, e essa é a grande mudança.”
“… as conversas que as crianças conseguem ter sobre matemática são fenomenais. Elas resolvem os problemas conversando. Estão alcançando níveis de compreensão que não acho que eu conseguiria ter no segundo ano, porque elas precisam constantemente provar o porquê.”
“O que eu mais amo é que a turma toda gostou de matemática. … Aquelas crianças que chegaram no início do ano e não gostavam de matemática, que tinham dificuldade na aula, todas conseguiram participar… Sinto que ganharam muita confiança com as lições. … Depois de um mês ou dois, todas as crianças estavam participando, o que era incomum. Muitas vezes você tinha aquelas crianças que simplesmente se desligavam da matemática.”
Ao mesmo tempo, identificaram desafios próprios dos primeiros anos de implementação: a curva de aprendizagem docente, a preparação de materiais, o alinhamento com padrões locais, as ferramentas de avaliação ou alguns aspectos técnicos. Esses desafios lembram algo importante: a qualidade de uma proposta educacional não depende apenas dos materiais, mas também do acompanhamento e do processo de implementação.
Nesse sentido, um dos aspectos que os professores valorizaram de forma positiva foi o apoio recebido por parte dos assessores da Innovamat, que os ajudou a enfrentar a mudança de enfoque, adaptar os materiais à sua realidade e levar o programa para a sala de aula.
Como interpretar esses resultados?
Este estudo traz uma evidência promissora do impacto do programa da Innovamat, segundo os níveis de evidência da ESSA (Tier III). Nesse contexto, e após dois anos de uso, a Innovamat se associa a uma melhora significativa nos resultados de matemática.
Agora bem, convém ser precisos. Não se trata de um experimento aleatorizado, mas de um estudo quase experimental com grupos pareados e uma amostra relativamente pequena. Esse desenho melhora a comparação entre grupos, mas não elimina completamente a possibilidade de existirem diferenças não observadas entre as escolas que adotaram a Innovamat e as que não adotaram. Por isso, a WestEd sinaliza que os resultados devem ser interpretados com cautela causal.
Também é importante colocar os resultados em contexto. Avaliar o impacto de um programa curricular em condições reais não é simples. Como indica Kraft (2023), uma porcentagem alta dos estudos em educação não encontra nenhum impacto relevante. Isso é coerente com a interpretação que a pesquisadora principal do estudo, Mingyu Feng, nos fez chegar quando apresentou os resultados: “Esses resultados são muito positivos. Na maioria dos estudos de avaliação em educação que fazemos na WestEd, não vemos resultados significativos. Além disso, se são detectadas melhorias, normalmente as medidas de efeito são menores.”
Por outro lado, como indica o relatório “Rounding Up” da Bellwether sobre estudos de eficácia em currículos de matemática nos Estados Unidos, a maioria dos programas é avaliada por meio de desenhos correlacionais (ESSA Tier III) ou quase experimentais (ESSA Tier II). Não é comum usar desenhos experimentais com distribuição aleatória de quem implementa o programa a ser avaliado, pois têm um custo muito alto e são muito difíceis de implementar e coordenar. Alguns dos estudos mais relevantes nos Estados Unidos sobre programas de matemática podem ser encontrados na página Evidence for ESSA. Se vocês fizerem um pouco de pesquisa sobre os estudos de programas curriculares de matemática que envolvem o grupo de classe completo, verão que as medidas de efeito ficam em torno de 0,1, e raramente passam de 0,15.
Nesse quadro, encontrar um efeito positivo, significativo e superior a 0,2 desvios-padrão é um resultado especialmente animador, embora seja necessário continuar acumulando evidências com amostras maiores e novos contextos. Para nós, os resultados reforçam uma ideia central: quando é implementado de forma contínua, um ensino de matemática baseado na compreensão e no desenvolvimento de competências pode ter impacto na aprendizagem.
Além disso, esses resultados são coerentes com outras evidências que vínhamos reunindo em diferentes contextos. Na Espanha, por exemplo, nossos estudos internos apontavam para uma relação positiva entre a experiência acumulada com a Innovamat e os resultados em provas de matemática [artigo]. Também havíamos observado que o professorado valoriza especialmente o impacto do programa na participação, na motivação e na aprendizagem da turma, assim como em seu próprio desenvolvimento profissional [artigo].
No conjunto, este primeiro estudo independente nos Estados Unidos aponta na mesma direção que outras evidências anteriores. Isso nos anima a continuar pesquisando, aprendendo e avaliando cada vez com amostras maiores e desenhos mais rigorosos. O objetivo final continua sendo o mesmo: acompanhar melhor as escolas e os professores para melhorar o ensino e a aprendizagem da matemática.
Referências:
Gold, T., Carroll, K., Newby, L.D.T., and Steel King, M. (March 2023). “Rounding Up: An Analysis of Math Curriculum Effectiveness
Studies.” BellwetherKraft, M. A. (2023). The Effect-Size Benchmark That Matters Most: Education Interventions Often Fail. Educational Researcher, 52(3), 183-187.
