España 
Italia 
United States 
Brasil 
Chile
Ecuador
Mexico
Colombia
Perú
Como dizia Grace M. Hopper, medir de forma precisa tem um valor incalculável. É a primeira etapa para detectar o estado das coisas e ver em que é preciso melhorar.
Neste artigo, falaremos sobre o ConMat, nosso teste de referência que visa a medir a competência matemática da turma. Para nós, isso equivale a conhecer os conceitos matemáticos estabelecidos no currículo de cada ano e, ao mesmo tempo, dominar habilidades essenciais, como a resolução de problemas, a comunicação, o raciocínio e a capacidade de fazer conexões.
Mas ter uma ferramenta de medida não é suficiente; também é preciso verificar se a ferramenta é válida e se mede corretamente. O que é necessário para garantir isso? Para responder essa pergunta, estamos trabalhando em colaboração com Judith Peñafiel e Arnau Lagarda, especialistas em estatística do Instituto de Investigação Biomédica de Bellvitge (IDIBELL). Neste artigo, apresentamos três aspectos necessários para avaliar a validade de um teste:
Definir um processo rigoroso para criar a ferramenta. Ou seja, sistematização, rigor e especialistas que participem do processo. Chamaremos esse aspecto de processo de criação.
Verificar se o teste é capaz de fazer a medição da forma ideal, ou seja, se é adequado para o nível da população, se é consistente e se tem estabilidade temporal (mede de forma semelhante todas as vezes). Chamaremos isso de validade interna.
Determinar se o teste mede o que desejamos medir. Uma boa maneira de descobrir isso é identificar sua relação com outros testes que, a priori, medem algo semelhante. Chamaremos isso de validade externa.
A seguir, veremos como esses três aspectos se manifestam no caso do ConMat.
Processo de criação
Em primeiro lugar, é preciso definir precisamente a estrutura teórica. O ConMat se inspira na estrutura do teste TIMSS (Trends in International Mathematics and Science Study, tendências no estudo internacional da matemática e da ciência), que faz uma distinção entre blocos de conteúdo e de domínios cognitivos, cruzando as duas dimensões. Dentro dos domínios cognitivos, encontramos uma subdivisão em duas categorias: Conteúdos, que abrange os conceitos (fatos, vocabulário, etc.), e Procedimentos (operações, leitura de gráficos, uso de instrumentos de medida, etc.), além de outra subdivisão para os quatro processos: Resolução de problemas, Argumentação e prova, Conexões e Comunicação e representação. As seguintes tabelas mostram a distribuição das perguntas em diversos anos, segundo essas divisões.
* O ConMat2 é aplicado no início do 3º ano do EF – Anos Iniciais.
** Na última edição do ConMat7, acrescentamos uma nova pergunta (bloco de conteúdo: Números e Operações; domínio cognitivo: procedimental).
Uma vez definida a estrutura teórica, é necessário ser sistemático e rigoroso para garantir que o resultado seja o esperado. A equipe de especialistas em avaliação da Innovamat segue os seguintes passos cada vez que elabora um teste ConMat:
- Processo de criação: são levados em conta os conteúdos curriculares e a estrutura teórica definida.
- Piloto: o teste é aplicado a centenas de alunos, há uma conversa com alunos e professores e os resultados são avaliados com análise estatística.
- Iteração: o teste é iterado de acordo com a análise estatística*, que já definiu se as perguntas são muito fáceis ou muito difíceis e se são suficientemente boas para diferenciar alunos de níveis diferentes.
- Repetição do piloto: o teste piloto é repetido. Se os resultados forem positivos, o processo é considerado concluído. Se for identificada a necessidade de melhorias, a iteração é repetida.
- Produção final: o teste é traduzido para todos os idiomas relevantes e voilà, já podemos aplicá-lo!
- Os critérios de Cohen e Swerdlik (pp. 248 e 249, 2009), de acordo com os quais os itens devem ter aproximadamente 62,5% de acerto. Esse valor é obtido calculando 50% (em média, espera-se que apenas metade da população acerte cada item) mais a probabilidade de acertar por sorte (25%, levando em conta que é teste de múltipla escolha com 4 opções) dividido por dois. Ou seja, 62,5 = 50 + 25/2. Consideramos aceitáveis os itens com porcentagem de acerto entre 42,5% (62,5% – 20%) e 92,5% (62,5% + 30%).
- Os resultados da modelagem dos itens por meio da teoria de resposta ao item também são levados em consideração. Para entender melhor a teoria da resposta ao item, consulte a seção a seguir.
- Por último, são consideradas as observações qualitativas feitas no dia do teste, para acabar de definir as possíveis melhorias.
Validade interna
Durante o processo de criação, se valida cada teste ConMat para garantir que ele está adaptado ao nível dos alunos. Essa validação é realizada em uma pequena amostra de escolas que ajudaram no piloto. A questão, portanto, é se o teste é adequado para a grande maioria. Nesta parte, a validade interna é avaliada com dados de mais de 100 000 estudantes do 3º ao 7º ano do Ensino Fundamental, que são os anos para os quais o ConMat está disponível no ano letivo de 2024-2025.
Uma das melhores maneiras de saber se um teste faz uma boa medição e é adequado para a população testada é usando a chamada teoria da resposta ao item, ou item response theory (IRT) em inglês. Em termos gerais, o IRT se baseia na ideia de relacionar o nível geral (estimado) dos participantes com as habilidades medidas por cada pergunta (item) do teste. Esse tipo de análise é usado por testes como o PISA ou o TIMSS para validar a adequação das perguntas e calcular o nível estimado de cada estudante.
No entanto, há mais aspectos para validar internamente a robustez de um teste. O parâmetro alfa de Cronbach é uma medida que nos ajuda a saber se um conjunto de perguntas dentro do teste mede o mesmo conceito e se essas perguntas são coerentes entre si.
Também é importante observar a estabilidade temporal do teste, ou seja, se ao medir o nível da turma em várias ocasiões com esse teste, os resultados se mantêm semelhantes ao longo do tempo.
Para realizar essas análises com o máximo de rigor, colaboramos com Judith Peñafiel e Arnau Lagarda, do IDIBELL, que analisaram externamente o ConMat do final do ano passado (2023-2024). O documento técnico com todos os resultados pode ser consultado aqui. Mas vamos seguir passo a passo e ver em detalhes como a validade interna do ConMat foi analisada.
Teoria de resposta ao item
A IRT tem como objetivo relacionar o nível geral (estimado) dos participantes do teste com as habilidades medidas por cada item do teste. No caso do ConMat, foi utilizado o modelo 3PL (Three-Parameter Logistic, logística de 3 parâmetros), e os critérios de validade foram definidos de acordo com o artigo técnico de Bichi e Talib (2018). Para entender melhor o que é a IRT, devemos saber que cada item ou pergunta gera uma curva deste estilo, chamada de curva característica do item (ICC, na sigla em inglês).
Adaptação da figura de Bichi e Talib (2018), que mostra um exemplo de ICC. No eixo x, vemos o nível estimado do aluno, que é padronizado de modo que o nível médio seja 0. A sigmoide vermelha indica a probabilidade (eixo y) de que um aluno específico, de acordo com o nível estimado segundo o teste, responda corretamente a esse item específico. Uma probabilidade igual a 1 indica que, segundo o modelo, o aluno com certeza responderá bem ao item,enquanto que uma probabilidade 0 indica que o estudante com certeza responderá mal ao item.
Vejamos agora que tipo de curvas estamos interessados em obter para considerar a pergunta válida.
No modelo 3PL, há três fatores principais que nos interessa definir:
Diferenciação do item (também chamado de parâmetro a): permite verificar se o item é capaz de diferenciar os diversos níveis. Isso ocorrerá quando a probabilidade de que os alunos do nível superior respondam corretamente ao item for maior do que a de que os alunos de nível inferior respndam bem. Neste caso, na Figura 2, o fator a cresce proporcionalmente à inclinação da curva, ou seja, será maior quando for maior a diferenciação entre alunos de níveis diferentes (consulte a Figura 3 para obter mais exemplos).
Dificuldade do item (também chamado de parâmetro b): indica em que ponto a curva ICC é mais acentuada. Isso é o que, na Figura 2, chamamos de média (average, em inglês) e indica em que ponto há maior diferenciação entre alunos de nível mais alto e alunos de nível mais baixo. Quanto mais à esquerda estiver a média da inclinação, mais fácil será o item (veja mais exemplos na figura 3).
Acerto aleatório (também chamado de parâmetro c): este último parâmetro indica a probabilidade de que alunos com um nível muito baixo acertem a resposta. No caso do ConMat, dados que os itens são de múltipla escolha e há 4 respostas possíveis, esse valor deveria estar em torno de 0,25. Na figura 2, o fator c será igual no ponto extremo esquerdo da curva. Embora esse valor possa ser importante para averiguar se é necessário iterar as respostas propostas para um determinado item, neste artigo não entraremos em muitos detalhes sobre isso, já que não é tão relevante quanto os outros fatores para determinar a validade de um teste, mas veja a figura 3 para entender como ele pode ser útil.
Exemplos do ICC de algumas perguntas do ConMat4. A linha tracejada vermelha indica o parâmetro b ou a dificuldade do item. Vemos que os itens em cada coluna têm dificuldades diferentes, mas os das linhas têm dificuldades semelhantes. Por exemplo, observamos que a questão 9 (b= -1,50) é bem mais fácil do que a questão 12 (b = 0,52). Ou seja, há uma probabilidade muito alta de que os alunos de nível padronizado 0 respondam bem a pergunta 9, mas há uma menor probabilidade de que respondam bem o item 12. Por outro lado, em termos de diferenciação de itens, vemos uma grande diferença entre os itens da primeira linha. O item 9 (a= 2,07) tem uma inclinação mais acentuada do que o item 21 (a= 0,56). Portanto, ele é mais preciso ao diferenciar os níveis. Em outras palavras, a diferença entre a probabilidade de acerto de cada item comparando os níveis -1,5 e 0 (eixo x) é maior para o item 9 (de 50% de probabilidade de acerto no nível -1,5 para quase 100% de probabilidade de acerto no nível 0) do que para o item 21 (de 50% no nível -1,5 para menos de 75% no nível 0). Ou seja, embora os dois itens tenham dificuldade semelhante, o item 21 será mais preciso ao diferenciar os alunos de nível -1,5 e 0. Por último, analisamos o fator de c ou fator de acerto aleatório. Neste caso, os elementos da linha inferior têm um valor c mais alto do que os da linha superior. Ou seja, não importa o quanto seja baixo o nível da turma, nos itens 22 e 12 os alunos com baixo desempenho terão probabilidades de acertar a resposta. No caso da pergunta 22, esse valor é superior a 25%, o que indica que é muito pouco provável que uma das quatro respostas seja marcada por algum aluno. Por outro lado, as perguntas 21 e 29 têm valores de c abaixo de 25%, o que pode indicar que há alguma armadilha na qual uma grande parte dos alunos de baixo desempenho vai cair.
Critérios de Bichi e Talib (2018) para definir se um item é adequado ou não.
Diferenciação do item (a). Se a for menor ou igual a 0,64, isso significa que o item deve ser excluído ou precisa ser revisado. Se for de 0,64 a 1,34, significa que o item é suficientemente válido, embora possa ser ligeiramente revisado, se necessário. A partir de 1,35, o item é considerado bom para diferenciar entre os níveis.
Dificuldade do item (b). Se b for menor que -2, isso indica que o item é muito fácil; de -2 a -1 indica que é fácil; de -1 a 1 indica que é moderadamente difícil; de 1 a 2 indica que é difícil; e acima de 2 indica que é muito difícil. Observe que os valores do nível da turma são padronizados de modo que 0 seja o nível médio de todas as respostas.
A partir dessas curvas que obtemos para cada pergunta ou item, podemos criar o que chamamos de curva informativa do teste (TIC, na sigla em inglês). Esta curva mostra quanta informação (ou precisão) o conjunto do teste tem sobre os diversos níveis de habilidade (θ) dos estudantes. Ela combina as informações fornecidas por cada item e mostra em que ponto ele é melhor para diferenciar traços (ou níveis) latentes. Portanto, ele nos ajuda a ter uma visão geral da validade do teste e saber se ele é suficientemente informativo para diferenciar os níveis. Vamos ver um exemplo!
Exemplo de uma curva de informativa do teste (TIC) do ConMat5. O eixo x indica o nível padronizado dos alunos (θ), enquanto o eixo y indica a quantidade de informação que o teste é capaz de fornecer sobre cada nível [I(θ)]. Em outras palavras, até que ponto o teste serve para identificar alunos com um determinado nível θ. Por outro lado, a linha tracejada mostra o erro padrão da medida (SE), o qual está inversamente relacionado com a curva de informação. Quanto mais informações o teste fornecer sobre o nível, menor será o erro padrão, o que indica que a medida é mais precisa. Em geral, queríamos que o teste fosse muito bom para diferenciar alunos em torno do nível 0 e que a curva fosse ampla o suficiente para diferenciar alunos com níveis que se aproximassem mais dos extremos. Levando em conta os critérios de Bichi e Talib (2018), a maioria da população deveria estar incluída nos extremos de -2 a 2 (lembrando que os itens abaixo de -2 são considerados muito fáceis, e os itens acima de 2 são considerados muito difíceis). Portanto, é importante que, dentro desse intervalo, a curva contínua vermelha forneça informações suficientes I(θ) e, acima de tudo, que o valor I(θ) esteja acima do valor da curva tracejada [SE(θ)].
Quais foram os resultados dos testes ConMat?
Para responder essa pergunta, mostramos uma tabela com o resumo dos resultados. Ela se baseia nos parâmetros de Bichi e Talib (2018) definidos anteriormente.
Tabela 1. Resumo qualitativo dos resultados da IRT levando em conta os fatores a (diferenciação de níveis) e b (dificuldade do item). Os itens são considerados ótimos quando exigem uma revisão (a ≤0,64) e são considerados bons ou muito bons quando a ≥1,35. Por outro lado, o ideal é que os itens sejam distribuídos em vários níveis, mas se o objetivo do teste for diferenciar os níveis da maioria da população, o melhor é que haja poucos (ou nenhum) itens nos níveis “muito fácil” e “muito difícil”. Abaixo de cada teste (linha), é indicado o tamanho da amostra (N), ou seja, quantos alunos fizeram o teste. Os números que estão dentro das casas indicam a quantidade de itens do teste na coluna correspondente.
*Um dos dois itens (16) tem um a negativo (-0,67) devido a um erro técnico na correção do resultado e, portanto, não está relacionado ao item que precisa de revisão.
Por outro lado, na figura a seguir, é possível ver um resumo de todas as TIC que, de forma geral, demonstram a qualidade do teste, identificando os alunos com determinados níveis estimados (θ).
TIC de cada teste ConMat. O eixo x indica o nível estimado dos alunos no modelo IRT (indicado pelo símbolo θ), padronizado com média no 0. O eixo y à esquerda mostra a quantidade de informação que o teste fornece de acordo com o nível, I(θ). Quanto maior ele for, mais informações fornecerá. O eixo y à direita mostra qual é o erro padrão da medida do teste, SE(θ). Quanto mais baixo ele for, mais preciso será o teste ao diferenciar os alunos de nível θ.
Tanto a tabela quanto as curvas TIC mostram que todos os testes ConMat têm boa validade, uma vez que estão bem adaptados ao nível da maioria da população à qual foram aplicados e permitem a diferenciação entre os níveis. Vamos dar uma olhada em um resumo disso:
Como mostra a primeira coluna da tabela 1, a maioria dos itens em todos os testes são bons para diferenciar entre alunos de níveis diferentes e não precisam ser revisados.
Há variação suficiente entre o nível dos itens e a capacidade de diferenciação em cada nível (tabela 1, colunas 3-7), o que faz com que os testes sejam, em geral, bons para diferenciar estudantes de níveis diferentes no intervalo de -2 a 2 (figura 5). Por outro lado, como há poucos itens “muito fáceis” (b <-2, tabela 1 – coluna 3) ou “muito difíceis” (b > 2, Tabela 1 – coluna 7), o teste é bem menos preciso na diferenciação dos alunos com níveis que se situam nos extremos. Em outras palavras, se um aluno tiver um nível muito baixo ou muito muito baixo, o teste provavelmente não será capaz de diferenciá-los. O mesmo se aplica a alunos de nível muito alto ou muito muito alto.
Em geral, os testes fornecem mais informações nas proximidades do nível 0, ou seja, em torno do nível médio da população que fez o teste (Figura 5). No entanto, com exceção do ConMat6, o pico das curvas TIC está ligeiramente deslocado para a direita (o caso mais claro é o do ConMat3, em que o pico está em torno de 0,7). Isso significa que o teste é um pouco difícil demais ou que os itens ligeiramente difíceis são os que permitem a melhor diferenciação entre os níveis da turma.
As curvas TIC do ConMat5, do ConMat6 e do ConMat7 têm um pico mais alto (fornecem mais informações em torno do nível 0) do que as curvas TIC do ConMat3 e do ConMat4. Esse resultado provavelmente se deve a que a maturidade dos alunos desempenha um papel importante. Quanto mais maduros eles são, mais consistentes são as suas respostas e mais fácil é medir sua competência matemática. Por outro lado, em idades mais jovens, fatores como a compreensão leitora, ou o fato de que os alunos estão menos treinados para submeter-se a um teste de 1 hora de duração, podem gerar alguma aleatoriedade e tornar a teoria da resposta ao item (ITR) um pouco menos precisa.
Alfa de Cronbach
É amplamente utilizado em psicologia, educação e pesquisa social para verificar a confiabilidade de um questionário ou teste. Quando um teste tem um alfa de Cronbach acima de 0,7, geralmente é considerado suficientemente consistente (Taber, 2018). No caso do ConMat, todos os testes mostraram um valor acima de 0,7, com intervalo de 0,78 para o ConMat3 a 0,85 para o ConMat6, que foi o mais alto. Como nas análises anteriores, vemos que os testes são um pouco menos robustos em idades mais baixas, embora, de acordo com os critérios de Taber (2018), eles sejam suficientemente robustos em todas as idades.
Estabilidade temporária
Permite confirmar que as respostas de um teste não são absolutamente aleatórias e que medem o conhecimento matemático da turma de forma robusta. Neste caso, o objetivo é aplicar o teste mais de uma vez e ver se as respostas da turma se mantêm consistentes ao longo do tempo. No caso do ConMat, o teste é aplicado duas vezes, no final de um ano acadêmico e no início do ano seguinte. Neste caso, os testes do final do ano letivo de 2023-2024 foram comparados com os testes do início do ano letivo de 2024-2025. Todos os testes foram comparados, exceto o ConMat6, devido ao salto de etapa.
Para verificar a estabilidade temporal, podemos observar a correlação entre as duas vezes em que o teste foi aplicado ou as diferenças entre os resultados das duas aplicações por meio de um teste estatístico, como por exemplo, um teste t pareado.
Neste caso, todos os testes têm um resultado semelhante. A correlação (Spearman) entre os dois testes é superior a 0,7 em todos os casos, exceto para o ConMat7, que é de 0,65. Para os demais, o intervalo vai de 0,71 no ConMat3 a 0,8 no ConMat5. Esses valores indicam uma forte correlação entre os dois testes. Por outro lado, as diferenças entre os resultados do final do ano e o início do ano seguinte são, em todos os casos, pequenas, com tamanhos de efeito(d de Cohen) inferiores a 0,15.
Validade externa
Depois de obedecer um processo de criação rigoroso seguido e verificar a validade interna do testo, resta a última etapa. Estamos realmente medindo a competência matemática da turma?
Uma boa maneira de responder essa pergunta é correlacionar os resultados dos ConMat com os resultados de outros testes matemáticos externos. Como? Obtivemos dados de testes externos por meio de perguntas de edições antecessoras dos testes oficiais e elaboramos uma adaptação que segue a estrutura apropriada. Isso é o que chamamos de exames simulados, que oferecemos às escolas como um ensaio para o teste oficial. No ano acadêmico de 2023-2024, usamos os testes oficiais de Nova Jersey (EUA) no 3º e 4º anos do EF, o teste de matemática TIMSS no 4º ano (no México) e no 5º ano (na Catalunha, Espanha) e o teste de competências básicas para o 6º ano na Catalunha.
Podemos correlacionar os dados obtidos por meio desse teste com os dados dos ConMat que os mesmos alunos fizeram no final do ano letivo. Ou seja, tentamos verificar se os alunos com pontuação alta em um teste tendem a obter uma pontuação alta no outro, e vice-versa. A correlação do ConMat com cada adaptação de teste externo é mostrada abaixo.
Nota para interpretação dos gráficos: no gráfico de correlação, vemos uma nuvem de pontos, em que cada ponto representa um estudante com sua pontuação nos dois testes. A linha do modelo linear é uma reta que tenta representar a tendência geral dos dados. Se a linha subir da esquerda para a direita, isso significa que há uma relação positiva (os alunos com boas notas em um teste também obtêm boas notas no outro teste). Se a linha descer, isso significa que a relação é negativa. A área cinza representa o intervalo de confiança de 95%, o qual indica a margem de erro da previsão feita pelo modelo. Quanto mais estreita a faixa, mais confiança temos no modelo. Se a área for muito ampla, isso significa que há muita variabilidade e que a relação entre os dois testes não está totalmente clara. Por último, examinaremos os parâmetros R (correlação de Pearson). R indica a força e a direção da relação entre as duas variáveis. Um R maior que 0,7 é considerado uma correlação positiva alta.
Em todos os casos, observamos uma alta correlação positiva (R > 0,7, exceto no TIMSS do 4º ano, no qual a correlação também está próxima de 0,7). Em outras palavras, os resultados obtidos pelos alunos no ConMat são muito semelhantes aos resultados obtidos nas adaptações de outros testes externos.
Conclusão
Com base em todos os dados obtidos e nas análises realizadas, temos evidências de que o ConMat é válido e útil para medir a competência matemática da turma. Em resumo, podemos dizer que:
Há um processo rigoroso para a criação do ConMat que permite que o teste resultante tenha as propriedades esperadas.
A análise da validade interna, usando a teoria da resposta ao item, demonstra que o teste pode diferenciar os diversos níveis e está adaptado ao nível geral da população testada. Além disso, o teste é robusto em todas as questões, como demonstra o alfa de Cronbach, e tem boa estabilidade temporal, como demonstra a comparação entre o ConMat do final do ano letivo e o do início do ano seguinte.
A validação externa mostra que o teste mede habilidades semelhantes às de outros testes matemáticos elaborados por especialistas externos à Innovamat.
Referências
Bichi, A. A., i Talib, R. (2018) Item Response Theory: An Introduction to Latent Trait Models to Test and Item Development. International Journal of Evaluation and Research in Education, 7, 142-151. https://doi.org/10.11591/ijere.v7i2.12900
Cohen, R., i Swerdlik, M. (2009). Psychological Testing and Assessment: An Introduction to Tests and Measurement (7th ed.). Nova York: McGraw Hill.
Taber, K. S. The Use of Cronbach’s Alpha When Developing and Reporting Research Instruments in Science Education. Res Sci Educ 48, 1273-1296 (2018). https://doi.org/10.1007/s11165-016-9602-2
