Felipe Rau/Estadão
Felipe Rau/Estadão
Imagem Renata Cafardo
Colunista
Renata Cafardo
Conteúdo Exclusivo para Assinante

A confusão do Enem

Calibragem foi afetada após provas serem corrigidas usando gabaritos errados

Renata Cafardo*, O Estado de S.Paulo

02 de fevereiro de 2020 | 05h00

O problema do Enem é que ninguém entende o Enem. Desde 2009, quando o Exame Nacional do Ensino Médio virou um vestibular maluco em que cada acerto não vale um acerto, as confusões se sucedem. Nesses dez anos de provas já houve todo tipo de problema: roubo, tema da Redação vazado, gabaritos atrapalhados. E, por mais que sejam erros diferentes, o fato de o exame usar um modelo estatístico complexo faz com que alunos, ministros e toda a sociedade nunca consigam compreender o que aconteceu.

A Teoria de Resposta ao Item (TRI), utilizada no Enem e em provas respeitadas como o Pisa, o maior exame de estudantes do mundo, tem várias etapas. Não se trata apenas de o Ministério da Educação (MEC) elaborar perguntas, saber quais são as respostas certas, corrigir e dar a nota.

As questões são feitas por professores de universidades federais e, depois, precisam ser testadas. Ser aplicadas a pessoas com perfil semelhante aos que farão o Enem (alunos do ensino médio) para ver o que acontece. Identificar as consideradas difíceis, muito fáceis ou que induzem ao erro por estarem malfeitas. É como um Enem de mentira, feito antes do verdadeiro.

Sim, já houve fraude também com questões desse pré-teste que foram guardadas por uma escola que participou. Isso porque as boas perguntas são aplicadas depois iguaizinhas no Enem. É uma etapa arriscada, mas essencial.

Só depois, são escolhidas as questões que farão parte da prova (as ruins são eliminadas). As respostas do pré-teste são usadas para determinar três parâmetros da TRI para cada questão: nível de dificuldade, capacidade de discriminação e probabilidade de acerto ao acaso. As questões são colocadas em posições diferentes da escala do Enem, que em geral fica entre 400 e 1000, conforme a dificuldade.

A nota do participante do Enem considera o conjunto de respostas. Não importa só quantas questões ele acertou, mas quais e se esses acertos são coerentes. Por exemplo, errar questões fáceis e pontuar as difíceis é penalizado porque indica acerto ao acaso. Dizem que a nota é probabilística: indica a probabilidade de o aluno acertar ou errar as questões. O aluno que recebe nota 800 tem mais de 90% de chance de acertar um item de dificuldade 800, já o de nota 600 tem 35% de chance de fazer o mesmo.

No entanto, como já aconteceu em outros anos, neste Enem foram usadas muitas questões que não passaram pelo pré-teste. Não se sabia se tinham nível 600 ou 800. Isso porque desde sempre o Inep, responsável pela prova, não tem uma quantidade de itens bons em seu estoque. Este ano, Bolsonaro ainda resolveu colocar uma comissão para censurar um tanto. Não houve tempo para pré-testar tudo.

Foi preciso nivelar as novas questões, então, no próprio Enem. E, quando as provas foram corrigidas usando gabaritos errados, lambança deste ano, o que o estudante acertou foi computado como um erro, e vice-versa. A questão foi tida como difícil, mas era fácil. E isso infecta a calibragem toda.

O MEC diz que fez essa calibragem com uma amostra de respostas. E que, dentro dela, havia poucas de gabaritos errados, o que seria estatisticamente insignificante. A calibragem, portanto, foi feita antes de o Inep descobrir o erro de gabaritos.

Mas muitos especialistas dizem que era preciso calibrar tudo de novo, depois de corrigir as provas usando gabaritos certos. Caso contrário, aumenta-se a margem de erro das notas e, assim, a capacidade de selecionar diminui. Ao falar do Enem, falamos de vagas em Medicina, Direito, Engenharia. A nota vai para o também tão falado Sisu e a concorrência começa. Décimos decidem quem entra e quem sai. Não dá pra deixar pra lá. Toda essa confusão difícil de entender afeta o futuro de milhões de jovens brasileiros.

Encontrou algum erro? Entre em contato

O Estadão deixou de dar suporte ao Internet Explorer 9 ou anterior. Clique aqui e saiba mais.