Enem exige que questões sejam pré-testadas com grupos pequenos de alunos

Pré-teste permite calibrar grau dificuldade do exame e torná-lo comparável ao longo dos anos

PUBLICIDADE

Por Carlos Lordelo , e Paulo Saldaña e de O Estado de S. Paulo
Atualização:

Todas as questões do novo Enem são previamente submetidas a alunos do 2.º ano do ensino médio e do 1.º ano do ensino superior. O chamado pré-teste serve para verificar quais perguntas são consideradas fáceis, médias e difíceis para um público com perfil semelhante ao que presta o exame. Com essa informação, o Inep consegue montar provas com o mesmo nível de dificuldade, apesar de questões diferentes.

 

PUBLICIDADE

Em 2009, cerca de 50 mil estudantes das redes pública e privada fizeram o pré-teste em 10 capitais. A Consultec Consultoria em Projetos Educacionais e Concursos foi contratada na ocasião. O edital do pregão eletrônico previa um custo de R$ 1,737 milhão, mas o valor final caiu para R$ 939,5 mil.

 

No ano seguinte, o Inep dispensou licitação e contratou por R$ 6,191 milhões o consórcio formado pela Fundação Cesgranrio e FUB/Centro de Seleção e de Promoção de Eventos (Cespe). O pré-teste foi aplicado para 100 mil pessoas em 40 municípios.

 

O pré-teste está no centro da polêmica envolvendo a coincidência de 9 questões de um simulado de uma escola cearense com as provas do Enem. O Colégio Christus, de Fortaleza, foi local de aplicação do pré-teste no ano passado. A PF suspeita que um funcionário da escola teria subornado um fiscal para obter cópias dos cadernos de questões.

 

TRI

 

A fase de pré-teste serve para calibrar a dificuldade das provas do Enem, que tem como espinha dorsal a Teoria da Resposta ao Item (TRI), conjunto de modelos matemáticos já usado em exames internacionais como o Pisa.

 

Em qualquer exame, há questões mais complicadas do que outras. A diferença com a TRI é que os itens mais difíceis, ou seja, os que menos candidatos acertam, valem mais pontos que os demais. Ou seja, um estudante pode ter pontuação mais alta acertando menos questões que outro.

Publicidade

 

Após o pré-teste, os itens com enunciados ruins são descartados e os técnicos do Inep montam uma régua para determinar o peso de cada uma das questões. Assim como as questões, o desempenho dos alunos é colocado em uma escala de dificuldades.

 

O candidato só consegue avaliar seu desempenho no Enem quando o Inep divulga as notas máxima e mínima de cada uma das provas: Ciências Humanas, Ciências da Natureza, Linguagens e matemática. A redação não segue a TRI.

 

Coincidência

 

Segundo o professor da Universidade Federal de Juiz de Fora (UFJF) Tufi Machado Soares, especialista em TRI, para se evitar a coincidência de questões entre o pré-teste e a prova, o banco do Inep deveria ter no mínimo 10 mil questões sobre cada uma das quatro áreas do conhecimento.

 

Quando o novo modelo de Enem foi adotado, em 2009, havia cerca de 2 mil questões disponíveis. O Estado apurou que a meta do Inep era conseguir levantar um montante de 30 mil, mas o número visto como ideal ficava em torno de 50 mil. Este ano, sete universidades federais receberam R$ 100 mil cada por elaborarem questões para o banco de itens do Enem.

 

“O modelo do pré-testes é uma coisa a se pensar. Realmente na forma em que ele está sendo realizado parece deixar essa brecha. O ideal é ter um banco grande para não depender de questões pré-testadas recentemente”, afirma Soares.

 

“Se há 50 mil questões, você pode até torná-las públicas porque a chance de alguém decorar todas elas é nula”, completa Soares. Segundo ele, uma questão deve ser pré-testada mil vezes para que seja realizada a calibragem da dificuldade.

Publicidade

 

Segurança

 

Em reportagem do Estado publicada em agosto de 2009, antes da realização da primeira edição do novo Enem, a segurança do pré-teste foi questionada por especialistas. Alguns temiam fraudes, já que as questões passam pelas mãos de milhares de alunos e pessoas contratadas para aplicar as provas. Outros argumentavam que essa é uma prática comum nos EUA e em exames internacionais que já usam a TRI. Para eles, seria quase nula a possibilidade de a prova vazar.

 

A empresa e os aplicadores dos pré-testes em 2009 e 2010 tiveram de assinar um termo e seguir procedimentos de sigilo, como apagar arquivos de banco de dados e picotar duplamente materiais impressos que sobrassem. As provas foram enviadas para Brasília para que os técnicos do Inep tabulassem os dados. Depois, o material foi incinerado.