Perícia no Inep revela fragilidades na metodologia do Enem 2016
Investigação identifica problemas na avaliação de 2016
Uma perícia realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) identificou fragilidades significativas no sistema de pontuação utilizado no Enem 2016. A perícia foi encomendada pelo Ministério Público Federal (MPF) em Uberlândia, Minas Gerais, após ação judicial que questionava a aplicação do exame em duas datas distintas com contingentes de candidatos muito desproporcionais.
O exame nacional foi realizado em duas ocasiões no ano de 2016 devido às ocupações estudantis que ocorreram em escolas públicas brasileiras. A primeira aplicação aconteceu nos dias 5 e 6 de novembro, contando com aproximadamente 5,8 milhões de participantes, enquanto a segunda edição, realizada em 3 e 4 de dezembro, registrou menos de 170 mil candidatos. Essa discrepância numérica levantou questionamentos sobre possíveis impactos nos resultados finais obtidos pelos estudantes de cada aplicação.
Detalhes da investigação técnica
O trabalho de análise foi conduzido por Tufi Machado Soares, professor do Departamento de Estatística e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed) da Universidade Federal de Juiz de Fora. O profissional possui reconhecida experiência em Teoria da Resposta ao Item (TRI), metodologia fundamental para a pontuação do Enem, e anteriormente integrou o conselho científico do exame.
Durante a análise da perícia no Inep, entre os dias 5 e 9 de fevereiro de 2018, o perito teve acesso a informações sigilosas sobre o desempenho dos candidatos. O resultado deste trabalho técnico foi consolidado em um extenso documento com 207 páginas, encaminhado ao Ministério Público Federal para avaliação.
Principais fragilidades identificadas
O laudo técnico da perícia no Inep elencou diversos pontos críticos no sistema de pontuação, ordenados conforme sua relevância. O primeiro aspecto refere-se à quantidade insuficiente de itens comuns previamente calibrados durante os pré-testes e incorporados nas provas regulares. Em segundo lugar, destacou-se o tamanho reduzido das amostras utilizadas na calibração em alguns processos de pré-teste, comprometendo a confiabilidade estatística.
O terceiro ponto aborda a falta de precisão com que os resultados do Enem são divulgados ao público, limitando a transparência das avaliações. Por fim, observou-se a ausência de informações disponibilizadas aos candidatos sobre a qualidade técnica dos testes e das medidas aplicadas. Esses problemas evidenciam lacunas no processo de construção e validação do exame.
Comparação entre as duas aplicações
A análise técnica revelou que nas disciplinas de Ciências Humanas e Ciências da Natureza, ambos os testes apresentaram níveis praticamente equivalentes de precisão em praticamente todos os segmentos de proficiência. No entanto, o teste de Ciências da Natureza aplicado na segunda ocasião demonstrou ser ligeiramente menos desafiador.
As maiores diferenças identificadas ocorreram nas disciplinas de Linguagens e Códigos e Matemática. Na primeira disciplina, houve vantagem observada para os candidatos que realizaram a primeira aplicação, enquanto na segunda, os candidatos da segunda prova obtiveram melhores desempenhos relativos. As variações menos pronunciadas foram encontradas em Ciências da Natureza.
Limitações da análise comparativa
Apesar das descobertas significativas, o perito ressalvou que não é possível executar uma análise completa de comparabilidade para todos os casos individualmente, considerando todas as dimensões do exame nacional. Segundo Soares, cada situação específica de estudante demandaria análise isolada, o que provavelmente não conduziria a conclusões definitivas na maioria das circunstâncias.
O professor também apresentou sugestões de alterações na metodologia de elaboração das provas e nos processos de divulgação dos resultados. Essas recomendações buscam aprimorar a qualidade técnica e a transparência do Enem em futuras edições.
Resposta do Inep às conclusões
O Inep emitiu comunicado oficial informando que não foi notificado formalmente sobre os resultados específicos da perícia no Inep. A instituição afirmou contar com consultoria de diversos especialistas renomados em análise estatística e psicométrica de avaliações em larga escala. O instituto declarou total confiança na metodologia adotada desde 2009, a qual é reconhecida tanto no cenário nacional quanto internacional.
Em sua nota, o Inep ressaltou que o laudo técnico representa "uma opinião isolada", deixando implícita sua discordância com as conclusões apresentadas. A instituição reafirmou que se pronunciaria adequadamente assim que fosse oficialmente notificada sobre o conteúdo da perícia no Inep.
Próximos passos da investigação
O procurador da República Leonardo Macedo, responsável pelo inquérito civil que investiga possíveis irregularidades na aplicação do Enem 2016, informou que encaminhou o resultado da perícia no Inep tanto para a instituição quanto para os estudantes que manifestaram sentir-se prejudicados. Macedo explicou que o laudo é extenso e não apresenta uma conclusão única e definitiva.
O procurador anunciou que serão concedidos prazos para análise detalhada do documento por todas as partes interessadas. Posteriormente, será agendada uma audiência pública onde diferentes perspectivas sobre o assunto serão apresentadas. Somente após essa etapa o Ministério Público Federal definirá as medidas apropriadas a serem tomadas.
Segundo informações do MPF, ainda não existe previsão definida para a realização desta audiência pública. O procurador descreveu a situação como delicada, afirmando que a instituição agirá com cautela. Macedo mencionou que, após a audiência, o MPF analisará diferentes alternativas, que podem incluir pedidos de indenização aos estudantes prejudicados, revisão de notas ou outras medidas cabíveis.
Contexto das duas aplicações em 2016
A realização de duas aplicações do Enem em 2016 foi consequência de uma onda de ocupações estudantis que se propagou por diversas escolas públicas em 23 estados brasileiros e no Distrito Federal. Esses protestos, que tiveram início em outubro de 2016, questionavam medidas governamentais como a reforma do ensino médio e propostas de emendas constitucionais.
Dado que muitas das unidades escolares que serviriam como locais de provas estavam ocupadas, o Ministério da Educação foi forçado a adiar a aplicação do Enem para mais de 270 mil candidatos. Na época, as autoridades governamentais asseguraram que haveria isonomia na avaliação de todos os candidatos, independentemente da data em que realizassem as provas.
A primeira aplicação, realizada nos dias 5 e 6 de novembro, registrou aproximadamente 5,8 milhões de participantes com abstenção de cerca de 30%. A segunda aplicação, ocorrida em 3 e 4 de dezembro, contou com aproximadamente 277 mil inscritos, dos quais apenas cerca de 166 mil compareceram, resultando em uma taxa de abstenção de aproximadamente 40%.
Reclamações de candidatos após divulgação de resultados
A investigação conduzida pelo Ministério Público Federal teve origem após a divulgação dos resultados do Enem 2016 em janeiro de 2017. Diversos estudantes de diferentes regiões do país procuraram o MPF manifestando insatisfação com as notas obtidas, particularmente aqueles que realizaram a segunda aplicação. Os candidatos alegavam que suas pontuações eram significativamente inferiores às notas de estudantes que participaram da primeira aplicação.
Análises preliminares realizadas pelo MPF sobre as notas dos candidatos que apresentaram reclamações confirmaram diferenças substanciais quando comparadas aos resultados da primeira aplicação. O procurador Macedo apontou que a metodologia da Teoria da Resposta ao Item pode ter contribuído para essa disparidade, uma vez que considera variáveis como percentual de candidatos participantes e níveis de abstenção em cada aplicação.