Por que questões iguais no Enamed e no Revalida foram anuladas pelo Inep em apenas um dos exames?

Nas redes sociais, desde que o gabarito oficial foi divulgado, na última sexta-feira (12), candidatos protestaram contra uma suposta falta de isonomia na correção das provas, aplicadas em 19 de outubro. Afinal de contas, não houve uma explicação imediata que justificasse o tratamento diferente para perguntas que eram idênticas.

➡️Quando questionado pelo g1, o Inep explicou que um dos três itens teve um erro de digitação no Caderno 2 do Enamed, e, por isso, foi cancelado só neste exame — e mantido no Revalida. Os outros dois estavam conceitualmente corretos, mas tiveram de ser anulados (também no Enamed) por causa da TRI.

Mais uma vez, a reportagem pediu uma justificativa mais detalhada e, após receber a resposta do Inep, consultou especialistas externos para analisar o que ocorreu. Antes de entender os esclarecimentos, veja a diferença entre as provas:

Enamed:

• Avaliação que mede o desempenho de estudantes de Medicina e que pode ser usada na seleção de vagas para residentes.
• É corrigida pela Teoria de Resposta ao Item (TRI), mesmo método do Exame Nacional do Ensino Médio (Enem). Ou seja: a nota final não é a simples soma dos acertos, e sim uma medida da “coerência” do desempenho. Se o aluno acertar as perguntas mais difíceis e errar as mais fáceis, terá uma pontuação mais baixa, por provavelmente ter “chutado”.
• No processo de residência, a prova vai gerar uma classificação: aqueles que tirarem as notas mais altas do grupo serão aprovados.

Revalida:

• Prova que avalia médicos formados no exterior para que possam trabalhar no Brasil.
• É corrigida pela teoria clássica dos testes: a nota final é a simples contagem de acertos do aluno. Duas pessoas que acertarem 60 questões terão exatamente o mesmo resultado, não importando se as perguntas respondidas corretamente eram fáceis ou difíceis.
• Ao contrário do Enamed, não é uma competição entre candidatos. Todos os que atingirem a nota mínima poderão ser classificados para a segunda etapa de validação do diploma. Não há um número máximo de vagas nem uma comparação entre os desempenhos dos estudantes.

• O primeiro caso é mais simples de ser explicado. A questão 10 tinha uma diferença no texto do caderno 1 e do caderno 2 do Enamed (“palpação na região inguinal direita” (correta)/ “palpação em fossa ilíaca direita”). Para que os alunos que receberam o caderno 2 não fossem prejudicados, ela foi anulada. No Revalida, não houve erro.
• As outras duas foram cortadas só do Enamed por “questões técnicas relacionadas à Teoria de Resposta ao Item (TRI)”, como “ajustes estatísticos”.

“Essas duas questões apresentaram desajustes em relação ao modelo da TRI, adotado para cálculo das proficiências, e não foram consideradas para a produção do resultado dos participantes”, informou o Inep.

O primeiro passo é entender os três parâmetros da TRI:

• nível de dificuldade da habilidade cobrada (valores maiores representam questões mais difíceis);
• discriminação (mostra o quanto a questão diferencia participantes que dominam a habilidade daqueles que não dominam);
• acerto casual (representa a chance de acertar por “chute”).

Tadeu da Ponte, matemático, especialista em inteligência artificial em avaliações e ex-coordenador do vestibular do Insper, explica que, após a aplicação de um exame, o resultado dos alunos pode mostrar que a TRI teve algum “desequilíbrio” ou “desajuste”. Por exemplo:

• uma pergunta não “discriminou” corretamente (isso significa que os candidatos mais proficientes não acertaram mais do que aqueles menos proficientes, ou seja, o item não serviu para separar os melhores alunos dos mais fracos);
• uma questão apresentou “discriminação” invertida (os mais proficientes acabaram acertando menos do que aqueles que estavam menos preparados. “Isso pode ocorrer por ambiguidade, erro de gabarito, enunciado mal construído ou conteúdo fora do esperado”, explica da Ponte.

“Nesse caso, o item não está medindo a proficiência do jeito certo: ele vira ruído e pode deformar a estimação das notas — especialmente em um exame cujo uso envolve comparação fina entre candidatos”, completa o matemático.

“Isso não é contradição: é consequência direta das finalidades diferentes dos exames e dos pressupostos diferentes de cada modelo de nota.”

O g1 ouviu infectologistas para entender se as perguntas anuladas no Enamed e mantidas no Revalida encaixavam-se em alguma possibilidade de erro técnico. Segundo eles, não ocorreu nenhuma falha conceitual. Veja abaixo:

Quimioprofilaxia (pergunta 40)