Maneira como as questões do Enem são testadas mostra que Teoria de Resposta ao Item não existe
A tradicional falta de transparência sobre as políticas educacionais do País dificulta o entendimento dos equívocos e erros nos processos relacionados ao Exame Nacional do Ensino Médio. Sem dados, é quase impossível fazer uma discussão mais qualificada do que a proposta pelos títulos de jornais e pelas chamadas de TV no caso da antecipação de questões do exame por colégio de Fortaleza.
Porque uma escola divulgou em simulado itens que caíram no Enem 2011, hoje sabemos que ospré-testes de questões em 2010 contaram com 32 cadernos diferentes, dos quais dois foram copiados e entregues para pessoas diretamente ligadas ao Colégio Christus, centro da principal polêmica do exame este ano. Segundo o que foi apurado até agora, as quatro apostilas entregues aos alunos do colégio e de seu cursinho tinham, no total, 92 questões.
Provavelmente, os responsáveis pela confecção das apostilas utilizaram todas as questões copiadas das duas provas a que tiveram acesso (não ficou claro se as 32 provas diferentes foram aplicadas no pré-teste que aconteceu no próprio colégio).
Das 92 questões, 14 eram idênticas às cobradas na prova do Enem. Isso demonstra que cerca de 15% das questões testadas nessas duas provas foram utilizadas no exame. Cada pré-teste do MEC, sendo verdadeiro tudo o que se sabe até aqui, tinha 46 questões. Se eram 32 diferentes, no ano passado tivemos testadas 1472 itens do banco do Instituto Nacional de Estudos e Pesquisas Educacionais (Inep).
Cada umas das questões foi testada em cerca de 3.000 alunos.
Com esses números podemos fazer algumas deduções e encontrar caminhos que ajudam a melhorar o Enem. De início, fica claro que a Teoria de Resposta ao Item (TRI) não é aplicada na prova, ou pelo menos não da forma que o governo quer que acreditemos que é. Se em duas provas do teste estavam 14 questões, é obvio que todas as 180 questões do Enem, ou a grande maioria, foram testadas em 2010. Qual é o problema disso? O problema é que um banco de dados em que as questões tenham o mesmo nível de dificuldade não pode ser feito ano a ano, com as questões sendo testadas e aplicadas no ano seguinte.
Na curva de TRI, utilizada para saber quais questões têm o mesmo nível de dificuldade, são utilizados vários dados, como porcentagem de acertos, moda, mediana e desvio padrão. Só tem a mesma dificuldade um item com uma curva idêntica à outra. Um cálculo impossível de ser feito a mão.
Mas, para simplificar, analisemos uma questão como se o TRI considerasse somente a porcentagem de acertos. Um item que hoje 70% das pessoas acertam não tem a mesma dificuldade que uma questão que 70% das pessoas acertam daqui a 10 anos. Isso porque, neste período, as competências, habilidades e conteúdos das pessoas podem ter aumentado ou diminuído, dependendo das políticas públicas relacionadas à educação e dos fatores que educam fora da sala de aula.
Para aplicar a TRI em uma prova que tem suas questões divulgadas publicamente é necessária a construção de um banco de dados com dezenas de milhares de questões, todas testadas em um mesmo ano. Enquanto o MEC não deixar claro como usa a TRI, por exemplo divulgando os relatórios pedagógicos das provas aplicadas do Enem – o que não foi feito em 2009 e 2010, considero uma dúvida se as provas, de anos diferentes, tem o mesmo nível de dificuldade. E, consequentemente, afirmo não haver nenhum elemento que demonstre ser verdadeiro o anúncio feito pelo MEC de que de 2009 para 2010 os alunos melhoraram seu desempenho no Enem.
Também sabemos que alguns alunos desses colégios que foram sorteados para fazer o teste das questões do Enem tiveram a oportunidade de resolver, antecipadamente, pelo menos sete questões que estavam no Enem 2011. Mesmo que não houvesse nenhum vazamento e que não existissem essas quatro apostilas do Christus, a vantagem desses alunos é clara, mesmo que pequena. Sabendo da necessidade de testar questões, não se pode permitir que nenhuma pessoa veja antes mais do que uma ou duas questões de cada edição das provas. Nem mesmo os formuladores dos itens.
Se garantirmos esse limite, o conhecimento de questões previamente perderia importância relativa em uma prova de 180 perguntas. Tivesse só uma questão idêntica ao Enem 2011 em cada uma das duas provas aplicadas no colégio de Fortaleza em 2010, mesmo com o vazamento, teríamos hoje apenas um pequeno problema, mas muito mais simbólico, dentro de um ponto de vista de disputa política e da aceitação ou não do Enem como vestibular, do que como um problema que realmente violou a igualdade entre os candidatos no dia do exame.
E a solução para o problema é a mesma. Se tivéssemos testadas 23 mil questões, em 500 provas diferentes, com 1,5 milhão de alunos, incluindo universitários, certamente qualquer vazamento seria um problema isolado e seria muito mais tranquilo explicar para a sociedade a necessidade de testar as questões utilizadas na prova. As políticas precisam ser feitas considerando as instituições. Fazer esses testes simplesmente confiando na boa fé das pessoas envolvidas no processo é pedir para que ocorram problemas. Do jeito que foi feito, não ter nenhum vazamento seria muita sorte.
Com tranquilidade, eu desafio o MEC a aplicar a prova de Matemática do Enem de 2010 e de 2011 em qualquer grupo de 100 alunos no Brasil. Tenho plena convicção de que o desempenho nas duas provas será muito diferente. E isso em qualquer escala de notas que for utilizada (hoje a escala de notas do MEC, para as provas objetivas do Enem, não é absoluta, mas calculada por desvio padrão).
A maior preocupação, em relação aos insistentes erros do Enem, é que uma política pública de extrema importância tenha que ser descartada devido à incompetência em sua aplicação. Os tradicionais vestibulares brasileiros são um horror para a educação da nossa sociedade. Seu caráter predominantemente conteudista faz com que as escolas de ensino médio abandonem qualquer experiência de educação em favor do ensino, o que acaba com os talentos da maioria de nossa juventude. Parte de suas questões são como licitações direcionadas, em que governos 'escolhem' quem vai ganhá-las. Quando escolhem as questões, os vestibulares já sabem os alunos de que escolas irão acertá-las e que ocuparão as vagas mais concorridas. O Enem pode ser o instrumento para mudar isso, induzir as reformas no ensino médio e incluir o 'aprender a conhecer', o 'aprender a fazer', o 'aprender a ser' e o 'aprender a conviver' nas salas de aula, além de ajudar a democratizar o acesso ao ensino superior público. Mas para isso ele não pode ser uma 'ilha' na cabeça do ministro e de alguns de seus assessores. Ele precisa ser gerido com prioridade, com mais investimentos, com mais técnicos e com uma estrutura condizente com a sua importância.
Nenhum comentário:
Postar um comentário