ANA: a nota sumiu? – I

A ANA – Avaliação Nacional da Alfabetização – “causou” nesta semana (veja aqui, aqui, aqui e aqui), juntamente com a divulgação da Base Nacional Comum. Muitos ficaram horrorizados com os resultados. O Ministro falou em “vergonha”. Não é mera coincidência que a ANA seja divulgada simultaneamente com a discussão da Base Nacional Comum. INEP e SEB, responsáveis respectivamente pela ANA e pela Base, comungam dos mesmos ideais: a montagem de um grande “big brother” que monitore escolas pelo país afora. E é claro, nada como uma boa crise para ajudar a passar mudanças – já dizia Friedman. A “crise” veio do INEP, com os resultados da ANA. A “mudança” proposta veio da SEB, com a base nacional. Síntese: precisamos da Base Nacional para evitar a catástrofe da ANA.

Em meio a isso é curioso constatar que o INEP mudou a forma de apresentação dos resultados da aprendizagem dos estudantes na ANA. Onde está agora a nota do aluno, a pontuação dos estudantes nos testes? Só temos porcentagens de alunos por “níveis de desempenho”. Criou-se uma escala nacional de desempenho cuja média é de 500 pontos e o desvio padrão 100. A partir daí, se interpretou características pedagógicas do desempenho dos alunos nos intervalos através de itens âncora da prova. Os estudantes foram agrupados em “níveis” a partir da pontuação obtida na prova, mas a pontuação em si, sumiu. Virou porcentagem.

A avaliação não é exatamente o campo da objetividade, mas os “níveis de desempenho” são construções que envolvem mais subjetividade ainda. O “score” ou a pontuação é o dado básico de desempenho dos estudantes.

O problema com os níveis é quem os define, quais são os itens âncoras de cada nível, quantos serão os níveis, etc. São feitos por equipes de especialistas. Quem escolhe? Mais ainda, quem compõe tais equipes?  Qual o papel das terceirizadas que possam ter prestado serviço ao INEP neste processo? Uma nota técnica do INEP resume apenas a metodologia. Nela pode-se ler:

“Para a realização desses procedimentos são formadas duas equipes: a primeira é constituída por especialistas nas habilidades avaliadas e a segunda por especialistas da área da medida. Coube à equipe pedagógica a determinação do número de níveis de desempenho, a definição dos pontos de corte que marcam mudança de nível de desempenho e a descrição pedagógica dos níveis. Já à equipe da área de medidas cabe a realização da correspondência entre os pontos de corte (baseados no parâmetro de dificuldade dos itens) e as proficiências além da determinação do percentual de estudantes alocados em cada nível.”

Veja aqui um vídeo em que o INEP apresenta as escalas.

O INEP optou por não dar uma denominação para os níveis de proficiência e apenas numerá-los. Em outros países, os níveis recebem denominações como: abaixo do básico, básico, proficiente e avançado. No Brasil, optou-se na divulgação da ANA por nível 1, nível 2, nível 3 e nível 4. Na dependência da disciplina avaliada, há mais ou menos níveis.

Apenas numerar os níveis, no entanto, deixa em aberto que sejam classificados, depois, como quisermos. Permite, por exemplo, que se diga que os níveis 1 e 2 são “inadequados”. Qual a vantagem disso? Ou seja, não se dá uma denominação, mas se deixa em aberto para se denominar depois. Além disso, deixa em aberto que pela mídia se façam interpretações:

“Em matemática, 57% dos alunos apresentaram níveis inadequados de aprendizado na avaliação de 2014 — praticamente o mesmo índice do ano anterior, quando o exame foi aplicado pela primeira vez.”

Para se chegar a 57% temos que somar os dois primeiros níveis rotulando-os de “inadequados” a posteriori. No caso de escrita, para chegar aos 35% inadequados, há que se somar os três primeiros níveis da escala. Não é assim em outros países onde eles são denominados por “abaixo do básico” e “básico”. Bem diferente. Outra forma de se construir escalas? Quais são as opções que temos?

Todas estas são decisões que além de técnicas são também subjetivas. Os professores, as escolas e seus alunos não podem ser avaliados por escalas que não sejam claramente explicadas. E o público em geral não vai entender como esta escala foi construída se ela não for explicada claramente.

E não basta a nota técnica. Ela é apenas metodológica. É preciso que o INEP divulgue o estudo concreto com os dados de 2013 e 2014 que levaram à construção destes níveis. Não falo de microdados, falo do estudo específico que motivou a escala. O cidadão não é obrigado a processar dados para entender relatórios mal feitos do INEP.

As entidades da área educacional devem cobrar tal estudo (que talvez tenha sido feito por alguma terceirizada) e se não aparecer, exigir que seja entregue por meio da Lei de Acesso à Informação.

Além disso, é preciso levar em conta nas análises dos dados as situações que orientaram a inclusão ou exclusão de dados das escolas no cálculo:

  1. As escolas com menos de 10 alunos presentes na avaliação não foram incluídas. Isso significa que se tiveram apenas 11, foram incluídos.
  2. Escolas com menos de 50% de alunos presentes na avaliação não foram incluídas. Pelo oposto, significa que se tiveram apenas 51% dos alunos na avaliação foram incluídas. Nos Estados Unidos exige-se 90% ou mais de presença.
  3. Escolas multisseriadas não estão incluídas.
  4. Escola que teve proficiência em escrita, mas não teve proficiência na prova objetiva de língua portuguesa, também não foi incluída.

Um relatório nacional, não pode deixar de dar uma posição geral sobre como estes e outros parâmetros se comportaram na aplicação em nível nacional e regional. Onde está o relatório técnico da aplicação das provas? Estes dados não podem ficar apenas no interior de bases de dados para consulta ou no interior do INEP. A própria interpretação que a mídia está dando, depende destes parâmetros aqui mencionados, além do que já foi dito sobre a própria construção das escalas.

Ou o INEP dá transparência a seus cálculos e faz um relatório decente, ou não há como acreditar em suas análises. Veja aqui um exemplo de relatório bem feito (em inglês) de uma avaliação nacional amostral (NAEP americano).

Continua no próximo post.

Sobre Luiz Carlos de Freitas

Professor aposentado da Faculdade de Educação da Universidade Estadual de Campinas - UNICAMP - (SP) Brasil.
Esse post foi publicado em ANA - alunos de 8 anos, Janine no Ministério, Responsabilização/accountability. Bookmark o link permanente.

Uma resposta para ANA: a nota sumiu? – I

  1. Prof. João Silva disse:

    O que mais me indigna é que na nota técnica há referência um artigo do Método Bookmark, em que este é péssimo e ainda apresentado como comunicação oral. O pessoal no Inep precisa se atualizar com a bibliografia (e as novas metodologias de escalas e da TRI) internacional que tem avançado (e muito) nessa parte. Por exemplo: Lewis, D. M., Mitzel, H. C., Mercado, R. L., & Schulz, E. M. (2012). The Bookmark Standard Setting Procedure. In G. J. Cizek (Ed.), Setting performance standards: foundations, methods, and innovations (2nd ed., pp. 225–253). New York, N.Y.: Routledge.
    Att.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s