A questão da definição das escalas de proficiência tem sido motivo de preocupação em outros países. Nos Estados Unidos, segundo Bernie Horn, vários estados fizeram alterações nas notas de corte para alterar resultados de exames: New York, Florida, Columbia entre outros. As escalas são calibráveis e portanto podem atender a variados objetivos.

Uma transparência nos métodos e cálculos é fundamental. Nada impede, por exemplo, que quando se trata de mostrar que as escolas públicas são ruins e devem ser privatizadas, se possa elevar a dificuldade das escalas. Ou que quando se trata de mostrar que um governo está indo bem na educação, se possa afrouxar os critérios e mostrar avanço nas proporções de estudantes que estão nos níveis mais proficientes. É preciso que os cálculos de calibração das escalas não fiquem restritos ao interior da agência avaliadora e nem apenas a cargo de empresas terceirizadas.

Ao divulgar os resultados da ANA baseando-se somente em porcentagens de alunos distribuídos pelos níveis de proficiência, o INEP introduz mais subjetividade nos processos de avaliação e interpretação dos resultados, sem um maior esclarecimento sobre os procedimentos. A mudança de método de divulgação não impediria, até onde se consegue ver com as informações disponíveis, que não fosse feito uma relação com os dados de 2013. Não dá pelo menos para calcular a média e comparar, já que estão na mesma métrica? Poderiam ter sido mantidas as outras formas de divulgação paralelamente. Porcentagens de alunos por nível são baseadas nas pontuações dos alunos, embora não sejam as notas em si, como afirma Horn a respeito da situação nos Estados Unidos:

“Mas as únicas coisas que foram divulgadas são percentagens de alunos que supostamente se encontram nos níveis de “proficiência”. Elas não são as pontuações do teste – certamente não o que os pais entenderiam por pontuações. Elas são medidas completamente subjetivas.”

Mesmo assim, as administradoras da base nacional americana constituem painéis de 500 pessoas, incluindo aí pessoal com experiência em ensino, profissionais especialistas nas áreas e outros para formatar estas decisões. Isso não elimina os problemas existentes na sua elaboração, mas pelo menos dá transparência real às decisões e especialmente, aos seus limites. Não basta divulgar a escala e explicar seu significado, é preciso mostrar detalhadamente o método e o processo pelo qual a “régua” foi constituída. Sem isso, não há credibilidade nas medidas. É especialmente importante tornar claro os limites interpretativos das escalas.

Há um conjunto de decisões no campo estatístico e pedagógico que interagem para permitir a construção de uma determinada escala de desempenho. Tais construções estão permeadas por decisões da equipe que trabalha em sua produção. Infelizmente, no Brasil, não temos tradição de ter relatórios completos de aplicação das provas e de decisões técnicas.

Outro aspecto a ser considerado é que as provas do INEP na Avaliação Nacional da Alfabetização estão no limite do limite quanto ao número de itens que compõem o teste: 20. Note que em apenas 20 situações de teste os estudantes são chamados a mostrar o seu domínio em alfabetização e em outras 20 situações seu domínio de matemática.

Isso acontece porque o governo insiste em fazer uma avaliação censitária que permita atingir todos os estudantes. Temos uma avaliação censitária porque queremos “vigiar e punir”. Fosse uma prova amostral, poderíamos, como fazíamos com o SAEB antigo, trabalhar com uma maior abrangência de itens avaliando mais conteúdo, em uma formatação em que nem todos os estudantes tivessem que responder aos mesmos itens. Dessa forma, várias versões de uma prova de matemática, por exemplo, abrangendo muito mais itens de conteúdo poderiam ser aplicadas aos alunos e, no conjunto, ter-se uma visibilidade melhor de como uma maior quantidade de conhecimento foi assimilada ou não pelos estudantes. Este deveria ser o objetivo da avaliação para formular política pública e não para o controle das escolas com responsabilização verticalizada. Precisamos trocar este tipo de responsabilização vertical e autoritária, por uma responsabilização participativa – esta não exige avaliação censitária.

Se queremos de fato ajudar a educação nacional, implantemos avaliação amostral com uma maior abrangência de itens avaliados. Fortaleçamos sistemas municipais de avaliação participativos que mobilizem as forças positivas existentes dentro das escolas. Façamos das nossas escolas um centro cultural impulsionador da qualidade. A vigilância baseada em avaliação censitária não nos levará longe. São as escolas que devem ter protagonismo na avaliação, suas comunidades internas e externas, e não o INEP. A este caberia incentivar, estimular e apoiar tecnicamente os municípios para que eles organizassem os processos de avaliação locais. É na ponta do sistema que se joga o destino dos alunos e não nas planilhas e bases de dados divulgadas pelo INEP. É falsa a ideia de que os professores não conhecem a realidade de seus alunos nas escolas e com isso precisam de avaliação externa.

Preferimos gastar mais fazendo uma avaliação censitária pelo desejo de controlar cada escola. Com isso estreitamos a abrangência dos exames, limitamos o alcance da avaliação, somos forçados a trabalhar com poucos itens e iguais para todos, pois com a idade de oito anos não podemos fazer provas prolongadas sob pena de promover o cansaço dos estudantes e consequentemente interferir com o que eles de fato aprenderam. Há caminhos alternativos.

Finalmente, uma palavra sobre a “vergonha do Ministro“. Porta-se como se não fizesse parte de um governo que está há mais de 12 anos cuidando da educação. Esquece-se que recentemente fomos objeto de elogios nas avaliações latino-americanas do TERCE:

“Os países foram ordenados em três grandes grupos em função da média: significativamente abaixo da média; significativamente na média, ou significativamente acima da média. Quando comparado regionalmente, o Brasil se sai bem pois as médias em todas as medições de todas as disciplinas, para desgosto dos economistas de plantão, está ou equiparada à média latino americana ou acima dela. Mais informações aqui.”

Em julho deste ano a Assessoria de Comunicação do INEP escreve:

“Estudantes brasileiros do ensino fundamental tiveram, em 2013, desempenho destacado em matemática e leitura, de acordo com o 3º Estudo Regional Comparativo e Explicativo (Terce), realizado pelo Laboratório Latino-Americano de Avaliação da Qualidade da Educação (Llece).”

Agora, com a divulgação do resultado da ANA, viramos uma “vergonha”. Há que se indagar: a média agora não conta mais e só consideramos a porcentagem de respostas por níveis de proficiência? Posso até concordar com as vantagens de se observar mais pormenorizadamente a movimentação dos estudantes no sistema, a partir do cálculo de porcentagens por níveis, do ponto de vista da equidade. Mas quem define os níveis. Quem define o grau de dificuldade das provas. Uma forma de apresentação dos dados não exclui a outra. Elas são igualmente precárias e, portanto, melhor lidar com as duas.