Em época de divulgação de PISA, proliferam na imprensa as conclusões fáceis. Eis algumas que separei:

1. “O nível socioeconômico também influencia o desempenho. Alunos com maior nível socioeconômico tendem a tirar notas maiores. Entre os países da OCDE, a diferença entre estudantes com maior e menor nível pode chegar a 38 pontos de proficiência. No Brasil, essa diferença chega a 27 pontos, ou o equivalente um ano de aprendizagem.”

De onde veio esta ideia estapafúrdia de que 30 pontos no PISA equivalem a um ano de aprendizagem? Isso não tem o menor sentido. É uma mera projeção numérica que exclui os alunos concretos que estão de fato nas salas de aula, e abstrai um resultado a partir de um modelo teórico que não leva em conta escolas reais. Mero exercício de futurologia barata, bem ao estilo da econometria amplamente usada também por Hanushek e outros que se “divertem” em seus “oráculos virtuais” colocando as suas próprias regras e expectativas em substituição à vida real.

Por outro lado, este fechamento de uma brecha de 27 pontos no desempenho tem sido prometido pelas políticas da reforma empresarial, mas onde já foi aplicada por décadas não fechou, ampliou a segregação escolar. Isso vale para o Chile e para os Estados Unidos, palco da aplicação destas ideias.

2. “O Brasil não melhorou a qualidade e nem a equidade nos últimos 13 anos, principalmente”, diz Maria Helena [Secretária Executiva do MEC]. “A única melhora do país foi no fluxo. É importante registrar que 77% dos estudantes que fizeram o Pisa estão no ensino médio”, acrescenta.”

Eis aí um dos problemas com o PISA: mede a educação brasileira onde ela menos avançou, ou seja, no ensino médio. Não é esta a realidade do ensino fundamental onde especialmente os anos iniciais estão progredindo sistematicamente ao longo dos últimos 13 anos, como o próprio IDEB mostrou. Não é verdade também, que o Brasil não melhorou a qualidade nos últimos 13 anos, como demonstramos no caso de matemática, em post anterior, e das demais áreas de avaliação do PISA – embora dentro da precariedade de avaliação do PISA.

3. “Em leitura, cuja média do Brasil foi de 407 pontos, e em matemática, cuja média foi 377, 15 estados ficaram abaixo da média nacional: Roraima, Mato Grosso, Rio de Janeiro, Pará, Pernambuco, Rondônia, Amapá, Paraíba, Rio Grande do Norte, Piauí, Sergipe, Maranhão, Tocantins, Bahia e Alagoas.” Esqueceram de incluir o Ceará que também ficou abaixo da média.

Pudemos ler recentemente que o atual Ministro da Educação considera que Pernambuco tem um ensino médio exemplar para o Brasil. E agora somos informados que este Estado está abaixo da média do PISA nacional. E fica nesta posição junto com o Rio de Janeiro de Risolia, que agora assumiu a unidade de negócios educacionais da consultoria Falconi. E Risolia jura ter, junto com a Falconi, promovido uma reforma do ensino igualmente exemplar. Pernambuco ainda fica acompanhado do Ceará e das maravilhas milagreiras de sua Sobral, turbinados pelos Gomes com todo o receituário da reforma empresarial.

Mas, não é só isso: e Goiás? Goiás tem o melhor ensino médio do país e no PISA ficou acima da média (empatado com São Paulo que aplica a reforma empresarial da educação) e mesmo assim, o atual governo de Goiás quer entregá-lo à iniciativa privada por concessão de gestão. Goiás é um dos melhores resultados do IDEB em ensino médio, e para chegar a esta posição, não fez uso da receita de Risolia para o Rio e nem da receita de Mendonça para Pernambuco e muito menos das receitas de Cid Gomes para o Ceará.

4. “Esses estudantes alcançaram uma pontuação que os coloca abaixo do nível 2, considerado adequado nas três áreas avaliadas pelo Pisa. Separadamente, 56,6% estão abaixo do nível 2 e apenas 0,02% está no nível 6, o máximo da avaliação. Em leitura, 50,99% estão abaixo do nível 2 e 0,14% estão no nível máximo; em matemática, 70,25% estão abaixo do adequado, contra 0,13% no maior nível. Isso significa que esses estudantes não conseguem reconhecer a ideia principal em um texto ou relacioná-lo com conhecimentos próprios, não conseguem interpretar dados e identificar a questão abordada em um projeto experimental simples ou interpretar fórmulas matemáticas.”

O que não está dito é que eles não conseguiram se sair bem nesta situação de teste e no formato dos itens que lhes foram dados. Será que de fato estas pessoas estão tão “imbecilizadas” assim na sua vida diária? Será que estas pessoas não possuem outras estratégias cognitivas para lidar com estas mesmas exigências na sua vida diária? Não poderia ser que esta “linguagem” das avaliações de larga escala, codificada em itens de testes, lhes seja estranha? Por que os estudantes têm que demonstrar este conhecimento sob esta forma de testes e não em outras situações realmente sociais que lhes são postas na vida diária?

Qual o modelo estatístico que está por trás das avaliações de larga escala e que, por seu planejamento, induz a produção da diferença a partir da própria concepção das avaliações, ou seja, a reprodução da “curva normal” como espelho desejável dos resultados nas avaliações, distribuindo os alunos ao longo de uma curva onde deve haver alunos abaixo da média e acima da média? Como aponta Steven Singer:

“Pesquisadores, estatísticos, e acadêmicos de todos os matizes têm conclamado para que se ponha um fim aos testes de alto impacto na política educacional. Pais, alunos e professores têm escrito cartas, testemunhado perante comissões do Congresso, protestado nas ruas, se recusado a realizar ou administrar testes. Tudo para ouvidos surdos.

“O governo federal ainda exige que todos os estudantes da 3ª. até a 8ª. séries, uma vez por ano, façam testes padronizados.

“Mas essas avaliações distribuem os alunos em uma curva. Uma certa quantidade de estudantes deve estar na parte inferior, uma certa quantidade deve estar na parte superior, e a maioria deve ficar agrupada no meio. Isso será verdadeiro seja que você esteja testando todos os gênios ou todas as pessoas com lesões cerebrais traumáticas.

“Não importa o quão inteligente os examinandos sejam. Haverá sempre essa distribuição da curva normal. É assim que os testes são projetados. Então, falar sobre o aumento nos resultados de testes é absurdo. Você pode elevar a pontuação na escola A ou B, mas o conjunto total de todos os examinandos será sempre o mesmo. E alguns alunos sempre falharão. “Mas isso não é nem mesmo a pior parte.

“A padronização, em si, tem certas consequências. Parece que nós esquecemos o que o termo significa. Padronizar é definido como o ato de avaliar alguém ou algo tendo por referência um padrão “.

O autor então alerta para as questões que estão embutidas nos testes:

“Isso é o que estamos fazendo com as pessoas – crianças de fato. Estamos avaliando-as com base na sua semelhança com alguma definição ideal do que uma criança deve saber e o que uma criança deve ser.”

“Quando você tenta abstraí-las a esse ponto, é impossível remover vários fatores essenciais da sua identidade – raça, sexo, status socioeconômico, etc. Nem seria admirável se você pudesse, porque você teria abstraído ao ponto em que o indivíduo não é mais visível ou valorizado. Uma criança que cresceu na pobreza simplesmente não é a mesma que uma criança constituída a partir de uma educação privilegiada. Uma criança que parte de uma cultura que valoriza a cooperação não é a mesma que uma criança de uma cultura que valorize o desempenho individual. E isso é muitas vezes uma coisa boa.”

Estas são considerações que estão para além do senso comum que costuma cercar as questões de avaliação quantitativa.