Richard Rothstein e Martin Carnoy revisaram dados do PISA e apresentam considerações interessantes em um novo estudo que acaba de ser divulgado chamado: “O que os testes internacionais realmente mostram sobre a performance do estudante americano?.”

Duas questões podem ser levantadas a partir do estudo: primeiro a da consistência dos dados para poder comparar países – missão fundamental atribuida ao PISA para que tenha poder para internacionalizar as políticas educacionais sugeridas pela OCDE. Sem que tenha este poder, não consegue atuar como indutora destas políticas.  E o segundo ponto, diz respeito aos Estados Unidos: se houve ou não melhora nas brechas de desempenho entre alunos favorecidos e desfavorecidos economicamente. E em havendo, se eles teriam relações com as políticas educacionais dos reformadores empresariais implementadas naquele país em especial com o No Child Left Behind, após 2001.

Sobre a primeira questão eles observam em sua conclusão que:

“não é possível dizer se os resultados de qualquer teste particular internacional são generalizáveis e podem suportar conclusões políticas.”

Eles concluem:

“Estamos mais certos de que: fazer julgamentos apenas com base em pontuações médias nacionais, em apenas um teste, com apenas um ponto no tempo, sem comparar as tendências em diferentes testes que se propõem a medir a mesma coisa, e sem desagregação por grupos de classe social, é a pior escolha possível. Mas, infelizmente, esta é a forma como a maioria dos políticos e analistas se aproximam do campo”.

Sobre a segunda questão eles constatam que há sim uma brecha de desempenho entre alunos mais e menos favorecidos. Os alunos mais bem posicionados nos testes são os de melhor nível sócioeconômico. Entretanto, ela é menor nos Estados Unidos do que em países semelhantes. Os autores consideram que houve erro na amostragem do PISA 2009 em relação aos Estados Unidos por sobre-amostragem de alunos mais pobres.

Diane Ravitch indagou dos autores se essa menor brecha encontrada entre alunos nos Estados Unidos se devia a efeitos do No Child Left Behind:

“Eu perguntei a Rothstein se os ganhos podem ser atribuidos à NCLB, e ele respondeu que os ganhos para os alunos mais desfavorecidos foram ainda maiores antes da NCLB.”

Ou seja, há aqui dois aspectos:

1. A chamada “crise educacional” que os reformadores dizem haver nos Estados Unidos como forma de legitimar a introdução de suas medidas salvadoras, não é bem assim. Isso nos faz lembrar Berliner e Bidder que alertam para a “fabricação de crises educacionais” como forma de legitimar políticas educacionais.

2. Quando suas medidas salvadoras foram introduzidas pelo NCLB em 2001, elas diminuiram o ritmo de redução da brecha de desempenho entre alunos desfavorecidos e favorecidos.

Podemos agregar ainda um terceiro ponto:

3. Não devemos ir acreditando em estudos internacionais sem antes submetê-los a um exame detalhado de seus procedimentos metodológicos.

O estudo de Rothstein e Carnoy está aqui.

A reação do PISA ao estudo dos autores está aqui.

(Infelizmente, tudo em inglês.)