“BOULDER, CO (30 de outubro, 2015) por 15 anos, jornalistas, advogados e políticos têm citado as pontuações em testes internacionais como as do Programa para a Avaliação Internacional dos Estudantes (PISA), para concluir que o desempenho dos estudantes americanos “fica terrivelmente atrás” de outras nações, ameaçando nosso futuro e sugerindo uma necessidade urgente de reforma da educação.

Um estudo publicado pelo National Education Policy Center na Universidade de Colorado em Boulder explora tais análises políticas e afirmações em torno do PISA, bem como um segundo teste internacional de destaque, o Tendências no Estudo Internacional de Matemática e Ciência (TIMSS).

No estudo “A comparação de pontuações em testes internacionais e a Política Educacional: uma revisão das críticas”, o professor Martin Carnoy de Stanford, se concentra em quatro principais críticas de análises que usam as pontuações médias do PISA como uma medida comparativa de desempenho dos alunos.

O ranking é enganoso, Carnoy afirma, porque:

• Estudantes em diferentes países têm diferentes níveis de recursos acadêmicos familiares – não apenas escolas diferentes;
• Os maiores ganhos relatados no TIMSS, que é ajustado para diferentes níveis de recursos acadêmicos familiares, levanta questões sobre a validade do uso de resultados do PISA para comparações internacionais.
• Os termos de erro [error terms] das pontuações do PISA – a diferença entre o desempenho medido e o desempenho real – são consideravelmente maiores do que as agências de teste reconhecem, tornando o ranqueamento de países instável.
• O sistema educacional de Shanghai é apontado como um modelo para o resto do mundo com base em dados de um subconjunto de alunos que não é representativo da população de estudantes de Xangai como um todo.

Carnoy também avalia o significado social subjacente e o valor das comparações internacionais para a política educacional. Em primeiro lugar, ele descreve problemas com as afirmações de que as notas de matemática nacionais médias são prognósticos precisos de crescimento econômico futuro. Em segundo lugar, explica que utilizar os dados de desempenho dessa forma leva a uma utilização limitada na elaboração de política educacional, devido à inadequada análise de inferência causal. Este é o bem conhecido problema: “correlação não é causalidade”.

Em terceiro lugar, há um conflito de interesses decorrentes da OCDE – Organização para a Cooperação e Desenvolvimento Econômico – (que administra o PISA) e seus governos membros atuando como uma agência de testes que simultaneamente é analista de dados e ao mesmo tempo intérprete de resultados para fins de política.

Em quarto lugar, Carnoy questiona a falta de utilidade das comparações dos resultados do teste no nível de nação, em países como os Estados Unidos que tem um sistema educacional diverso e complexo. As diferenças entre estados nos EUA são tão grandes que seria mais útil e interessante usar os resultados dos testes nacionais feitos ao nível dos estados ao longo do tempo para examinar o impacto das políticas de educação.”

Acesse o press release completo do NPEC aqui.

Acesse aqui também estudo de Carnoy com outros colaboradores onde apresenta análises mais detalhadas destas questões.