Carnoy: ranqueamento do PISA é enganoso

“BOULDER, CO (30 de outubro, 2015) por 15 anos, jornalistas, advogados e políticos têm citado as pontuações em testes internacionais como as do Programa para a Avaliação Internacional dos Estudantes (PISA), para concluir que o desempenho dos estudantes americanos “fica terrivelmente atrás” de outras nações, ameaçando nosso futuro e sugerindo uma necessidade urgente de reforma da educação.

Um estudo publicado pelo National Education Policy Center na Universidade de Colorado em Boulder explora tais análises políticas e afirmações em torno do PISA, bem como um segundo teste internacional de destaque, o Tendências no Estudo Internacional de Matemática e Ciência (TIMSS).

No estudo “A comparação de pontuações em testes internacionais e a Política Educacional: uma revisão das críticas”, o professor Martin Carnoy de Stanford, se concentra em quatro principais críticas de análises que usam as pontuações médias do PISA como uma medida comparativa de desempenho dos alunos.

O ranking é enganoso, Carnoy afirma, porque:

  • Estudantes em diferentes países têm diferentes níveis de recursos acadêmicos familiares – não apenas escolas diferentes;
  • Os maiores ganhos relatados no TIMSS, que é ajustado para diferentes níveis de recursos acadêmicos familiares, levanta questões sobre a validade do uso de resultados do PISA para comparações internacionais.
  • Os termos de erro [error terms] das pontuações do PISA – a diferença entre o desempenho medido e o desempenho real – são consideravelmente maiores do que as agências de teste reconhecem, tornando o ranqueamento de países instável.
  • O sistema educacional de Shanghai é apontado como um modelo para o resto do mundo com base em dados de um subconjunto de alunos que não é representativo da população de estudantes de Xangai como um todo.

Carnoy também avalia o significado social subjacente e o valor das comparações internacionais para a política educacional. Em primeiro lugar, ele descreve problemas com as afirmações de que as notas de matemática nacionais médias são prognósticos precisos de crescimento econômico futuro. Em segundo lugar, explica que utilizar os dados de desempenho dessa forma leva a uma utilização limitada na elaboração de política educacional, devido à inadequada análise de inferência causal. Este é o bem conhecido problema: “correlação não é causalidade”.

Em terceiro lugar, há um conflito de interesses decorrentes da OCDE – Organização para a Cooperação e Desenvolvimento Econômico – (que administra o PISA) e seus governos membros atuando como uma agência de testes que simultaneamente é analista de dados e ao mesmo tempo intérprete de resultados para fins de política.

Em quarto lugar, Carnoy questiona a falta de utilidade das comparações dos resultados do teste no nível de nação, em países como os Estados Unidos que tem um sistema educacional diverso e complexo. As diferenças entre estados nos EUA são tão grandes que seria mais útil e interessante usar os resultados dos testes nacionais feitos ao nível dos estados ao longo do tempo para examinar o impacto das políticas de educação.”

Acesse o press release completo do NPEC aqui.

Acesse aqui também estudo de Carnoy com outros colaboradores onde apresenta análises mais detalhadas destas questões.

Sobre Luiz Carlos de Freitas

Professor da Universidade Estadual de Campinas - UNICAMP - (SP) Brasil.
Esse post foi publicado em Links para pesquisas, Mercadante no Ministério, Pisa, Responsabilização/accountability e marcado , . Guardar link permanente.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s