Meritocracia: estudo internacional tem erros metodológicos

Postado originalmente na Uol em 1/04/2011

Estudo internacional baseado nos dados do PISA procurando mostrar que os países que usam meritocracia – pagamento de bônus – obtêm melhores notas em leitura e matemática, tem erros metodológicos. A OCDE, como mostramos em postagem anterior, está em Santa Catarina, recomendando este caminho.

Estudo Internacional sobre remuneração por mérito é insuficiente para orientar política

http://nepc.colorado.edu

Boulder, CO (31 de março de 2011)  Estudo entre países sobre pagamento de professores por desempenho, um relatório recentemente publicado pelo Programa de Educação Política e Governação (PEPG) em Harvard, afirma que os estudantes de nações onde os professores são pagos por “mérito” têm maior pontuação em um teste de alcance internacional. Matthias von Davier, cientista principal de pesquisa do Education Testing Service, analisou o relatório PEPG. Von Davier descobriu que as análises e interpretações feitas (também publicadas em uma forma abreviada na revista Education Next) se recusa a ouvir as advertências do próprio relatório, e tem muitas limitações para poder fornecer qualquer orientação política útil.

A revisão é publicada pela National Education Police Center, sediado na Universidade do Colorado em Boulder na Faculdade de Educação.

O estudo de autoria de Ludger Woessmann da Universidade de Munique, afirma que naquelas nações onde os professores são pagos com base no desempenho do aluno ou outra medida baseada no desempenho, os estudantes têm maior nota nos testes de leitura e matemática, no Programa Internacional de Avaliação de Alunos (PISA), um exame internacional com estudantes de 15 anos de idade.

Woessmann baseia as conclusões sobre uma série de análises de regressão dos escores PISA. Os dados são analisados a nível do país. Como existem apenas 28 pontos de dados (nações), na análise, o pequeno tamanho da amostra “exige extrema cautela na interpretação”, escreve von Davier. Basta excluir ou incluir um único país na análise para “resultar em grandes alterações no tamanho das relações relatadas.” Isto é, a presença de remuneração por desempenho pode ou não ter um efeito sobre os escores do PISA, mas esse tipo de estudo pode fazer pouco para responder a esta questão.

Von Davier observa que, “embora o autor enumere várias ressalvas, as suas conclusões gerais não atendem a estes cuidados.” As advertências são cruciais para a compreensão da utilidade dos resultados do estudo. Por exemplo, diferenças na maneira como diversos países realizar o pagamento com base no desempenho não são devidamente considerados. Talvez um tipo de abordagem seja benéfico, enquanto outro seja prejudicial. Além disso, variações na duração com que um país adotou este sistema de remuneração face a outros não são abordados. Um sistema que não foi implementado o tempo suficiente para ter um forte efeito é tratado igualmente a um que está em vigor por muito mais tempo.

Von Davier aponta que as diferenças entre as nações “, poderiam ser devidas a uma série de fatores”, certamente existem enormes diferenças entre países e entre os respectivos sistemas de ensino. Então, trazer à tona diferenças nas pontuações do PISA e, em seguida, atribuir essas diferenças à presença ou ausência de um sistema de pagamento por mérito, é problemático.

Como resultado das limitações múltiplas nos dados do relatório e dos problemas nos métodos analíticos utilizados, von Davier conclui, que são necessários mais estudos cuidadosos e aprofundados acerca das diferenças entre os sistemas educacionais antes de fazermos comparações internacionais para informar substancialmente nossas próprias decisões sobre pagamento por mérito.

A revisão de Matthias von Davier  esta em:

http://nepc.colorado.edu/thinktank/review-pisa-performance-pay

O estudo internacional de  Woessmann Ludger  está em:

http://www.hks.harvard.edu/pepg/MeritPayPapers/Woessmann_10-11.pdf

Sobre Luiz Carlos de Freitas

Professor da Universidade Estadual de Campinas - UNICAMP - (SP) Brasil.
Esse post foi publicado em Avaliação de professores, Links para pesquisas, Meritocracia, Postagens antigas da UOL e marcado , . Guardar link permanente.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s