Ranqueamento por valor agregado: fora do alvo

Postado originalmente na UOL em 20/06/2012

O estudo que segue é uma avaliação crítica de ranqueamentos produzidos por jornais nos Estados Unidos, os quais acessam bases de dados e processam por sua conta as informações com finalidade de obter manchetes.

O ranking do L.A. Times 2011 sobre a eficácia dos professores permanece não confiável

URL para este comunicado de imprensa: http://tinyurl.com/78n3yv5

Boulder, CO (20 de junho de 2011) – Em sua segunda tentativa de classificar os professores de Los Angeles com base no “valor agregado” em avaliações derivadas de notas dos alunos em testes padronizados, o Los Angeles Times ainda produz informações não confiáveis que não podem ser utilizadas para os propósitos que o jornal quer, de acordo com nova pesquisa divulgada hoje pelo Centro Nacional de Política Educacional, alojado na Universidade de Colorado em Boulder.

A Dr. Catherine Durso da Universidade de Denver estudou o ranqueamento dos professores pelo jornal referente a 2011 e descobriu que ele depende de dados que geram resultados que são instáveis de ano para ano. Além disso, Durso descobriu que o modelo de avaliação baseado em valor acrescentado utilizado pelo Times pode facilmente imputar aos professores efeitos que são provenientes de fatores externos, tais como o nível de pobreza de um aluno ou o bairro em que ele vive.

“O efeito estimado para cada professor não pode ser tomado pelo valor de face”, escreve Durso. Em vez disso, o efeito estimado de cada professor inclui uma “margem de erro” grande e que reflete a amplitude provável das pontuações para um professor sob o sistema de avaliação.

“A margem de erro. . . para muitos professores é maior do que toda a gama de pontuações atribuídas pelo LA Times do “menos eficaz” até o “mais eficaz”, escreve Durso. Como conseqüência, o chamado efeito-professor individual “também é instável ao longo do tempo”, continua ela.

Durso encontrou que em especial quando os professores mudam de escola, seus rankings nas avaliações de valor agregado são susceptíveis a alterações.

Uma revisão NEPC em 2011 da metodologia que o Times utilizou para produzir o relatório de classificação dos professores pelo Jornal em 2010 com base no “valor agregado na avaliação” de forma semelhante encontrou esses métodos muito falhos para produzir informações confiáveis. Esse relatório pode ser encontrado em: http://nepc.colorado.edu/publication/due-diligence.

Durso encontrou um pequeno grau de melhorias em relação ao ano passado na metodologia usada pelo Times e pelo cientista social que o jornal contratou para produzir as avaliações de valor agregado de professores, Richard Buddin. Mas essas mudanças não foram suficientes para tornar o próprio banco de dados confiável para produzir seus rankings de professores.

Essas falhas tornaram o ranking do The Times não apenas inútil, mas potencialmente perigoso, de acordo com Alex Molnar, diretor de publicações do NEPC e professor e pesquisador da Universidade de Colorado em Boulder.

“O Los Angeles Times não acrescentou nenhum valor à discussão de qual é a melhor forma de identificar e reter os professores da mais alta qualidade para as crianças da nossa nação”, diz Molnar. “Na verdade, piorou as coisas. Com base neste uso falho de dados, os pais são seduzidos a pensar que os professores de seus filhos são ou maravilhosos ou horríveis. “

“Os editores do Los Angeles Times e seus repórteres tinha conhecimento ou deviam ter sabido que a sua divulgação foi baseada em uma ferramenta de ciência social que não pode validamente ou de forma confiável fazer o que eles se propuseram a quantificar”, disse Molnar. “No entanto, em sua ignorância ou arrogância as usou mesmo assim, em detrimento das crianças, professores e pais.”

O relatório está em http://nepc.colorado.edu/publication/analysis-la-times-2011.

Sobre Luiz Carlos de Freitas

Professor da Universidade Estadual de Campinas - UNICAMP - (SP) Brasil.
Esse post foi publicado em Avaliação de professores, Links para pesquisas, Meritocracia, Postagens antigas da UOL e marcado . Guardar link permanente.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s