Especialistas nos Estados Unidos divulgam carta

Postado originalmente na Uol em 3/06/2011

Nada detém a junção de interesses entre “políticos & empresários da educação” nos Estados Unidos – um mercado de 800 bilhões de dólares. Nem mesmo a evidência empírica dos estudos reunidos por um grupo de 10 notáveis especialistas do campo da avaliação americana. O Estado de Nova York estimulado pelo programa federal Race to the Top vai passar para 40% o impacto das notas dos alunos medidos em testes padronizados na avaliação dos professores. Os argumentos da carta se aplicam perfeitamente aos usos que se faz no Brasil para o pagamento de bônus dado a professores individualmente, ou a equipes.

A carta de especialistas em avaliação é ignorada pelo Conselho de Regentes do Estado de NY

Por Strauss Valerie

Aqui está a carta que 10 especialistas em avaliação enviaram para o Conselho de Regentes do Estado de Nova York neste mês pedindo a não aprovação de um sistema que liga as notas dos alunos em testes padronizados com as avaliações dos professores e diretores.Os Regentes ignoraram suas provas de que tais sistemas de “valor agregado” são instáveis ​​e propensos a erros –  e aprovaram de qualquer jeito. Começando no verão, 40 por cento da avaliação dos professores e diretores das escolas públicas de Nova York será baseada em notas dos alunos.

Ao Conselho Estadual de Regentes do Estado de Nova York:

15 de maio de 2011

Como pesquisadores que fizeram extenso trabalho na área de testes e medidas com o uso de métodos de análise de valor agregado, escrevemos para expressar nossa preocupação sobre a decisão pendente no Conselho de Regentes de exigir o uso de resultados dos testes do Estado em 40% da decisão de avaliação dos professores.

Como o relatório em anexo do Instituto de Política Econômica descreve, a literatura de pesquisa inclui muitas advertências sobre os problemas de basear as avaliações de professores nas notas dos alunos. Estas evidências incluem problemas de atribuição de ganhos de estudantes a professores específicos; preocupações com a ênfase em apenas “ensinar para a prova” em detrimento de outros tipos de aprendizagem; e desestímulos dos professores para atender os alunos de maiores necessidades, por exemplo, aqueles que ainda não falam Inglês e aqueles que têm necessidades educativas especiais.

Resenhas de pesquisa sobre metodologias de valor agregado para a estimativa dos “efeitos” do professor com base em notas dos alunos concluíram que essas medidas são muito instáveis ​​e muito vulneráveis a muitas fontes de erro para serem usadas como parte importante da avaliação de professores. Um relatório da RAND Corporation, concluiu que:

A base de investigação é insuficiente para suportar o uso de VAM para decisões de alto risco com professores individualmente ou escolas.

O Conselho de Controle e Avaliação do Conselho Nacional de Pesquisa da Academia Nacional de Ciências afirmou:

… as estimativas de valor agregado da eficácia dos professores … não devem ser usadas para tomar decisões operacionais, pois estas estimativas são muito instáveis ​​para serem consideradas justas ou de confiança.

Henry Braun, então na Educational Testing Service, concluiu em sua revisão da pesquisa que:

Os resultados de valor agregado não devem servir de base única ou principal para a tomada de decisões importantes sobre os professores. Há muitas armadilhas para fazer atribuições causais de eficácia do professor com base nos tipos de dados disponíveis nos distritos escolares típicos. Ainda nos falta um conhecimento suficiente da seriedade com que os diferentes problemas técnicos ameaçam a validade de tais interpretações.

Segundo esses estudos, os problemas com o uso de modelos de teste de valor agregado para determinar a eficácia do professor incluem:

* As classificações dos professores são afetadas por diferenças nos alunos que lhes são designados. Os alunos não são designados aleatoriamente aos professores – e modelos estatísticos não pode ajustar-se inteiramente ao fato de que alguns professores terão um número desproporcional de estudantes que pode ser excepcionalmente difícil de ensinar (estudantes com pobre assiduidade, que são sem-teto, com problemas graves em casa, etc) e cujas pontuações em testes tradicionais têm uma baixa e inaceitável validade (por exemplo, aqueles que têm necessidades educativas especiais ou que estão aprendendo Inglês). Todos esses fatores podem criar estimativas erradas da eficácia dos professores e desestimular os professores que predisam ensinar os alunos mais necessitados, criando-se incentivos para que os professores procurem ensinar aos alunos que eles esperam que façam progressos mais rápidos e evitando escolas e salas de aula que atendem a estudantes que precisam de maior esforço.

* Os modelos de valor agregado de cálculo da eficácia dos professores não produzem avaliações estáveis destes. Os professores aparecem muito diferentes em sua eficácia quando diferentes métodos estatísticos são utilizados. Além disso, os pesquisadores descobriram que as avaliações da eficácia dos professores diferem de classe para classe, de ano para ano, e até mesmo de teste para teste, mesmo quando estes estão dentro da mesma área de conteúdo. Henry Braun afirma que as classificações são mais instáveis ​​nas extremidades superiores e inferiores da escala, que muitos gostariam de usar para determinar os níveis altos ou baixos de eficácia.

* É completamente impossível separar as influências de outros professores no desempenho dos alunos de um professor, bem como das condições da escola e em casa, em sua aparente aprendizagem. Não existe um único professor responsável por todas as aprendizagens do aluno. Professores anteriores têm efeitos duradouros, para o bem ou para o mal, sobre a aprendizagem posterior dos alunos e os professores atuais também interagem para produzir os conhecimentos e habilidades dos alunos. Alguns alunos recebem aulas particulares, bem como a ajuda dos pais bem-educados. Um professor que trabalhe em uma escola com suporte de especialistas que apoiam os estudantes de famílias estáveis pode parecer ser mais eficaz do que aquele cujos alunos não recebem esses apoios.

Estes problemas são agravados ainda mais pelo fato de que o tipo de testes e exames de fim de curso usados em Nova York não são projetados para medir o desenvolvimento do estudante.

Apesar dos modelos de valor agregado baseados em notas dos alunos serem úteis para olhar para grupos de professores para fins de pesquisa – por exemplo, para examinar os resultados dos programas de desenvolvimento profissional ou olhar para o progresso do aluno ao nível da escola ou do distrito, elas são problemáticas se usadas como medidas para a tomada de decisões de avaliação de professores.

Nós os incentivamos a rejeitar as propostas que podem colocar grande ênfase à essa estratégia não testada e que podem ter sérias conseqüências negativas para o professor e para os alunos mais vulneráveis ​​nas escolas do Estado.

Eva Baker, Distinguished Professor, UCLA Graduate School of Education Director, National Center for Research on Evaluation, Standards and Student Testing (CRESST) President, World Educational Research Association, 2010-2012 Past President, American Educational Research Association

Linda Darling-Hammond, Charles E. Ducommun Professor of Education, Stanford University Past President, American Educational Research Association Executive Board Member, National Academy of Education

Edward Haertel, Vida Jacks Professor of Education, Stanford University Chair, Board on Testing and Assessment, National Research Council Vice-President, National Academy of Education Past President, National Council on Measurement in Education

Helen F. Ladd, Edgar Thompson Professor of Public Policy and Professor of Economics, Sanford School of Public Policy, Duke University President, Association of Public Policy and Management

Henry M. Levin, William Heard Kilpatrick Professor of Economics and Education, Teachers College, Columbia University Past President, Evaluation Research Society Past President, Comparative and International Education Society

Robert E. Linn, Professor Emeritus, University of Colorado at Boulder Past President, American Educational Research Association Past President, National Council on Measurement in Education

Aaron Pallas, Professor of Sociology and Education, Teachers College, Columbia University Fellow, American Educational Research Association

Richard Shavelson, Dean Emeritus and Margaret Jacks Professor Emeritus, Stanford University. Past President, American Educational Research Association

Lorrie A. Shepard, Dean & Distinguished Professor, University of Colorado at Boulder Past President, American Educational Research Association Past President National Academy of Education Past President National Council on Measurement in Education

Lee S. Shulman, Charles E. Ducommun Professor Emeritus, Stanford University President Emeritus, Carnegie Foundation for the Advancement of Teaching Past President, American Educational Research Association

Link para a matéria: http://www.washingtonpost.com/blogs/answer-sheet/post/the-letter-from-assessment-experts-the-ny-regents-ignored/2011/05/21/AFJHIA9G_blog.html

Sobre Luiz Carlos de Freitas

Professor aposentado da Faculdade de Educação da Universidade Estadual de Campinas - UNICAMP - (SP) Brasil.
Esse post foi publicado em Avaliação de professores, Links para pesquisas, Meritocracia, Postagens antigas da UOL. Bookmark o link permanente.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s