USA: valor agregado na berlinda

Postado originalmente na Uol em 22/02/2012

Um relatório de pesquisa produzido por três economistas de Harvard tentou estabelecer relações entre os efeitos de bons professores (que agregam maiores pontuações a seus alunos em testes padronizados) e o sucesso na vida futura dos estudantes (ganhos, carreira, taxas de gravidez, entre outras). Ao proporem que isso era possível, causaram um grande furor dentro dos Estados Unidos e o estudo foi lido como evidência empírica que apoiava a reforma educacional de Obama que, entre outros aspectos, prega o pagamento dos professores de acordo com o rendimento dos alunos em testes.

Entretanto, uma revisão por pares do estudo feita pelo NEPC mostra, agora, que as conclusões são, no mínimo, precipitadas. Testes de viés que foram aplicados aos cálculos de valor agregado de curto prazo não foram reaplicados de forma adequada para os cálculos de longo prazo.

Pelos jornais, chegou-se a recomendar que os professores de baixo valor agregado deveriam ser demitidos.

Os modelos de valor agregado podem ser úteis à educação e à política pública, mas sua associação com uma ideologia meritocrática torna-os vítimas de necessidades políticas imediatistas, retrasando seu desenvolvimento e aceitação no âmbito da educação.

Olhando novamente para os efeitos de longo prazo do professor e o valor agregado

Uma revisão NEPC aponta que testes importantes de viés foram omitidos em um relatório muito divulgado sobre os efeitos de longo prazo dos professores.

São necessárias mais evidências para provar partes importante das conclusões do relatório.

Contato: Jamie Horwitz, (202) -549-4921, jhdcpr@starpower.net; Dale Ballou, (615) 322-8039, dale.ballou@vanderbilt.edu

URL para este comunicado de imprensa: http://tinyurl.com/7up2tdz

Boulder, CO (16 de fevereiro de 2012) – Podem estimativas dos efeitos de curto prazo do ensino dos professores indicarem eficácia a longo prazo? Um relatório recente altamente publicizado, sobre os impactos de longo prazo de professores: The Long-Term Impacts of Teachers: Teacher Value-Added and Student Outcomes in Adulthood, conclui que o chamado efeito do valor agregado dos professores do ensino fundamental em seus alunos, mostram-se anos mais tarde nos alunos adolescentes, nas taxas de gravidez, no sucesso na faculdade e em ganhos na carreira. Uma nova revisão desse estudo, conduzido pelo NEPC, mostra que embora o estudo seja importante em muitos aspectos, são necessárias mais evidências para provar a parte fundamental da sua afirmação.

O relatório é de autoria de economistas de Harvard e da Universidade de Columbia: Raj Chetty, John Friedman, e Jonas Rockoff.

Dale Ballou, economista e professor de políticas públicas e educação na Universidade de Vanderbilt, analisou o estudo para o NEPC.

O estudo de Chetty, Friedman e Rockoff foi noticiado extensivamente nos principais jornais e foi citado no discurso do presidente Barack Obama sobre o Estado da União. Ele rapidamente se tornou uma parte importante das discussões nacionais sobre como devemos avaliar os professores. Em particular, alguns políticos acreditam que nós devemos basear as decisões sobre a remuneração dos professores, retenção e outras, com base em como os alunos de um professor se desempenham em testes padronizados, medidos através de “valor agregado” – abordagem que tenta isolar os efeitos de cada professor sobre o crescimento do aluno.

Estudos anteriores da metodologia de valor agregado mostraram que essas análises podem variar amplamente na dependência até mesmo de mudanças modestas nos pressupostos utilizados no modelo ou da avaliação utilizada. Os professores também têm expressado preocupação de que a excessiva dependência de resultados de testes de avaliações dos professores leve a um estreitamento do currículo e do ensino em direção ao teste.

O estudo cruza dados do IRS com o arquivo de dados de pontuação em testes de um grande bairro urbano, usando modelagem de valor agregado para estimar o crescimento de curto prazo na pontuação do teste dos alunos de professores de leitura/linguagem das artes e matemática nas séries de 4 a 8. Em seguida, o estudo examina certos resultados de longo prazo desses alunos. Os pesquisadores concluíram que os professores que provaram ser eficazes em aumentar os resultados dos testes em quaisquer desses alunos também tiveram efeitos positivos sobre outros resultados destes alunos, mesmo anos mais tarde.

Segundo Ballou, “O relatório afirma que esses resultados positivos são consequência de terem tido professores com maior valor agregado, acima e além de qualquer associação que possa surgir por outras razões.”

Os três economistas apoiam as suas conclusões nos efeitos de curto prazo com fortes testes para viés sistemático na distribuição dos estudantes pelos professores. Esses testes mostram que o valor agregado foi estimado sem viés. Fatores familiares que preveem pontuações altas do teste não estavam distribuídos de tal forma a favorecer sistematicamente professores com alto valor agregado estimado.

Mas Ballou explica que um conjunto semelhante de testes seria necessário para estabelecer que o efeito do alto valor agregado estimado dos professores sobre os resultados a longo prazo também está livre de viés. Ele escreve:

“O que é necessário agora é avaliar se os fatores familiares que predizem sucesso a longo prazo no emprego, comparecimento à faculdade etc, estão distribuídos de modo a favorecer o alto valor agregado dos professores. … Os testes de viés precisam ser executados novamente … O fato de que testes semelhantes já validaram as estimativas de valor agregado do professor não implica que eles não sejam necessários para validar inferências sobre o impacto de professores em resultados de longo prazo. Na verdade, é provavelmente ainda mais importante que estes testes sejam realizados com relação aos resultados como ganhos e prevenção de gravidez na adolescência. Dados disponíveis a partir de declarações de impostos não são susceptíveis de distinguir bem entre as famílias que fomentem o desenvolvimento do caráter e famílias que são muito menos bem sucedidas nesta tarefa. Diferenças não observadas entre as famílias tendem a ser muito importantes. A maneira de testar se o alto valor agregado dos professores têm sido sistematicamente atribuído mais a alunos cujas famílias são mais ricas em relação a esses fatores não observáveis, é realizar os testes quase-experimentais descritos acima. Na ausência disso, não saberemos se essas diferenças estavam presentes e foram a principal razão para a associação observada entre o professor de valor agregado alto e os alunos de sucesso a longo prazo.”

“Neste ponto fundamental, o relatório está aquém”, escreve Ballou. “Embora alguns destes testes têm sido relatados, muito mais evidências poderia ter sido apresentadas para apoiar esta afirmação. O mesmo tipo de testes realizados para estabelecer que o valor agregado foi estimado livre de viés poderia ter sido aplicado para testar a afirmação maior e mais significativa deste relatório: que professores de alto valor agregado melhoram os resultados da vida, muitos anos depois que os estudantes deixaram as salas de aula. Na ausência de tais provas, é prematuro afirmar que as conclusões centrais do relatório estão corretas. “

Leia (em inglês) a revisão de Dale Ballou no site NEPC em:

http://nepc.colorado.edu/thinktank/review-long-term-impacts.

Leia o relatório original de Raj Chetty, N. John Friedman, e E. Jonas Rockoff, na Web em:

http://obs.rc.fas.harvard.edu/chetty/value_added.pdf.

Sobre Luiz Carlos de Freitas

Professor da Universidade Estadual de Campinas - UNICAMP - (SP) Brasil.
Esse post foi publicado em Avaliação de professores, Links para pesquisas, Meritocracia e marcado , , . Guardar link permanente.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s