Durou pouco. Um relatório que causou furor nos Estados Unidos fundamentando até mesmo pronunciamentos de Barack Obama em 2012 para justificar sua política de avaliação dos professores a partir dos resultados dos testes dos estudantes (valor agregado) é agora derrubado e considerado pouco confiável para influenciar política pública.
Muito impacto, pouco valor:
relatório sobre impacto do valor agregado do professor indevidamente ignora informações contraditórias às suas conclusões
Boulder, CO (10 de abril de 2014) – Um relatório muito influente mas que não foi objeto de revisão por pares padece de uma série de erros na metodologia e nos cálculos, de acordo com uma nova revisão publicada hoje.
O professor Moshe Adler revisou dois relatórios recentemente divulgados em setembro de 2013 como documentos de trabalho do National Bureau of Economic Research. A revisão do Dr. Adler é publicada hoje pelo National Education Policy Center, situado na Universidade de Colorado Boulder, na Faculdade de Educação.
Adler é economista no Departamento de Planejamento Urbano da Columbia, bem como do Harry Van Arsdale Jr. Center for Labor Studies no Empire State College, SUNY, e é o autor de Economics for the Rest of Us: Debunking the Science That Makes Life Dismal (New Press, 2010).
Adler revisou o relatório Measuring the Impact of Teachers, parts I and II, escrito por Raj Chetty, John N. Friedman, e Jonah E. Rockoff. A parte I tem como subtítulo, Evaluating Bias in Teacher Value-Added Estimates, e a Part II, Teacher Value-Added and Student Outcomes in Adulthood. Tomados em conjunto, o relatório em duas partes afirma que os alunos cujos professores têm pontuações de maior valor agregado alcançam maior sucesso econômico na vida adulta.
Os documentos (como é típico dos documentos de trabalho da NBER) não foram objeto de revisão por pares, mas como Adler aponta, a investigação em que foram baseados ganhou atenção extraordinária – transformando-se em referência no pronunciamento de Barack Obama de 2012 State of the Union, para depoimento em tribunais feito pelo autor principal (Chetty), em extensa cobertura da imprensa, e até mesmo como uma justificativa para a outorga do premio de “gênio” da Fundação MacArthur dado a Chetty em 2012.
Esse tipo de credibilidade, Adler sugere em sua revisão, não é justificado – como demonstrado por uma série de problemas que ele encontra no relatório e na pesquisa que o sustenta.
Os próprios resultados do relatório revelam que o cálculo de valor agregado do professor não é confiável, Adler escreve. Além disso, o relatório inclui um resultado que contradiz a sua alegação central; ele está baseado em um cálculo errado feito para apoiar um resultado favorável; e ele assume que o resultado errado se mantém ao longo das vidas dos alunos – “apesar da própria pesquisa dos autores indicar o contrário”, observa o revisor.
Finalmente, explica Adler, os estudos que são tomados pelo relatório como suporte para a sua metodologia realmente não fornecem esse apoio. “Apesar das referências generalizadas a este estudo nos círculos políticos, as deficiências e extrapolações fracas tornam este relatório enganoso e não confiável para fundamentar política de educação”, conclui Adler.
A revisão de Moshe Adler por ser encontrada aqui.
O relatório original de Raj Chetty et all pode ser encontrado em:
Luiz Carlos de Freitas
AVALIAÇÃO EDUCACIONAL - Blog do Freitas 