USA: influente relatório é contestado

Durou pouco. Um relatório que causou furor nos Estados Unidos fundamentando até mesmo pronunciamentos de Barack Obama em 2012 para justificar sua política de avaliação dos professores a partir dos resultados dos testes dos estudantes (valor agregado) é agora derrubado e considerado pouco confiável para influenciar política pública.

Muito impacto, pouco valor:

relatório sobre impacto do valor agregado do professor indevidamente ignora informações contraditórias às suas conclusões

Boulder, CO (10 de abril de 2014) – Um relatório muito influente mas que não foi objeto de revisão por pares padece de uma série de erros na metodologia e nos cálculos, de acordo com uma nova revisão publicada hoje.

O professor Moshe Adler revisou dois relatórios recentemente divulgados em setembro de 2013 como documentos de trabalho do National Bureau of Economic Research. A revisão do Dr. Adler é publicada hoje pelo National Education Policy Center, situado na Universidade de Colorado Boulder, na Faculdade de Educação.

Adler é economista no Departamento de Planejamento Urbano da Columbia, bem como do Harry Van Arsdale Jr. Center for Labor Studies no Empire State College, SUNY, e é o autor de Economics for the Rest of Us: Debunking the Science That Makes Life Dismal (New Press, 2010).

Adler revisou o relatório Measuring the Impact of Teachers, parts I and II, escrito por Raj Chetty, John N. Friedman, e Jonah E. Rockoff. A parte I tem como subtítulo, Evaluating Bias in Teacher Value-Added Estimates, e a Part II, Teacher Value-Added and Student Outcomes in Adulthood. Tomados em conjunto, o relatório em duas partes afirma que os alunos cujos professores têm pontuações de maior valor agregado alcançam maior sucesso econômico na vida adulta.

Os documentos (como é típico dos documentos de trabalho da NBER) não foram objeto de revisão por pares, mas como Adler aponta, a investigação em que foram baseados ganhou atenção extraordinária – transformando-se em referência no pronunciamento de Barack Obama de 2012 State of the Union, para depoimento em tribunais feito pelo autor principal (Chetty), em extensa cobertura da imprensa, e até mesmo como uma justificativa para a outorga do premio de “gênio” da Fundação MacArthur dado a Chetty em 2012.

Esse tipo de credibilidade, Adler sugere em sua revisão, não é justificado – como demonstrado por uma série de problemas que ele encontra no relatório e na pesquisa que o sustenta.

Os próprios resultados do relatório revelam que o cálculo de valor agregado do professor não é confiável, Adler escreve. Além disso, o relatório inclui um resultado que contradiz a sua alegação central; ele está baseado em um cálculo errado feito para apoiar um resultado favorável; e ele assume que o resultado errado se mantém ao longo das vidas dos alunos – “apesar da própria pesquisa dos autores indicar o contrário”, observa o revisor.

Finalmente, explica Adler, os estudos que são tomados pelo relatório como suporte para a sua metodologia realmente não fornecem esse apoio.   “Apesar das referências generalizadas a este estudo nos círculos políticos, as deficiências e extrapolações fracas tornam este relatório enganoso e não confiável para fundamentar política de educação”, conclui Adler.

A revisão de Moshe Adler por ser encontrada aqui.

O relatório original de Raj Chetty et all pode ser encontrado em:

http://colorado.us4.list-manage.com/track/click?u=b4ad2ece093459cbf2afb759f&id=8f1fcfb608&e=c9a898259e  e

http://colorado.us4.list-manage.com/track/click?u=b4ad2ece093459cbf2afb759f&id=7a52e41bff&e=c9a898259e.

Sobre Luiz Carlos de Freitas

Professor da Universidade Estadual de Campinas - UNICAMP - (SP) Brasil.
Esse post foi publicado em Avaliação de professores, Links para pesquisas, Responsabilização/accountability e marcado , , , , . Guardar link permanente.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s