AVALIAÇÃO EDUCACIONAL – Blog do Freitas

Publicado originalmente na UOL em 17/09/2012

Ter evidência empírica sobre um assunto não é apenas citar estudos que estejam disponíveis para serem lidos. Há de tudo circulando e podemos justificar quase tudo selecionando o que nos interesse. Isso nos leva a discutir a qualidade da evidência empírica e não apenas a sua existência em um ou outro estudo.

No Brasil, somente agora começamos a atentar para a necessidade de evidência empírica para a política pública. Mas ainda há um longo caminho sobre a qualidade das evidências selecionadas. Em primeiro lugar: tem que ser evidência que passou por debates e revisão entre pares. Algumas fundações e institutos, por exemplo, publicam farto material sem revisão de pares.

E como boa parte dos estudos usam estatística, o mundo mágico da “significação estatística”, os cuidados devem ser redobrados, como mostra a revisão que reproduzimos abaixo.

Em segundo lugar, é preciso dar preferência para estudos que reúnem grande quantidade de pesquisas e por um período longo, pois é pela análise de conjuntos de estudos e pesquisas que se pode observar as tendências. Mas aqui, também temos problemas: muitos destes estudos misturam trabalhos que não poderiam ser mesclados e terminam com conclusões inadequadas.

Estamos só começando isso no Brasil e há ainda um longo caminho a ser percorrido.

O estudo abaixo é um alerta.

Revisão dos efeitos de vouchers escolares na matrícula em Colleges: a evidência experimental de Nova York

Sara Goldrick-Rab (University of Wisconsin-Madison) – 13 de setembro de 2012

Este relatório da Brookings examina as taxas de matrícula de alunos em faculdades que participaram de um programa experimental de Nova York, o School Choice Scholarships Foundation Program, que na primavera de 1997 ofereceu três anos de bolsas de estudo no valor de até 1.400 dólares por ano para famílias de baixa renda. O estudo não identifica impactos globais da oferta de voucher, mas os autores relatam e enfatizam grandes impactos positivos para os estudantes afroamericanos, incluindo aumentos de comparecimento na faculdade, no tempo integral de matrícula e freqüência em instituições privadas de ensino superior seletivas. Este forte foco em impactos positivos para um subgrupo único de estudantes não se justifica. Não existem diferenças estatisticamente significativas no impacto estimado para afro-americanos em comparação com os outros alunos, há erro de medição importante mas não mencionado nas variáveis dependentes (resultados de atendimento a faculdade) que afetam a precisão dessas estimativas e, provavelmente, movendo pelo menos algumas delas do reino da significância estatística; os autores não demonstraram quaisquer efeitos negativos estimados que possam ajudar a explicar os resultados médios nulos, e ali existem diferenças previamente existentes entre afroamericanos no grupo de tratamento e grupo de controle sobre fatores conhecidos que importam para a variável atendimento à faculdade (por exemplo, educação dos pais). Contrariamente à afirmação do relatório, a evidência apresentada sugere que neste novo programa de Nova York, os vales escolares não melhoraram as taxas de matrícula em faculdades entre todos os alunos ou mesmo entre um subgrupo de alunos selecionados.

Acesse os textos dos debates entre os autores em (inglês):

http://nepc.colorado.edu/thinktank/review-vouchers-college