O Instituto Alfa e Beto de João Batista Araujo e Oliveira publicou em 2014 um estudo que ele chamava de “Educação Baseada em Evidências”  o qual teria sido feito com o uso de meta-análise. De meta-análise, de fato, no livro, não havia nada, a não ser um artigo introdutório feito pelo dono do Instituto explicando seu entendimento sobre o que é meta-análise. Seguia-se a ele, outro artigo de Murnane e Ganimian com o título de “Políticas educacionais em países em desenvolvimento: lições aprendidas a partir de pesquisas rigorosas”.

O livro do Instituto Alfa e Beto de 2014 não descrevia concretamente as decisões metodológicas tomadas para aplicar o que chamava de metodologia de meta-análise. Para descobrí-la, você é remetido para outro livro de Murnane e Willett (2011) que pode ser obtido por modestos 60 dólares.

Ou seja, já naquela primeira versão de 2014, o livro do IAB não descrevia, como deve fazer qualquer trabalho científico, em seu interior, as decisões metodológicas tomadas pelos autores para configurar a base de dados de pesquisas publicadas e reunidas para análise, que permitiram aos autores concluir sobre alguma evidência a favor ou contra esta ou aquela ideia ou estratégia de mudança educacional.

O artigo de João Batista no livro  apenas explica o que é meta análise e não como ele fez a pesquisa que estaria motivando o nome do livro: não mostra os critérios de escolha e categorias, não apresenta protocolos de leitura que colocassem os textos selecionados em um mesmo patamar de comparação, não diz nada sobre se os estudos eram ou não comparáveis, não há nenhuma indicação de controle de viés de publicação.

A questão que se coloca é: como pode um estudo que se propõe cientificamente a informar política pública, ocultar sua própria descrição de decisões metodológicas, sem o que não podemos saber se o pesquisador procedeu corretamente ou não? O que são, ou não são, “pesquisas rigorosas”? Com que critérios foram ou não incluídas as pesquisas no seu estudo? Isto é essencial numa pesquisa que pretenda usar meta-análise.

O alerta vem de Rothstein, Sutton e Borenstein (2005), no livro chamado “Publication Bias in Meta-Analysis”:

“Viés de publicação é a tendência a decidir publicar um estudo com base nos resultados de outros estudos, em vez de com base na sua qualidade teórica ou metodológica. Ela pode surgir a partir da publicação seletiva de resultados favoráveis, ou de resultados estatisticamente significativos. Isso ameaça a validade das conclusões tiradas da revisão da pesquisa científica publicada. Meta-análise é agora utilizada em numerosas disciplinas científicas, resumindo as evidências quantitativas de múltiplos estudos. Se a literatura a ser sintetizada for afetada pelo viés de publicação, este por sua vez influencia os resultados de meta-análise, e pode potencialmente produzir conclusões exageradas.”

Pois bem. Com os mesmos problemas da primeira versão, o IAB lança agora a sua segunda versão deste livro. A mídia repercute (veja aqui):

“No mês passado, o instituto lançou o livro “Educação baseada em evidências: como saber o que funciona em educação”. Os autores usaram a técnica chamada de meta-análise, em que se faz revisão de trabalhos já publicados, nacionais ou internacionais.”

Em seu prefácio, feito por Claudia Costin, Diretora da área de Educação do Banco Mundial ela diz:

“Educação baseada em evidências”, também conhecida por “o que funciona em Educação”, é o nome do jogo. Combinando evidências científicas e empíricas obtidas, respectivamente, por meio de estudos sólidos e instrumentos estatísticos robustos, especialmente meta-análises, hoje é possível que os professores, educadores e responsáveis pelas políticas em educação tomem decisões mais bem fundamentadas e com muito maior chance de produzir impacto positivo na aprendizagem dos alunos, na escola e no bom uso de recursos para a educação.”

Porém, em ciência é preciso demonstrar como se procedeu para obter resultados. E a demonstração começa pelo método. E isso os autores ficam devendo novamente. De novo, não há descrição do que fizeram, por exemplo, para evitar vieses em sua pesquisa.

Tomemos um exemplo. O 11º. tema do livro trata dos “incentivos e eficácia dos professores”. O tema reúne variados estudos sobre a questão. Mas deixa de fora o importante trabalho da National Academy of Sciences americana que acompanhou 15 outros estudos sobre incentivos e chegou a conclusões sobre o impacto do pagamento de incentivos a professores que deixam dúvidas sobre o uso da ideia para formulação de política pública. (Ver aqui as conclusões.) E isso é apenas um exemplo do que foi deixado de fora: o relatório da Rand que implodiu o sistema de bônus pago a professores da Cidade de Nova York também está ausente.

E qual a conclusão que o trabalho chega neste ítem? Em um primeiro nível de conclusões, elas são disparadas ao sabor dos estudos que vão sendo citados sem nenhuma visão de conjunto sistemática ou tendencial que se apresente de forma documentada e analisada em suas identidades e diferenças. Terminado este desfile confuso, onde os autores destacam o que lhes interessa, inexplicavelmente, aparece novamente outra “conclusão”, agora, definitiva, onde se lê:

“Verificamos que há detalhes que podem afetar drasticamente a eficácia de um programa de incentivos. Chetty e outros (2011) sugerem que substituir os professores que se situam entre os 5% de pior rendimento por outros de rendimento médio pode ser muito mais barato e eficaz do que pagar bônus para reter os 5% de rendimento mais elevado ou seja, aqueles que agregam mais valor em termos de aprendizagem de seus alunos. Essa estratégia tem o potencial de aumentar o valor presente dos rendimentos de uma turma de alunos em 267 mil dólares, ao longo da vida. Por outro lado, a estratégia de dar bônus para professores de alta eficácia pode ser pouco eficiente, pois muitos deles permanecerão na rede de ensino, mesmo se não houver incentivos.

Outro exemplo interessante de como sistemas de incentivo podem afetar o resultado esperado é apresentado no experimento desenvolvido por Fryer e outros pesquisadores  (2013). Nesse experimento, os professores receberam o bônus adiantado. Se os alunos não apresentassem a melhora de rendimento esperada, os professores teriam de devolver o dinheiro. A estratégia funcionou, pois, ao final de um ano letivo, os resultados foram positivos e o incentivo, eficaz.”

Ora, ao apresentar as conclusões finais relativas ao tema, o que se vê é que os autores induzem o leitor, selecionando dois trabalhos: um de  Chetty  (baixe aqui) que é retomado pelos próprios autores em outros dois estudos não citados no livro (baixe aqui e aqui) – trabalhos criticados na literatura americana e cujas medidas fazem uso de valor agregado para medir qualidade do professor (ver aqui também), método que está sob ataque até da Associação Americana de Estatísticos; o outro é um estudo de Fryer et al de 2013 que na realidade é de 2012.

Neste último, examina-se o procedimento de dar por antecipado o incentivo ao professor, mas retirá-lo se aluno depois não melhora o desempenho, ou seja, legaliza a introdução de “tortura” aos professores nas escolas. Nenhum dos dois estudos foi aplicado em escala. O primeiro não passa de um conjunto de cálculos estimativos dos próprios autores e o segundo atingiu 150 professores. Mas são a-criticamente citados como adequados para formulação de política pública quanto ao uso de incentivos. Nenhum palavra sobre o fracasso dos incentivos na Cidade de Nova York ou mesmo aqui perto, em São Paulo.

Isso nos leva ao fato de que os autores tomam estudos sem exame de sua qualidade ou de sua metodologia. Deixam de lado importantes estudos como o da National Academy of Science e o da Rand, mas incluem as elucubrações de Chetty, que acompanham as de Hanushek.

Uma análise de evidência tendencial não pode ser aceita se os autores não revelam seus métodos de pesquisa. Não sabemos porque um estudo foi incluído e outro não.

Independentemente de concordarmos ou não com os resultados apresentados pelo livro, o fato é que sem descrição da metodologia usada não podemos toma-lo como referência para pensar política pública. Fica tudo sob suspeita. O ônus do método, é do pesquisador. Até que o IAB revele seus métodos, o livro deve ser colocado em quarentena por tempo indeterminado.