(Continuação de post anterior.)

Como examinamos em posts anteriores, não é preciso agregar nada mais para mostrar que sem a especificação da metodologia usada pelo Instituto, não se pode avaliar os resultados do trabalho. Mesmo que Isso não afete a validade de cada um dos estudos reunidos, pois já estavam divulgados antes de serem selecionados pelo Instituto,  questiona as considerações feitas pela sua equipe, o que afinal é o mais importante, pois é o objetivo do livro, já que não se trata, neste, de uma mera repetição dos resultados isolados de cada um dos estudos listados. Fazer isso exige método. Isso é uma questão corrente na pesquisa científica como já dissemos.

O Instituto percebe corretamente que esta é nossa primeira crítica, se não a única, diz: “Crítica 1: O Instituto publicou duas versões de um livro sobre Educação Baseada em Evidências e não apresenta com clareza a metodologia utilizada.”

A esta objeção, os autores respondem dizendo que:

“o entendimento e a afirmação são equivocados”. Em relação ao primeiro livro, dizem: “que se baseia em artigos científicos realizados em países em desenvolvimento que utilizam a metodologia de grupos de controle randomizado e que permitem inferências causais”.

Sim, mas como ocorreu a seleção e análise dos estudos? Isso não está no livro do Instituto e sim em outra publicação para onde o autor remete o leitor. Não é o leitor que tem que ir atrás do método usado no livro. Todo relatório científico desta natureza deve ter um capítulo ou um momento em que apresenta sua metodologia sem que o leitor tenha que ir procurá-la em outro lugar. Se o artigo introdutório fosse um preâmbulo metodológico dos dados apresentados no livro, não haveria necessidade de remeter o leitor a outra publicação para obter informação sobre a metodologia.

Em relação ao segundo livro a nota do Instituto diz:

“O segundo livro – chamado Educação Baseada em Evidências: como saber o que funciona em educação e elaborado por quatro autores – também apresenta um capítulo introdutório de natureza metodológica, e diversos capítulos que utilizam as melhores bases de dados disponíveis sobre os vários temas tratados.” (Grifos meus.)

Em realidade, este capítulo introdutório alegado é genérico e poderia estar no início de qualquer livro, pois não se refere especificamente à metodologia usada pelo Instituto. É novamente, genérica. A questão não é saber o que é metaanálise, mas como foi feita concretamente. O fato de ter pesquisado “nas melhores bases de dados disponíveis”, não garante coisa alguma. É preciso saber como isso foi feito.

“A maioria dos capítulos se baseia em metaanálises – com cerca de 20 ou 30 estudos revistos – de acordo com os dados disponíveis. Este segundo livro não se propõe a fazer uma metaanálise das metaanálises – o que ele faz é apresentar resultados consistentes de estudos robustos, de diferentes origens. Trata-se, portanto, de um trabalho intermediário entre uma revisão de literatura – que apresenta evidências empíricas disponíveis sobre cada tema – muitas delas já sintetizadas por outros pesquisadores na forma de metaanálise. O objetivo do livro é oferecer evidências para subsidiar o debate sobre políticas públicas – não se propondo a sintetizar os resultados quantitativos.” (Grifos meus.)

Ou seja, o que é mesmo que o livro faz? São dadas desculpas por não se ter apresentado uma metodologia clara. A argumentação é saltitante. Concretamente, onde está o controle do viés de publicação do Instituto e dos estudos reunidos? Simplesmente, como a réplica do Instituto mostra, não há.

É esta ambiguidade que o livro tem e que, como se pode ver, a réplica não resolve. Afinal, o que é que o Instituto está apresentando aos gestores brasileiros: uma revisão de bibliografia, uma metaanálise, nenhuma das anteriores? O Instituto se enrola nas palavras sem ser objetivo na resposta. A melhor maneira de “resolver” isso, em ciência, é reconhecer os limites que os estudos têm e alertar o leitor na introdução do livro. Baixar as expectativas. Com um pouco de humildade estas coisas se resolvem.

Se o Instituto quer entrar na “produção de conhecimento acadêmico”, há “boas práticas” a serem levadas em conta. O Instituto pode-se inspirar em bons exemplos como o CENPEC ou como a Fundação Carlos Chagas – caso não goste da lógica das universidades.

Continua no próximo post.