(Continuação do post anterior.)

Outra crítica que fizemos, segundo o Instituto, diz: “Isso nos leva ao fato de que os autores tomam estudos sem exame de sua qualidade ou de sua metodologia”. Já vimos no post anterior o caso Fryer. O Instituto argumenta que:

“Na discussão dos resultados, ao final de cada capítulo, isso também foi considerado – em todos os casos mostramos a força e fragilidade dos vários argumentos, de forma equilibrada e consistente com os dados. O livro não se propõe a defender determinadas políticas e sim a ilustrar como usar evidências para formular políticas”.

Novamente o zig-zag da argumentação: “o livro não se propõe”. Não se propõe, mas induz. Agora, se é assim, em uma segunda edição, deve-se deixar claro, então, a que se propõe o livro e isso deve estar logo na introdução. E continua:

“Em todos os capítulos classificamos as metodologias utilizadas – indicando as que permitem ou não inferências causais. Isso foi feito exatamente para levar em consideração a qualidade diferente das metodologias e dos dados utilizados em cada estudo”.

“Classificar” não é apresentar. Em segundo lugar, a questão é o critério de seleção dos estudos e não os comentários variados e desorganizados sobre cada um dos estudos incluídos, feitos à moda de conclusão ao final de cada capítulo, diga-se de passagem, igualmente sem método.

E finalmente a crítica 4: “uma análise de evidência tendencial não pode ser aceita se os autores não revelam seus métodos de pesquisa. Não sabemos porque um estudo foi incluído e outro não.” A réplica diz:

“No caso do livro publicado em 2014, conforme mencionado no capítulo de fundo do livro, foi feita uma ampla revisão da literatura e, a partir daí, selecionados tópicos relevantes para ilustrar o uso de evidências robustas para a formulação de políticas públicas. No caso as evidências foram limitadas a estudos com uma determinada metodologia (grupos de controle randomizados) e baseados em países em desenvolvimento. Nesse sentido, os estudos foram exaustivos – mesmo por haver um número bastante limitado de estudos com esse grau de rigor, especialmente no caso de países em desenvolvimento.”

O que é uma “ampla revisão da literatura”? O que são “evidências robustas”? “Tópicos relevantes”? Segundo quem? Com que critérios? Como foram lidos e categorizados os estudos? Eram comparáveis? Que implicações para a síntese das evidências ocorrem ao tomarmos como referência apenas estudos com grupos de controle randomizados? Isso é suficiente para orientar política pública? É assim que se faz pesquisa na área de políticas públicas?

“No caso do livro publicado em 2015, o critério principal foi a escolha de artigos científicos relevantes a cada tema, inclusive metaanálises, publicados em revistas científicas de circulação internacional.”

Ou seja, confusão é o que se evidencia na resposta do Instituto: não fizemos “metaanálise de metaanálise”, mas levamos em conta “inclusive metaanálises” junto com “artigos científicos relevantes a cada tema” – que se supõe não sejam metaanálise.

Toda esta argumentação errática, não resolve o problema central posto desde a crítica 1.

Finalmente diz a réplica:

“Como em qualquer estudo, há um componente de discrição, pois podemos ter omitido estudos que outros autores consideram como relevantes – cerca de pelo menos 30 estudos por tema. Como se pode observar dos estudos escolhidos e das conclusões apresentadas, os resultados quase sempre eram mistos, ou seja, apresentavam conclusões que não sugerem qualquer tendenciosidade na escolha dos artigos. “

Mas este é o critério? Então, se as conclusões envolvem posições “mistas”, logo não houve tendenciosidade na escolha”? Ora, uma análise com posições “mistas” não é uma virtude a ser imposta ao estudo pelo pesquisador, mas é produto da análise das evidências coletadas e analisadas por ele. E elas necessitam ser suficientemente abrangentes e com critérios explícitos de coleta para poder sugerir caminhos. O fato de incluir algum estudo contraditório, não é mecanismo de validação de ausência de viés de publicação. A pesquisa não é uma questão de mero “equilíbrio”.

Ou seja, o que se pede aqui é que os pesquisadores tenham a prudente e boa humildade de evidenciar os limites de seus trabalhos e informar aos seus leitores. Rompantes não resolvem problemas metodológicos a que toda pesquisa está sempre sujeita.

Ao invés disso, o que propõe o Instituto em sua réplica:

“Ao invés de convidar o leitor a ler os livros citados e exercer o seu espírito crítico e o debate substantivo, o Sr. Luiz Carlos de Freitas assume a postura de Grande Inquisidor e propõe o expurgo dos livros – pelo menos até que os autores satisfaçam as suas condições (comprovadamente inapropriadas, impertinentes e irrelevantes).”

As exigências que estou fazendo ao Instituto são corriqueiras no interior da boa produção acadêmica. Se o Instituto não quer segui-las, continue restrito à lógica comercial e empresarial. Deixem os dados das pesquisas em paz.

Mas o texto da réplica vai além, tenta transferir responsabilidades que são dos pesquisadores para os leitores:

“Para concluir, fica um convite e desafio ao leitor: encontrar artigos que invalidem as conclusões apresentadas nos livros e encontrar qualquer capítulo em que as conclusões não decorram estritamente dos dados apresentados.”

Já apresentei um pequeno exemplo com os estudos de Fryer, no post anterior. Deveria ser suficiente para os autores refletirem. Para nós a crítica faz parte do trabalho. Mas “se alguém disser que a lua é feita de queijo, não espere que os físicos saiam de seus laboratórios para verificar se é mesmo de queijo”. Cabe a quem afirma, “provar”. O Instituto terá que fazer o seu trabalho e não repassar a outros.

A questão básica é se os dados incluídos são suficientes para informar os gestores e formuladores de política sobre como eles podem proceder com base em evidência empírica. Para nós, sem clareza metodológica, a resposta é não.

Por tudo isso, depois de ler a argumentação dos colegas do Instituto, ainda acho recomendável que o livro continue de quarentena, até que os autores se convençam da necessidade de apresentar os métodos que utilizaram nos seus estudos para incluir os dados apresentados, incluindo como controlaram o viés de publicação. Ou então, indiquem explicitamente nas introduções dos seus livros, os recortes que fizeram e as limitações que o estudo tem, em respeito aos leitores dos seus livros. Isso não irá tirar o mérito da publicação do Instituto, mas sim, devolvê-lo.