(Continuação do post anterior.)

Em seguida a réplica do Instituto passa para a crítica 2 feita pelo Blog: “ no livro não há descrição dos critérios usados para selecionar os vieses da pesquisa.” Na realidade, não é selecionar, mas “controlar” o viés de publicação da pesquisa.

E o que Instituto responde? Ele concorda.

“Com relação ao livro publicado em 2015, a crítica de viés vale para qualquer tipo de revisão de evidências. Algumas metodologias de metaanálise tentam corrigir esse viés – mas este não é um objetivo explícito de nossa publicação.”

Colegas, exigências metodológicas não são optativas. Não são para você seguir se quiser. O que determina o método é o tipo de problema a ser resolvido, não a vontade do pesquisador.

Com esta afirmação, o Instituto reconheceu que a crítica que fizemos procede. Portanto, só falta informar ao leitor na introdução do livro na próxima edição. Ou seja, a afirmação do Instituto está de acordo com a crítica que fizemos neste blog: não houve controle de viés de publicação. Para o Instituto isto é normal; para nós e muitos outros, não. E não importa se o que está sendo feito é uma revisão de bibliografia ou uma metaanálise. Em uma metaanalise é pior ainda, principalmente, se ela pretende informar política pública. Isso não é optativo, é mandatório para o pesquisador. É isso que estamos dizendo e é isso que o Instituto acaba reconhecendo não ter colocado entre seus cuidados metodológicos.

E segue:

“No livro publicado em 2014, o artigo de fundo, de Richard Murnane, explicita o critério utilizado: estudos que se utilizam da metodologia de grupos de controle randomizado realizados em países em desenvolvimento. Portanto, a crítica não se aplica.”

Mas o leitor, incluindo o leigo, precisa saber que isso exclui um montão de outros estudos. Por que se inclui só os estudos de delineamento com controle randomizado? Qual o conceito de “evidência” que está sendo manejado na pesquisa? O leitor não familiarizado merece uma explicação. O livro não foi produzido só para consumo na academia, onde tais conceitos são mais recorrentes.

Mas nesse ponto, a réplica muda de assunto e parte para a agressão do Blog, como se isso resolvesse o seu problema:

“Enviesada e parcial é a forma como o Sr. Luiz Carlos de Freitas utiliza o exemplo de Fryer (2012), omitindo as ressalvas feitas em nosso texto nas linhas imediatamente subsequentes às citadas pelo referido senhor. Este comentário – ou crítica – não é construtivo, e, no contexto das demais críticas apresentadas, no mesmo tom, soa como mal intencionado, ao sugerir que estamos promovendo uma política como sendo positiva sem fazer referência às limitações do argumento apresentado.”

Infelizmente, colegas, vocês confessaram linhas antes que não controlaram viés de publicação na pesquisa. Eu até tive a paciência de agregar os desdobramentos dos estudos de Fryer não citados pelo livro, agregar referências a estudos de valor agregado que são usados nos trabalhos de Fryer e que indicam que o modelo de cálculo de valor agregado não têm estabilidade quando aplicado à avaliação de professores.  Além disso, ao criticar o uso de Fryer, indiquei um estudo do NEPC e com o qual concordo. Meus argumentos estão lá. Li as ressalvas que os autores do Instituto incluíram nos comentários de seu livro ao falar de Fryer, mas simplesmente não são suficientes, só isso. Vejamos a conclusão a que chega a crítica do pessoal do Colorado, do NEPC, sobre os estudos de Fryer, eles dizem:

“Apesar das referências generalizadas a este estudo nos círculos políticos, as deficiências e extrapolações fracas tornam este relatório enganoso e não confiável para determinar política educacional.”

Os estudos de Fryer têm problemas para os quais os leitores do livro não foram alertados. E isso foi só um exemplo para mostrar as dificuldades que o trabalho contém, tomando para comentário apenas um dos capítulos.

(Continua no próximo post.)