João Batista Araujo e Oliveira Presidente do Instituto Alfa e Beto contesta o Blog em nota que publicamos a seguir. Em post futuro, responderemos às contestações do Instituto.

“Prezado Sr. Luiz Carlos de Freitas,

Com referência ao artigo assinado por V. Sa. e divulgado no seu blog, em respeito a seus leitores e com vistas a restabelecer a verdade dos fatos, solicito que seja publicada a nota abaixo. Atenciosamente,

João Batista Araujo e Oliveira, Presidente do Instituto Alfa e Beto

4 de janeiro de 2016

Comentários sobre a nota de autoria do Sr. Luiz Carlos de Freitas a respeito de publicações do Instituto Alfa e Beto sobre Educação Baseada em Evidências

Esta nota foi elaborada por João Batista Araujo e Oliveira, Presidente do Instituto Alfa e Beto em 4 de janeiro de 2016 e se refere às críticas apresentadas a duas publicações do Instituto.

Crítica 1: O Instituto publicou duas versões de um livro sobre Educação Baseada em evidências e não apresenta com clareza a metodologia utilizada.

Comentário: O entendimento e a afirmação são equivocados.  No livro publicado em 2014, chamado Educação Baseada em Evidências, há uma introdução que discute diferentes tipos, níveis e formas de coleta de evidência, e um artigo de fundo, de autoria de Richard Murnane, que se baseia em artigos científicos realizados em países em desenvolvimento que utilizam a metodologia de grupos de controle randomizado e que, portanto, permitem inferências causais.

O segundo livro – chamado Educação Baseada em Evidências: como saber o que funciona em educação e elaborado por quatro autores – também apresenta um capítulo introdutório de natureza metodológica, e diversos capítulos que utilizam as melhores bases de dados disponíveis sobre os vários temas tratados. A maioria dos capítulos se baseia em metaanálises – com cerca de 20 ou 30 estudos revistos – de acordo com os dados disponíveis. Este segundo livro não se propõe a fazer uma metaanálise das metaanálises – o que ele faz é apresentar resultados consistentes de estudos robustos, de diferentes origens. Trata-se, portanto, de um trabalho intermediário entre uma revisão de literatura – que apresenta evidências empíricas disponíveis sobre cada tema – muitas delas já sintetizadas por outros pesquisadores na forma de metaanálise. O objetivo do livro é oferecer evidências para subsidiar o debate sobre políticas públicas – não se propondo a sintetizar os resultados quantitativos.

Crítica 2: No livro não há descrição dos critérios usados para selecionar os vieses da pesquisa.

Comentário: No livro publicado em 2014, o artigo de fundo, de Richard Murnane, explicita o critério utilizado: estudos que se utilizam da metodologia de grupos de controle randomizado realizados em países em desenvolvimento. Portanto, a crítica não se aplica.

Com relação ao livro publicado em 2015, a crítica de viés vale para qualquer tipo de revisão de evidências. Algumas metodologias de metaanálise tentam corrigir esse viés – mas este não é um objetivo explícito de nossa publicação. Na discussão de cada capítulo tentamos apresentar os diversos argumentos, inclusive em vários deles ressaltamos as limitações das análises e o alcance dos resultados apresentados. Enviesada e parcial é a forma como o Sr. Luiz Carlos de Freitas utiliza o exemplo de Fryer (2012), omitindo as ressalvas feitas em nosso texto nas linhas imediatamente subsequentes às citadas pelo referido senhor. Este comentário – ou crítica – não é construtivo, e, no contexto das demais críticas apresentadas, no mesmo tom, soa como mal intencionado, ao sugerir que estamos promovendo uma política como sendo positiva sem fazer referência às limitações do argumento apresentado.

Crítica 3: “Isso nos leva ao fato de que os autores tomam estudos sem exame de sua qualidade ou de sua metodologia”

Comentário: Novamente esta afirmação não cabe no caso do trabalho de Murnane, pois ele explicitamente utiliza estudos com grupos de controle randomizado para ilustrar exemplos de uso de evidência para iluminar políticas públicas.

No caso do livro publicado em 2015, a afirmação é igualmente falsa. Em todos os capítulos classificamos as metodologias utilizadas – indicando as que permitem ou não inferências causais. Isso foi feito exatamente para levar em consideração a qualidade diferente das metodologias e dos dados utilizados em cada estudo. Na discussão dos resultados, ao final de cada capítulo, isso também foi considerado – em todos os casos mostramos a força e fragilidade dos vários argumentos, de forma equilibrada e consistente com os dados. O livro não se propõe a defender determinadas políticas e sim a ilustrar como usar evidências para formular políticas.

Crítica 4: Uma análise de evidência tendencial não pode ser aceita se os autores não revelam seus métodos de pesquisa. Não sabemos porque um estudo foi incluído e outro não.

Comentário: No caso do livro publicado em 2014, conforme mencionado no capítulo de fundo do livro, foi feita uma ampla revisão da literatura e, a partir daí, selecionados tópicos relevantes para ilustrar o uso de evidências robustas para a formulação de políticas públicas. No caso as evidências foram limitadas a estudos com uma determinada metodologia (grupos de controle randomizados) e baseados em países em desenvolvimento. Nesse sentido, os estudos foram exaustivos – mesmo por haver um número bastante limitado de estudos com esse grau de rigor, especialmente no caso de países em desenvolvimento.

No caso do livro publicado em 2015, o critério principal foi a escolha de artigos científicos relevantes a cada tema, inclusive metaanálises, publicados em revistas científicas de circulação internacional. Como em qualquer estudo, há um componente de discrição, pois podemos ter omitido estudos que outros autores consideram como relevantes – cerca de pelo menos 30 estudos por tema. Como se pode observar dos estudos escolhidos e das conclusões apresentadas, os resultados quase sempre eram mistos, ou seja, apresentavam conclusões que não sugerem qualquer tendenciosidade na escolha dos artigos.

Comentário final:

Para o benefício da reflexão do leitor: as críticas apresentadas pelo Sr. Luiz Carlos de Freitas seguem o padrão típico do discurso que se pretende tornar hegemônico para impedir um diálogo fundamentado sobre educação no Brasil. Do arsenal de estratégias que vêm sendo usadas pelos promotores da nova hegemonia, desde os anos 80, o Sr. Luiz Carlos de Freitas se vale de três delas. A primeira é o uso de argumentos ad hominem – critica-se o autor, não as ideias e argumentos. Por exemplo, chamar o presidente do instituto Alfa e Beto de “dono” reflete não apenas um desprezo pela linguagem formal adequada quanto uma tentativa de insulto e desqualificação de pessoas. O mesmo é feito em relação a outros cientistas cujos trabalhos foram citados. É o que se chama de “baixaria” – incompatível com o respeito devido à ciência e às pessoas que dedicam suas vidas a ela. A segunda é o uso de citações parciais ou fora de contexto, como ilustrado no caso de Fryer. A terceira é a tentativa de impedir o debate a qualquer custo. Ao invés de convidar o leitor a ler os livros citados e exercer o seu espírito crítico e o debate substantivo, o Sr. Luiz Carlos de Freitas assume a postura de Grande Inquisidor e propõe o expurgo dos livros – pelo menos até que os autores satisfaçam as suas condições (comprovadamente inapropriadas, impertinentes e irrelevantes).

Para concluir, fica um convite e desafio ao leitor: encontrar artigos que invalidem as conclusões apresentadas nos livros e encontrar qualquer capítulo em que as conclusões não decorram estritamente dos dados apresentados. Ambas as publicações citadas nesta nota encontram-se disponíveis para leitura no site do Instituto Alfa e Beto.

 Junto com os demais coautores convido todos ao debate. Os interessados podem enviar suas considerações para joao@alfaebeto.org.br