Recentemente publiquei neste Blog um post criticando dois livros eletrônicos disponibilizados pelo Instituto Alfa e Beto. Em seguida, a pedido, divulguei aqui a réplica do Instituto Alfa e Beto ao meu post. Mesmo que os termos usados em algumas partes da réplica fossem inadequados à política deste Blog. Mas julguei que o leitor deveria poder lê-la na íntegra. Em seguida, passo a responder a réplica do Instituto na forma de uma tréplica. Para tranquilidade do leitor deste blog, frente a tantos outros temas educacionais que nos esperam, não  pretendo alongar além desta tréplica este tema.

Quando, muito tempo já passado, eu era estudante de metodologia da pesquisa, um velho professor me indicou um livro que começava assim (vou citar de forma livre): “Se alguém afirmar que a lua é feita de queijo, não espere que os físicos deixem seus laboratórios para verificar se é mesmo de queijo”. Aprendi, desde então, sobre a responsabilidade social da pesquisa, ou seja, o pesquisador é responsável por aquilo que ele afirma. Mais ainda: é da responsabilidade do pesquisador indicar os caminhos que percorreu para chegar às afirmações que faz. Seria isso uma exigência impertinente, infundada, uma “inquisição”?

Qual o problema com o Instituto Alfa e Beto? Ele publicou dois estudos que chama de “Educação baseada em evidências”. No segundo livro aduziu: “Como saber o que funciona em educação”. O livro eletrônico tem distribuição gratuita e se supõe chegue a um grande contingente de formuladores de política pública.

Se o Instituto tivesse feito a mesma publicação sem a pretensão de orientar política pública, de pretender ser um ponto de referência para ”saber o que funciona em educação”, a responsabilidade social ainda continuaria existindo, mas ela não estaria induzindo o leitor a adotar ideias controversas. Toda pesquisa tem seus limites e toda compilação de dados apresenta igualmente suas limitações, preferências ou outras injunções. Não há nada de mal em se organizar livros que apresentem determinadas ideias escolhidas pelo seu proponente, desde que para isso esteja suficientemente alertado o leitor.

Portanto, este é o foco da discórdia: estão os dados na forma apresentada nos livros publicados pelo Instituto Alfa e Beto em condições de orientar politica pública. Em nossa opinião, não. Para tal, teríamos que ter acesso não apenas às metodologia particulares usadas pelos autores compilados, mas também ao método usado pelo Instituto para compilar tais autores.

Revisar literatura e pior ainda, fazer metaanálise, não é juntar um monte de estudos, organizar os que são a favor ou contra, e comentá-los livremente. Exige-se mais. E aqui passamos a uma outra questão.

É muito saudável que tenhamos entrado nesta disputa teórica. O que temos aqui é um “conflito de lógicas”, provavelmente. Por um lado, a lógica da produção de conhecimento acadêmica. É disso que vivemos nas Universidades, ou seja, de produzir conhecimento. E por outro lado, a lógica empresarial. São lógicas diferentes, só isso.

No mundo inteiro, os reformadores empresariais estão sob controle da lógica de mercado. Na lógica mercadológica, o que conta é a resolução do problema para o qual uma empresa é contratada. Ela tem que mostrar eficácia e tem que procurar basear-se em evidências empíricas que mostrem o potencial das soluções que vende. É da sua lógica. Ela faz escolhas, aposta nelas. Depende delas e se não acertar, está fora do mercado. Neste mesmo sentido, quando se envolve com produção de conhecimento, ela não depende de ter que aprovar seus “projetos de pesquisa” em agências de financiamento e nem de passar pelo crivo dos “referees” das revistas para ter seus dados publicados. Elas definem o que querem fazer, financiam e publicam os seus próprios estudos sem depender de nenhum crivo externo. Pagam elas mesmas o estudo e a publicação e pronto. Claro, sempre há exceções, mas não estamos aqui diante de uma delas.

A lógica acadêmica da produção de conhecimento é diferente.  Primeiro, temos que conseguir financiamento junto a alguma instituição de fomento à pesquisa. Temos que provar que o dinheiro que estamos solicitando produzirá um produto de relevância social e que dispomos de uma metodologia tanto quanto permite o estado da arte naquele campo, sólida. Especialistas da área onde pretendemos investigar são chamados a dar pareceres conclusivos sobre a nossa solicitação. Somos exaustivamente checados em nossas pretensões e conhecimentos.

Se passarmos por este filtro. Há outros. Quando o estudo termina, temos que apresentar um relatório científico que novamente é enviado a pareceristas pela agência financiadora. Se não cumprimos o que nos propusemos, o relatório é recusado. Além disso, para publicar o resultado de nossas pesquisas em revistas sérias, não naquelas em que se paga para aceitar artigos, de novo dependemos de mais pareceristas, às vezes mais de um. Se eles entendem que houve falha metodológica ou que as conclusões estão além do que a metodologia usada permite concluir, somos obrigados a refazer a proposta ou simplesmente o trabalho é recusado para publicação.

Para nós da academia, sermos questionados em nossas metodologias propostas ou sermos contrariados em nossas conclusões, faz parte da profissão. E é vital para o aprimoramento da ciência.

Esta pode ser a razão da reação do Instituto Alfa e Beto às nossas críticas. Operamos com lógicas distintas. Para nós elas são naturais. Para eles aparecem como um “Tribunal de Inquisição”, “baixaria” etc. Mas a ciência é uma atividade social. Também nela se presta contas dos métodos que usamos, do dinheiro (pelo menos público) que gastamos, dos resultados que obtemos. Não se pode pensar a ciência sem o debate, às vezes impertinente, sem questionamentos. A ciência é por excelência uma atividade democrática na qual todos estão convidados a “meter sua colher de pau”, que seja. Quem não gosta de crítica, não deve se meter com ciência.

No entanto, quando a pesquisa pretende orientar política pública, ou seja, pretende afetar a vida dos outros, então ela contrai maiores responsabilidades pelas consequências que pode produzir. Esta é a questão e é assim que este Blog a vê.

O Instituto Alfa e Beto, através de seu Presidente, contestou as críticas que este Blog fez a duas publicações daquele Instituto que têm a intenção de levar até os leitores brasileiros evidência sobre o que funciona em Educação. O propósito da publicação não é pequeno, e é grave, pois gestores públicos ao longo do país, podem ler o estudo e orientar suas práticas por elas, afetando a vida de pais, professores, alunos e gestores. Não é simples reunir um conjunto de evidências em uma área como a educação com o propósito de fazer recomendações. Envolve amplitude de análise, método adequado, variedade de posições, humildade: a menos que o pesquisador deixe claro no texto os recortes que fez para o seu estudo. É legítimo recortar um objeto, mas isso deve ser informado. Onde? Na metodologia. E isso nos leva ao questionamento deste Blog: onde está a metodologia que o Instituto usou para incluir e analisar os artigos que reuniu. A dos artigos reunidos está em cada uma das publicações deles. Mas e a do Instituto, onde está?

Com o objetivo de orientar políticas, os autores contrairam responsabilidades maiores. E, portanto, as exigências metodológicas aumentam. Imaginemos que alguém resolvesse reunir em um livro métodos de cura de câncer para orientar políticas públicas da área da saúde: não seria lícito uma exigência metodológica maior?

Continua no próximo post.