AVALIAÇÃO EDUCACIONAL – Blog do Freitas

(Continuação do post anterior.)

Outra crítica que fizemos, segundo o Instituto, diz: “Isso nos leva ao fato de que os autores tomam estudos sem exame de sua qualidade ou de sua metodologia”. Já vimos no post anterior o caso Fryer. O Instituto argumenta que:

“Na discussão dos resultados, ao final de cada capítulo, isso também foi considerado – em todos os casos mostramos a força e fragilidade dos vários argumentos, de forma equilibrada e consistente com os dados. O livro não se propõe a defender determinadas políticas e sim a ilustrar como usar evidências para formular políticas”.

Novamente o zig-zag da argumentação: “o livro não se propõe”. Não se propõe, mas induz. Agora, se é assim, em uma segunda edição, deve-se deixar claro, então, a que se propõe o livro e isso deve estar logo na introdução. E continua:

“Em todos os capítulos classificamos as metodologias utilizadas – indicando as que permitem ou não inferências causais. Isso foi feito exatamente para levar em consideração a qualidade diferente das metodologias e dos dados utilizados em cada estudo”.

“Classificar” não é apresentar. Em segundo lugar, a questão é o critério de seleção dos estudos e não os comentários variados e desorganizados sobre cada um dos estudos incluídos, feitos à moda de conclusão ao final de cada capítulo, diga-se de passagem, igualmente sem método.

E finalmente a crítica 4: “uma análise de evidência tendencial não pode ser aceita se os autores não revelam seus métodos de pesquisa. Não sabemos porque um estudo foi incluído e outro não.” A réplica diz:

“No caso do livro publicado em 2014, conforme mencionado no capítulo de fundo do livro, foi feita uma ampla revisão da literatura e, a partir daí, selecionados tópicos relevantes para ilustrar o uso de evidências robustas para a formulação de políticas públicas. No caso as evidências foram limitadas a estudos com uma determinada metodologia (grupos de controle randomizados) e baseados em países em desenvolvimento. Nesse sentido, os estudos foram exaustivos – mesmo por haver um número bastante limitado de estudos com esse grau de rigor, especialmente no caso de países em desenvolvimento.”

O que é uma “ampla revisão da literatura”? O que são “evidências robustas”? “Tópicos relevantes”? Segundo quem? Com que critérios? Como foram lidos e categorizados os estudos? Eram comparáveis? Que implicações para a síntese das evidências ocorrem ao tomarmos como referência apenas estudos com grupos de controle randomizados? Isso é suficiente para orientar política pública? É assim que se faz pesquisa na área de políticas públicas?

“No caso do livro publicado em 2015, o critério principal foi a escolha de artigos científicos relevantes a cada tema, inclusive metaanálises, publicados em revistas científicas de circulação internacional.”

Ou seja, confusão é o que se evidencia na resposta do Instituto: não fizemos “metaanálise de metaanálise”, mas levamos em conta “inclusive metaanálises” junto com “artigos científicos relevantes a cada tema” – que se supõe não sejam metaanálise.

Toda esta argumentação errática, não resolve o problema central posto desde a crítica 1.

Finalmente diz a réplica:

“Como em qualquer estudo, há um componente de discrição, pois podemos ter omitido estudos que outros autores consideram como relevantes – cerca de pelo menos 30 estudos por tema. Como se pode observar dos estudos escolhidos e das conclusões apresentadas, os resultados quase sempre eram mistos, ou seja, apresentavam conclusões que não sugerem qualquer tendenciosidade na escolha dos artigos. “

Mas este é o critério? Então, se as conclusões envolvem posições “mistas”, logo não houve tendenciosidade na escolha”? Ora, uma análise com posições “mistas” não é uma virtude a ser imposta ao estudo pelo pesquisador, mas é produto da análise das evidências coletadas e analisadas por ele. E elas necessitam ser suficientemente abrangentes e com critérios explícitos de coleta para poder sugerir caminhos. O fato de incluir algum estudo contraditório, não é mecanismo de validação de ausência de viés de publicação. A pesquisa não é uma questão de mero “equilíbrio”.

Ou seja, o que se pede aqui é que os pesquisadores tenham a prudente e boa humildade de evidenciar os limites de seus trabalhos e informar aos seus leitores. Rompantes não resolvem problemas metodológicos a que toda pesquisa está sempre sujeita.

Ao invés disso, o que propõe o Instituto em sua réplica:

“Ao invés de convidar o leitor a ler os livros citados e exercer o seu espírito crítico e o debate substantivo, o Sr. Luiz Carlos de Freitas assume a postura de Grande Inquisidor e propõe o expurgo dos livros – pelo menos até que os autores satisfaçam as suas condições (comprovadamente inapropriadas, impertinentes e irrelevantes).”

As exigências que estou fazendo ao Instituto são corriqueiras no interior da boa produção acadêmica. Se o Instituto não quer segui-las, continue restrito à lógica comercial e empresarial. Deixem os dados das pesquisas em paz.

Mas o texto da réplica vai além, tenta transferir responsabilidades que são dos pesquisadores para os leitores:

“Para concluir, fica um convite e desafio ao leitor: encontrar artigos que invalidem as conclusões apresentadas nos livros e encontrar qualquer capítulo em que as conclusões não decorram estritamente dos dados apresentados.”

Já apresentei um pequeno exemplo com os estudos de Fryer, no post anterior. Deveria ser suficiente para os autores refletirem. Para nós a crítica faz parte do trabalho. Mas “se alguém disser que a lua é feita de queijo, não espere que os físicos saiam de seus laboratórios para verificar se é mesmo de queijo”. Cabe a quem afirma, “provar”. O Instituto terá que fazer o seu trabalho e não repassar a outros.

A questão básica é se os dados incluídos são suficientes para informar os gestores e formuladores de política sobre como eles podem proceder com base em evidência empírica. Para nós, sem clareza metodológica, a resposta é não.

Por tudo isso, depois de ler a argumentação dos colegas do Instituto, ainda acho recomendável que o livro continue de quarentena, até que os autores se convençam da necessidade de apresentar os métodos que utilizaram nos seus estudos para incluir os dados apresentados, incluindo como controlaram o viés de publicação. Ou então, indiquem explicitamente nas introduções dos seus livros, os recortes que fizeram e as limitações que o estudo tem, em respeito aos leitores dos seus livros. Isso não irá tirar o mérito da publicação do Instituto, mas sim, devolvê-lo.

(Continuação do post anterior.)

Em seguida a réplica do Instituto passa para a crítica 2 feita pelo Blog: “ no livro não há descrição dos critérios usados para selecionar os vieses da pesquisa.” Na realidade, não é selecionar, mas “controlar” o viés de publicação da pesquisa.

E o que Instituto responde? Ele concorda.

“Com relação ao livro publicado em 2015, a crítica de viés vale para qualquer tipo de revisão de evidências. Algumas metodologias de metaanálise tentam corrigir esse viés – mas este não é um objetivo explícito de nossa publicação.”

Colegas, exigências metodológicas não são optativas. Não são para você seguir se quiser. O que determina o método é o tipo de problema a ser resolvido, não a vontade do pesquisador.

Com esta afirmação, o Instituto reconheceu que a crítica que fizemos procede. Portanto, só falta informar ao leitor na introdução do livro na próxima edição. Ou seja, a afirmação do Instituto está de acordo com a crítica que fizemos neste blog: não houve controle de viés de publicação. Para o Instituto isto é normal; para nós e muitos outros, não. E não importa se o que está sendo feito é uma revisão de bibliografia ou uma metaanálise. Em uma metaanalise é pior ainda, principalmente, se ela pretende informar política pública. Isso não é optativo, é mandatório para o pesquisador. É isso que estamos dizendo e é isso que o Instituto acaba reconhecendo não ter colocado entre seus cuidados metodológicos.

E segue:

“No livro publicado em 2014, o artigo de fundo, de Richard Murnane, explicita o critério utilizado: estudos que se utilizam da metodologia de grupos de controle randomizado realizados em países em desenvolvimento. Portanto, a crítica não se aplica.”

Mas o leitor, incluindo o leigo, precisa saber que isso exclui um montão de outros estudos. Por que se inclui só os estudos de delineamento com controle randomizado? Qual o conceito de “evidência” que está sendo manejado na pesquisa? O leitor não familiarizado merece uma explicação. O livro não foi produzido só para consumo na academia, onde tais conceitos são mais recorrentes.

Mas nesse ponto, a réplica muda de assunto e parte para a agressão do Blog, como se isso resolvesse o seu problema:

“Enviesada e parcial é a forma como o Sr. Luiz Carlos de Freitas utiliza o exemplo de Fryer (2012), omitindo as ressalvas feitas em nosso texto nas linhas imediatamente subsequentes às citadas pelo referido senhor. Este comentário – ou crítica – não é construtivo, e, no contexto das demais críticas apresentadas, no mesmo tom, soa como mal intencionado, ao sugerir que estamos promovendo uma política como sendo positiva sem fazer referência às limitações do argumento apresentado.”

Infelizmente, colegas, vocês confessaram linhas antes que não controlaram viés de publicação na pesquisa. Eu até tive a paciência de agregar os desdobramentos dos estudos de Fryer não citados pelo livro, agregar referências a estudos de valor agregado que são usados nos trabalhos de Fryer e que indicam que o modelo de cálculo de valor agregado não têm estabilidade quando aplicado à avaliação de professores.  Além disso, ao criticar o uso de Fryer, indiquei um estudo do NEPC e com o qual concordo. Meus argumentos estão lá. Li as ressalvas que os autores do Instituto incluíram nos comentários de seu livro ao falar de Fryer, mas simplesmente não são suficientes, só isso. Vejamos a conclusão a que chega a crítica do pessoal do Colorado, do NEPC, sobre os estudos de Fryer, eles dizem:

“Apesar das referências generalizadas a este estudo nos círculos políticos, as deficiências e extrapolações fracas tornam este relatório enganoso e não confiável para determinar política educacional.”

Os estudos de Fryer têm problemas para os quais os leitores do livro não foram alertados. E isso foi só um exemplo para mostrar as dificuldades que o trabalho contém, tomando para comentário apenas um dos capítulos.

(Continua no próximo post.)

(Continuação de post anterior.)

Como examinamos em posts anteriores, não é preciso agregar nada mais para mostrar que sem a especificação da metodologia usada pelo Instituto, não se pode avaliar os resultados do trabalho. Mesmo que Isso não afete a validade de cada um dos estudos reunidos, pois já estavam divulgados antes de serem selecionados pelo Instituto,  questiona as considerações feitas pela sua equipe, o que afinal é o mais importante, pois é o objetivo do livro, já que não se trata, neste, de uma mera repetição dos resultados isolados de cada um dos estudos listados. Fazer isso exige método. Isso é uma questão corrente na pesquisa científica como já dissemos.

O Instituto percebe corretamente que esta é nossa primeira crítica, se não a única, diz: “Crítica 1: O Instituto publicou duas versões de um livro sobre Educação Baseada em Evidências e não apresenta com clareza a metodologia utilizada.”

A esta objeção, os autores respondem dizendo que:

“o entendimento e a afirmação são equivocados”. Em relação ao primeiro livro, dizem: “que se baseia em artigos científicos realizados em países em desenvolvimento que utilizam a metodologia de grupos de controle randomizado e que permitem inferências causais”.

Sim, mas como ocorreu a seleção e análise dos estudos? Isso não está no livro do Instituto e sim em outra publicação para onde o autor remete o leitor. Não é o leitor que tem que ir atrás do método usado no livro. Todo relatório científico desta natureza deve ter um capítulo ou um momento em que apresenta sua metodologia sem que o leitor tenha que ir procurá-la em outro lugar. Se o artigo introdutório fosse um preâmbulo metodológico dos dados apresentados no livro, não haveria necessidade de remeter o leitor a outra publicação para obter informação sobre a metodologia.

Em relação ao segundo livro a nota do Instituto diz:

“O segundo livro – chamado Educação Baseada em Evidências: como saber o que funciona em educação e elaborado por quatro autores – também apresenta um capítulo introdutório de natureza metodológica, e diversos capítulos que utilizam as melhores bases de dados disponíveis sobre os vários temas tratados.” (Grifos meus.)

Em realidade, este capítulo introdutório alegado é genérico e poderia estar no início de qualquer livro, pois não se refere especificamente à metodologia usada pelo Instituto. É novamente, genérica. A questão não é saber o que é metaanálise, mas como foi feita concretamente. O fato de ter pesquisado “nas melhores bases de dados disponíveis”, não garante coisa alguma. É preciso saber como isso foi feito.

“A maioria dos capítulos se baseia em metaanálises – com cerca de 20 ou 30 estudos revistos – de acordo com os dados disponíveis. Este segundo livro não se propõe a fazer uma metaanálise das metaanálises – o que ele faz é apresentar resultados consistentes de estudos robustos, de diferentes origens. Trata-se, portanto, de um trabalho intermediário entre uma revisão de literatura – que apresenta evidências empíricas disponíveis sobre cada tema – muitas delas já sintetizadas por outros pesquisadores na forma de metaanálise. O objetivo do livro é oferecer evidências para subsidiar o debate sobre políticas públicas – não se propondo a sintetizar os resultados quantitativos.” (Grifos meus.)

Ou seja, o que é mesmo que o livro faz? São dadas desculpas por não se ter apresentado uma metodologia clara. A argumentação é saltitante. Concretamente, onde está o controle do viés de publicação do Instituto e dos estudos reunidos? Simplesmente, como a réplica do Instituto mostra, não há.

É esta ambiguidade que o livro tem e que, como se pode ver, a réplica não resolve. Afinal, o que é que o Instituto está apresentando aos gestores brasileiros: uma revisão de bibliografia, uma metaanálise, nenhuma das anteriores? O Instituto se enrola nas palavras sem ser objetivo na resposta. A melhor maneira de “resolver” isso, em ciência, é reconhecer os limites que os estudos têm e alertar o leitor na introdução do livro. Baixar as expectativas. Com um pouco de humildade estas coisas se resolvem.

Se o Instituto quer entrar na “produção de conhecimento acadêmico”, há “boas práticas” a serem levadas em conta. O Instituto pode-se inspirar em bons exemplos como o CENPEC ou como a Fundação Carlos Chagas – caso não goste da lógica das universidades.

Continua no próximo post.

(Continuação do post anterior.)

Lógicas à parte, a reação do Instituto Alfa e Beto é bastante diferente de outros Institutos e Fundações cuja produção já questionamos neste blog. Há uma “overreaction”. O Alfa e Beto não é o primeiro a ter sua produção debatida aqui. Já questionamos a Fundação Lemann e o Instituto Airton Senna, por exemplo. Escrevi variados posts sobre estudos da Lemann. Com o Senna discutimos a pesquisa das habilidades socioemocionais. Nenhuma destas instituições reagiu com xingamentos como fez o Instituto Alfa e Beto.

O caso do Instituto Senna foi emblemático. A discussão continuou com Mozart Ramos no Educação 360 promovido pela Globo no Rio, com a moderação do jornalista Antonio Gois. Coincidentemente, um grupo da Unicamp produziu um excelente artigo alertando para os problemas da pesquisa com habilidades socioemocionais, o que alimentou o debate. Cada um continuou a defender suas ideias mas ninguém “magoou”… ou saiu batendo o pé. Com o Alfa e Beto infelizmente está sendo diferente.

Mas esta é a nossa função neste Blog. Uma parte dos reformadores empresariais (um cacoete mundial) gosta de promover “junk science” com financiamento próprio. Se eles fazem isso apenas para seu consumo e faturamento, é errado, mas tem menor impacto. No entanto, quando pretendem orientar política pública com tais publicações, viram um problema social, de todos e em especial para a academia.

Não estamos dizendo que o Instituto Alfa e Beto está fazendo “junk science”, pois colhe os estudos já publicados nas revistas, mas é pelo menos descuidado para informar adequadamente os métodos de coleta e análise de sua tentativa de resumir tendências da pesquisa educacional, a partir destes estudos já publicados. Este é o ponto.

Podemos mesmo dizer, para antecipar nossa tréplica que: se os autores tivessem colocado na introdução dos livros que veicularam, todas as ressalvas que fazem em sua réplica ao post deste Blog, não haveria necessidade de que este Blog veiculasse aquele primeiro post criticando as publicações do Instituto. Faltou autocrítica aos pesquisadores do Instituto.

Neste sentido, a contestação do Instituto é muito oportuna principalmente porque mostra ao leitor do Blog, pela própria argumentação do Instituto, as inconsistências e as “petições de princípio” que orientaram a produção dos livros. Podemos, pois, invocar a própria tentativa de contestação do Instituto como elemento básico para nossa tréplica, sem necessidade de introduzirmos novos argumentos no debate.

Passaremos por alto as acusações e ofensas contra o Blog e seu autor pois a questão aqui é científica e não pessoal. Nem conheço o Sr. Araujo e Oliveira. Os leitores têm acesso às matérias do Blog e podem julgar por si mesmos o esforço para trazer, aqui, evidência empírica que põe em cheque as políticas divulgadas pelos reformadores empresariais no Brasil. Por mais que isso incomode, é o que continuaremos a fazer, pois precisamos conhecer os impactos destas propostas, as várias maneiras destas políticas se comportarem, as quais nem sempre são tratadas pelos próprios reformadores.

Em nossa tréplica, portanto, vamos nos ater à parte do texto do Instituto que propõe responder as quatro críticas resumidas por eles a partir do meu post original.

(Continua no próximo post.)

Recentemente publiquei neste Blog um post criticando dois livros eletrônicos disponibilizados pelo Instituto Alfa e Beto. Em seguida, a pedido, divulguei aqui a réplica do Instituto Alfa e Beto ao meu post. Mesmo que os termos usados em algumas partes da réplica fossem inadequados à política deste Blog. Mas julguei que o leitor deveria poder lê-la na íntegra. Em seguida, passo a responder a réplica do Instituto na forma de uma tréplica. Para tranquilidade do leitor deste blog, frente a tantos outros temas educacionais que nos esperam, não  pretendo alongar além desta tréplica este tema.

Quando, muito tempo já passado, eu era estudante de metodologia da pesquisa, um velho professor me indicou um livro que começava assim (vou citar de forma livre): “Se alguém afirmar que a lua é feita de queijo, não espere que os físicos deixem seus laboratórios para verificar se é mesmo de queijo”. Aprendi, desde então, sobre a responsabilidade social da pesquisa, ou seja, o pesquisador é responsável por aquilo que ele afirma. Mais ainda: é da responsabilidade do pesquisador indicar os caminhos que percorreu para chegar às afirmações que faz. Seria isso uma exigência impertinente, infundada, uma “inquisição”?

Qual o problema com o Instituto Alfa e Beto? Ele publicou dois estudos que chama de “Educação baseada em evidências”. No segundo livro aduziu: “Como saber o que funciona em educação”. O livro eletrônico tem distribuição gratuita e se supõe chegue a um grande contingente de formuladores de política pública.

Se o Instituto tivesse feito a mesma publicação sem a pretensão de orientar política pública, de pretender ser um ponto de referência para ”saber o que funciona em educação”, a responsabilidade social ainda continuaria existindo, mas ela não estaria induzindo o leitor a adotar ideias controversas. Toda pesquisa tem seus limites e toda compilação de dados apresenta igualmente suas limitações, preferências ou outras injunções. Não há nada de mal em se organizar livros que apresentem determinadas ideias escolhidas pelo seu proponente, desde que para isso esteja suficientemente alertado o leitor.

Portanto, este é o foco da discórdia: estão os dados na forma apresentada nos livros publicados pelo Instituto Alfa e Beto em condições de orientar politica pública. Em nossa opinião, não. Para tal, teríamos que ter acesso não apenas às metodologia particulares usadas pelos autores compilados, mas também ao método usado pelo Instituto para compilar tais autores.

Revisar literatura e pior ainda, fazer metaanálise, não é juntar um monte de estudos, organizar os que são a favor ou contra, e comentá-los livremente. Exige-se mais. E aqui passamos a uma outra questão.

É muito saudável que tenhamos entrado nesta disputa teórica. O que temos aqui é um “conflito de lógicas”, provavelmente. Por um lado, a lógica da produção de conhecimento acadêmica. É disso que vivemos nas Universidades, ou seja, de produzir conhecimento. E por outro lado, a lógica empresarial. São lógicas diferentes, só isso.

No mundo inteiro, os reformadores empresariais estão sob controle da lógica de mercado. Na lógica mercadológica, o que conta é a resolução do problema para o qual uma empresa é contratada. Ela tem que mostrar eficácia e tem que procurar basear-se em evidências empíricas que mostrem o potencial das soluções que vende. É da sua lógica. Ela faz escolhas, aposta nelas. Depende delas e se não acertar, está fora do mercado. Neste mesmo sentido, quando se envolve com produção de conhecimento, ela não depende de ter que aprovar seus “projetos de pesquisa” em agências de financiamento e nem de passar pelo crivo dos “referees” das revistas para ter seus dados publicados. Elas definem o que querem fazer, financiam e publicam os seus próprios estudos sem depender de nenhum crivo externo. Pagam elas mesmas o estudo e a publicação e pronto. Claro, sempre há exceções, mas não estamos aqui diante de uma delas.

A lógica acadêmica da produção de conhecimento é diferente.  Primeiro, temos que conseguir financiamento junto a alguma instituição de fomento à pesquisa. Temos que provar que o dinheiro que estamos solicitando produzirá um produto de relevância social e que dispomos de uma metodologia tanto quanto permite o estado da arte naquele campo, sólida. Especialistas da área onde pretendemos investigar são chamados a dar pareceres conclusivos sobre a nossa solicitação. Somos exaustivamente checados em nossas pretensões e conhecimentos.

Se passarmos por este filtro. Há outros. Quando o estudo termina, temos que apresentar um relatório científico que novamente é enviado a pareceristas pela agência financiadora. Se não cumprimos o que nos propusemos, o relatório é recusado. Além disso, para publicar o resultado de nossas pesquisas em revistas sérias, não naquelas em que se paga para aceitar artigos, de novo dependemos de mais pareceristas, às vezes mais de um. Se eles entendem que houve falha metodológica ou que as conclusões estão além do que a metodologia usada permite concluir, somos obrigados a refazer a proposta ou simplesmente o trabalho é recusado para publicação.

Para nós da academia, sermos questionados em nossas metodologias propostas ou sermos contrariados em nossas conclusões, faz parte da profissão. E é vital para o aprimoramento da ciência.

Esta pode ser a razão da reação do Instituto Alfa e Beto às nossas críticas. Operamos com lógicas distintas. Para nós elas são naturais. Para eles aparecem como um “Tribunal de Inquisição”, “baixaria” etc. Mas a ciência é uma atividade social. Também nela se presta contas dos métodos que usamos, do dinheiro (pelo menos público) que gastamos, dos resultados que obtemos. Não se pode pensar a ciência sem o debate, às vezes impertinente, sem questionamentos. A ciência é por excelência uma atividade democrática na qual todos estão convidados a “meter sua colher de pau”, que seja. Quem não gosta de crítica, não deve se meter com ciência.

No entanto, quando a pesquisa pretende orientar política pública, ou seja, pretende afetar a vida dos outros, então ela contrai maiores responsabilidades pelas consequências que pode produzir. Esta é a questão e é assim que este Blog a vê.

O Instituto Alfa e Beto, através de seu Presidente, contestou as críticas que este Blog fez a duas publicações daquele Instituto que têm a intenção de levar até os leitores brasileiros evidência sobre o que funciona em Educação. O propósito da publicação não é pequeno, e é grave, pois gestores públicos ao longo do país, podem ler o estudo e orientar suas práticas por elas, afetando a vida de pais, professores, alunos e gestores. Não é simples reunir um conjunto de evidências em uma área como a educação com o propósito de fazer recomendações. Envolve amplitude de análise, método adequado, variedade de posições, humildade: a menos que o pesquisador deixe claro no texto os recortes que fez para o seu estudo. É legítimo recortar um objeto, mas isso deve ser informado. Onde? Na metodologia. E isso nos leva ao questionamento deste Blog: onde está a metodologia que o Instituto usou para incluir e analisar os artigos que reuniu. A dos artigos reunidos está em cada uma das publicações deles. Mas e a do Instituto, onde está?

Com o objetivo de orientar políticas, os autores contrairam responsabilidades maiores. E, portanto, as exigências metodológicas aumentam. Imaginemos que alguém resolvesse reunir em um livro métodos de cura de câncer para orientar políticas públicas da área da saúde: não seria lícito uma exigência metodológica maior?

Continua no próximo post.