Voltemos agora para a crítica inicial que fiz ao trabalho da Lemann – a fragilidade da parte qualitativa. A parte quantitativa, apesar de engenhosa, funciona de certa forma como uma preparação para que agora um estudo qualitativo elucide, em um grupo de escolas menor, porque tais escolas mesmo com NSE baixo, parecem estar ensinando bem.

A primeira perplexidade é o “salto mortal” de 215 escolas no estudo quantitativo para apenas seis escolas no estudo qualitativo sendo uma por região do país. Por que só seis? Além disso, a escolha não adiciona outros cuidados, para além do frágil nível socioeconômico, que orientasse a escolha destas seis. Por exemplo, uma descrição da política pública local das candidatas potenciais, ou sua localização até geográfica – Foz do Iguaçu, por exemplo, é uma tri-cidade na fronteira brasileira com intensas trocas de habitantes -, ou um estudo intensivo do entorno destas escolas. Por que não se constituir um grupo de “juízes” independentes que, pela coincidência de análises a partir de um conjunto de critérios pertinentes, indicasse as escolas? Ou se nada disso é possível, porque não discutir no relatório de pesquisa os limites, então, da escolha feita?

A parte qualitativa prossegue gerando mais questões. A pesquisa registra episódios ou depoimentos dos sujeitos pertencentes às escolas selecionadas (6). Não há nenhuma indicação do método de tratamento de tais episódios, apesar de estarem disponíveis na literatura pelo menos dois – análise do discurso e análise de conteúdo. Eu teria usado análise de conteúdo dada a diversidade de fontes de informação.

A variedade de fontes de informação – observação, entrevistas com gestores, entrevistas com trios de professores por escola, grupo focal – não é submetida a triangulação que permitisse encontrar tendências e contradições. Os depoimentos e observações feitos são alinhados segundo certas categorias cuja lógica de construção é desconhecida.

Qual a participação dos sujeitos na montagem do relatório da pesquisa? Uma conta rápida mostra a distribuição dos depoentes: gestores – contribuíram com 36 depoimentos; professores – contribuíram com 18 depoimentos; e alunos – contribuíram com 4 depoimentos. Total de depoimentos = 58 depoimentos. Média de depoimentos por escola = 9,7 depoimentos. Isso revela opções.

Esta é a base empírica apresentada no relatório da pesquisa qualitativa, cerca de 10 depoimentos sobre o que explica o sucesso de cada escola (em sua maioria depoimentos de gestores). Não é relatado que tais episódios fossem produto de uma análise anterior que por algum método (discurso, conteúdo ou outro) tivesse emergido de uma base maior de dados. Não se sabe qual a gênese das categorias, por quais métodos elas emergem. É feita a apresentação da categoria e em seguida ela é exemplificada com um ou dois depoimentos. Ou seja, o caminho é dedutivo e não indutivo a partir dos dados reunidos.

A pesquisa qualitativa aponta as seguintes categorias explicativas do sucesso da escola:

O que?

1. Definir metas e ter claro o que se quer alcançar
2. Acompanhar de perto e continuamente o aprendizado dos alunos
3. Usar dados sobre o aprendizado para embasar ações pedagógicas
4. Fazer da escola um ambiente agradável e propício ao aprendizado

Como?

1. Criar um fluxo aberto e transparente de comunicação
2. Respeitar a experiência do professor e apoiá-lo em seu trabalho
3. Enfrentar resistências com o apoio de grupos comprometidos
4. Ganhar o apoio de atores de fora da escola

Na realidade, pode-se dizer que o estudo qualitativo é um manual de como obter a adesão de professores e demais atores da escola a certas políticas de reforma que coincidem com o ideário Lemann. A estratégia de implementação de inovações valorizada pela pesquisa é a verticalizada, apoiada pelo prefeito, diretores e um grupo seleto de professores comprometidos com a causa que promovem a adesão dos demais e o envolvimento de atores de fora da escola. Não há discussão crítica sobre isso.

Finalmente, cabe uma consideração adicional. Quando encontramos em uma pesquisa um dado revolucionário como o que pretende apresentar a Lemann, cabe – pelo menos por cautela – perguntar: alguém mais chegou à mesma conclusão? É uma pergunta prudente considerando o estágio embrionário da pesquisa sobre eficácia escolar brasileira e sobre o estágio mais embrionário ainda das bases de dados disponíveis no Brasil.

Pesquisar escolas “que fazem a diferença” ou pesquisar “boas práticas” é um tipo de pesquisa que vem de longa data. Tais estratégias levaram a que? Escolas milagrosas já foram pesquisadas exaustivamente. Muitas delas, depois de cumprirem o papel de ser “efeito demonstração” de algumas teses, nunca mais são lembradas, mesmo que o milagre tenha cessado.

Ou ainda, supondo que fosse verdadeiro o sucesso destas seis escolas, não há nenhuma preocupação em saber se está havendo ou não “efeitos colaterais deletérios” causados pelas opções em curso. E sobre isso, há toneladas de estudos na literatura alertando para tais efeitos nas reformas que a Lemann propõe. O IDEB mede apenas português e matemática, por exemplo.

Na realidade um bom estudo exploratório comparativo teria sido escolher um grupo de escolas que se enquadram na categoria de escolas eficazes da Lemann e, simultaneamente outro equivalente que não se enquadra nesta categoria, escolas “não-eficazes” (baixo NSE e baixo rendimento). Não para mostrar a vantagem de um sobre outro, mas para entendê-los em suas especifidades.

Estou convencido de que investigando a impossibilidade de se praticar o que as escolas consideradas eficazes fazem, teríamos chegado a importantes observações sobre porque tais ideias têm dificuldades para serem desenvolvidas fora deste grupo de escolas escolhidas. Que tal começarmos a investigar as escolas “não eficazes” para entendermos como elas são produzidas pelas políticas públicas locais?

Um cruzamento entre os achados destes dois grupos, teria dado um quadro mais completo das dificuldades da educação brasileira. Como a pesquisa não faz isso, ela prefere encontrar características de escolas eficazes empreendedoras, a partir do seu ideario de reforma e sugerir que as outras não avançaram porque não fizeram o que aquelas consideradas eficazes fazem. Daí só pode sair uma recomendação: façam o que a Lemann recomenda e vocês melhorarão. Mas isso, é “petição de princípio” ou dito de forma mais simples, “advocacia de ideias”.

Às vezes temos que estudar onde o fenômeno não está presente para sabermos por que não se constitui naquele local. Isso teria sido mais importante do que alardear o sucesso de algumas. E teria resolvido o problema posto pelo Samuel Pessoa, ou seja, para ele falta agora saber apenas como fazer para que todas as escolas pratiquem o que já se sabe sobre as escolas eficazes.

As consequências de pesquisas como estas podem ser problemáticas como se viu rapidamente com o uso que Samuel Pessoa fez desta, tomando-a como referência (associada a um estudo de Harvard que também tem problemas metodológicos) para dizer que já sabemos o que temos de fazer.

Finaliza no próximo post.