O desenvolvimento da pesquisa quantitativa no Brasil é algo bastante controverso. Nos anos 70, foi execrada nos domínios da educação pela forma cartesiana de lidar com assuntos educacionais complexos. Em seu lugar, desenvolveu-se com grande força a pesquisa qualitativa. Em tese, estes dois enfoques não tinham obrigatoriamente que se opor e isto somente mais recentemente tem sido aceito com maior frequência.

Este desenvolvimento tortuoso terminou por deixar o campo das políticas educacionais fragilizado. Primeiro pela perda de expertise em relação aos métodos quantitativos, sempre necessários para lidar com grandes quantidades de dados. Segundo, porque a excessiva dependência dos métodos qualitativos terminou por fazer deles “pau para toda obra” e os fragilizou fazendo com que sua credibilidade ficasse a perigo.

Mais recentemente, os métodos qualitativos têm sido objeto de uma maior exigência metodológica. É difícil falar em geral nesta área, mas pelo menos em algumas instituições passou-se a exigir, nos métodos qualitativos, configuração independente entre bases de dados de depoimentos ou episódios qualitativos e análise dos dados. Isso foi necessário porque havia um uso exagerado de uma forma de análise “cômoda” que se caracterizou por criar categorias ou afirmações que se diziam baseadas na pesquisa com os sujeitos, mas que de fato eram apenas exemplificadas com um ou dois depoimentos ou episódios. Ou seja, procurava-se conferir credibilidade à construção teórica a partir de um pequeno conjunto de “exemplos” que se dizia representar o conjunto de episódios obtidos, mas que não eram transparentes, visíveis ou sequer numericamente quantificados na pesquisa.

Além disso, passou-se a exigir alguns cuidados na análise dos episódios fazendo uso de métodos baseados em análise do discurso ou análise de conteúdo, bem como algum indicador de “triangulação” entre depoentes que pudesse indicar algum grau de consistência nas tendências discursivas apontadas. A difusão da técnica de grupos focais ajudou bastante.

No entanto, este avanço nas técnicas qualitativas, não foi acompanhado por igual avanço no uso das técnicas quantitativas dentro da área da educação. Na década de 70, quando a educação ainda tinha algum grau de envolvimento mais amplo com as áreas quantitativas, os computadores e softwares estatísticos ainda estavam embrionários. 30 anos depois, o cenário é completamente diferente. Isso permitiu que certos modelos matemáticos que estavam na gaveta dos pesquisadores pudessem, com ajuda de softwares e computadores, ganhar vida e serem utilizados nos estudos quantitativos.

Notadamente alguns avanços foram possíveis. No campo da medição emergiu a Teoria da Resposta ao Item, a TRI – a segunda geração da teoria da medição – que emprestou aos testes mais precisão e controle, fundamentalmente pela possibilidade de se desenvolver uma “calibração” mais científica dos itens dos testes, e permitir processos de “equalização” entre testes aplicados em diferentes momentos, garantindo maior comparabilidade dos resultados entre aplicações. Emergiram variados modelos de TRI – unidimensional (mais usada no Brasil), multidimensional etc.

Na área dos métodos de análise, a estatística avançou muito e apareceram os estudos multiníveis ou os Hierarchical Linear Models – HLM. Estes últimos são hoje quase que “obrigatórios” nos estudos que lidam com eficácia escolar e pretendem demonstrar relações entre variáveis de desempenho e fatores associados. Estes métodos se consolidaram ainda mais a partir de uma certa leitura do Relatório Coleman sugerindo que o nível socioeconômico superava os próprios esforços da escola, neutralizando-os. (deixemos apontado que nível socioeconômico é um dos conceitos mais disputados quando ao seu significado, formas de medição e análise).

Paralelamente ao desenvolvimento destes novos modelos paramétricos, no campo não paramétrico dispomos hoje de ferramentas como a Análise por Envoltória de Dados (DEA), um importante auxiliar dos processos de avaliação de eficácia que subsidia gestores.

Destaco estes, mas existe uma grande quantidade de desenvolvimentos que revolucionaram a metodologia tanto da pesquisa quantitativa como da pesquisa qualitativa.

A recusa das Faculdades de Educação e outras instituições da área da educação a se debruçarem sobre estas novas ferramentas quantitativas, colocou o campo das políticas públicas cada vez mais nas mãos de economistas e estatísticos que, com exceções, apesar de não dominarem os conceitos sociológicos, filosóficos e educacionais que estão na base da pesquisa educacional, dominavam a expertise em métodos de análise estatística (ou oriundos da econometria). Estes profissionais passaram a trabalhar de forma isolada, ou, no melhor dos casos, sendo “juntados” artificialmente em projetos específicos, mas sem característica de interdisciplinaridade, vale dizer, cada um fazendo a sua parte.

No Brasil, é fundamental que se busque dar cada vez mais transparência ao uso destas novas ferramentas; seu domínio cada vez mais extenso permitirá uma maior transparência nas decisões que antecedem o processo de medição e uma maior consistência e cuidado nos processos de análise que se seguem. É fundamental que haja transparência dos padrões e critérios utilizados nestes processos, e que dados sejam disponibilizados para recálculo e acompanhamento por laboratórios independentes.

Infelizmente, temos o hábito de acreditar acriticamente em números quando produzidos por métodos estatísticos. Alguém já denominou isso de “intimidação matemática“. O desconhecimento produz ao mesmo tempo a impotência da crítica e o respeito ao dado. Acabam sendo assumidos como verdade, sem análise. A mídia não ajuda.

Sem pretender fazer recuperação histórica, somos devedores de uma ação sistemática realizada por Nigel Brooke quando estava na direção da Fundação Ford no Brasil. Foram à época financiadas iniciativas importantes de qualificação no campo da pesquisa quantitativa, com o maior respeito pelas concepções educacionais dos grupos de pesquisa envolvidos. Atualmente, existe uma ação da CAPES que é o Programa Observatório da Educação com financiamento regular e de média duração (4 anos) para o desenvolvimento de pesquisas quantitativas com bases de dados disponíveis. Mas isso ainda é pouco e não atinge a constituição física das equipes (material e humana).

Também foi com financiamento da Fundação Ford e com a coordenação de Nigel Brooke e Creso Franco, este naquela época na PUC RJ, que se conduziu o primeiro estudo sistemático (envolvendo cinco Universidades) de obtenção de dados por pesquisa longitudinal de painel, o Projeto GERES, fugindo dos processos de análise ligados a estudos longitudinais seccionais como os que permitem os dados da Prova Brasil do INEP – sempre limitados.

Se os empresários querem contribuir com a educação, eis aí, um bom projeto para as fundações que contam com recursos milionários – apoiar as iniciativas do MEC no desenvolvimento de laboratórios de políticas públicas que contem com recursos materiais e humanos para desenvolver análise de dados quantitativos e qualitativos. Desenvolver estudos longitudinais de painel – sempre caros e de longa duração – mas que nos dão a possibilidade de falar de forma qualificada da evolução da educação ao longo do tempo.

A questão fundamental é a formação e fixação de quadros em laboratório de Universidades Públicas bem instalados e com padrões claros de operação que possam trabalhar cumulativamente sobre determinados temas de pesquisa e possam posicionar-se com independência frente aos dados oficiais e sem comprometimento com a advocacia de ideias ao nível dos estudos e pesquisas.

Tal esforço não consegue ser eficaz se o financiamento não for de longa duração. A instalação destes laboratórios exige uma infraestrutura (humana e material) que as agências tradicionais de pesquisa não querem ou não acham prioritário financiar. Dão bolsas, mandam estudar no exterior, mas pedem às universidades ou aos próprios pesquisadores que se responsabilizem pela infraestrutura. Não funciona.

Estruturada a infraestrutura de quadros e de material, teremos que enfrentar a definição de padrões e procedimentos de análise para que os estudos sejam minimamente cumulativos e comparáveis. A criação destes padrões de análise é matéria complexa.

É bom insistir que não estamos falando de mandar gente para os Estados Unidos. Não precisamos disso. Temos grandes nomes em todas estas tecnologias no Brasil. É preciso um esforço local, concentrado e com financiamento de longa duração.

Se vamos querer entrar no debate de questões consideradas centrais para o desenvolvimento das políticas públicas educacionais, será necessário que equacionemos estas questões. A produção indiscriminada de dados somente vai tornar tais temáticas mais embaralhadas e pouco úteis para uso em definição de políticas públicas, ficando cada vez mais sujeitas à advocacia de ideias.

Continuamos no próximo post.