Guerra de números: a pesquisa quantitativa

Postado originalmente na Uol em 29/06/2010

A pesquisa quantitativa vive nos EUA uma verdadeira guerra de números. Estudos apontam a favor, contra, ou muito pelo contrário, nas avaliações. Caso típico o das Charters Schools publicado pela folha recentemente e comentado neste blog.

Qual a causa disso? Essa guerra tem a ver com a forma de condução da pesquisa quantitativa. Primeiro ela recusa qualquer grau de influência política, ideológica ou outra na formulação, quando na realidade isso é inevitável. A colocação do problema, a forma de abordar os conceitos, a escolha de variáveis e sua própria construção são afetadas por pressupostos que ficam escondidos e não são revelados.  Em segundo lugar, não há procedimento padrão. A cozinha da pesquisa quatitativa é uma grande bagunça – quando não uma verdadeira câmara de tortura de dados.

O problema começa antes, na aplicação de provas e testes. Aqui já há problemas nas escolas. Alunos faltam, são avisados para ficar em casa, professores ensinam alunos, não levam a sério a avaliação pois não é para nota, entre outras. Sobre isso não há, ou não são divulgados, relatórios técnicos de aplicação. Depois vem a constituição da base de dados. Se digitados, precisam ser conferidos e há que se verificar o índice tolerável de erros assumido pelo grupo de pesquisa. Depois a questão dos dados faltantes: são muitos, foram imputados ou não, por quais métodos, etc. Sobre isso, novamente, nada de relatórios técnicos que explicitem os procedimentos. O que para um grupo de pesquisa pode ser uma boa decisão, para outro é péssima. Não há padrão de referência. As técnicas estatísticas são usadas ao sabor dos grupos de pesquisas e os critérios não são revelados também.

Não bastasse isso, vem a construção das variáveis. Uma muito usada é, por exemplo, formação do professor. Neste caso, pode-se tomar anos de profissão, natureza da instituição formadora, etc. Mas como sabemos que isso afeta, de fato, a aprendizagem? Podem ser criados os números que se quiser na estatística. E eles mostrarão relações. A questão é se fazem sentido. Novamente, nada de relatórios técnicos que descrevam como as variáveis foram construídas.

Quando a pesquisa se torna visível para o público especializado, todas estas  questões ficaram na cozinha. Algumas nunca poderão mais ser recuperadas.

Por último vem a divulgação. Nas revistas especializadas, não há espaço para se incluir as decisões tomadas anteriormente, exceto as de praxe. E finalmente, na impresa, então, nem se fale.

Enfim. Sem que se tenha uma padronização mínima dos procedimentos no interior da cozinha da pesquisa, não se pode confiar nos dados gerados. Na dependência do grupo de pesquisa, podem ser a favor, contra ou muito pelo contrário…

Não é diferente com as bases de dados dos governos.

Relatórios técnicos, nem pensar. Já solicitei ao INEP relatórios técnicos de aplicação e processamento de bases. Nem resposta obtive.

Sobre Luiz Carlos de Freitas

Professor aposentado da Faculdade de Educação da Universidade Estadual de Campinas - UNICAMP - (SP) Brasil.
Esse post foi publicado em Assuntos gerais, Escolas Charters, Postagens antigas da UOL. Bookmark o link permanente.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s