Consideremos agora algumas questões específicas em relação ao estudo divulgado pela Lemann. São pontos de dúvidas que afetam as possibilidades da pesquisa ser indicada como adequada para orientar política pública. Isso não significa que a pesquisa não contribua em nada.

O trabalho envolve um estudo quantitativo que encontra traços característicos de 215 escolas consideradas eficazes e há um estudo qualitativo feito com seis escolas específicas. A Lemann transita entre um e outro estudo em um relatório que mescla resultados dos dois.

1. A primeira constatação: os estudos utilizam dados da Prova Brasil obtidos pelo INEP em estudos seccionais. Dados seccionais são obtidos por ações pontuais e discretas no tempo. Os alunos que participam em um ponto da medida, não são os mesmos em outro ponto de medida. Por exemplo: os estudantes que foram medidos em 2011 na Prova Brasil na 5ª. série não são os mesmos que foram medidos nesta prova em 2007. Por contraposição, dados longitudinais de painel são obtidos através do acompanhamento do mesmo aluno ao longo do tempo, através das séries que ele vai cursando. Embora os resultados nos testes em estudos seccionais sejam comparáveis pois estão equalizados pela TRI, os alunos não são os mesmos. A informação obtida com estudos de painel e muito maior do que a obtida por estudos seccionais.

Este é o pano de fundo: não temos dados longitudinais de painel nas bases de dados governamentais para poder responder a questões educacionais complexas como a proposta pelo estudo da Lemann. Os limites que o estudo apresenta são, antes, oriundos da natureza dos dados disponíveis no INEP. Isto faz com que os pesquisadores tenham que fazer arranjos técnicos criativos para poder superar tais limites. Com isso, embora do ponto de vista estritamente estatístico se consiga fazer as justificações, do ponto de vista educacional as conclusões ficam fragilizadas.

O mais grave é que tais arranjos técnicos podem camuflar problemas que não sejam identificados ou, que quando percebidos tendem a ser ignorados para não inviabilizar as conclusões. O que quer provar a Lemann, ou seja, que as implicações do baixo NSE podem ser neutralizadas nas condições atuais por ações internas da escola, necessita de dados longitudinais de painel com cálculo de valor agregado. Os dados longitudinais seccionais são limitados. Além disso, o tema proposto exige estudos qualitativos intensos com escolas específicas de preferência em tempo real, para além de “visitas”. Tais condições não estão presentes nos estudos da Lemann. O delineamento é pouco sensível à complexidade da tese que se quer demonstrar. Daí que com os dados que possui, o estudo só possa ser considerado exploratório e não conclusivo como quer Samuel Pessoa.

2. Do ponto de vista do delineamento é muito frágil atribuirmos relações entre eventos que ocorrem entre pontos discretos do tempo, sem saber o que ocorre de fato entre tais pontos observados nas escolas, tentando associá-los a determinadas políticas educacionais ou decisões pedagógicas. Mais ainda se o que temos como evidência são declarações de sujeitos da pesquisa. De fato, não se acompanhou a vida da escola. Afirmações como “as condições de trabalho dos professores são, em geral, determinadas pela rede de ensino e não pelas escolas”, devem ser vistas com cautela. Embora algumas das condições sejam iguais para toda a rede, o fato é que elas são processadas de maneira personalizada por cada uma das escolas. Este efeito padronizador das condições de trabalho pode não existir.

Também é preocupante ler que “escolas que estivessem localizadas em contextos semelhantes, ou seja, em uma mesma localidade” e “com mesmo número de alunos” possam ser tratadas com tendo algum grau de equivalência. Isso não tem nenhum suporte para além da vontade dos pesquisadores. Quem trabalha dentro de escola sabe que o clima interno, as relações, conflitos, os graus de confiança entre professores, formas de gestão são particularizados em cada escola, bem como as relações de troca entre escolas próximas. Variáveis de valor “médio” são uma construção. Em uma escola específica elas não existem, elas recebem valores próprios, definidos e produzem, portanto, efeitos específicos. Isso pode irritar estatísticos, mas é da vida.

3. Se o propósito do estudo era mostrar que o baixo NSE pode ser neutralizado por ações internas da escola, o conceito de nível socioeconômico deveria receber um tratamento mais consistente. O conceito NSE é bastante controverso seja na definição, seja na forma de medir ou de ser processado. Os autores são obrigados a lidar com o que é fornecido pelo INEP, mas como sempre, depois da aceitação dos limites dos dados que temos hoje sobre NSE no INEP, as conclusões são formuladas e rapidamente se esquecem das suas limitações. Assim, supomos que o terreno pantanoso que suporta a pesquisa é suficientemente rijo e passamos a recomendar políticas públicas com ela.

Para complicar, os dados usados para cálculo de NSE no INEP são colhidos a partir de declaração dos estudantes e não de seus familiares. Isso pode ser o possível, mas tem problemas, pois terminam sendo a visão que os estudantes têm de sua condição socioeconômica e não necessariamente o que ela é.

4. No estudo qualitativo da Lemann podemos ler:

“A partir desses critérios chegou-se a uma lista de 215 escolas. Então, para restringir o grupo ao total de seis escolas visitadas, novos filtros foram estabelecidos. Primeiramente, era importante garantir que os alunos do 5º ano que fizeram a última avaliação da Prova Brasil 2011 fossem de baixo nível socioeconômico. A classificação socioeconômica definida por Alves e Soares (2012) não dava essa garantia, já que se baseou no perfil dos estudantes de acordo com diversos questionários aplicados em anos diferentes. Para resolver essa questão, o estudo utilizou uma medida de nível econômico construída por meio das respostas dos alunos aos questionários aplicados juntamente com a avaliação da Prova Brasil em 2011. A partir dessas respostas, montou-se uma escala baseada no Critério Brasil 2010 da Associação Brasileira de Empresas de Pesquisa (ABEP).”

Os dados que serviram de base para definir o NSE dos alunos de 5a. série das escolas baseiam-se no número de TVs existente na casa do aluno; o número de rádios, banheiros e automóveis; bem como o número de empregadas mensalistas, máquinas de lavar, videocassete, geladeira e freezer. Definido o NSE médio dos alunos das escolas, foram escolhidas as seis que participaram do estudo qualitativo.

Mas, estes itens são suficientes para discriminar e qualificar o nível socioeconômico do aluno? Qual o grau de confiança que têm as informações relatadas pelos alunos neste questionário de fatores associados aplicados junto com a Prova Brasil? Estima-se que até 50% das variáveis que explicam o desempenho do aluno são devidas ao próprio aluno e/ou seu entorno, entre estas está o NSE. Pode-se reduzir estes 50% mencionados aos elementos indicados acima para compor o NSE? Se estamos fazendo um estudo exploratório, isso não é tão grave. Afinal, alguém dirá, é o que temos. Mas se queremos dirimir questões cruciais da educação como o esforço da escola face a sua posição de NSE, não.

5. O que se observa na metodologia da pesquisa é que o NSE das escolas vai desde NSE muito baixo até os médios, ocorrendo o mesmo com as proficiências que incluem as que estão acima da metade da escala. Há portanto, uma grande cobertura nas duas dimensões. Se o princípio amplamente aceito de que os estudantes com melhor NSE são os que estão melhor posicionados nas escalas de proficiência, esta questão do NSE teria que ter tido um tratamento mais rigoroso, já que a pesquisa está querendo mostrar o inverso. Caracterizar o NSE, aqui, não é uma questão trivial, é o centro do debate.

Não parece também que seja suficiente tomarmos escolas com índice de NSE supostamente “iguais”, e desconsiderar outras variáveis importantes do contexto externo, não capturados por ele. O NSE não pode ser considerado uma “proxy geral” do entorno da escola que dê conta de tudo, por exemplo da localização socioespacial das escolas (uma fragilidade do critério 3 da pesquisa Lemann para escolha de escolas do grupo controle).

6. A paridade usada para a constituição do grupo de escolas controle é um exemplo dos arranjos técnicos aplicados e que podem camuflar problemas. Almeida (Tese de Doutorado, FE/UNICAMP, 2014) evidencia que escolas com o mesmo nível socioeconômico, têm características socioeconômicas significativamente diferentes, mesmo sendo pertencentes à mesma rede de ensino. Mesmo com significativa proximidade geográfica, são escolas bem diferentes. (Ver também, estudo do CENPEC aqui e aqui.)

Até mesmo podemos indagar se essas variáveis que diferenciam as escolas (controle x tratamento) também não seriam encontradas com significação estatística se fosse feita a comparação entre as próprias escolas que passaram pelos critérios do estudo (entre as escolas do grupo de tratamento).

7. O estudo toma alunos do 5º. ano escolar do ensino fundamental. Estas escolas tinham também a 9º. série? Porque não foram tomadas no estudo? Quais dados adicionais podemos reunir sobre tais escolas: evasão entre a 1ª. e a 4ª. séries; número de alunos em EJA na cidade, alunos em classes especiais. Qual o volume de transferência para e de outras escolas e em especial nas escolas do estudo? Qual o IDH das cidades? Enfim, que outros dados podem dar indicação de segregação escolar ou ajudar a ter um quadro melhor da vizinhança da escola e da posição desta escola no sistema escolar local.

Continuamos em um próximo post. (Colaboraram neste post Adilson Dalben e Luana Almeida.)