Continuando.

8. Um dos critérios do estudo para selecionar as escolas é a comparação de médias entre aplicações da Prova Brasil em escolas de suposto nível socioeconômico baixo. Não vamos fazer conta aqui de não ter sido indicado o desvio padrão de médias. Mas as médias encobrem uma distribuição mais fina de aprendizagens que pode ser evidenciada mostrando-se como se dá a distribuição da aprendizagem por decis de nível socioeconômico, quando se tem um delineamento mais sensível. Os quadros abaixo, gerados em um estudo de Dalben (Tese de Doutorado, FE/UNICAMP, 2014), exemplificam o que estamos dizendo, em um estudo de painel (dados do Projeto GERES).

No primeiro gráfico está calculada a média em cada ano de medição. Podemos tomar dois destes momentos: ano 1 e ano 4. O ano 1 tem duas medições, uma de controle ao início do ano na entrada do aluno (1a. série) e outra ao final do mesmo ano. É óbvio que no ano 4 os estudantes estão com médias mais altas em matemática. Todos, em média, estão aprendendo. Mas qual é a estrutura interna desta evolução?

No segundo gráfico, abaixo, pode-se ver esta estrutura interna. Os mesmos dados do gráfico anterior são mostrados por decis de NSE. Note-se como o segundo dá mais informações do que o primeiro. Note-se que os alunos que chegaram no ano 1 com menor capital cultural e social (NSE), somente avançam até o ano 4 dentro de uma “trilha” específica. O avanço no desempenho ganha aspecto relacional e associado ao valor de entrada obtido pelo aluno. Todos avançam, mas há uma proporcionalidade no avanço que se remete ao seu momento de entrada na escola. Isso pode ser feito porque havia controle da entrada da chegada do aluno na escola e um acompanhamento do painel de alunos ao longo de quatro anos (Projeto Geres), permitindo o cálculo de valor agregado. O aluno era o mesmo. Mediu-se também o nível socioeconômico destas crianças com dados obtidos diretamente junto à família, com os pais.

Seguindo a proposta feita pelo National Research Council and National Academy of Education, Dalben (Tese de Doutorado, FE/UNICAMP, 2014) evidencia no gráfico abaixo que as escolas deveriam ser valorizadas pelo quanto elas conseguem agregar na proficiência de seus alunos ao final de um período de escolarização.

O desenho seccional dos dados impede o estudo de acompanhar os mesmos alunos das escolas ao longo do tempo e ao comparar média, por exemplo entre grupo controle e de tratamento, está falando de alunos diferentes. É muito pouco para tentar dirimir uma questão que se arrasta desde os tempos de Coleman.

Nossa percepção é que o estudo está limitado pela própria natureza dos dados que teve de tomar por base, a Prova Brasil e seus fatores associados. Como estudo exploratório, pode dar alguma informação, mas nada que possa de fato orientar políticas públicas. Não há nenhuma garantia de que as características escolares encontradas no estudo influenciaram de fato a aprendizagem dos alunos. Se queremos de fato apoiar políticas públicas, precisamos de estudos longitudinais de painel com cálculo de valor agregado que nos ajudem a entender melhor tais relações.

Ainda neste mesmo estudo, Dalben usando os modelos lineares hierárquicos constata que aproximadamente 60% da variabilidade das proficiências se deve às características de escolas e, obviamente, em torno de 40% às diferenças entre os perfis dos alunos, evidenciando assim que, nem todo o sucesso ou fracasso nos desempenhos dos alunos se deve às escolas. Estes são aspectos que devem ser colocados no jogo.

A conclusão do estudo da Lemann é muito ambiciosa para o delineamento que usa. Pode induzir a distorções graves como a de se achar que de fato a pobreza não conta, basta que a escola queira se organizar, ela ensina. E produzir uma forma ainda mais perversa de conclusão: quando não ensina, a culpa é da escola e seus profissionais que “resistem” aos milagres usualmente sugeridos pelos reformadores empresariais.

Que os mais pobres têm direito à aprendizagem não se discute, a questão é se esta tarefa é de responsabilidade restrita da escola ou se há mais responsáveis neste jogo para além da escola.

Continuamos em um próximo post. (Colaboraram neste post Adilson Dalben e Luana Almeida.)