AVALIAÇÃO EDUCACIONAL – Blog do Freitas

Voltemos agora para a crítica inicial que fiz ao trabalho da Lemann – a fragilidade da parte qualitativa. A parte quantitativa, apesar de engenhosa, funciona de certa forma como uma preparação para que agora um estudo qualitativo elucide, em um grupo de escolas menor, porque tais escolas mesmo com NSE baixo, parecem estar ensinando bem.

A primeira perplexidade é o “salto mortal” de 215 escolas no estudo quantitativo para apenas seis escolas no estudo qualitativo sendo uma por região do país. Por que só seis? Além disso, a escolha não adiciona outros cuidados, para além do frágil nível socioeconômico, que orientasse a escolha destas seis. Por exemplo, uma descrição da política pública local das candidatas potenciais, ou sua localização até geográfica – Foz do Iguaçu, por exemplo, é uma tri-cidade na fronteira brasileira com intensas trocas de habitantes -, ou um estudo intensivo do entorno destas escolas. Por que não se constituir um grupo de “juízes” independentes que, pela coincidência de análises a partir de um conjunto de critérios pertinentes, indicasse as escolas? Ou se nada disso é possível, porque não discutir no relatório de pesquisa os limites, então, da escolha feita?

A parte qualitativa prossegue gerando mais questões. A pesquisa registra episódios ou depoimentos dos sujeitos pertencentes às escolas selecionadas (6). Não há nenhuma indicação do método de tratamento de tais episódios, apesar de estarem disponíveis na literatura pelo menos dois – análise do discurso e análise de conteúdo. Eu teria usado análise de conteúdo dada a diversidade de fontes de informação.

A variedade de fontes de informação – observação, entrevistas com gestores, entrevistas com trios de professores por escola, grupo focal – não é submetida a triangulação que permitisse encontrar tendências e contradições. Os depoimentos e observações feitos são alinhados segundo certas categorias cuja lógica de construção é desconhecida.

Qual a participação dos sujeitos na montagem do relatório da pesquisa? Uma conta rápida mostra a distribuição dos depoentes: gestores – contribuíram com 36 depoimentos; professores – contribuíram com 18 depoimentos; e alunos – contribuíram com 4 depoimentos. Total de depoimentos = 58 depoimentos. Média de depoimentos por escola = 9,7 depoimentos. Isso revela opções.

Esta é a base empírica apresentada no relatório da pesquisa qualitativa, cerca de 10 depoimentos sobre o que explica o sucesso de cada escola (em sua maioria depoimentos de gestores). Não é relatado que tais episódios fossem produto de uma análise anterior que por algum método (discurso, conteúdo ou outro) tivesse emergido de uma base maior de dados. Não se sabe qual a gênese das categorias, por quais métodos elas emergem. É feita a apresentação da categoria e em seguida ela é exemplificada com um ou dois depoimentos. Ou seja, o caminho é dedutivo e não indutivo a partir dos dados reunidos.

A pesquisa qualitativa aponta as seguintes categorias explicativas do sucesso da escola:

O que?

1. Definir metas e ter claro o que se quer alcançar
2. Acompanhar de perto e continuamente o aprendizado dos alunos
3. Usar dados sobre o aprendizado para embasar ações pedagógicas
4. Fazer da escola um ambiente agradável e propício ao aprendizado

Como?

1. Criar um fluxo aberto e transparente de comunicação
2. Respeitar a experiência do professor e apoiá-lo em seu trabalho
3. Enfrentar resistências com o apoio de grupos comprometidos
4. Ganhar o apoio de atores de fora da escola

Na realidade, pode-se dizer que o estudo qualitativo é um manual de como obter a adesão de professores e demais atores da escola a certas políticas de reforma que coincidem com o ideário Lemann. A estratégia de implementação de inovações valorizada pela pesquisa é a verticalizada, apoiada pelo prefeito, diretores e um grupo seleto de professores comprometidos com a causa que promovem a adesão dos demais e o envolvimento de atores de fora da escola. Não há discussão crítica sobre isso.

Finalmente, cabe uma consideração adicional. Quando encontramos em uma pesquisa um dado revolucionário como o que pretende apresentar a Lemann, cabe – pelo menos por cautela – perguntar: alguém mais chegou à mesma conclusão? É uma pergunta prudente considerando o estágio embrionário da pesquisa sobre eficácia escolar brasileira e sobre o estágio mais embrionário ainda das bases de dados disponíveis no Brasil.

Pesquisar escolas “que fazem a diferença” ou pesquisar “boas práticas” é um tipo de pesquisa que vem de longa data. Tais estratégias levaram a que? Escolas milagrosas já foram pesquisadas exaustivamente. Muitas delas, depois de cumprirem o papel de ser “efeito demonstração” de algumas teses, nunca mais são lembradas, mesmo que o milagre tenha cessado.

Ou ainda, supondo que fosse verdadeiro o sucesso destas seis escolas, não há nenhuma preocupação em saber se está havendo ou não “efeitos colaterais deletérios” causados pelas opções em curso. E sobre isso, há toneladas de estudos na literatura alertando para tais efeitos nas reformas que a Lemann propõe. O IDEB mede apenas português e matemática, por exemplo.

Na realidade um bom estudo exploratório comparativo teria sido escolher um grupo de escolas que se enquadram na categoria de escolas eficazes da Lemann e, simultaneamente outro equivalente que não se enquadra nesta categoria, escolas “não-eficazes” (baixo NSE e baixo rendimento). Não para mostrar a vantagem de um sobre outro, mas para entendê-los em suas especifidades.

Estou convencido de que investigando a impossibilidade de se praticar o que as escolas consideradas eficazes fazem, teríamos chegado a importantes observações sobre porque tais ideias têm dificuldades para serem desenvolvidas fora deste grupo de escolas escolhidas. Que tal começarmos a investigar as escolas “não eficazes” para entendermos como elas são produzidas pelas políticas públicas locais?

Um cruzamento entre os achados destes dois grupos, teria dado um quadro mais completo das dificuldades da educação brasileira. Como a pesquisa não faz isso, ela prefere encontrar características de escolas eficazes empreendedoras, a partir do seu ideario de reforma e sugerir que as outras não avançaram porque não fizeram o que aquelas consideradas eficazes fazem. Daí só pode sair uma recomendação: façam o que a Lemann recomenda e vocês melhorarão. Mas isso, é “petição de princípio” ou dito de forma mais simples, “advocacia de ideias”.

Às vezes temos que estudar onde o fenômeno não está presente para sabermos por que não se constitui naquele local. Isso teria sido mais importante do que alardear o sucesso de algumas. E teria resolvido o problema posto pelo Samuel Pessoa, ou seja, para ele falta agora saber apenas como fazer para que todas as escolas pratiquem o que já se sabe sobre as escolas eficazes.

As consequências de pesquisas como estas podem ser problemáticas como se viu rapidamente com o uso que Samuel Pessoa fez desta, tomando-a como referência (associada a um estudo de Harvard que também tem problemas metodológicos) para dizer que já sabemos o que temos de fazer.

Finaliza no próximo post.

Continuando.

8. Um dos critérios do estudo para selecionar as escolas é a comparação de médias entre aplicações da Prova Brasil em escolas de suposto nível socioeconômico baixo. Não vamos fazer conta aqui de não ter sido indicado o desvio padrão de médias. Mas as médias encobrem uma distribuição mais fina de aprendizagens que pode ser evidenciada mostrando-se como se dá a distribuição da aprendizagem por decis de nível socioeconômico, quando se tem um delineamento mais sensível. Os quadros abaixo, gerados em um estudo de Dalben (Tese de Doutorado, FE/UNICAMP, 2014), exemplificam o que estamos dizendo, em um estudo de painel (dados do Projeto GERES).

No primeiro gráfico está calculada a média em cada ano de medição. Podemos tomar dois destes momentos: ano 1 e ano 4. O ano 1 tem duas medições, uma de controle ao início do ano na entrada do aluno (1a. série) e outra ao final do mesmo ano. É óbvio que no ano 4 os estudantes estão com médias mais altas em matemática. Todos, em média, estão aprendendo. Mas qual é a estrutura interna desta evolução?

No segundo gráfico, abaixo, pode-se ver esta estrutura interna. Os mesmos dados do gráfico anterior são mostrados por decis de NSE. Note-se como o segundo dá mais informações do que o primeiro. Note-se que os alunos que chegaram no ano 1 com menor capital cultural e social (NSE), somente avançam até o ano 4 dentro de uma “trilha” específica. O avanço no desempenho ganha aspecto relacional e associado ao valor de entrada obtido pelo aluno. Todos avançam, mas há uma proporcionalidade no avanço que se remete ao seu momento de entrada na escola. Isso pode ser feito porque havia controle da entrada da chegada do aluno na escola e um acompanhamento do painel de alunos ao longo de quatro anos (Projeto Geres), permitindo o cálculo de valor agregado. O aluno era o mesmo. Mediu-se também o nível socioeconômico destas crianças com dados obtidos diretamente junto à família, com os pais.

Seguindo a proposta feita pelo National Research Council and National Academy of Education, Dalben (Tese de Doutorado, FE/UNICAMP, 2014) evidencia no gráfico abaixo que as escolas deveriam ser valorizadas pelo quanto elas conseguem agregar na proficiência de seus alunos ao final de um período de escolarização.

O desenho seccional dos dados impede o estudo de acompanhar os mesmos alunos das escolas ao longo do tempo e ao comparar média, por exemplo entre grupo controle e de tratamento, está falando de alunos diferentes. É muito pouco para tentar dirimir uma questão que se arrasta desde os tempos de Coleman.

Nossa percepção é que o estudo está limitado pela própria natureza dos dados que teve de tomar por base, a Prova Brasil e seus fatores associados. Como estudo exploratório, pode dar alguma informação, mas nada que possa de fato orientar políticas públicas. Não há nenhuma garantia de que as características escolares encontradas no estudo influenciaram de fato a aprendizagem dos alunos. Se queremos de fato apoiar políticas públicas, precisamos de estudos longitudinais de painel com cálculo de valor agregado que nos ajudem a entender melhor tais relações.

Ainda neste mesmo estudo, Dalben usando os modelos lineares hierárquicos constata que aproximadamente 60% da variabilidade das proficiências se deve às características de escolas e, obviamente, em torno de 40% às diferenças entre os perfis dos alunos, evidenciando assim que, nem todo o sucesso ou fracasso nos desempenhos dos alunos se deve às escolas. Estes são aspectos que devem ser colocados no jogo.

A conclusão do estudo da Lemann é muito ambiciosa para o delineamento que usa. Pode induzir a distorções graves como a de se achar que de fato a pobreza não conta, basta que a escola queira se organizar, ela ensina. E produzir uma forma ainda mais perversa de conclusão: quando não ensina, a culpa é da escola e seus profissionais que “resistem” aos milagres usualmente sugeridos pelos reformadores empresariais.

Que os mais pobres têm direito à aprendizagem não se discute, a questão é se esta tarefa é de responsabilidade restrita da escola ou se há mais responsáveis neste jogo para além da escola.

Continuamos em um próximo post. (Colaboraram neste post Adilson Dalben e Luana Almeida.)

Consideremos agora algumas questões específicas em relação ao estudo divulgado pela Lemann. São pontos de dúvidas que afetam as possibilidades da pesquisa ser indicada como adequada para orientar política pública. Isso não significa que a pesquisa não contribua em nada.

O trabalho envolve um estudo quantitativo que encontra traços característicos de 215 escolas consideradas eficazes e há um estudo qualitativo feito com seis escolas específicas. A Lemann transita entre um e outro estudo em um relatório que mescla resultados dos dois.

1. A primeira constatação: os estudos utilizam dados da Prova Brasil obtidos pelo INEP em estudos seccionais. Dados seccionais são obtidos por ações pontuais e discretas no tempo. Os alunos que participam em um ponto da medida, não são os mesmos em outro ponto de medida. Por exemplo: os estudantes que foram medidos em 2011 na Prova Brasil na 5ª. série não são os mesmos que foram medidos nesta prova em 2007. Por contraposição, dados longitudinais de painel são obtidos através do acompanhamento do mesmo aluno ao longo do tempo, através das séries que ele vai cursando. Embora os resultados nos testes em estudos seccionais sejam comparáveis pois estão equalizados pela TRI, os alunos não são os mesmos. A informação obtida com estudos de painel e muito maior do que a obtida por estudos seccionais.

Este é o pano de fundo: não temos dados longitudinais de painel nas bases de dados governamentais para poder responder a questões educacionais complexas como a proposta pelo estudo da Lemann. Os limites que o estudo apresenta são, antes, oriundos da natureza dos dados disponíveis no INEP. Isto faz com que os pesquisadores tenham que fazer arranjos técnicos criativos para poder superar tais limites. Com isso, embora do ponto de vista estritamente estatístico se consiga fazer as justificações, do ponto de vista educacional as conclusões ficam fragilizadas.

O mais grave é que tais arranjos técnicos podem camuflar problemas que não sejam identificados ou, que quando percebidos tendem a ser ignorados para não inviabilizar as conclusões. O que quer provar a Lemann, ou seja, que as implicações do baixo NSE podem ser neutralizadas nas condições atuais por ações internas da escola, necessita de dados longitudinais de painel com cálculo de valor agregado. Os dados longitudinais seccionais são limitados. Além disso, o tema proposto exige estudos qualitativos intensos com escolas específicas de preferência em tempo real, para além de “visitas”. Tais condições não estão presentes nos estudos da Lemann. O delineamento é pouco sensível à complexidade da tese que se quer demonstrar. Daí que com os dados que possui, o estudo só possa ser considerado exploratório e não conclusivo como quer Samuel Pessoa.

2. Do ponto de vista do delineamento é muito frágil atribuirmos relações entre eventos que ocorrem entre pontos discretos do tempo, sem saber o que ocorre de fato entre tais pontos observados nas escolas, tentando associá-los a determinadas políticas educacionais ou decisões pedagógicas. Mais ainda se o que temos como evidência são declarações de sujeitos da pesquisa. De fato, não se acompanhou a vida da escola. Afirmações como “as condições de trabalho dos professores são, em geral, determinadas pela rede de ensino e não pelas escolas”, devem ser vistas com cautela. Embora algumas das condições sejam iguais para toda a rede, o fato é que elas são processadas de maneira personalizada por cada uma das escolas. Este efeito padronizador das condições de trabalho pode não existir.

Também é preocupante ler que “escolas que estivessem localizadas em contextos semelhantes, ou seja, em uma mesma localidade” e “com mesmo número de alunos” possam ser tratadas com tendo algum grau de equivalência. Isso não tem nenhum suporte para além da vontade dos pesquisadores. Quem trabalha dentro de escola sabe que o clima interno, as relações, conflitos, os graus de confiança entre professores, formas de gestão são particularizados em cada escola, bem como as relações de troca entre escolas próximas. Variáveis de valor “médio” são uma construção. Em uma escola específica elas não existem, elas recebem valores próprios, definidos e produzem, portanto, efeitos específicos. Isso pode irritar estatísticos, mas é da vida.

3. Se o propósito do estudo era mostrar que o baixo NSE pode ser neutralizado por ações internas da escola, o conceito de nível socioeconômico deveria receber um tratamento mais consistente. O conceito NSE é bastante controverso seja na definição, seja na forma de medir ou de ser processado. Os autores são obrigados a lidar com o que é fornecido pelo INEP, mas como sempre, depois da aceitação dos limites dos dados que temos hoje sobre NSE no INEP, as conclusões são formuladas e rapidamente se esquecem das suas limitações. Assim, supomos que o terreno pantanoso que suporta a pesquisa é suficientemente rijo e passamos a recomendar políticas públicas com ela.

Para complicar, os dados usados para cálculo de NSE no INEP são colhidos a partir de declaração dos estudantes e não de seus familiares. Isso pode ser o possível, mas tem problemas, pois terminam sendo a visão que os estudantes têm de sua condição socioeconômica e não necessariamente o que ela é.

4. No estudo qualitativo da Lemann podemos ler:

“A partir desses critérios chegou-se a uma lista de 215 escolas. Então, para restringir o grupo ao total de seis escolas visitadas, novos filtros foram estabelecidos. Primeiramente, era importante garantir que os alunos do 5º ano que fizeram a última avaliação da Prova Brasil 2011 fossem de baixo nível socioeconômico. A classificação socioeconômica definida por Alves e Soares (2012) não dava essa garantia, já que se baseou no perfil dos estudantes de acordo com diversos questionários aplicados em anos diferentes. Para resolver essa questão, o estudo utilizou uma medida de nível econômico construída por meio das respostas dos alunos aos questionários aplicados juntamente com a avaliação da Prova Brasil em 2011. A partir dessas respostas, montou-se uma escala baseada no Critério Brasil 2010 da Associação Brasileira de Empresas de Pesquisa (ABEP).”

Os dados que serviram de base para definir o NSE dos alunos de 5a. série das escolas baseiam-se no número de TVs existente na casa do aluno; o número de rádios, banheiros e automóveis; bem como o número de empregadas mensalistas, máquinas de lavar, videocassete, geladeira e freezer. Definido o NSE médio dos alunos das escolas, foram escolhidas as seis que participaram do estudo qualitativo.

Mas, estes itens são suficientes para discriminar e qualificar o nível socioeconômico do aluno? Qual o grau de confiança que têm as informações relatadas pelos alunos neste questionário de fatores associados aplicados junto com a Prova Brasil? Estima-se que até 50% das variáveis que explicam o desempenho do aluno são devidas ao próprio aluno e/ou seu entorno, entre estas está o NSE. Pode-se reduzir estes 50% mencionados aos elementos indicados acima para compor o NSE? Se estamos fazendo um estudo exploratório, isso não é tão grave. Afinal, alguém dirá, é o que temos. Mas se queremos dirimir questões cruciais da educação como o esforço da escola face a sua posição de NSE, não.

5. O que se observa na metodologia da pesquisa é que o NSE das escolas vai desde NSE muito baixo até os médios, ocorrendo o mesmo com as proficiências que incluem as que estão acima da metade da escala. Há portanto, uma grande cobertura nas duas dimensões. Se o princípio amplamente aceito de que os estudantes com melhor NSE são os que estão melhor posicionados nas escalas de proficiência, esta questão do NSE teria que ter tido um tratamento mais rigoroso, já que a pesquisa está querendo mostrar o inverso. Caracterizar o NSE, aqui, não é uma questão trivial, é o centro do debate.

Não parece também que seja suficiente tomarmos escolas com índice de NSE supostamente “iguais”, e desconsiderar outras variáveis importantes do contexto externo, não capturados por ele. O NSE não pode ser considerado uma “proxy geral” do entorno da escola que dê conta de tudo, por exemplo da localização socioespacial das escolas (uma fragilidade do critério 3 da pesquisa Lemann para escolha de escolas do grupo controle).

6. A paridade usada para a constituição do grupo de escolas controle é um exemplo dos arranjos técnicos aplicados e que podem camuflar problemas. Almeida (Tese de Doutorado, FE/UNICAMP, 2014) evidencia que escolas com o mesmo nível socioeconômico, têm características socioeconômicas significativamente diferentes, mesmo sendo pertencentes à mesma rede de ensino. Mesmo com significativa proximidade geográfica, são escolas bem diferentes. (Ver também, estudo do CENPEC aqui e aqui.)

Até mesmo podemos indagar se essas variáveis que diferenciam as escolas (controle x tratamento) também não seriam encontradas com significação estatística se fosse feita a comparação entre as próprias escolas que passaram pelos critérios do estudo (entre as escolas do grupo de tratamento).

7. O estudo toma alunos do 5º. ano escolar do ensino fundamental. Estas escolas tinham também a 9º. série? Porque não foram tomadas no estudo? Quais dados adicionais podemos reunir sobre tais escolas: evasão entre a 1ª. e a 4ª. séries; número de alunos em EJA na cidade, alunos em classes especiais. Qual o volume de transferência para e de outras escolas e em especial nas escolas do estudo? Qual o IDH das cidades? Enfim, que outros dados podem dar indicação de segregação escolar ou ajudar a ter um quadro melhor da vizinhança da escola e da posição desta escola no sistema escolar local.

Continuamos em um próximo post. (Colaboraram neste post Adilson Dalben e Luana Almeida.)