Neste longo post, dividido em várias partes, pretende-se agregar algumas considerações ao exame já feito por outros colegas ao estudo de Niquito, T. W. e  Sachsida, A.. EFEITOS DA INSERÇÃO DAS DISCIPLINAS DE FILOSOFIA E SOCIOLOGIA NO ENSINO MÉDIO SOBRE O DESEMPENHO ESCOLAR. Texto para Discussão 2384. IPEA.

O estudo em questão é um exemplo de tentativa de se converter um “experimento natural” (a aplicação de um exame aos egressos do ensino médio com a finalidade principal de permitir ingresso às Universidades) em um “experimento controlado” com propósitos científicos.

Os autores do estudo do IPEA não escondem suas dificuldades. São realizados estudos com dados do ENEM – Exame Nacional do Ensino Médio – onde são constituídos dois grupos: um que atua como controle (estudantes que terminaram o ensino médio até 2009 (2008, 2007 e 2006) e outro que atua como grupo tratado ou experimental que concluiu o ensino médio nos três anos seguintes (2010, 2011 e 2012). O ano de 2009 é o divisor de águas pois neste ano tornou-se obrigatória a inclusão, no currículo do Ensino Médio, das disciplinas de Filosofia e Sociologia, objeto de verificação do estudo.

O estudo pretende identificar se a introdução destas disciplinas refletiu positiva ou negativamente nos resultados do ENEM. Note que os autores, para resolver o problema que se colocam, não planejam uma coleta específica de dados, pois isso seria inviável nesta escala e são obrigados a trabalhar com os dados tal qual se apresentam no ENEM. Esta é a dificuldade que os acompanha durante todo o tempo, e é natural quando se quer converter um “experimento natural” em um “experimento controlado”. Como anotam os autores:

“… um dos principais desafios da análise aqui pretendida é a escassez de informações relativas à avaliação de desempenho dos estudantes de ensino médio, e, nas poucas bases de dados existentes, configura-se como desafio adicional sua incompatibilidade ao longo do tempo, de modo a permitir que se realizem as estimativas desejadas e os testes de robustez para estas.”

“A principal base de dados utilizada neste estudo foi o desempenho dos alunos no Enem. O período pré-tratamento foi o ano de 2009 e o período pós-tratamento, o ano de 2012. Embora seja possível construir o experimento com base nessas informações, destaca-se que o Enem sofreu uma grande modificação no formato das provas em 2009, o que impossibilita a realização dos testes de robustez tradicionais para os modelos de diferenças em diferenças, uma vez que não há compatibilidade das avaliações antes e depois deste ano.” (p.16)

O relatório técnico da aplicação do ENEM 2009 e 2010 registra a mudança:

“Ocorre que no ano de 2009 o ENEM passa a calcular os resultados dos estudantes que fazem este exame pela Teoria da Resposta ao Item e com isso há uma mudança na escala do ENEM que passa a ter média de 500 pontos e desvio padrão de 100 pontos.”

Os autores se deparam então com um limite que entendem impossibilitar levar a aplicação do método da “diferença de diferença” até seu final, e optam por realizar um segundo estudo. Na metodologia informam:

“Assim, como forma de atestar a validade e a robustez dos resultados encontrados por meio dessa abordagem [diferença de diferenças], optou-se por realizar um segundo experimento, usando dados em painel [longitudinal], cuja unidade de identificação não são os indivíduos, mas as escolas. Os censos escolares da educação básica retratam as características do ensino fundamental e médio para todo o Brasil, disponibilizando informações acerca das escolas, das turmas, dos docentes e dos alunos. (p. 16)

Corti e outros discordam dos autores:

“O motivo pelo qual não foi realizado um teste de pressuposto, segundo os autores, é a limitação dos dados. Porém é possível realizar alguns testes com os próprios dados do Enem, mesmo que de forma limitada. Realizamos dois testes nesse sentido, utilizando duas variáveis conhecidamente influentes na nota do Enem: a escolaridade da mãe e a renda per capita. Nos dois casos, a hipótese das “tendências paralelas” não se confirmou. Ou seja, as diferenças internas entre os alunos não são semelhantes em 2009 e 2012.”

Mas os autores seguiram outro caminho e com um estudo complementar ao primeiro estudo vão, ao longo do período 2010-2015, tomar a nota (média) da escola no ENEM como um indicador do impacto entre a inserção de tais disciplinas (porcentagem de turmas destas disciplinas em cada escola) e os resultados da escola no ENEM. Não são mais as notas individuais dos alunos que realizam o ENEM, diretamente, que serão consideradas, mas sim a média dos alunos, daquela escola, que participaram do ENEM durante a série 2010-2015. Ao longo desta série, vai aumentando o número de escolas que oferecem as disciplinas de Filosofia e Sociologia:

“Quando são analisadas as escolas que oferecem ambas as matérias para todas as turmas, verifica-se que, em 2010, estas eram menos da metade do total (48,5%), aumentando para 78,7% em 2015.” (p.17)

Contudo, tentando fugir do limite imposto pelos dados ao estudo 1, os autores contraem novos limites no estudo 2, como eles mesmos registrarão:

 “É importante ressaltar, como visto na tabela 2, que nem todas as escolas passaram a cumprir a legislação já em 2009; portanto, pode haver, no grupo de tratados, pessoas que não tiveram, de fato, as disciplinas de filosofia e sociologia em seu ensino médio. Tampouco as informações contidas nos microdados do Enem permitem identificar os indivíduos que realmente foram afetados pela medida. Assim, como já destacado anteriormente, o grupo de tratados é formado pelo conjunto das pessoas potencialmente afetadas pela política.” (p. 20)

Assim, com este novo limite, introduzem um novo conceito: “pessoas potencialmente afetadas pela política”. Procurando “robustez”, são obrigados a reconhecer novos limites.

“… a partir de 2011, com o intuito de diminuir potenciais vieses nas informações disponibilizadas, o Inep passou a divulgar as notas médias apenas das escolas em que a taxa de participação dos alunos no Enem era igual ou superior a 50% (comparando-se o número de inscritos no exame com as matrículas registradas no censo educacional). Assim, a amostra deste estudo é limitada de acordo com esse critério.”

É importante agregar que, mesmo com 50% dos alunos de uma escola participando do ENEM, a nota da escola continua potencialmente falha em representar a escola, pois não é só a quantidade de alunos que conta, mas a representatividade dos 50% participantes em relação à composição real dos estudantes naquela escola. Os autores apontam uma parte do problema:

“Cabe considerar que a limitação imposta pelo indicador de desempenho da escola aqui escolhido pode excluir da amostra as escolas com baixa qualidade de ensino. É possível imaginar que, devido ao fato de o Enem não ser um exame obrigatório – de modo que os indivíduos se autosselecionam para sua realização, motivados por interesses individuais –, as escolas que não atingem uma taxa de participação de 50% são aquelas que oferecem piores condições de ensino aos alunos. Estes, não tendo motivação para comparecer ao exame, por acreditarem que seu desempenho não lhes trará os benefícios desejados (ingresso em curso superior e/ou premiação com bolsa de estudos), optam por não fazê-lo.” (p. 22-4)

Este é um problema. Mas, mesmo nas escolas que permaneceram na amostra por atingirem 50% dos seus estudantes no ENEM pode haver vieses de representatividade pois, como o ENEM é um exame voluntário, não se pode ter segurança que tal participação represente proporcionalmente a composição real dos estudantes da escola. Não é sem razão que se pede uma participação de 85% dos estudantes na Prova Brasil ou 95% no NAEP americano. Uma escola pode atingir 50% de seus estudantes e continuar a não ter representatividade de um de seus segmentos sócio-econômico, por exemplo. Todos sabemos da estreita relação entre desempenho e fatores sócio-econômicos que chegam a explicar até 70% do desempenho do aluno.

Aumentar para 50% a exigência para divulgação de notas da escola no ENEM melhora a qualidade da nota, mas isso não valida tal nota, necessariamente, como apta para basear conclusões científicas com pretensão de orientar política pública.

Outras possibilidades ainda existem para vieses. Como aponta Ernesto Martins Faria:

“O Sisu e o Fies podem ter atraído bons alunos para fazer o Enem ao aumentar suas chances de conseguir uma vaga. E talvez, por causa dessas mesmas oportunidades, a escola tenha passado a incentivar mais os alunos de baixo desempenho do que antes a fazer o Enem. São fatores que podem ter impactado.”

Se mais alunos com desempenho menor entram no ENEM, isso repercutiria negativamente na média da escola, pois seu desempenho no ENEM poderia ter sido menor do que os alunos de mais alto desempenho e nível sócio-econômico da mesma escola ao longo do tempo. Assim, outros fatores e não exatamente a introdução de Filosofia e Sociologia explicariam a queda nos desempenhos. Estas alterações ocorreram durante o período investigado pelos autores. Enfim, a nota do ENEM pode não captar a complexa realidade das escolas.

Como vimos, os autores, corretamente, não escondem os limites dos dados. Isso não basta para redimir os problemas dos dados, mas sem dúvida é louvável. A seção de metodologia do estudo, no entanto, se parece mais com uma longa sequência de pedidos de desculpa dos autores por usarem dados provenientes de um “experimento natural” não planejado para a realização de seus estudos científicos.

Anote-se, por fim, que em nenhum momento da apresentação da metodologia, os autores falam em “carga didática de Matemática ou de qualquer outra disciplina” ou “número de horas da disciplina de Matemática em cada escola”. Este dado não é mencionado.

Continua no próximo post.