Continuação de post anterior.

Fiz questão de incluir estas longas citações para mostrar como a seção de metodologia do estudo é, na verdade, uma longa lista de “desculpas” pelo fato de se trabalhar com as limitações de um “estudo natural” (ENEM) que, agora, tem que se converter em um “experimento controlado”.

Se no primeiro estudo planejado pelos autores, o limite foi imposto pela mudança ocorrida no ENEM, que passou a calcular sua escala pela Teoria da Resposta ao Item (e revisão das matrizes de referência) no ano de 2009, no segundo estudo, o limite está dado pelo fato de que a nota da escola pode não representar, de fato, a situação dos estudantes da escola, pois o ENEM não é obrigatório e mesmo quando tem 50% de participantes de estudantes de uma determinada escola, este dado não pode ser tomado como uma amostra representativa dessa.

Por terem incluído indicadores educacionais como covariadas, acreditam que seus estudos estão controlados quanto ao efeito de outras variáveis educacionais.

“As variáveis de interesse são as notas dos indivíduos em cada uma das quatro áreas de conhecimento avaliadas pelo Enem (ciências da natureza; ciências humanas; linguagens e códigos; e matemática) e na redação. Entre as covariadas, foram utilizados o sexo do inscrito, sua cor/raça, idade, se reside em zona urbana ou rural, se reside em região metropolitana (RM)/capital ou no interior, se a família mora em casa própria, a escolaridade da mãe e a UF de residência. A escolha dessas variáveis teve como objetivo controlar as estimações pelas características individuais, familiares e locais que podem afetar o desempenho escolar. Essas informações foram extraídas dos microdados do Enem, disponibilizados pelo Inep.” (p.21)

Mas como apontam Corti e outros:

“Contudo, não basta incluir uma dezena de variáveis em uma equação linear para garantir que cada uma delas esteja atuando adequadamente como controle. Evidentemente, é melhor incluir as covariadas do que não incluir. Porém, sua inclusão não garante que as diferenças entre os candidatos tenham sido suficientemente controladas.”

No entanto, os autores seguem em frente, pois é o que têm. É preciso deixar claro, desde já, que reconhecer o limite de um estudo que se faz não constitui, em si, mecanismo de validação dos resultados que se obtêm.

Feitos os esclarecimentos metodológicos, os autores passam a apresentar os resultados e se esquecem por completo, até o final do texto, de fazer a relação entre os resultados e os limites do estudo, apontados durante a descrição da metodologia. Sequer sugerem, como de praxe, que mais estudos sejam realizados para corroborar seus achados ou superar os limites do estudo. Afirmam:

“Pode-se observar que, nas regiões Norte e Nordeste, o impacto da política sobre as notas nas áreas de ciências da natureza; ciências humanas; e linguagens e códigos é positivo, variando de 0,52% a 0,94%. Na região Sudeste, os efeitos para essas áreas são negativos (entre -0,75% e -1,49%). No Sul não há significância estatística para os parâmetros estimados e no Centro-Oeste os resultados são positivos, com exceção da área de linguagens e códigos, em que não há significância estatística. Para a redação, apenas as estimativas para o Norte e o Nordeste se mostram significantes, sendo o impacto negativo. Chama atenção o fato de os efeitos sobre o desempenho dos indivíduos na área de matemática serem negativo em todas as regiões – corroborando os resultados observados em nível nacional –, com exceção do Centro-Oeste, em que não há significância estatística.” (p. 31-2) (grifos meus).

E seguem com os vários recortes:

“A análise por Grandes Regiões mostra que, para as áreas de ciências da natureza, ciências humanas e linguagens e códigos, os efeitos variam de direção e significância para os diferentes portes municipais e regiões. No Norte, os resultados se mostram positivos para ciências da natureza nos municípios pequenos (0,85%) e médios (0,92%). No Nordeste, os efeitos são positivos nas três áreas de conhecimento nos municípios de porte pequeno e médio, variando entre 0,76% e 0,92%. No Sudeste, por sua vez, os impactos são negativos nas três áreas de conhecimento e em todos os portes. No Sul, o efeito estimado é positivo na área de ciências da natureza em municípios médios (0,7%) e negativo em linguagens e códigos nos municípios grandes (-0,59%). Por fim, no Centro-Oeste os impactos são positivos em ciências da natureza (1,4%) e ciências humanas (0,81%) em municípios pequenos, positivo em ciências da natureza em municípios grandes (1,18%) e negativo em linguagens e códigos em municípios médios (-0,73%).” (p.33) (grifos meus).

Os autores também examinaram o efeito da introdução de Filosofia e Sociologia para quem estudou todo o ensino médio na rede particular e na rede pública:

“Os resultados para o total do Brasil mostram que os efeitos sobre os alunos da rede pública são positivos nas áreas de ciências da natureza (0,64%), ciências humanas (0,4%) e linguagens e códigos (0,26%); e negativos nas áreas de matemática (-1,26%) e redação (-1,45%). Para os alunos provenientes de escolas particulares, os impactos são significativos apenas nas áreas de linguagens e códigos e de redação, sendo negativos na primeira (-0,49%) e positivos na segunda (2,02%).” (p. 35) (grifos meus).

Note-se como os supostos impactos da introdução de Filosofia e Sociologia no ensino médio, no conjunto das áreas medidas pelo ENEM, são uma verdadeira dança dos números a favor e contra a tese dos autores. Em meio a isso, os autores optam por destacar os resultados de Matemática, deixando os demais.

E assim, passam às considerações finais:

“De modo geral, alguns elementos dos resultados aqui apresentados merecem ser destacados. Primeiramente, fica evidente as diferenças do impacto da política sobre distintas localidades (…). Dada a dimensão do território nacional e as diversas condições observadas ao longo deste, o ideal é que as políticas públicas possam ser pensadas de maneira descentralizada, de modo a atender de forma mais eficiente as necessidades regionais.”

“Em segundo lugar, os resultados se mostraram piores no que tange à absorção de conhecimento dos indivíduos na área de matemática, visto que os efeitos observados são negativos e significativos para praticamente todas as coortes aqui investigadas.” (p.42) (grifos meus).

Neste ponto, os autores recorrem a uma explicação aleatória para a qual não há nenhuma evidência de dados apresentada nos estudos que fizeram:

“Claramente, dada a limitação da carga horária prevista para a realização do curso de ensino médio no Brasil, a inserção de uma determinada disciplina reflete redução no espaço dedicado ao ensino das demais. A obrigatoriedade de inclusão das disciplinas de filosofia e sociologia no ensino médio, embora possa ter efeitos positivos em algumas áreas do conhecimento, dependendo da região e das condições da família do indivíduo e/ou do município no qual resida, impacta negativamente sobre seu desempenho na área quantitativa.” (p.42) (grifos meus).

Claramente onde? Com que dado? A partir de qual estudo? Na verdade, o que os autores fazem “claramente“, é uma “petição de princípio”: a queda no desempenho de matemática é culpa da introdução de Filosofia e da Sociologia, a qual teriam tirado tempo do ensino da matemática. Sobre isso, no entanto, não há nenhuma demonstração. Se já era difícil sustentar que a média de matemática caiu em função da introdução destas disciplinas, muito mais difícil ainda é explicar tal queda por uma eventual redução de carga didática da matemática.

De fato, o efeito negativo em Matemática foi o que sobrou de todas as tentativas de superar os limites dos dados disponíveis, após longa sessão de tortura a que foram submetidos, onde, “embora [a introdução de Filosofia e Sociologia] possa ter efeitos positivos em algumas áreas do conhecimento” (p. 42) – se resolveu “chamar a atenção” para um eventual impacto na área de Matemática, o que permitiu a entrada em cena de uma “petição de princípio” contra a introdução da Filosofia e da Sociologia no ensino médio: uma suposta e não investigada invasão da carga didática da matemática pelas referidas disciplinas.

Ao invés de considerarem que os resultados do estudo foram mistos (indefinidos em alguns casos, positivos ou negativos em outros), ao invés de chamarem a atenção do leitor para os limites dos estudos, os autores esquecem os demais efeitos sobre o conjunto das áreas do ENEM e passam a falar apenas dos negativos para a área de Matemática. Aqui valem as observações de Bonadia.

Corti e outros resumem bem a situação:

“De forma geral, o problema deste tipo de abordagem é a crença de que podemos fazer um bom bolo com ingredientes ruins, desde que se tenha um forno de última geração. Como se o refinamento dos métodos pudesse superar limitações básicas nos dados disponíveis.” (p. 2)

Os autores, com um pouco de humildade, poderiam ter denominado seu estudo de “estudo exploratório”. Mas não. Almejam ser conclusivos. Existe uma frase nos meios da pesquisa quantitativa que diz: “em se torturando os dados, tudo pode ser dito sobre eles”.

Continua no próximo post.