AVALIAÇÃO EDUCACIONAL – Blog do Freitas

Os resultados da avaliação do SAEB 2017 foram divulgados com uma mudança no critério de distribuição das pontuações dos alunos na escala de proficiência. Isso tornou mais difícil para um aluno ser classificado como “proficiente” ou com “desempenho adequado”. A medida é tomada um ano antes de implementar a BNCC. Há alguma relação entre estes dois eventos? Pode ser que sim, pode ser que não.

Quando algo estranho acontece e as explicações não convencem, somos obrigados a exercitar as várias possibilidades e é natural que comecem a aparecer hipóteses explicativas, principalmente porque algo muito estranho está acontecendo no reino do INEP.

Como explicar que, de repente, o INEP resolveu mexer no grau de exigência de classificação da escala do SAEB17 consultando um seleto grupo de “especialistas”? De onde vem esta urgente necessidade de alterar o SAEB17, que é implantada sem maiores debates? Esta decisão compete ao INEP?

E como não há debate e nem explicação adequada, arrisco dizer que a urgência vem da implantação da Base Nacional Comum Curricular que entrará em vigor no próximo ano – trata-se, provavelmente, de “controle de danos” antecipado.

A equipe do MEC entende que a elevação das exigências é peça chave na elevação da qualidade da educação brasileira. É uma questão de fé. Em várias oportunidades membros da equipe do governo revelaram sua inconformidade com o fato de que a “régua” de medida da educação brasileira seja baixa. Ou seja, o nível de exigência que é feito nas escolas ser baixo, pois aceita-se uma pontuação muito baixa quando se trata de avaliar as escolas nas escalas de proficiência. Alguns se manifestavam claramente dizendo que era preciso “elevar a régua”. Régua aqui, é a altura em que se coloca um obstáculo para que ele seja saltado. Elevando a régua, exijo mais esforço de quem salta – isso ocorre quando eu digo que será necessária uma pontuação mais elevada para que um aluno seja considerado proficiente ou com aprendizagem adequada. É assim que a reforma empresarial concebe a educação: como uma corrida de obstáculos.

Antes havia exigência de uma pontuação que permitia enquadramento no nível 4 da escala (nível adequado) de uma disciplina – considerado baixo. Agora a pontuação tem que permitir enquadramento no nível 7 da escala (igualmente nível adequado) desta mesma disciplina. Ao elevar a régua, o INEP derrubou o número de alunos considerado proficientes nas redes de ensino, já nesta rodada do SAEB17, um ano antes de implementar a base.

Negando a história do sistema de avaliação brasileiro e sem planejar nenhuma ação de resgate ou de apoio às escolas que terão que lidar com as novas exigências, o INEP unilateralmente aumentou as exigências e indicou através de seu “press release”, que os pais devem cobrar os responsáveis das escolas pelo baixo desempenho das mesmas. Uma puxada e tanto de tapete nas escolas.

Em nota o MEC defendeu a nova distribuição da escala. Segundo o órgão, um grupo de especialistas (quem são estes especialistas?) definiu os novos critérios.

“Defendendo o nível de exigência adotado, o ministério diz que não é possível aceitar como adequado uma nota média em que boa parte dos alunos se enquadre “em níveis baixíssimos de aprendizagens”.”

Pois bem. A altura da régua depende do que se inclua como exigência na base nacional comum curricular (habilidades e competências) e do que se defina como nota de corte para se alcançar a categoria de “aprendizagem adequada”. Através da TRI – Teoria da Resposta ao Item é feita uma conexão entre a pontuação do estudante nos itens da prova e as habilidades e competências, que se expressa na posição do aluno na escala de proficiência, determinada a partir da BNCC.

A nova Base Nacional Comum Curricular, ao especificar a cada ano as habilidades e competências que as crianças devem dominar, já está pronta. Esta nova base terá também a sua escala de proficiência. Haverá mais exigência para as crianças “saltarem” a barreira da aprendizagem adequada. Isso poderá impactar as estatísticas para mais ou para menos.

Alterações de medidas deste tipo geram custo político. Quem banca uma eventual queda nos indicadores devido à elevação da régua? Nos Estados Unidos a média dos estudantes nas provas caiu ou estagnou e a distância entre estudantes de maior e menor desempenho aumentou com a introdução da base deles (Common Core) – a crítica por lá não é pequena.

Quando a nova aplicação do SAEB ocorrer em 2019, ano que vem, já com a utilização da base pelos sistemas de ensino, o SAEB terá que estar refeito, seguindo a nova BNCC. Se as exigências da nova base são maiores, é de se esperar que as novas provas do SAEB também serão mais exigentes, por exemplo, solicitando domínio de assuntos antes não exigidos ou antecipando a série escolar de exigência. O MEC já trabalha neste realinhamento das provas. E o realinhamento da escala do SAEB17 está neste contexto.

Ao entrar em cena, a BNCC atinge todos os alunos do 1º ao 9º ano. Ela não entra em vigor progressivamente, série a série. Portanto a próxima avaliação do INEP – se vier alinhada à BNCC – terá alunos que estudaram sem a nova base e com a nova base. Isso, como aconteceu nos Estados Unidos, pode conduzir a uma queda nas médias dos estudantes na próxima aplicação do SAEB, se a engenharia da TRI e a criatividade do INEP não derem conta.

O que acontece quando provas mais exigentes são feitas? Mais gente falha e tira nota baixa. Principalmente se considerarmos que as escolas ainda estarão se adaptando à nova Base e que o aluno estudou algumas matérias sem a existência da nova base, que passa a pautar a nova avaliação – a prova é no 3º, no 5º e 9º ano. Mas o INEP está convencido que esse aumento da dificuldade é para o bem da qualidade da educação brasileira.

O que aconteceria se, com a entrada da BNCC e da régua mais exigente, o número de alunos proficientes caísse em 2019? Isso seria detectado na série histórica da distribuição da escala de proficiência – não necessariamente no IDEB ou até mesmo na média da escola. Poderíamos ter em 2019, a mesma gritaria que estamos tendo agora. Mas com uma diferença: a BNCC seria então identificada como a responsável pela queda no número de alunos proficientes – se ocorresse.

Mas, e se um ano antes da nova BNCC entrar em vigor, a escala de proficiência existente fosse ajustada para ser mais rigorosa e já antecipasse uma eventual queda de desempenho? Mais gente seria enquadrada nos níveis inferiores da nova escala, agora, antes da base ser inaugurada e, de quebra, ficaria estabelecida uma nova linha de base (exatamente mais rigorosa), antes da entrada de uma BNCC igualmente mais rigorosa. Politicamente falando, os danos seriam menores pois eles não seriam associados à BNCC e, além disso, teria sido feito ao final de um governo moribundo que todos querem esquecer rapidamente.

Portanto, faço a hipótese de que o INEP neste ano, com a elevação da escala, colocou em cena ações de “controle de danos” tendo em vista a entrada da nova BNCC no próximo ano, procurando desvincular uma eventual queda de alunos proficientes (e uma eventual piora na distribuição da escala de proficiência) da implantação da própria BNCC. Seria algo como uma “alinhamento” da atual escala à futura BNCC, feita com dados de 2017, para construir uma nova linha de base para 2018, que não comprometesse a BNCC logo na partida, como está acontecendo nos Estados Unidos.

Para isso, derruba-se o número de alunos proficientes já no SAEB17, e se com a nova prova do SAEB 2019 ocorrer uma queda no número de proficientes, a linha de base já a contemplou na prova deste ano no SAEB17, em um momento em que não foi usada a BNCC ainda, criando novo ponto de partida. Ficaria em aberto para o SAEB19 explicar uma eventual queda nas médias, mas se contrabalançaria argumentando que não houve diminuição do número de alunos proficientes em relação ao SAEB17.

Mas por que não deixaram, então, como estava, menos exigente e mais fácil de atingir a proficiência, evitando-se a queda do número de alunos proficientes na implantação da base? Primeiro, porque a própria base já é mais exigente, segundo porque têm fé, plena, na elevação da régua como ferramenta de gestão da qualidade… A teoria que orienta o MEC é a da responsabilização baseada em testes e estes precisam ser exigentes para puxar as escolas.

Esteja certo ou errado este raciocínio, no mínimo, a medida tomada permitiu que o INEP rompesse a série histórica da distribuição da escala existente (não das médias das provas, que podem ser equalizadas pela TRI) e não poderá haver comparação com a distribuição da escala de proficiência de outros anos, além de 2017 já sob intervenção. A história da distribuição dos alunos na escala começa com a BNCC, criando uma zona política de conforto. Resta a esperança de que portais de dados independentes, continuem processando os dados do SAEB com as duas escalas (a antiga e a nova). Mas não serão dados oficiais.

Para finalizar, um exemplo: Sobral, com o ajuste da escala que o INEP fez agora, caiu de 79% para 14% de alunos no nível adequado. Imaginemos que Sobral, um sistema supostamente “eficiente” e que tem, hoje, 79% dos seus alunos no nível adequado, tivesse a queda que teve agora no momento em que fosse introduzida a BNCC no próximo ano, ficando só com 14% de alunos proficientes. Quem seria culpado? A BNCC. Mas se neste ano, última aplicação antes da entrada da BNCC em funcionamento, ele já caiu para 14%, na próxima medição do SAEB em 2019 ninguém estranharia que ele tivesse os mesmos 14%, afinal isso já ocorreu antes da base estar em vigor. Não haveria razão, portanto, para que se culpasse a BNCC. E se ocorresse de Sobral aumentar dos 14% que teve este ano, para 17% por exemplo quando estiver em vigência a base em 2019, seria uma grande vitória da BNCC a ser comemorada… Não consigo ver outra utilidade para a pirueta avaliativa do INEP no SAEB17 e não acredito em coincidências e acaso na política… mas estou aberto a outras explicações.

Se esta suspeita está correta, não teria sido mais fácil o INEP abrir o jogo e discutir abertamente? Mas isso suporia um processo democrático de elaboração da BNCC e não o estilo impositivo adotado pelo MEC.

A solução adotada pelo INEP foi boa para todos? Alguém pensou no impacto nos alunos, professores e escolas? Alguém pensou que alunos que se achavam proficientes, de repente serão vistos como “não proficientes”? Isso mexe com a vida das pessoas. Alguém pensou nas cobranças dentro das escolas sobre os professores, para elevar o desempenho dos estudantes? Alguém pensou que quanto mais cobrança injusta, maior a probabilidade de fraudes, distorcendo os próprios números da educação nacional?

São estes os maus presságios que me afligem, além dos que já explicitei em post anterior.