Copocchi: efeitos colaterais da pressão já são visíveis

Dissertação de Mestrado defendida na Faculdade de Educação da USP por Eduardo Rodrigues Capocchi orientada por Adriana Bauer: “Avaliações em larga escala e políticas de responsabilização na educação: evidências de implicações indesejadas no Brasil”, mostra, com métodos quantitativos, a relação entre Estados que fazem mais uso de políticas de responsabilização (políticas high-stakes) e a existência de “gaming”, ou seja,  a exclusão não aleatória de alunos de baixa proficiência das avaliações e a incidência de “fraudes ingênuas”, em desacordo aos protocolos de aplicação das avaliações.

RESUMO

Este estudo analisa os efeitos colaterais indesejados de avaliações externas quando combinadas a políticas de responsabilização (accountability) escolar no Brasil. Estes efeitos colaterais, denominados “peiragênicos” por Madaus e Russell, são previsíveis, indesejados e decorrem da manipulação (gaming) das regras do sistema pelos agentes envolvidos, levando à inflação de escores, vieses nos resultados reportados e interferências indevidas nos processos escolares que se pretendiam monitorar. Este estudo completa uma lacuna na literatura nacional, visando a medir a extensão de dois destes efeitos: a exclusão não aleatória de alunos de baixa proficiência de avaliações e a incidência de fraudes ingênuas, em desacordo aos protocolos de aplicação das avaliações.

Duas abordagens são apresentadas. Para estimar as exclusões de alunos de baixa proficiência é proposta uma análise baseada na assimetria de distribuições de proficiência, usando distribuições normais truncadas. Para avaliar a extensão de fraudes ingênuas, definidas como a divulgação de respostas aos alunos testados sem levar em conta a existência de cadernos de itens ou permissividade com “colas” entre alunos, é introduzida uma abordagem baseada na contagem de blocos impróprios maximizadores. Ambos os algoritmos são aplicados à Prova Brasil, de 2013 e 2015. As medições obtidas são confrontadas com variáveis explicativas associadas às pressões da responsabilização, mediante modelos hierárquicos lineares. As pressões consideradas neste trabalho resultam de programas estaduais de bonificação docente e de acompanhamento do Indicador de Desenvolvimento da Educação Básica (Ideb), assim como variações em rankings do Ideb nos municípios.

Os resultados indicam que tanto a exclusão de alunos de baixo desempenho quanto fraudes ingênuas ocorrem em associação a estas pressões. O gaming parece mais intenso em unidades da federação com políticas high-stakes, assim como em escolas com Ideb baixo verificado na avaliação anterior. Tendências de variação do Ideb, distâncias deste indicador às metas, ou mudanças em posições no ranking resultam não correlacionados significativamente às pressões. Exclusões medidas são menores em UFs com avaliações próprias para cálculo de bonificação. Um substancial aumento nas indicações de fraudes em 2015, versus 2013, pode estar associado às mudanças na participação mínima de alunos exigida nestas avaliações. Conclui-se que há necessidade dos formuladores de avaliações tomarem cuidados para controlar os dois efeitos estudados.

Acesse o estudo aqui.

Sobre Luiz Carlos de Freitas

Professor da Universidade Estadual de Campinas - UNICAMP - (SP) Brasil.
Esse post foi publicado em Meritocracia, Responsabilização/accountability, Segregação/exclusão e marcado , , . Guardar link permanente.

Uma resposta para Copocchi: efeitos colaterais da pressão já são visíveis

  1. Pingback: Sessão Especial BNCC – Jornal Pensar a Educação em Pauta

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s