A Associação Americana de Estatística pode ter iniciado o fim do holocausto dos professores americanos que são avaliados pelos resultados dos seus alunos em testes, a partir do uso de métodos de cálculo de valor agregado que não são confiáveis para a finalidade a que se propõem.

A Declaração reconhece claramente que o impacto do trabalho dos professores não é superior a 14% e que a maioria das oportunidades de melhoria educacional encontram-se ao nível das condições do sistema.

Impulsionado pela política de Obama, a prática de avaliar e premiar professores a partir dos testes aplicados aos estudantes sofre uma das suas maiores derrotas.

Abaixo o sumário da declaração da ASA. O texto completo pode ser lido aqui.

Declaração da American Statistical Association sobre o uso de Modelos de Valor Agregado em Avaliação Educacional

 08 de abril de 2014

Sumário Executivo

Muitos estados e distritos escolares adotaram modelos de Valor Agregado (VAM), como parte de sistemas de responsabilização educacional. O objetivo destes modelos, que também são referidos como modelos de Valor Agregado de Avaliação (VAA), é estimar os efeitos de professores ou escolas individuais sobre o desempenho do aluno, enquanto responsável por diferenças na formação do aluno. VAMs são cada vez mais estimulados ou obrigatórios como um componente em decisões que envolvem alto impacto, tais como a determinação de remuneração, avaliação e classificação dos professores, contratação ou demissão de professores, concessão de estabilidade e fechamento de escolas.

A American Statistical Association (ASA) faz as seguintes recomendações relativas ao uso de VAMs :

– A ASA apoia o uso inteligente de dados, modelos estatísticos e experimentos planejados para melhorar a qualidade da educação.

– VAMs são modelos estatísticos complexos e conhecimentos de estatística de alto nível são necessários para desenvolver os modelos e interpretar seus resultados.

– As estimativas de VAMs devem sempre ser acompanhadas de medidas de precisão e uma discussão sobre os pressupostos e as possíveis limitações do modelo. Estas limitações são particularmente relevantes se VAMs são utilizados para efeito de alto impacto.

– VAMs são geralmente baseados em resultados de testes padronizados e não medem diretamente as potenciais contribuições de professores em relação aos outros resultados dos alunos.

– VAMs tipicamente medem correlação e não causalidade: efeitos – positivos ou negativos – atribuídos a um professor podem realmente ser causados por outros fatores que não são capturados pelo modelo.

– Sob certas condições, as pontuações e classificações VAM podem mudar substancialmente quando é usado um modelo ou de ensaio diferente, e uma análise aprofundada deve ser realizada para avaliar a sensibilidade das estimativas de diferentes modelos.

– VAMs devem ser vistos no contexto da melhoria da qualidade, que distingue aspectos de qualidade que podem ser atribuídos ao sistema a partir daqueles que podem ser atribuídos a professores individuais, programas de formação de professores ou escolas. A maioria dos estudos VAM encontra que os professores são responsáveis por cerca de 1 % a 14 % da variabilidade nos resultados dos testes, e que a maioria das oportunidades de melhoria da qualidade são encontrados ao nível das condições do sistema. A classificação de professores por suas pontuações VAM pode ter consequências inesperadas e reduzir a qualidade.

Sendo a maior organização nos Estados Unidos que representa estatísticos e profissionais afins, a American Statistical Association (ASA) faz esta declaração para dar orientação, fornecendo conhecimento atual e experiência sobre o que pode e não pode ser razoavelmente esperado a partir da utilização de VAMs. Esta afirmação incide sobre a utilização de VAMs para avaliar desempenho dos professores, mas os assuntos discutidos aqui também aplicam-se a sua utilização para a escola ou responsabilização do diretor.

A declaração não pretende ser prescritiva. Pelo contrário, pretende-se melhorar a compreensão geral dos pontos fortes e limitações dos resultados gerados por VAMs e, assim, incentivar o uso informado dos resultados.