Na linha do prêmio “ignobil”, o NEPC – Nacional Education Policy Center – no Colorado, atribui todo ano o prêmio “bunkum” ao pior dos piores relatórios produzidos por Think Thanks americanos. Bunkum é um americanismo que significa conversa vazia, absurda, daquelas que alguns políticos fazem para ganhar adeptos.

Este ano o ganhador do prêmio (que toma por base relatórios e pesquisas divulgados durante 2016) foi o Center for American Progress pelo seu relatório que pretendia mostrar que a implantação dos padrões do Common Core nos estados americanos (uma Base Nacional Comum para leitura e matemática) aumentou o desempenho dos estudantes mais pobres: “Lessons From State Performance on NAEP: Why Some High-Poverty Students Score Better Than Others.”

Acesse aqui a análise do NEPC e divirta-se, ou use como um contra-exemplo em suas aulas de metodologia de pesquisa. Penso mesmo que uma das grandes virtudes dos reformadores é prover pesquisas “fake” ou “mal delineadas” e que contribuem enormemente para mostrar o que não se deve fazer em pesquisa, permitindo, assim, que nossos estudantes de pós-graduação aprimorem seus delineamentos de pesquisa e estudos.

O grande problema é que estes estudos são agressivamente distribuídos e comentados pela imprensa e podem influenciar as políticas educacionais permitindo a multiplicação de equívocos por eles recomendados.

Resumo da análise da pesquisa

“Este relatório do Center for American Progress analisa se a adoção pelos estados de políticas baseadas em padrões prediz as tendências de desempenho no NAEP para alunos de baixa renda em matemática e leitura nos 4º e 8º anos, durante a década 2003-2013. O relatório pretende analisar as mudanças em cinco intervalos separados de dois anos, mas apenas relata as conclusões para 2009-2011, sem explicação do porquê ou qualquer documentação da representatividade desse único intervalo. O resultado relatado para o intervalo selecionado é que a adoção estatal de políticas baseadas em padrões prediz positivamente na quarta (mas não na oitava) série em matemática no NAEP e na oitava (mas não na quarta) série em leitura no NAEP.

Mesmo estes resultados positivos selecionados são estatisticamente significativos apenas no nível de significância de 0,10, geralmente inaceitável. O relatório inclui tamanhos de efeito, mas nada sobre a porcentagem da variância explicada em seu modelo. Em suma, o relatório não descreve adequadamente variáveis ou métodos analíticos ou relata completamente os resultados, sendo que os dados e métodos utilizados não permitem quaisquer conclusões causais.

Eles usam a adoção de padrões estatais em todos os níveis e áreas temáticas, bem como prestação de contas selecionados como preditores, mas não conseguem avaliar sua qualidade ou fidelidade de implementação. No entanto, com base nessas análises muito problemáticas e limitadas, os autores concluem que sua análise “apoia firmemente o potencial do Common Core para impulsionar melhorias nos resultados educacionais”. O estudo simplesmente não suporta esta conclusão ou o conjunto de recomendações que se seguem.”