É voz corrente dentro da rede estadual de ensino de São Paulo que algo ocorreu com a última edição do SARESP (Sistema de Avaliação de Rendimento do Estados de São Paulo) motivando a elevação das médias da rede. Na opinião de professores e alunos que participaram da prova, ela foi visivelmente mais fácil do que nos anos anteriores. Comprovada esta situação, teremos no mínimo um descuido, no máximo uma fraude.
Circulam ainda algumas explicações técnicas sobre uma possível “calibração” da prova para um patamar de menor exigência. A fase de calibração dos itens garante os parâmetros de qualidade de cada ítem. A fase de “equalização” garante que os itens das provas aos longo do tempo, sejam colocados em uma mesma escala, permitindo a comparação entre as aplicações feitas a cada ano.
O processo de calibração dos itens exige que se pré-teste cada item elaborado quanto à sua capacidade de discriminação, resposta ao acaso e dificuldade, na dependência do modelo de teoria da resposta ao item que se esteja usando. Todo este processo é documentado durante a fase de pré-teste com uma população de no mínimo 300 alunos, antes de ser aplicado a toda uma rede. A Secretaria tem conhecimento, portanto, do nível de dificuldade da prova.
No entanto, como se sabe, não há transparência da elaboração do processo de avaliação na rede estadual de São Paulo, o qual é entregue a empresas terceirizadas de avaliação. As bases de dados não estão disponíveis em formato de microdados que permita recálculo por pesquisadores independentes e, além disso, não há relatório técnico público do processo de montagem das provas e da pré-testagem.
Para se verificar a hipótese de rebaixamento de exigências na prova, seria necessário acessar o comportamento dos itens da prova na pré-testagem do ano de 2015 e anos anteriores que contivessem resultados dos pré-testes contrastados com os resultados finais obtidos nas provas reais, bem como acesso aos índices de discriminação e dificuldade dos itens que compuseram as provas nas suas últimas edições. Nada disso está disponível.
Não seria a primeira vez que teríamos uma situação como esta. Anos atrás, na Cidade de Nova York, Joel Klein, então Secretário da Educação, promoveu um rebaixamento das exigências nos exames da cidade para incentivar a percepção de melhoria na rede e acessar verbas federais. Lá, diferentemente, pode-se constatar o processo de facilitação. Klein perdeu o cargo.
Também aprendemos da experiência americana, o inverso. Quando se trata de acelerar os processos de privatização, as provas podem ser tornadas mais difíceis com o objetivo de culpar professores e escolas pelo fracasso dos estudantes e justificar processos de terceirização.
As provas do SARESP de 2015 e seus resultados estão, portanto, sob suspeita. E esta suspeita somente poderá ser afastada se a Secretaria de Educação constituir uma equipe de pesquisadores composta por profissionais da empresa terceirizada que elaborou os testes e também por profissionais independentes, para emitir um laudo final. Até lá, persistirá a dúvida.
É urgente que o Ministério Público seja acionado para garantir a transparência da qualidade das avaliações no Estado e que a Secretaria de Educação passe a abrir as bases de dados da série de avaliações do SARESP (bem como de seus relatórios técnicos de elaboração, composição das provas e pré-testagem), para serem baixadas e trabalhadas por pesquisadores independentes, na forma de microdados e não apenas em formato de dados agregados pela média das escolas, ou pelo IDESP.
Luiz Carlos de Freitas
AVALIAÇÃO EDUCACIONAL - Blog do Freitas 
Prezado Prof. Luiz Carlos. Realmente o MP deveria investigar e concordo com tudo o que disse. Acrescento apenas que, devido à TRI, as bases não poderiam ser expostas assim como os microdados do ENEM, uma vez que o SARESP faz reuso de itens, justamente para fazer jus ao processo de equalização, situação não encontrada no ENEM, por exemplo. Uma saída é criar-se uma espécie de órgão fiscalizador (federal) dos sistemas avaliativos nacionais, composta por pessoas com altos conhecimentos da TRI e avaliação educacional, para que possam fiscalizar “devidamente” estes processos, gerando uma certificação federal que deve ser renovada de tempos em tempos.
Att
Esclarecendo mais: as bases de dados dos resultados dos testes podem conter apenas o número dos itens e as respostas. Não contêm o conteúdo dos itens.
Os dados da pre-testagem, podem ser passados a uma Comissão que seja criada para análise das provas, com declaração de sigilo. A divulgação mais ampla pode ficar com as curvas características dos itens, sem necessidade também de incluir o próprio item.
Abraço.
Prezado Prof. Freitas, sim, de fato podem ser disponibilizados as respostas aos itens dos candidatos. Porém existem problemas de ordem “técnica”, pois de posse somente das respostas não é possível “replicar” o procedimento de estimação da habilidade (teste) e estimação dos parâmetros dos itens (usualmente é o logístico de 3 parâmetros na calibração, ou pré-testagem). Primeiro, os dados para a estimação dos parâmetros de itens vem da amostra (pré-teste) e não das avaliações finais. Então teríamos que ter acesso à todos os dados do pré-teste. Segundo, supondo que tenhamos em mãos o primeiro, ainda assim, a estimação da habilidade dos alunos depende não somente da base, mas do “setup” dos modelos e técnicas. Por exemplo, se o método de estimação for o EAP, envolve cálculo integral. Como é numérico, temos que conhecer a tolerância adotada e as prioris adotadas (mesmo que seja a normal, temos que saber exatamente a média e o desvio). Resumindo: para poder comparar se os resultados disponibilizados no Saresp são mesmo reais, teríamos que conhecer todo o procedimento envolvido e “clonar” as estimações e demais cálculos envolvidos. Senão sempre irá se obter resultados diferentes. A base de dados com as respostas é necessária, mas não suficiente. Aproveito para deixar aqui minha gratidão pelo seus posts, que acompanho diariamente, que me ajudam muito nas questões educacionais. Att
Prezado João, se isso é verdade, não há estabilidade nos modelos, então. Se cada vez, há um resultado, temos problemas. Não creio que seja assim. Penso que deve haver um relatório completo sobre todas as decisões tomadas e este relatório deve ser público, ressalvadas algumas informações que possam ser confidenciais como nome de alunos, da escola, o próprio ítem, etc. Tudo isso pode ser resolvido, sem prejuízo da transparência.
Só trocando: não é desvio, é variância no caso da normal unidimensional. Att
Prezado Prof. Luiz. Isso é sim verdade, mas não tem nada a ver com a estabilidade dos modelos. Os modelos da TRI são fidedignos e matematicamente corretos. Novamente, os problemas de replicação são de ordem numérica. Vou ser mais específico. Um dos cálculos que envolve a estimação dos parâmetros de itens (a, b e c) é a quadratura gaussiana. Uma pergunta necessária para quem “calculou” o Saresp seria: quantos nós de quadratura você utilizou? Essa quantidade de nós não é inerente à TRI, mas sim a um processo numérico-matemático, que pode influenciar na precisão de uma estimação, por exemplo. Agora, supondo que tenhamos acesso a tudo (dados, setup de parâmetros, modelos), ainda assim temos um problema. Para se replicar fielmente um experimento desta natureza e deste nível de complexidade, teriam que ser feitos nos mesmos computadores (o que não aceitariam), isso por uma questão muito simples: ponto flutuante da máquina e sistema operacional. Ainda existe o problema da precisão numérica quando se usa pacotes. O livro “Essays on Item Response Theory” do Boomsma traz alguns elementos sobre o assunto. Essa é uma questão bastante conhecida em áreas de experimentação quantitativa. O Prof. George Rawitscher, um pesquisador renomado na área, aponta muitas questões para o problema (http://www.ictp-saifr.org/?p=8636). Para finalizar o assunto, meu objetivo aqui não é dizer que não devemos questionar as “notas” do Saresp, pelo contrário. Temos que saber por onde questionar e por onde cobrar tal transparência, e digo que inicia-se por aqui, tendo ciência de que não bastam, simplesmente, os dados brutos das respostas dos alunos. Quero reforçar que trabalho com a TRI computacionalmente desde 2002, por isso minhas afirmações. Att
A informação merece ser seriamente investigada. Se verdadeira, acabou sendo um chute no pé, uma vez que contribuiu para aumentar o valor do IDESP, que obviamente deveria contribuir para um bônus maior, fato que não ocorrerá. O bônus a ser pago no dia 15 de abril, será muito menor do que foi o do ano anterior. Vai ser dificil explicar para os profissionais da educação, que a escolas melhoraram, mas o bônus diminuiu de tamanho.
Amigo acho muito bem feito. Quem sabe dar aulas conhece sua profissão é de fato um ser estudioso, criterioso, honesto consigo e com seus alunos e já percebia de longa data o final dessa safadeza. Não requer explicações de ninguém. Ser professor é ser antenado, é estar atento ao mundo como um todo e não simplesmente cumpridor de ordens sem lógica e sem sentido como foi até então essa história toda. Professor deve e precisa saber interpretar a vida e o o mundo, ler nas entrelinhas o que significa Aprender e Ensinar. Significa ensinar e aprender para que e para quem.
Concordo!!! Meus alunos sairam dizendo ” tava muito fácil professora” olha que matemática nunca e fácil. E quando não temos acesso a prova, as questões fica difícil acreditar.
Mais uma vez o culpado disso tudo é a comunidade escolar.Dificil entender mesmo essas manobras.
Fui durante 32 anos professora do ensino básico do nosso estado .Espero que se confirme essa fraude que destruiu professores alunos e escolas públicas .Não contesto os currículos, mas sim a qualidade dos que ministravam aulas e desenvolviam os currículos. Da forma como foi feita essa que poderia deveria ser uma pesquisa sobre o sistema educacional de nosso estado, que poderia servir de conversas reuniões com especialistas da educação visando ampliar a educação formal nada disso ocorreu. O que ocorreu então dentro dos muros de uma escola? Bem ocorreram brigas, baixaria entre professores, ansiedade entre os alunos, ignorância e desrespeito pelas dificuldades e diferenças entre alunos e professores.Levaram para dentro das escolas disputas e busca por dinheiro na conta de todos. Esse dinheiro que poderia servir para o que realmente faria diferença na educação e na carreira profissional que poderia ser melhor e mais adequada as necessidades dos nossos alunos e do nosso estado e país. Muita incompetência premiada, muitas vozes calada e um grande desmanche do pouco de bom que havia no sentido de trabalhar a favor do Bem Comum. Aposentada que sou atualmente, nunca perdi de vista a educação de meu pais. Me sentia honrada em ser professora e atualmente me envergonho da profissão que tenho. As escolas são hoje palco de desrespeito de incompetência entre todos que a vivem o dia a dia. Alunos que agridem professores, apesar de ser vergonhoso, vivem clima de terror em salas de aulas por professores que não sabem o significado de lecionar, porque não estudaram. Pensam que simplesmente o ato de passar atividades que satisfaçam aos diretores, supervisores e dirigentes já os tornam suficientes para que receber o bônus financeiro e um salário que acham que compensa porque ele faz apenas o que mandam. Uma carreira transformada em nada.
Que os pesquisadores saiam a campo e percebam o quanto está destruída a educação nesse nosso estado que nem mesmo a ditadura militar foi capaz de exterminar mas esses atuais governos mataram e enterraram em cova rasa.Vai aqui o meu desabafo acreditando mais uma vez que milagres acontecerão. Salvem as professorinhas!
Professor Freitas, eu e um colega “descobrimos” isso empiricamente, tomando como base o desempenho das turmas em que trabalhávamos durante o ano e o resultado que as mesmas obtiveram no Saresp. Achávamos que a distorção, se é assim que se pode dizer, estaria entre a divulgação dos resultados e a formulação das provas. Acho que acertamos parcialmente.
Uma questão que não fica muito clara para mim é porque a equipe da SEE realizou a calibração, dando a entender que mais escolas obtiveram o IDESP, e não ampliou o bônus.
É, esta última parte, não se responder. Mas penso que é produto da crise fiscal, também. Quanto à primeira parte, há uma dificuldade em se comparar – para efeitos de comprovação – o desempenho das turmas via trabalho do professor com as provas do SARESP. É que os desempenhos não estão na mesma escala. Esta é a graça da TRI, por um processo de equalização, ela coloca turmas avaliadas em anos diferentes em uma mesma escala. O seu depoimento vale contudo quando à percepção do professor, que na realidade é sempre melhor, em minha opinião, do que a dos testes. Afinal, ela passa o ano inteiro com o aluno vendo seu desempenho. Abraço.
Como é estressante ser professor nos dias de hoje! A sala de aula é desafiadora e cansativa, porem, gratificante! Coitado do educador do estado, salario minguado, nenhuma estabilidade (categoria quase final do alfabeto), sem direitos…mas deveres…é o que mais tem na rotina. Sem reconhecimento da sociedade, das autoridades competentes, sindicatos, mesmo por parte dos colegas que o governo anterior fez questão de dividir em “categorias”. Quando vem um mísero reconhecimento do trabalho realizado, pronto! Aí aparece um montão de pessoas discursando e polemizando, para ajudar ou para facilitar o trabalho do educador no seu dia a dia? Infelizmente, não! Segundo Carl Jung “Pensar é difícil, é por isso que a maioria das pessoas prefere julgar” Muita discussão…muito bla, bla, bla…diminuiram o bônus! Com mais essa conversa, obvio, não tem bônus no próximo ano!
Olá Professor Luiz Carlos!
A denúncia é muito séria e merece olhares mais amplos à luz da contramão do que está posto e dado como certo. Qual a proposta da possível “calibração” da prova para um patamar de menor exigência? A proposta vem de encontro com as objeções feitas pelos professores junto a proposta curricular discutida nos últimos anos ? A meu ver esse processo, está inserido num dentro de um contexto politico em que inserir a “ideia” de uma “pseudo” melhora, planejada e implementa dentro de uma perspectiva alicerçada na mudança de cultura organizacional está dando os “resultados”. Enfim, os “dados” apresentados demonstram que a atual politica da SEE continuará aumentando a agilidade, a eficiência do Estado na educação. Para isso, eles fazem uma análise aprofundada da capacidade organizacional, que são as características que os diferenciam no mercado da “calibração”. Parece-me que as surpresas continuarão em 2016, 2017 até meados de 2018. Quero estar profundamente “enganado” e o senhor ?