• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Dissertação de Mestrado
DOI
https://doi.org/10.11606/D.48.2017.tde-13092017-145218
Documento
Autor
Nome completo
Eduardo Rodrigues Capocchi
E-mail
Unidade da USP
Área do Conhecimento
Data de Defesa
Imprenta
São Paulo, 2017
Orientador
Banca examinadora
Bauer, Adriana (Presidente)
Fernandes, Reynaldo
Ferreira, Maria Paula
Título em português
Avaliações em larga escala e políticas de responsabilização na educação: evidências de implicações indesejadas no Brasil
Palavras-chave em português
Avaliações externas
Exclusão
Fraudes
Gaming
Prova Brasil
Responsabilização
Resumo em português
Este estudo analisa os efeitos colaterais indesejados de avaliações externas quando combinadas a políticas de responsabilização (accountability) escolar no Brasil. Estes efeitos colaterais, denominados "peiragênicos" por Madaus e Russell, são previsíveis, indesejados e decorrem da manipulação (gaming) das regras do sistema pelos agentes envolvidos, levando à inflação de escores, vieses nos resultados reportados e interferências indevidas nos processos escolares que se pretendiam monitorar. Este estudo completa uma lacuna na literatura nacional, visando a medir a extensão de dois destes efeitos: a exclusão não aleatória de alunos de baixa proficiência de avaliações e a incidência de fraudes ingênuas, em desacordo aos protocolos de aplicação das avaliações. Duas abordagens são apresentadas. Para estimar as exclusões de alunos de baixa proficiência é proposta uma análise baseada na assimetria de distribuições de proficiência, usando distribuições normais truncadas. Para avaliar a extensão de fraudes ingênuas, definidas como a divulgação de respostas aos alunos testados sem levar em conta a existência de cadernos de itens ou permissividade com "colas" entre alunos, é introduzida uma abordagem baseada na contagem de blocos impróprios maximizadores. Ambos os algoritmos são aplicados à Prova Brasil, de 2013 e 2015. As medições obtidas são confrontadas com variáveis explicativas associadas às pressões da responsabilização, mediante modelos hierárquicos lineares. As pressões consideradas neste trabalho resultam de programas estaduais de bonificação docente e de acompanhamento do Indicador de Desenvolvimento da Educação Básica (Ideb), assim como variações em rankings do Ideb nos municípios. Os resultados indicam que tanto a exclusão de alunos de baixo desempenho quanto fraudes ingênuas ocorrem em associação a estas pressões. O gaming parece mais intenso em unidades da federação com políticas high-stakes, assim como em escolas com Ideb baixo verificado na avaliação anterior. Tendências de variação do Ideb, distâncias deste indicador às metas, ou mudanças em posições no ranking resultam não correlacionados significativamente às pressões. Exclusões medidas são menores em UFs com avaliações próprias para cálculo de bonificação. Um substancial aumento nas indicações de fraudes em 2015, versus 2013, pode estar associado às mudanças na participação mínima de alunos exigida nestas avaliações. Conclui-se que há necessidade dos formuladores de avaliações tomarem cuidados para controlar os dois efeitos estudados.
Título em inglês
Large scale assessments and school accountability: evidence of undesired consequences in Brazil
Palavras-chave em inglês
Accountability
Cheating
Exclusion
Gaming
Prova Brasil
Student assessments
Resumo em inglês
This survey analyzes the undesired side effects of standardized assessments when combined with accountability policies, in public schools in Brazil. These effects, identified as "peiragenics" by Madaus and Russell, are predictable, undesired and unplanned for, and arise from agents engaging in "gaming the system", leading to score inflation, biased reported results and undue interference in the schooling processes under assessment. This survey attempts to fill a void in Brazilian literature regarding the measurement of two side effects: exclusion of low performing students from assessments and undue interference of teachers or testers in the assessment protocols (cheating). To this effect, two analytic approaches are presented. To estimate non-random exclusions of low performing students from testing, a model based on the observed asymmetry of proficiency results, using truncated normal distributions, is proposed. A second model, to assess the extension of naive teacher cheating, defined as attempts to share common answers regardless of differences in test booklets or turning a blind eye to students' copying answers from classmates, counts unexpected appearances of improper score-maximizing blocks, introduced in this study. Both algorithms are applied to Prova Brasil's 2013 and 2015 data sets, a federal assessment of mathematics and reading skills. Measurements are confronted with explanatory variables to test for accountability pressures and gaming-inducing drivers, using two-level hierarchical linear models. The pressures considered in this survey arise from teacher bonus programs adopted by several Brazilian states, performance tracking and rankings of the Ideb indicator (a nationwide metric of the development of elementary and middle-school public education). Results indicate that both selective exclusions of low performing students and naive teacher cheating occur, in patterns associated with pressures. Gaming behavior appears to be more intense in states with high-stakes linked to the assessment, in schools with lower Ideb ratings. Past trends and gaps versus targets in Ideb and changes in local rankings result not significantly correlated with gaming behavior. Lowest exclusion measurements occur in states where alternative assessments are used for bonus payments. A substantial increase in cheating indications in 2015 over 2013 was measured, possibly reflecting increased minimum participation requirements stressing schools to maintain performance through cheating attempts. In conclusion, the need for care in design of assessment policies to control for the two effects measured is made evident.
 
AVISO - A consulta a este documento fica condicionada na aceitação das seguintes condições de uso:
Este trabalho é somente para uso privado de atividades de pesquisa e ensino. Não é autorizada sua reprodução para quaisquer fins lucrativos. Esta reserva de direitos abrange a todos os dados do documento bem como seu conteúdo. Na utilização ou citação de partes do documento é obrigatório mencionar nome da pessoa autora do trabalho.
Data de Publicação
2017-11-10
 
AVISO: Saiba o que são os trabalhos decorrentes clicando aqui.
Todos os direitos da tese/dissertação são de seus autores
CeTI-SC/STI
Biblioteca Digital de Teses e Dissertações da USP. Copyright © 2001-2024. Todos os direitos reservados.