• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Mémoire de Maîtrise
DOI
https://doi.org/10.11606/D.100.2022.tde-17102022-181606
Document
Auteur
Nom complet
Patricia Gilavert Fernandes
Adresse Mail
Unité de l'USP
Domain de Connaissance
Date de Soutenance
Editeur
São Paulo, 2022
Directeur
Jury
Silva, Valdinei Freire da (Président)
Cúri, Mariana
Guzmán, Jorge Luis Bazán
Titre en portugais
Testes Adaptativos Computadorizados como um Processo de Decisão Markoviano: equilíbrio ótimo entre eficiência e precisão
Mots-clés en portugais
Critérios de parada
Processos de Decisão Markovianos
Testes Adaptativos Computadorizados
Resumé en portugais
Os Testes Adaptativos Computadorizados (Computerized Adaptive Testing - CAT) avaliam os indivíduos de forma adaptativa por meio de itens selecionados sequencialmente durante o teste, após cada resposta dada, de acordo com critérios de seleção de itens e critérios de parada do teste predefinidos. Esse tipo de avaliação se destaca em relação aos testes aplicados de forma convencional (papel e lápis) por apresentar um melhor compromisso entre precisão na estimação das habilidades e o tempo do teste. Em geral, os CATs consideram um modelo probabilístico de resposta dos indivíduos para cada item, possibilitando inferir a habilidade do indivíduo; o modelo probabilístico mais comum é o modelo de Teoria de Resposta ao Item (TRI), que permitem descrever parâmetros dos itens, como dificuldade e discriminação. Tradicionalmente, os critérios de seleção de itens utilizados nos CATs são míopes, isto é, avaliam o próximo melhor item sem considerar os itens ainda por vir em conjunto; além disso, consideram um critério de parada independente do critério de seleção de itens. Uma abordagem não míope que possibilita modelar os critérios de seleção e critérios de parada juntos são os Processos de Decisão Markovianos (Markov Decision Process - MDP). Este trabalho define um CAT utilizando MDP para obter um melhor compromisso entre a qualidade da estimativa da habilidade dos indivíduos e a quantidade de questões realizadas. Embora MDPs possibilitem solucionar o problema de forma ótima, a otimalidade de fato só é possível quando o problema é discreto e em tamanho factível. Neste trabalho analisa-se empiricamente os ganhos potenciais de modelar CATs como MDPs. Além disso, é feita uma avaliação abrangente dos critérios de parada do CAT, concluindo que o critério de Comprimento Fixo mostra uma curva de compensação de eficiência de precisão competitiva em todos os cenários. Destaca-se também que o mecanismo de estimativa e a distribuição de itens por banco influenciam o desempenho dos critérios de parada.
Titre en anglais
Computerized Adaptive Testing as a Markov Decision Process: optimal balance between efficiency and precision
Mots-clés en anglais
Computerized Adaptive Tests
Markov Decision Processes
Stop criteria
Resumé en anglais
Computerized Adaptive Testing (CAT) adaptively assesses individuals through items selected sequentially during the test, after each given response, according to predefined item selection criteria and test stopping criteria. This type of assessment stands out in relation to tests applied in a conventional way (paper and pencil) because it presents a better compromise between precision in the estimation of skills and the test time. In general, the CATs consider a probabilistic model of the individuals' response to each item, making it possible to infer the individual's ability; the most common probabilistic model is the Item Response Theory (TRI) model, which allows describing item parameters, such as difficulty and discrimination. Traditionally, the item selection criteria used in CATs are myopic, that is, they evaluate the next best item without considering the items yet to come together; in addition, they consider a stopping criterion independent of the item selection criterion. A non-myopic approach that makes it possible to model selection criteria and stopping criteria together is the Markov Decision Process (MDP). This work defines a CAT using MDP to obtain a better compromise between the quality of the individuals' ability estimation and the quantity of questions performed. Although MDPs make it possible to solve the problem optimally, optimality is actually only possible when the problem is discrete and of a feasible size. In this work we empirically analyze the potential gains of modeling CATs as MDPs. In addition, a comprehensive assessment of the CAT stopping criteria is made, concluding that the Fixed Length criterion shows a competitive accuracy efficiency compensation curve in all scenarios. It is also noteworthy that the estimation mechanism and the distribution of items per bank influence the performance of the stopping criteria.
 
AVERTISSEMENT - Regarde ce document est soumise à votre acceptation des conditions d'utilisation suivantes:
Ce document est uniquement à des fins privées pour la recherche et l'enseignement. Reproduction à des fins commerciales est interdite. Cette droits couvrent l'ensemble des données sur ce document ainsi que son contenu. Toute utilisation ou de copie de ce document, en totalité ou en partie, doit inclure le nom de l'auteur.
Date de Publication
2022-10-31
 
AVERTISSEMENT: Apprenez ce que sont des œvres dérivées cliquant ici.
Tous droits de la thèse/dissertation appartiennent aux auteurs
CeTI-SC/STI
Bibliothèque Numérique de Thèses et Mémoires de l'USP. Copyright © 2001-2024. Tous droits réservés.