• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Master's Dissertation
DOI
https://doi.org/10.11606/D.17.2023.tde-11042024-090932
Document
Author
Full name
Mariana Passos de Souza
Institute/School/College
Knowledge Area
Date of Defense
Published
Ribeirão Preto, 2023
Supervisor
Committee
Riberto, Marcelo (President)
Bicudo, Angélica Maria
Bollela, Valdes Roberto
Title in Portuguese
O teste de progresso como ferramenta de avaliação longitudinal de coortes de estudantes de medicina na Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo
Keywords in Portuguese
Avaliação longitudinal
Feedback
Teste do progresso
Abstract in Portuguese
O Teste de Progresso (TP) é uma avaliação longitudinal periódica da aquisição de conhecimentos dos alunos de graduação, que pode auxiliar na gestão curricular e na avaliação pessoal. Em 2005, a FMRP-USP passou a aplicá-lo em estudantes de medicina, tentando detectar potencialidades e lacunas no ensino, e permitir que os alunos avaliassem seu aprendizado ao longo dos anos. O estudo objetivou explorar a história do TP na FMRP-USP e os resultados dos testes de progresso de cinco coortes de estudantes, avaliando seu desempenho no teste e comparando com resultados da prova residência médica desta instituição. Consistiu em um estudo descritivo retrospectivo avaliando o resultado do TP de cinco coortes de alunos (2010-2014) que concluíram o curso entre 2015 e 2019. Foram incluídos os alunos que não perderam mais de 4 provas de progresso e que concluíram o curso na sua turma de origem. O projeto foi aprovado pelo Comitê de Ética em Pesquisa. Para avaliar as características dos testes, foram obtidos dados de discriminação, dificuldade e confiabilidade das questões de cada grande área. Em relação aos resultados das provas, analisamos as taxas de sucesso por área e comparamos com a progressão da Coorte no curso e nas áreas específicas, utilizando um modelo de regressão linear com efeitos mistos para análise das variáveis. Também, foi realizada a correlação entre os resultados dos alunos do último ano do curso e os respectivos resultados do teste de residência, por meio do coeficiente de Pearson. As taxas de abstenção foram de até 20% nos primeiros anos, com menos de 10% entre os alunos do último ano. Houve ganho de conhecimento significativo (p<0,001) entre os alunos do 1º e 6º ano, com aumento de 30% a 40% nos acertos na comparação entre a média de ingressantes e concluintes, com estes tendo desempenho próximo de 70% da prova. O crescimento ininterrupto no ganho de conhecimento teve início variado entre as Coortes. O número de horas do currículo não teve um impacto significativo nos resultados das aulas: as disciplinas com mais horas não tiveram necessariamente os melhores resultados, mas a introdução das disciplinas esteve relacionada com o aumento do aproveitamento nessa área. A análise macro permite um melhor aproveitamento dos resultados, foi possível observar em quais momentos do curso ocorreram resultados inesperados. Separando os alunos em quartis com base nos resultados do 6º ano e nas notas dos testes de residência, quase metade dos estudantes permanece no mesmo quartil, especialmente os estudantes dos extremos de desempenho. Foi possível observar uma correlação moderada entre as provas do 6° ano e da prova de residência. O TP mostrou-se uma ferramenta muito útil para avaliar a progressão em termos cognitivos, os grupos observados tiveram comportamento semelhante quanto à evolução da nota média ao longo dos anos. O uso sistemático do TP pode auxiliar estudantes no autogerenciamento do desempenho do curso e no planejamento das metas e pode também permitir que gestores de currículo auditem a qualidade das atividades educacionais de suas escolas.
Title in English
Progress testing as a longitudinal assessment tool for cohorts of medical students at the Faculty of Medicine of Ribeirão Preto of University of São Paulo
Keywords in English
Feedback
Longitudinal assessment
Progress test
Abstract in English
Progress Testing (PT) is a periodic longitudinal assessment of undergraduate students' knowledge acquisition, which can assist in curriculum management and personal assessment. In 2005, FMRP-USP started to apply it to medical students, trying to detect potentialities and gaps in teaching, and allow students to evaluate their learning over the years. The study aimed to explore the history of PT at FMRP-USP and the results of the progress tests of five cohorts of students, evaluating their performance on the test and comparing them with the results of the medical residency test at this institution. It consisted of a retrospective descriptive study evaluating the PT results of five cohorts of students (2010-2014) who completed the course between 2015 and 2019. Students who did not miss more than 4 progress tests and who completed the course in the class were included source. The project was approved by the Research Ethics Committee. To evaluate the characteristics of the tests, data on discrimination, difficulty, and reliability of the questions in each major area were obtained. Regarding test results, we analyzed success rates by area and compared them with the class's progression in the course and in specific areas, using a linear regression model with mixed effects to analyze the variables. Also, a correlation was made between the results of students in the last year of the course and the respective results of the residency test, using the Pearson coefficient. Abstention rates were up to 20% in the first years, with less than 10% among final year students. There was a significant gain in knowledge (p<0.001) among 1st and 6th year students, with an increase of 30% to 40% in correct answers when comparing the average of freshmen and seniors, with the latter performing close to 70% of the test. The uninterrupted growth in knowledge gain had a varied start between classes. The number of hours in the curriculum did not have a significant impact on class results: subjects with more hours did not necessarily have the best results, but the introduction of subjects was related to increased achievement in that area. Macro analysis allows better use of the results, it was possible to observe at which moments during the course unexpected results occurred. Separating students into quartiles based on 6th- year results and residency test scores, nearly half of students stay in the same quartile, especially students at the extremes of performance. It was possible to observe a moderate correlation between the 6th-year tests and the residency test. The PT proved to be a very useful tool for evaluating progression in cognitive terms, the groups observed had similar behavior in terms of the evolution of the average score over the years. The systematic use of TP can assist students in self-managing course performance and planning goals and can also allow curriculum managers to audit the quality of their school's educational activities.
 
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
Publishing Date
2024-07-17
 
WARNING: Learn what derived works are clicking here.
All rights of the thesis/dissertation are from the authors
CeTI-SC/STI
Digital Library of Theses and Dissertations of USP. Copyright © 2001-2024. All rights reserved.