Introdução: Feedback é uma ferramenta de ensino poderosa. Para otimizar o feedback em avaliações tipo OSCE (Objective Structured Clinical Examination), uma modificação no papel do avaliador, apelidada de "avaliador sombra", foi testada. Os "avaliadores sombras" acompanham os estudantes por todas as estações realizando todas as avaliações. Ao término da atividade, realizam feedback do desempenho clínico aos estudantes. Objetivos: Descrever e discutir a experiência na aplicação deste modelo OSCE modificado, avaliar as opiniões dos alunos em relação a este novo método, e apresentar um estudo onde foram realizadas comparações entre o "avaliador sombra" e o formato original do examinador OSCE, nomeado de "avaliador fixo", com o objetivo de responder se este novo formato de avaliação apresenta vieses em relação ao formato original. Metodologia: Em 2011 foram realizados experimentos com as modificações no papel do avaliador para definir o formato final do "avaliador sombra". No período compreendido de fevereiro de 2012 a maio de 2014 foi realizado um protocolo de pesquisa com 415 estudantes do 6º ano de medicina. Destes, 316 estudantes foram randomizados para serem avaliados por avaliadores "sombras" e "fixos". Para analisar as comparações entre os avaliadores "sombras" e "fixos", foram utilizados o coeficiente de correlação de Pearson com regressão linear, teste t de Student e gráficos de Bland-Altman. Para aprofundar estas análises, os itens dos checklists foram classificados por domínios para realização de comparações mais específicas. Considerando que esta foi a primeira vez em que esta nova estratégia de avaliador ("sombra") foi aplicada, foram realizados questionários de opinião aos 415 estudantes que participaram do OSCE com o "avaliador sombra". Resultados: Foram encontradas altas e significativas correlações entre as notas globais por estação dadas aos estudantes pelos avaliadores "sombras" e "fixos",r = 0,87 (0,85 - 0,89; p < 0,05). Nas análises por domínios (afetivo, psicomotor e cognitivo), os resultados demonstraram maiores correlações entre as notas no domínio cognitivo e menores no afetivo. Não houve diferenças significativas comparando as médias das notas dadas pelos examinadores em relação às notas globais e nos domínios psicomotor e cognitivo. Análises de Teste t e de Bland-Altman demonstraram que as notas dadas aos estudantes no domínio afetivo foram maiores pelos "avaliadores sombras", mas a magnitude desta diferença foi muito pequena. De acordo com os questionários aplicados aos 415 estudantes, o feedback realizado pelos "avaliadores sombras" contribui para o aprimoramento de habilidades. Mais do que 90% dos estudantes concordaram que o feedback realizado pelo "avaliador sombra" é mais efetivo do que outras estratégias de feedback realizadas em outras aplicações de OSCE durante o curso de graduação de medicina até aquele momento. Conclusão: As modificações no papel do avaliador, "avaliador sombra", não levaram a vieses significativos nas notas dos estudantes quando comparado ao modelo de avaliador original do OSCE. Esta nova estratégia pode fornecer importantes melhorias na avaliação formativa de competências clínicas

Background: Feedback is a powerful learning tool. To improve the opportunity for feedback provided during an Objective Structured Clinical Examination (OSCE), a modification of the examiner's role nicknamed the "shadow examiner" was tested. In this new strategy, examiners follow the students across all OSCE stations, and may provide important insights for formative assessments of clinical performance Objective: Describe and discuss the experience in applying this modified OSCE, evaluate students' opinions regarding this new method, and present an experience to analyze comparisons between the "shadow examiner" and original examiner OSCE format, nicknamed "fixed examiner". The objective of this study was to answer if this new assessment format presents biases in relation to the original format. Methods: In 2011, some experiments were carried out with modifications in the examiner's role to define the format of "shadow examiner". From February 2012 to May 2014, the research protocol was performed with 415 6th year medical students. Of these, 316 were randomly assigned to assessments made up of "shadow" and "fixed" examiners. Pearson correlation coefficients with linear regression, Student's t-test analysis, Bland-Altman plots were the statistical methods used to compare the assessment modes. To strengthen the analysis, checklist items were classified by domains in order to make specific comparisons. Considering that this was the first application of this new examiner ("shadow") strategy was applied, were conducted opinion surveys of the 415 students who participated in the OSCE with the "shadow examiner". Results: High correlations for global scores between "shadow" and "fixed" examiners were observed, r = 0,87 (0,85 - 0,89; p < 0,05). Analysing specific domains (affective, psychomotor and cognitive), the results demonstrated higher correlations for cognitive scores and lower correlations for affective scores. No statistically significant differences between mean examiners' global scores, psychomotor and cognitive domains were found. T-test and Bland-Altman reviews showed that affective scores from "shadow examiners" were significantly higher than those from "fixed examiners", but the magnitude of this difference was small. According to the questionnaires applied to the 415 students, feedback from "shadow examiners" contributes to skills training, and more than 90% of these students agree that feedback from "shadow examiners" is more effective than other feedback formats achieved in other OSCE applications during the medical graduation course up to that time. Conclusion: The modifications in the role of examiner, "shadow examiner", did not lead to any important bias in the students' scores comparing with the original examiner strategy of OSCE. This new strategy may provide important insights for formative assessments of clinical performance