• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Dissertação de Mestrado
DOI
https://doi.org/10.11606/D.59.2024.tde-24062024-163858
Documento
Autor
Nome completo
Fernanda de Barros Vidal
E-mail
Unidade da USP
Área do Conhecimento
Data de Defesa
Imprenta
Ribeirão Preto, 2024
Orientador
Banca examinadora
Fukusima, Sergio Sheiji (Presidente)
Rodrigues, Jamila Viegas
Wolf, Aline Epiphanio
Título em português
Leitura da fala do português brasileiro: elaboração de vídeos para treinamento
Palavras-chave em português
Frequência de uso e competição lexical de palavras
Leitura labial do português brasileiro
Percepção visual da fala
Resumo em português
O tema de percepção da fala é interdisciplinar e estudado por meio de abordagens variadas, podendo ser investigado por associação bimodal (audiovisual) ou unimodal (somente auditiva ou visual). A percepção visual da fala, por meio da leitura labial, é bem explorada em diversos idiomas, como o inglês. No entanto, poucos estudos foram realizados sobre os paradigmas que influenciam essa percepção em Português Brasileiro e nenhum material de estímulo com faces naturais foi desenvolvido e disponibilizado considerando essas características já bem investigadas no inglês. Esta pesquisa exploratória propôs desenvolver uma base de arquivos de vídeo para treinamento de leitura labial em Português Brasileiro, por meio de estímulos naturais, com palavras que contemplem diferentes fonemas. Foram produzidos 110 vídeos com dois locutores fonoaudiólogos pronunciando palavras de estímulo, seguindo diretrizes para produção de vídeos de leitura labial. As palavras de estímulo foram selecionadas a partir do corpora C-Oral Brasil, do português falado em ambientes informais, classificadas gramaticalmente como substantivos, dissílabas e que possuíam a mesma estrutura Consoante-Vogal (CV) com os 19 fonemas consonantais do idioma balanceados na primeira e segunda sílaba. Para testar os vídeos produzidos, 281 participantes ouvintes e com idade entre 18 e 55 anos responderam uma sessão experimental computadorizada, hospedada na plataforma Pavlovia, composta por 30 vídeos com as palavras de estímulo. Ao final de cada vídeo os participantes indicavam uma alternativa de resposta, entre a palavra de estímulo e duas alternativas distratoras, que configuravam possíveis competidores lexicais e variavam conforme o posicionamento do fonema consonantal na palavra, e recebiam feedback. Foi realizada a estatística descritiva dos dados e análises exploratórias, a partir da sessão experimental. Dentre as 30 palavras de estímulo, 24 delas tiveram uma proporção de acerto maior que 70%. A correlação entre o tempo médio de resposta e a frequência de resposta por tipo de resposta foi calculada por meio do tau de Kendall (p<.05). 23 dos 30 itens apresentaram correlação negativa significativa em relação as respostas corretas. Em alternativas incorretas, a correlação foi positiva e significativa. A proporção de respostas corretas foi maior em palavras em que pelo menos uma das alternativas distratoras divergia quanto ao modo de articulação. A análise exploratória de agrupamento (cluster) dos fonemas foi realizada para verificar possíveis agrupamentos quanto as classificações das consoantes. Não foi observado nenhum padrão de agrupamento pela sonoridade, nasalidade ou ponto de articulação, no entanto, o modo de articulação de plosivas, no geral, teve melhor identificação. Novos trabalhos vão poder usar a base de arquivos (110 vídeos) produzidos nessa pesquisa. A investigação do tema em português brasileiro está em caráter inicial. Para desenvolver um teste computadorizado robusto, entender a relação da leitura labial com habilidades cognitivas e de aprendizagem e estabelecer tarefas de treinamento e investigação em outros âmbitos, é necessário considerar particularidades da língua relacionadas ao léxico e realizar mais pesquisas interdisciplinares.
Título em inglês
Speechreading of Brazilian Portuguese: elaboration of videos for training
Palavras-chave em inglês
Frequency and lexical competition of words
Lipreading of Brazilian Portuguese
Visual speech perception
Resumo em inglês
Speech perception is an interdisciplinary topic studied through different approaches. It can be investigated by bimodal (audiovisual) or unimodal (only auditory or visual) association. The visual speech perception, through lipreading, is well explored in several languages, such as English. Although few studies have been carried out on the paradigms that influence this perception in Brazilian Portuguese and no stimulus material with natural faces has been developed and made available considering characteristics that are already well investigated in English. This exploratory research proposed to develop a database of video files for lipreading training in Brazilian Portuguese, through natural stimuli, with words that include different phonemes. 110 videos were produced with two speech therapists pronouncing stimulus words, following guidelines for producing lipreading videos. The stimulus words were selected from the C-Oral Brazil corpora, from Portuguese spoken in informal environments, classified grammatically as nouns, dissyllables and which had the same Consonant-Vowel (CV) structure with the 19 consonant phonemes balanced in the first and second syllable. To test the videos produced, 281 hearing participants aged between 18 and 55 completed a computerized experimental session, hosted on the Pavlovia platform, consisting of 30 videos with the stimulus words. At the end of each video, participants indicated an alternative response, between the stimulus word and two distracting alternatives, which configured possible lexical competitors and varied according to the positioning of the consonant phoneme in the word and received feedback. Descriptive statistics of the data and exploratory analyses were carried out, based on the experimental session. Among the 30 stimulus words, 24 of them had a correct answer rate greater than 70%. The correlation between the average response time and response frequency by response type was calculated using Kendall's tau (p<.05). 23 of the 30 items showed a significant negative correlation in relation to correct answers. In incorrect alternatives, the correlation was positive and significant. The proportion of correct responses was higher in words in which at least one of the distracting alternatives differed in terms of manner of articulation. Exploratory cluster analysis was carried out to check possible groupings regarding distinctive features of the phonemes. No grouping pattern by sonority, nasality or manner and place of articulation was observed. However, in general the manner of articulation of plosive had better identification than other phonemes. New research will be able to use the file base (110 videos) produced in this study. The investigation of the visual speech perception in Brazilian Portuguese is at an initial stage. It is vital to consider particularities of the language related to the lexicon and carry out more interdisciplinary research to develop a robust computerized test, understand the relationship between lipreading and cognitive and learning skills, and establish training and research tasks in other areas.
 
AVISO - A consulta a este documento fica condicionada na aceitação das seguintes condições de uso:
Este trabalho é somente para uso privado de atividades de pesquisa e ensino. Não é autorizada sua reprodução para quaisquer fins lucrativos. Esta reserva de direitos abrange a todos os dados do documento bem como seu conteúdo. Na utilização ou citação de partes do documento é obrigatório mencionar nome da pessoa autora do trabalho.
Data de Publicação
2024-07-10
 
AVISO: Saiba o que são os trabalhos decorrentes clicando aqui.
Todos os direitos da tese/dissertação são de seus autores
CeTI-SC/STI
Biblioteca Digital de Teses e Dissertações da USP. Copyright © 2001-2024. Todos os direitos reservados.