• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Disertación de Maestría
DOI
https://doi.org/10.11606/D.55.2024.tde-10062024-161431
Documento
Autor
Nombre completo
Ariadne Nascimento Matos
Dirección Electrónica
Instituto/Escuela/Facultad
Área de Conocimiento
Fecha de Defensa
Publicación
São Carlos, 2024
Director
Tribunal
Ponti, Moacir Antonelli (Presidente)
Komati, Karin Satie
Lima Netto, Sergio
Pardo, Thiago Alexandre Salgueiro
Título en portugués
Classificação de Variações Linguísticas do Português do Brasil por meio da Fala
Palabras clave en portugués
Classificação de variações Linguísticas
Reconhecimento automático
Variações linguísticas
Wav2vec 2.0 XLSR
Resumen en portugués
As variações linguísticas estão presentes em diversas localidades e fazem parte do cotidiano. Por meio delas, é possível identificar a origem linguística de uma pessoa. Classificar essas variações é importante para aplicações voltadas ao processamento de fala, sobretudo para melhorar sistemas de reconhecimento automático. Neste trabalho, com o objetivo de auxiliar na classificação das variações linguísticas do Português Brasileiro, foram exploradas redes convolucionais e técnicas que incorporam o mecanismo de atenção, como o Wav2vec 2.0 XLSR e o Audio Spectrogram Transformer. Os experimentos foram conduzidos em dois cenários: um com poucos locutores e outro com muitos locutores, utilizando três conjuntos de dados distintos: Spotify Podcasts, CORAA-ASR e Braccent. Conforme relatado na literatura, os cenários closed-set, nos quais a validação é realizada no mesmo conjunto de dados de treinamento, não refletem adequadamente a realidade. Portanto, foi adotada a validação com um conjunto de dados diferente do conjunto de treinamento, conhecida como validação cruzada. Os resultados indicaram que, mesmo no cenário closed-set, os modelos enfrentaram dificuldades para classificar as variações linguísticas com mais de duas classes. Além disso, foi observado que é necessária uma maior diversidade de locutores para abranger determinado sotaque e alcançar um desempenho satisfatório dos modelos. Para a classificação binária com muitos locutores, o modelo Wav2vec 2.0 XLSR obteve sucesso tanto no cenário closed-set, com um F1-score geral de 83%, quanto no cenário de validação cruzada, com 75%. As contribuições deste trabalho incluem o desenvolvimento de um classificador de regionalismos para Pernambuco e São Paulo capital, além da criação de subconjuntos derivados do dataset do Spotify Podcasts, abrangendo nove variações linguísticas. Apesar dos avanços significativos, a classificação dos sotaques brasileiros ainda é um desafio e exige a exploração de novas abordagens para cenários multiclasse.
Título en inglés
Classification of Linguistic Variations in Brazilian Portuguese using Speech
Palabras clave en inglés
Automatic recognition
Linguistic variations
Linguistic variations classification
Wav2vec 2.0 XLSR
Resumen en inglés
Linguistic variations are present in various locations and are part of everyday life. Through them, it is possible to identify a persons linguistic origin. Classifying these variations is important for applications focused on speech processing, particularly to enhance automatic recognition systems. In this work, aiming to assist in the classification of linguistic variations in Brazilian Portuguese, convolutional networks and techniques incorporating attention mechanisms, such as Wav2vec 2.0 XLSR and Audio Spectrogram Transformer, were explored.Experiments were conducted in two scenarios: one with few speakers and another with many speakers, using three different datasets: Spotify Podcasts, CORAA-ASR, and Braccent. As reported in the literature, closed-set scenarios, where validation is performed on the same training dataset, do not adequately reflect reality. Therefore, validation with a different dataset from the training set, known as cross-validation, was adopted. Results indicated that, even in the closed-set scenario, models faced difficulties in classifying linguistic variations with more than two classes. Additionally, it was observed that a greater diversity of speakers is necessary to encompass a particular accent and achieve satisfactory model performance. For binary classification with many speakers, the Wav2vec 2.0 XLSR model succeeded in both the closed-set scenario, with an overall F1-score of 83%, and the cross-validation scenario, with 75%. Contributions of this work include the development of a regionalism classifier for Pernambuco and São Paulo capital, as well as the creation of subsets derived from the Spotify Podcasts dataset, covering nine linguistic variations. Despite significant advances, classifying Brazilian accents remains a challenge and requires exploration of new approaches for multiclass scenarios.
 
ADVERTENCIA - La consulta de este documento queda condicionada a la aceptación de las siguientes condiciones de uso:
Este documento es únicamente para usos privados enmarcados en actividades de investigación y docencia. No se autoriza su reproducción con finalidades de lucro. Esta reserva de derechos afecta tanto los datos del documento como a sus contenidos. En la utilización o cita de partes del documento es obligado indicar el nombre de la persona autora.
Fecha de Publicación
2024-06-10
 
ADVERTENCIA: Aprenda que son los trabajos derivados haciendo clic aquí.
Todos los derechos de la tesis/disertación pertenecen a los autores
CeTI-SC/STI
Biblioteca Digital de Tesis y Disertaciones de la USP. Copyright © 2001-2024. Todos los derechos reservados.