• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Dissertação de Mestrado
DOI
https://doi.org/10.11606/D.55.2024.tde-10062024-105606
Documento
Autor
Nome completo
Beatriz Nogueira Carvalho da Silveira
E-mail
Unidade da USP
Área do Conhecimento
Data de Defesa
Imprenta
São Carlos, 2024
Orientador
Banca examinadora
Souza, Simone do Rocio Senger de (Presidente)
Assunção, Wesley Klewerton Guez
Endo, André Takeshi
Neves, Vânia de Oliveira
Título em português
Seleção de Dados de Teste com Base na Aplicação de Testes de Mutação a Modelos de Árvore de Decisão
Palavras-chave em português
Aprendizagem de máquina
Árvore de decisão
Teste de mutação
Teste de software
Resumo em português
O teste de software é crucial para garantir a qualidade do software, verificando se ele se comporta conforme o esperado. Esta atividade desempenha um papel crucial na identificação de defeitos desde os estágios iniciais do processo de desenvolvimento. O teste de software é especialmente essencial em sistemas complexos ou críticos, como aqueles que utilizam técnicas de Aprendizagem de Máquina (AM), uma vez que os modelos podem apresentar incertezas e erros que afetam sua confiabilidade. Para enfrentar os desafios inerentes ao teste de sistemas baseados em AM, este trabalho propõe critérios de teste fundamentados em modelos de árvores de decisão. Desta forma, este projeto investiga a aplicação do teste de mutação à estrutura interna de modelos de árvores de decisão, visando apoiar a seleção de entradas de teste e, assim, aprimorar a validação de aplicações de AM. Nossa abordagem introduz pequenas modificações no modelo de árvore de decisão, resultando no que denominamos "árvores mutantes". As árvores mutantes geradas servem como referência para a seleção de conjuntos de dados de teste capazes de identificar classificações incorretas em modelos de AM. Para avaliar nossa abordagem, conduzimos um experimento que abrangeu 16 conjuntos de dados. Neste experimento, avaliamos a eficácia dos conjuntos de teste gerados por nossa abordagem em comparação com a seleção aleatória de dados de teste. Avaliamos o desempenho usando modelos de AM adicionais e aplicamos métricas amplamente aceitas para avaliar modelos de classificação em AM. Os resultados do experimento indicam que a abordagem proposta tem o potencial de aprimorar com sucesso a seleção de dados de teste para a validação de aplicações de AM.
Título em inglês
Test Data Selection Based on Applying Mutation Testing to Decision Tree Models
Palavras-chave em inglês
Decision tree
Machine learning
Mutation testing
Software testing
Resumo em inglês
Software testing is crucial to ensuring the quality of the software by checking that it behaves as expected. This activity plays a crucial role in identifying defects from the early stages of the development process. Software testing is especially essential in complex or critical systems, such as those using Machine Learning (ML) techniques, as models can introduce uncertainties and errors that affect their reliability. This work proposes testing criteria for ML based on decision tree models. These criteria aim to address the challenges inherent in testing ML-based systems. In this direction, this work investigates the definition of mutation testing to be applied in decision tree models. Mutant operators are adapted to the decision tree model where minor modifications to the decision tree result in mutant trees, which are references for selecting test data to validate ML applications. We conducted an experimental study to evaluate our proposed testing criteria compared to random testing. A set of 16 ML applications was used in this study, where a set of metrics to evaluate ML classification models was used to compare the testing criteria. The experiment results indicate that the proposed testing criteria have the potential to successfully improve the selection of test data for the validation of ML applications, offering initial studies to evaluate software testing criteria adapted for ML problems.
 
AVISO - A consulta a este documento fica condicionada na aceitação das seguintes condições de uso:
Este trabalho é somente para uso privado de atividades de pesquisa e ensino. Não é autorizada sua reprodução para quaisquer fins lucrativos. Esta reserva de direitos abrange a todos os dados do documento bem como seu conteúdo. Na utilização ou citação de partes do documento é obrigatório mencionar nome da pessoa autora do trabalho.
Data de Publicação
2024-06-10
 
AVISO: Saiba o que são os trabalhos decorrentes clicando aqui.
Todos os direitos da tese/dissertação são de seus autores
CeTI-SC/STI
Biblioteca Digital de Teses e Dissertações da USP. Copyright © 2001-2024. Todos os direitos reservados.