• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Master's Dissertation
DOI
https://doi.org/10.11606/D.55.2024.tde-10062024-105606
Document
Author
Full name
Beatriz Nogueira Carvalho da Silveira
E-mail
Institute/School/College
Knowledge Area
Date of Defense
Published
São Carlos, 2024
Supervisor
Committee
Souza, Simone do Rocio Senger de (President)
Assunção, Wesley Klewerton Guez
Endo, André Takeshi
Neves, Vânia de Oliveira
Title in Portuguese
Seleção de Dados de Teste com Base na Aplicação de Testes de Mutação a Modelos de Árvore de Decisão
Keywords in Portuguese
Aprendizagem de máquina
Árvore de decisão
Teste de mutação
Teste de software
Abstract in Portuguese
O teste de software é crucial para garantir a qualidade do software, verificando se ele se comporta conforme o esperado. Esta atividade desempenha um papel crucial na identificação de defeitos desde os estágios iniciais do processo de desenvolvimento. O teste de software é especialmente essencial em sistemas complexos ou críticos, como aqueles que utilizam técnicas de Aprendizagem de Máquina (AM), uma vez que os modelos podem apresentar incertezas e erros que afetam sua confiabilidade. Para enfrentar os desafios inerentes ao teste de sistemas baseados em AM, este trabalho propõe critérios de teste fundamentados em modelos de árvores de decisão. Desta forma, este projeto investiga a aplicação do teste de mutação à estrutura interna de modelos de árvores de decisão, visando apoiar a seleção de entradas de teste e, assim, aprimorar a validação de aplicações de AM. Nossa abordagem introduz pequenas modificações no modelo de árvore de decisão, resultando no que denominamos "árvores mutantes". As árvores mutantes geradas servem como referência para a seleção de conjuntos de dados de teste capazes de identificar classificações incorretas em modelos de AM. Para avaliar nossa abordagem, conduzimos um experimento que abrangeu 16 conjuntos de dados. Neste experimento, avaliamos a eficácia dos conjuntos de teste gerados por nossa abordagem em comparação com a seleção aleatória de dados de teste. Avaliamos o desempenho usando modelos de AM adicionais e aplicamos métricas amplamente aceitas para avaliar modelos de classificação em AM. Os resultados do experimento indicam que a abordagem proposta tem o potencial de aprimorar com sucesso a seleção de dados de teste para a validação de aplicações de AM.
Title in English
Test Data Selection Based on Applying Mutation Testing to Decision Tree Models
Keywords in English
Decision tree
Machine learning
Mutation testing
Software testing
Abstract in English
Software testing is crucial to ensuring the quality of the software by checking that it behaves as expected. This activity plays a crucial role in identifying defects from the early stages of the development process. Software testing is especially essential in complex or critical systems, such as those using Machine Learning (ML) techniques, as models can introduce uncertainties and errors that affect their reliability. This work proposes testing criteria for ML based on decision tree models. These criteria aim to address the challenges inherent in testing ML-based systems. In this direction, this work investigates the definition of mutation testing to be applied in decision tree models. Mutant operators are adapted to the decision tree model where minor modifications to the decision tree result in mutant trees, which are references for selecting test data to validate ML applications. We conducted an experimental study to evaluate our proposed testing criteria compared to random testing. A set of 16 ML applications was used in this study, where a set of metrics to evaluate ML classification models was used to compare the testing criteria. The experiment results indicate that the proposed testing criteria have the potential to successfully improve the selection of test data for the validation of ML applications, offering initial studies to evaluate software testing criteria adapted for ML problems.
 
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
Publishing Date
2024-06-10
 
WARNING: Learn what derived works are clicking here.
All rights of the thesis/dissertation are from the authors
CeTI-SC/STI
Digital Library of Theses and Dissertations of USP. Copyright © 2001-2024. All rights reserved.