• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Tesis Doctoral
DOI
https://doi.org/10.11606/T.55.2023.tde-08012024-161234
Documento
Autor
Nombre completo
Angelo Garangau Menezes
Dirección Electrónica
Instituto/Escuela/Facultad
Área de Conocimiento
Fecha de Defensa
Publicación
São Carlos, 2023
Director
Tribunal
Carvalho, André Carlos Ponce de Leon Ferreira de (Presidente)
Carta, Antonio
Osório, Fernando Santos
Pellegrini, Lorenzo
Título en inglés
Continual Object Detection with Deep Neural Networks
Palabras clave en inglés
Continual learning
Continual object detection
Object detection
Parameter mining
Replay
Resumen en inglés
The rapid technological development in the past decades has significantly increased the amount of available data in the world. Naturally, models that scale with the size of the available data, such as Deep Neural Networks, have become the primary strategy for several research fields with abundant data (e.g., computer vision and natural language processing). With this large data availability, research on learning models that can adapt incrementally to continual streams of data has been encouraged. In this way, the field of Continual Learning proposes to study the ability to learn consecutive tasks without losing performance on the previously trained ones. In computer vision, researchers have mainly focused their efforts on incremental classification tasks, but continual object detection also deserves attention due to its vast range of applications in robotics and autonomous vehicles. In fact, this scenario is even more complex than conventional classification, given the occurrence of instances of classes that are unknown at the time but can appear in subsequent tasks as a new class to be learned, resulting in missing annotations and conflicts with the background label. Since this field is in its early stages, research in continual object detection still offers several opportunities and lacks methodology conventions. This Ph.D. thesis investigates the field more thoroughly and identifies possible links with related areas such as general continual learning and neural network pruning. Specifically, we proposed the first systematic review on the topic, developed two metrics for improving the analysis of performance in incremental detection scenarios, investigated which exemplar selection method works best for replay-based continual detection strategies, and explored different ways to identify and penalize important task parameters across sequential updates. To validate our proposals and claims, we conducted experiments and reported results comparable to the current state-of-the-art in popular detection benchmarks (i.e., PASCAL VOC) adapted to the incremental setting, as well as in real-world datasets and applications. The findings presented in this thesis were also put into practice in two applications. Firstly, they were tested in the 3rd CLVISION Challenge, where we were able to achieve the 3rd place in the continual instance detection track. Secondly, they were applied to the continual aerial inspection of transmission towers at TAESA, the largest Brazilian electric power transmission company, to improve the automation of their inspection pipeline.
Título en portugués
Aprendizado Contínuo de Objetos com Redes Neurais Profundas
Palabras clave en portugués
Aprendizado contínuo
Detecção de objetos
Detecção de objetos incremental
Mineração de parâmetros
Replay
Resumen en portugués
O rápido desenvolvimento tecnológico nas últimas décadas aumentou significativamente a quantidade de dados disponíveis no mundo. Naturalmente, modelos que escalam com o tamanho dos dados disponíveis, como as redes neurais profundas, tornaram-se a principal estratégia para vários campos de pesquisa com abundância de dados, como por exemplo visão computacional e processamento de linguagem natural. Com a grande disponibilidade de dados, a pesquisa sobre modelos de aprendizado que podem se adaptar de forma incremental a fluxos contínuos de dados tem sido incentivada. Dessa forma, a área de Aprendizado Contínuo de modelos se apresenta como o campo que propõe o estudo sobre a capacidade de aprender tarefas consecutivas sem perder desempenho nas tarefas previamente treinadas. Para a área de visão computacional, os pesquisadores têm concentrado seus esforços principalmente em tarefas de classificação incremental, mas a detecção contínua de objetos também merece atenção devido à sua vasta gama de aplicações em robótica e veículos autônomos. O cenário de detecção incremental é ainda mais complexo que a simples classificação devido à ocorrência de instâncias de classes desconhecidas mas que podem aparecer em tarefas subsequentes como uma nova classe a ser aprendida, resultando em anotações ausentes e conflitos com o rótulo de background. Uma vez que se apresenta em seus estágios iniciais, a pesquisa em detecção contínua de objetos ainda oferece várias oportunidades e carece de convenções metodológicas. Desta maneira, esta tese de doutorado busca investigar esse campo mais detalhadamente e identificar possíveis vínculos com áreas relacionadas, como aprendizado contínuo geral e a poda de redes neurais. Especificamente, propusemos a primeira revisão sistemática sobre o tópico, desenvolvemos duas métricas para melhorar a análise de desempenho em cenários de detecção incremental, investigamos qual método de seleção de exemplares funciona melhor para estratégias de detecção contínua de objetos baseadas em replay e exploramos como identificar e penalizar parâmetros importantes de tarefas que possuam treinamento contínuo. Para validar nossas propostas e hipóteses, conduzimos experimentos e relatamos resultados comparáveis ao estado da arte atual em benchmarks populares de detecção (ex: PASCAL VOC) adaptados à configuração incremental, bem como em conjuntos de dados e aplicações do mundo real. As contribuições apresentadas nesta tese também foram colocados em prática em duas aplicações. Primeiramente, elas foram testados no 3rd CLVISION Challenge, onde alcançaram a 3rd posição na trilha de detecção contínua de instâncias. Em segundo lugar, foram aplicadas na inspeção aérea contínua de torres de transmissão da TAESA, maior empresa brasileira de transmissão de energia elétrica, para melhora de suas pipelines de inspeção automatizada.
 
ADVERTENCIA - La consulta de este documento queda condicionada a la aceptación de las siguientes condiciones de uso:
Este documento es únicamente para usos privados enmarcados en actividades de investigación y docencia. No se autoriza su reproducción con finalidades de lucro. Esta reserva de derechos afecta tanto los datos del documento como a sus contenidos. En la utilización o cita de partes del documento es obligado indicar el nombre de la persona autora.
Fecha de Publicación
2024-01-08
 
ADVERTENCIA: Aprenda que son los trabajos derivados haciendo clic aquí.
Todos los derechos de la tesis/disertación pertenecen a los autores
CeTI-SC/STI
Biblioteca Digital de Tesis y Disertaciones de la USP. Copyright © 2001-2024. Todos los derechos reservados.