• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Tesis Doctoral
DOI
Documento
Autor
Nombre completo
Martha Dais Ferreira
Dirección Electrónica
Instituto/Escuela/Facultad
Área de Conocimiento
Fecha de Defensa
Publicación
São Carlos, 2019
Director
Tribunal
Ponti, Moacir Antonelli (Presidente)
Cozman, Fabio Gagliardi
Lorena, Ana Carolina
Pedrini, Hélio
Título en inglés
Designing convolutional neural network architectures based on dynamical system concepts
Palabras clave en inglés
Convolutional neural networks
Deep learning
Dynamical systems
Image-based False nearest neighbors
Statistical learning theory
Resumen en inglés
Technology advances have motivated the production and storage of large amounts of data and, consequently, the need for processing them out in order to support decision making. In this context, Deep Learning (DL) has emerged and provided major advances to solve complex supervised tasks through the direct manipulation of raw data content, such as images, audios and videos. Convolutional Neural Networks (CNN) are among the state-of-the-art strategies in DL, confirming relevant performance results in tasks of different domains. Currently, the design of CNN architectures is one of the major challenges involved in the practical use of DL, since it requires considerable knowledge about the application domain, linear and nonlinear algebraic transformations. Architectures are either manually designed, using empirical procedures, or with the support of evolutionary algorithms, an option that excessively consumes computational resources while analyzing candidate solutions. In addition to the architecture design, the possibility of overfitting has attracting the scientific community to study the effect of such complex models and whether they produce some memorization effect on training sets. Those two main challenges motivated this PhD thesis which brings up a proposal to support the automatic design of CNN architectures based on Dynamical System (DS) concepts. Initially, CNN architectures were algebraically formulated, allowing to take conclusions on the relationships of CNN input data organizations and spatial immersions from DS, leading to the development of an immersion tool called Image-based False Nearest Neighbors (IFNN). IFNN estimates the convolutional mask sizes and helps in the process of finding the adequate number of convolutional units per CNN layer by taking advantage of well-known effects caused by the reconstruction of phase spaces. This tool is based on the False-Nearest Neighbors (FNN) method, typically used to estimate the minimal embedding dimension to represent recurrence patterns of time series. Experiments confirm that architectures designed with the support of IFNN mostly usually produce results similar to deeper (and thus more complex) architectures. Based on those experiments, we concluded that IFNN supports the design of simpler, shallower (in the sense of depth) but yet efficient CNN architectures, which are faster to train and provide tighter learning guarantees according to the Statistical Learning Theory (SLT) thus requiring smaller training samples. Finally, the CNN architectures after IFNN were analyzed based on their Shattering coefficients in attempt to verify their relative complexities, and most essentially the cardinalities of their spaces of admissible functions, a.k.a. biases.
Título en portugués
Projeto de arquiteturas de redes neurais artificiais convolucionais com o apoio de conceitos oriundos da área de sistemas dinâmicos
Palabras clave en portugués
Aprendizado profundo
Falsos vizinhos mais próximos em imagens
Redes neurais convolucionais
Sistemas dinâmicos
Teoria do aprendizado estatístico
Resumen en portugués
Avanços tecnológicos têm permitido e motivado a produção e o armazenamento de grandes volumes de dados e, consequentemente, a necessidade de processamento a fim de obter informações que apoiem processos de tomada de decisão. Neste contexto, a área de Aprendizado Profundo (DL) tem apoiado a resolução de problemas complexos por meio da extração de características implícitas em conteúdos, tais como de imagens, áudios e vídeos, para produzir bons classificadores e regressores. Redes Neurais Convolucionais (CNN) estão entre as estratégias consideradas estado da arte em DL, apresentando ótimo desempenho em tarefas de diferentes domínios. O projeto de arquiteturas de CNNs é um dos maiores desafios envolvidos no uso dessa tecnologia, pois requer considerável conhecimento sobre o domínio da aplicação, bem como sobre transformações algébricas lineares e não-lineares. Atualmente, esses projetos são realizados de forma manual, contando portanto com procedimentos empíricos, ou por meio de algoritmos evolutivos que analisam diferentes arquiteturas candidatas, opção que excessivamente consome recursos computacionais. Em meio ao projeto, surge ainda outra questão que tem atraído a comunidade científica, ela se refere ao uso de arquiteturas profundas e suas relações com overfitting, o qual produz memorização dos exemplos de treinamento e, portanto, degradação no processo de aprendizado. Esses dois principais desafios motivaram esta tese de doutorado a trazer uma discussão e uma proposta de abordagem para auxiliar no projeto de arquiteturas de CNNs, bem como permitir a compreensão algébrica de suas operações. Inicialmente, as arquiteturas de CNN foram algebricamente formuladas, o que permitiu concluir que suas relações de imersão espaciais são similares às empregadas pela área de Sistemas Dinâmicos (DS), levando ao desenvolvimento de uma ferramenta de imersão denominada Falsos Vizinhos mais Próximos em Imagem (IFNN). IFNN estima o tamanho das máscaras convolucionais e auxilia na estimação do números de unidades para cada camada de uma arquitetura CNN, a partir do efeito causado pela reconstrução de espaços fase. Essa ferramenta é motivada por outra denominada Falsos Vizinhos mais Próximos (FNN), a qual estima a dimensão de incorporação mínima necessária para representar padrões recorrentes em dados com dependências temporais. Experimentos confirmam que as arquiteturas projetadas com o auxílio da IFNN produziram resultados similares aos reportados por arquiteturas profundas e muito mais complexas. Com base nesses experimentos, conclui-se que a IFNN auxilia no projeto de arquiteturas mais simples, rasas (no sentido de menor profundidade) e eficientes, as quais são mais rapidamente treinadas e fornecem garantias mais justas de aprendizado (necessitam de menor tamanho para as amostras de treinamento). Por fim, as arquiteturas obtidas com o apoio da IFNN foram analisadas com base em seus coeficientes de Shattering a fim de verificar suas complexidades relativas, essencialmente a cardinalidade de seus viéses.
 
ADVERTENCIA - La consulta de este documento queda condicionada a la aceptación de las siguientes condiciones de uso:
Este documento es únicamente para usos privados enmarcados en actividades de investigación y docencia. No se autoriza su reproducción con finalidades de lucro. Esta reserva de derechos afecta tanto los datos del documento como a sus contenidos. En la utilización o cita de partes del documento es obligado indicar el nombre de la persona autora.
Fecha de Publicación
2019-10-15
 
ADVERTENCIA: Aprenda que son los trabajos derivados haciendo clic aquí.
Todos los derechos de la tesis/disertación pertenecen a los autores
CeTI-SC/STI
Biblioteca Digital de Tesis y Disertaciones de la USP. Copyright © 2001-2020. Todos los derechos reservados.