Technology advances have motivated the production and storage of large amounts of data and, consequently, the need for processing them out in order to support decision making. In this context, Deep Learning (DL) has emerged and provided major advances to solve complex supervised tasks through the direct manipulation of raw data content, such as images, audios and videos. Convolutional Neural Networks (CNN) are among the state-of-the-art strategies in DL, confirming relevant performance results in tasks of different domains. Currently, the design of CNN architectures is one of the major challenges involved in the practical use of DL, since it requires considerable knowledge about the application domain, linear and nonlinear algebraic transformations. Architectures are either manually designed, using empirical procedures, or with the support of evolutionary algorithms, an option that excessively consumes computational resources while analyzing candidate solutions. In addition to the architecture design, the possibility of overfitting has attracting the scientific community to study the effect of such complex models and whether they produce some memorization effect on training sets. Those two main challenges motivated this PhD thesis which brings up a proposal to support the automatic design of CNN architectures based on Dynamical System (DS) concepts. Initially, CNN architectures were algebraically formulated, allowing to take conclusions on the relationships of CNN input data organizations and spatial immersions from DS, leading to the development of an immersion tool called Image-based False Nearest Neighbors (IFNN). IFNN estimates the convolutional mask sizes and helps in the process of finding the adequate number of convolutional units per CNN layer by taking advantage of well-known effects caused by the reconstruction of phase spaces. This tool is based on the False-Nearest Neighbors (FNN) method, typically used to estimate the minimal embedding dimension to represent recurrence patterns of time series. Experiments confirm that architectures designed with the support of IFNN mostly usually produce results similar to deeper (and thus more complex) architectures. Based on those experiments, we concluded that IFNN supports the design of simpler, shallower (in the sense of depth) but yet efficient CNN architectures, which are faster to train and provide tighter learning guarantees according to the Statistical Learning Theory (SLT) thus requiring smaller training samples. Finally, the CNN architectures after IFNN were analyzed based on their Shattering coefficients in attempt to verify their relative complexities, and most essentially the cardinalities of their spaces of admissible functions, a.k.a. biases.

Avanços tecnológicos têm permitido e motivado a produção e o armazenamento de grandes volumes de dados e, consequentemente, a necessidade de processamento a fim de obter informações que apoiem processos de tomada de decisão. Neste contexto, a área de Aprendizado Profundo (DL) tem apoiado a resolução de problemas complexos por meio da extração de características implícitas em conteúdos, tais como de imagens, áudios e vídeos, para produzir bons classificadores e regressores. Redes Neurais Convolucionais (CNN) estão entre as estratégias consideradas estado da arte em DL, apresentando ótimo desempenho em tarefas de diferentes domínios. O projeto de arquiteturas de CNNs é um dos maiores desafios envolvidos no uso dessa tecnologia, pois requer considerável conhecimento sobre o domínio da aplicação, bem como sobre transformações algébricas lineares e não-lineares. Atualmente, esses projetos são realizados de forma manual, contando portanto com procedimentos empíricos, ou por meio de algoritmos evolutivos que analisam diferentes arquiteturas candidatas, opção que excessivamente consome recursos computacionais. Em meio ao projeto, surge ainda outra questão que tem atraído a comunidade científica, ela se refere ao uso de arquiteturas profundas e suas relações com overfitting, o qual produz memorização dos exemplos de treinamento e, portanto, degradação no processo de aprendizado. Esses dois principais desafios motivaram esta tese de doutorado a trazer uma discussão e uma proposta de abordagem para auxiliar no projeto de arquiteturas de CNNs, bem como permitir a compreensão algébrica de suas operações. Inicialmente, as arquiteturas de CNN foram algebricamente formuladas, o que permitiu concluir que suas relações de imersão espaciais são similares às empregadas pela área de Sistemas Dinâmicos (DS), levando ao desenvolvimento de uma ferramenta de imersão denominada Falsos Vizinhos mais Próximos em Imagem (IFNN). IFNN estima o tamanho das máscaras convolucionais e auxilia na estimação do números de unidades para cada camada de uma arquitetura CNN, a partir do efeito causado pela reconstrução de espaços fase. Essa ferramenta é motivada por outra denominada Falsos Vizinhos mais Próximos (FNN), a qual estima a dimensão de incorporação mínima necessária para representar padrões recorrentes em dados com dependências temporais. Experimentos confirmam que as arquiteturas projetadas com o auxílio da IFNN produziram resultados similares aos reportados por arquiteturas profundas e muito mais complexas. Com base nesses experimentos, conclui-se que a IFNN auxilia no projeto de arquiteturas mais simples, rasas (no sentido de menor profundidade) e eficientes, as quais são mais rapidamente treinadas e fornecem garantias mais justas de aprendizado (necessitam de menor tamanho para as amostras de treinamento). Por fim, as arquiteturas obtidas com o apoio da IFNN foram analisadas com base em seus coeficientes de Shattering a fim de verificar suas complexidades relativas, essencialmente a cardinalidade de seus viéses.