• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Master's Dissertation
DOI
https://doi.org/10.11606/D.43.2024.tde-17062024-144329
Document
Author
Full name
João Henrique de Sant' Ana
E-mail
Institute/School/College
Knowledge Area
Date of Defense
Published
São Paulo, 2024
Supervisor
Committee
Alfonso, Nestor Felipe Caticha (President)
Silva Filho, Antonio Carlos Roque da
Silva, Mauro Copelli Lopes da
Title in English
Internal representations analysis in spiking neural networks
Keywords in English
Complex index.
Neural Networks; Internal Representations; Critical Brain
Abstract in English
Optimal information processing in peripheral sensory systems has been associated in several examples to the signature of a critical or near critical state. Furthermore, cortical systems have also been described to be in a critical state in both wake and anesthetized experimental models, both in vitro and in vivo. Using a methodology inspired in the biological setup, we investigate whether a similar signature characterizes the internal representations (IR) of a multilayer (deep) spiking artificial neural network performing a recognition task. The increase of the characteristic time of the decay of the correlation of fluctuations of the IR, found when the network input changes are indications of a broad-tailed distribution of IR fluctuations. The broad tails are present even when the network is not yet capable of performing the classification tasks, either due to partial training or to the effect of a low dose of anesthesia in a simple model. This is a signature only for significant changes involving labeled inputs. However, we don't find enough evidence of power law distributions of avalanche size and duration. Finally, the perturbational complexity index (PCI) of IR was measured. The PCI distinguished levels of training time and also effect of anesthesia leading to a characterization of the spatio-temporal pattern of activity in the internal layers.
Title in Portuguese
Análise das representações internas em redes neurais de spike
Keywords in Portuguese
Redes Neurais; Representações Internas; Cérebro Crítico; Índices de Complexidade.
Abstract in Portuguese
O processamento de informações ótimo nos sistemas sensoriais periféricos tem sido associado em diversos exemplos à assinatura de um estado crítico ou próximo ao crítico. Além disso, sistemas corticais também foram descritos como estando em um estado crítico tanto em modelos experimentais em estados de vigília ou anestesiados, tanto in vitro quanto in vivo. Utilizando uma metodologia inspirada nos sistemas biológicos, nós investigamos se assinaturas similares caracterizam as representações internas (IR) de uma rede neural artificial de spike multi-camada (profunda) realizando uma tarefa de reconhecimento. O aumento do tempo característico do decaimento da correlação das flutuações da IR, encontrado quando o input da rede muda, são indicações de distribuições de caudas longas nas flutuações da IR. As flutuações estão presentes mesmo quando a rede não é ainda capaz de realizar uma tarefa de classificação, seja devido ao treinamento parcial ou ao efeito de uma baixa dose de anestesia em um modelo simples. Esta é uma assinatura apenas para mudanças significativas envolvendo inputs rotulados. Porém, nós não encontramos evidências suficientes de distribuições de lei de potência do tamanho e duração das avalanches. Por último, o índice de complexidade perturbacional (PCI) da IR foi medido. O PCI distinguiu níveis de tempo de treinamento e também efeito de anestesia resultando em uma caracterização do padrão espaço-temporal da atividade nas camadas internas.
 
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
main.pdf (17.07 Mbytes)
Publishing Date
2024-06-27
 
WARNING: Learn what derived works are clicking here.
All rights of the thesis/dissertation are from the authors
CeTI-SC/STI
Digital Library of Theses and Dissertations of USP. Copyright © 2001-2024. All rights reserved.