• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Thèse de Doctorat
DOI
10.11606/T.76.1998.tde-05052008-172548
Document
Auteur
Nom complet
Daniela Maria Lemos Barbato
Adresse Mail
Unité de l'USP
Domain de Connaissance
Date de Soutenance
Editeur
São Carlos, 1998
Directeur
Jury
Fontanari, José Fernando (Président)
Alfonso, Nestor Felipe Caticha
Kinouchi Filho, Osame
Koberle, Roland
Silva Filho, Antonio Carlos Roque da
Titre en portugais
Estudo analítico do efeito da diluição em perceptrons
Mots-clés en portugais
Diluição
Erro de generalização
Perceptrons
Redes neurais
Resumé en portugais
Perceptrons são redes neurais sem retroalimentação cujos os neurônios estão dispostos em camadas. O perceptron considerado neste trabalho consiste de uma camada de N neurônios sensores Si = 1; i = 1,.... N ligados a um único neurônio motor através das conexões sinápticas , Ji; i = 1, .... N. Utilizando o formalismo da Mecânica Estatística desenvolvido por Gardner e colaboradores, estudamos os efeitos da eliminação de uma fração dos pesos sinápticos (diluição) nas capacidades de aprendizado e generalização de dois tipos de perceptrons, a saber, o perceptron linear e o perceptron Booleano. No perceptron linear comparamos o desempenho de redes lesadas por diferentes tipos de diluição, que podem ocorrer durante ou após o processo de aprendizado. Essa comparação mostra que a estratégia de minimizar o erro de treinamento, não fornece o menor erro de generalização, além do que, dependendo do tamanho do conjunto de treinamento e do nível de ruído, os pesos menores podem se tornar os fatores mais importantes para o bom funcionamento da rede. No perceptron Booleano investigamos apenas o efeito da diluição após o término do aprendizado na capacidade de generalização da rede neural treinada com padrões ruidosos. Neste caso, apresentamos uma comparação entre os desempenhos relativos de cinco regras de aprendizado: regra de Hebb, pseudo-inversa, algoritmo de Gibbs, algoritmo de estabilidade ótima e algoritmo de Bayes. Em particular mostramos que a diluição sempre degrada o desempenho de generalização e o algoritmo de Bayes sempre fornece o menor erro de generalização.
Titre en anglais
Analytical study of the effect of dilution in perceptron
Mots-clés en anglais
Dilution
Generalization error
Neural network
Perceptrons
Resumé en anglais
Perceptrons are layered, feed-forward neural networks. In this work we consider a perceptron composed of one input layer with N sensor neurons Si = 1; i = 1,..., N which are connected to a single motor neuron a through the synaptic weights Ji; i = 1,..., N. Using the Statistical Mechanics formalism developed by Gardner and co-workers, we study the effects of eliminating a fraction of synaptic weights (dilution) on the learning and generalization capabilities of the two types of perceptrons, namely, the linear perceptron and the Boolean perceptron. In the linear perceptron we compare the performances of networks damaged by different types of dilution, which may occur either during or after the learning stage. The comparison between the effects of the different types of dilution, shows that the strategy of minimizing the training error does not yield the best generalization performance. Moreover, this comparison also shows that, depending on the size of the training set and on the level of noise corrupting the training data, the smaller weights may became the determinant factors in the good functioning of the network. In the Boolean perceptron we investigate the effect of dilution after learning on the generalization ability when this network is trained with noise examples. We present a thorough comparison between the relative performances of five learning rules or algorithms: the Hebb rule, the pseudo-inverse rule, the Gibbs algorithm, the optimal stability algorithm and the Bayes algorithm. In particular, we show that the effect of dilution is always deleterious, and that the Bayes algorithm always gives the lest generalization performance.
 
AVERTISSEMENT - Regarde ce document est soumise à votre acceptation des conditions d'utilisation suivantes:
Ce document est uniquement à des fins privées pour la recherche et l'enseignement. Reproduction à des fins commerciales est interdite. Cette droits couvrent l'ensemble des données sur ce document ainsi que son contenu. Toute utilisation ou de copie de ce document, en totalité ou en partie, doit inclure le nom de l'auteur.
DanielaBarbato_D.pdf (3.41 Mbytes)
Date de Publication
2008-06-16
 
AVERTISSEMENT: Apprenez ce que sont des œvres dérivées cliquant ici.
Tous droits de la thèse/dissertation appartiennent aux auteurs
Centro de Informática de São Carlos
Bibliothèque Numérique de Thèses et Mémoires de l'USP. Copyright © 2001-2020. Tous droits réservés.