Réseau Pseudoinverse

Introduction

La règle de pseudoinverse est une règle d'apprentissage supervisé simple dans un réseau de neurones de Hopfield. Ce système de mémoire associative est basé sur une règle d'apprentissage inspirée d'Adaline :

 

dWik= n . [ Xiu - Sommej(Wij Xju) ] . Xku
où Wik est le poids entre le neurone iet le neurone k, n est le taux d'apprentissage (learning rate),  Xiu est le motif cible, Sommej(Wij Xju) est la sortie d'un neurone linéaire et Xku est la sortie réelle. La règle d'apprentissage interactive converge vers une matrice de connexion qui est connue sous le nom de pseudoinverse.

Auteurs

Cette applet a été écrit par Olivier Michel (adapté de Matt Hill -- mlh1@cornell.edu).

Instructions

Utilisez la souris pour saisir un motif en cliquant sur les carrés dans le rectangle. Ensuite, appuyez sur le bouton "Memorize" pour que le réseau apprenne le motif. Après avoir appris quelques motifs (typiquement deux), dessinez un nouveau motif qui sera utilisé comme motif de test. Ne mémorisez pas ce motif, mais utilisez-le comme état initial du réseau. Pressez le bouton "Test" plusieurs fois pour observer le réseau converger vers un état qu'il a appris antérieurement.

Applet: 10x10 noeuds

  1. Quel est le nombre théorique maximal de classes aléatoires que le réseau est capable de mémoriser ?
  2. Quel est le nombre expérimental maximal de classes aléatoire que le réseau est capable de mémoriser ?
  3. Les résultats expérimentaux sont-ils en accord avec la théorie ?
  4. Faire apprendre au réseau un nombre fini de motifs (par exemple, 8). Combien de faux pixels le réseau peut-il tolérer comme état inital pour retrouver le motif correct ?
  5. Essayez de mémoriser des caractères comme motifs à apprendre. Le réseau parvient-il bien à les retrouver? Expliquez pourquoi.