Dynamic adaptation and learning in random recurrent neural networks
Adaptation dynamique et apprentissage dans des réseaux de neurones récurrents aléatoires
Résumé
We study a discrete-time, large-scale, recurrent neural network model. The couplings are set randomly, and a sustained autonomous activity can be maintained, with cyclic or chaotic regimes. With the use of statistical physics methods (mean field at the thermodynamic limit), these networks moreover admits a theoretical description on macroscopic state variables.
We consider the coupling between the autonomous dynamics and a static, or dynamic, input signal. The dynamics issued is thus said to be constrained. Numerical simulations allow to implement Hebbian learning, that allows to reconstruct within the network dynamics the input signal's features.
The dynamic adaptation taking place after learning implements both recognition, calculation and working memory. The recognition manifests by a qualitative change in the dynamical regime when a learned signal is shown on input. The calculation corresponds to the capability to recover missing parts of the signal from the available signal. Last, the working memory relies on a loop structure taking place dynamically in the system, allowing to maintain within the neuronal activity the memory of several states, corresponding to the number of transmission relays of the internal signal.
This work addresses the more general question of perception and recognition. What the system "perceives" is not a mere sensory signal, but rather a reconstruction of the signal by the internal dynamics. What the system perceives is in-between what the system reads from its sensors and what it "thinks to perceive".
Nous étudions un modèle de réseau de neurones récurrent, de grande taille et à temps discret. Les couplages sont déterminés aléatoirement, et, de ce fait, nos réseaux sont capables d'entretenir une dynamique autonome, à régime cyclique ou chaotique. De tels réseaux admettent de plus une description théorique portant sur des variables d'état macroscopiques, nécessitant l'emploi de méthodes issues de la physique statistique (champ moyen à la limite thermodynamique).
Par ailleurs, on s'intéresse au couplage entre la dynamique autonome et un signal d'entrée statique ou dynamique. On parle alors de dynamique contrainte. L'emploi de simulations numériques permet de mettre en œuvre un apprentissage de type Hebbien qui tend à reconstruire au sein de la dynamique du réseau les caractéristiques du signal d'entrée.
L'adaptation dynamique, qui prend place dans le réseau après apprentissage, peut manifester à la fois un comportement de reconnaissance, un calcul, et une mémoire de travail. La reconnaissance se manifeste par le fait que le système change qualitativement son régime dynamique lorsqu'un signal appris est présent en entrée. Le calcul repose sur la capacité à reconstruire un signal manquant à partir du signal disponible. Enfin, la mémoire de travail repose sur la structure de circuit qui se met en place dynamiquement dans le système et permet de maintenir au sein de l'activité des neurones la mémoire de plusieurs états, correspondant au nombre de relais du signal interne.
De façon plus générale, ce travail pose le problème de la perception et de la reconnaissance. Ce que le système ``perçoit'' ne se réduit pas au simple signal sensoriel, mais plutôt une interprétation de ce signal par la dynamique interne. Ce que le système perçoit est donc intermédiaire entre ce que le système reçoit de ses entrées sensorielles et ce qu'il ``pense percevoir''.
Loading...