MODÈLES NEURONAUX AUTO-ORGANISATEURS ET IMPLANTATION MATÉRIELLE POUR L'APPRENTISSAGE CONTINU.

18 Apr 2024
Job Information

Organisation/Company

Université de Lorraine - LORIA : Laboratoire Lorrain de Recherche en Informatique

Research Field

Computer science » Informatics

Researcher Profile

Recognised Researcher (R2)
Leading Researcher (R4)
First Stage Researcher (R1)
Established Researcher (R3)

Country

France

Application Deadline

15 May 2024 - 22:00 (UTC)

Type of Contract

Temporary

Job Status

Full-time

Offer Starting Date

1 Oct 2024

Is the job funded through the EU Research Framework Programme?

Not funded by an EU programme

Is the Job related to staff position within a Research Infrastructure?

No

Offer Description

Ce sujet se situe à l'intersection des deux objectifs du projet ANR SORLAHNA : 1) concevoir une méthodologie d'implantation matérielle suffisamment flexible pour des architectures neuronales versatiles de quantification vectorielle (VQ) topologique, sur la base d'un NoC (network on chip) capable d'instancier une topologie virtuelle dynamique sur un circuit programmable, et 2) définir des modèles de VQ topologique pour le recueil dynamique des données issues d'un réseau distribué de capteurs dans la perspective d'un apprentissage machine basé sur ces données.
L'étudiant étudiera d'abord les différents algorithmes neuronaux de VQ topologique existants (SOM, NG), ainsi que leurs nombreuses variantes proposées en lien avec des données non stationnaires ou d'éventuelles implantations matérielles (DSOM, CSOM [4] , NP-SOM [5], PSOM [6], GNG, GWR, etc.).
La première contribution attendue de la thèse sera l'étude de la tolérance de tous ces modèles à la plus classique des contraintes d'implantation matérielle : le calcul en précision limitée. Si les SOM ont une robustesse avérée par rapport à différents types de perturbation des calculs ([7]), cette robustesse devra être évaluée avec des calculs en virgule fixe à précision faible pour tous les modèles utilisés dans le projet, et dans le contexte très spécifique de l'apprentissage continu et des données non-stationnaires : le compromis assez fin entre stabilité et dynamicité requis dans de tels contextes risque de se heurter à la perte de nuance inhérente à la réduction de la précision des calculs. Cette étude, bien qu'elle prenne en compte des considérations d'implantation matérielle, se fera intégralement par simulation logicielle et à l'aide de critères permettant de quantifier les performances des algorithmes de VQ sur la base de situations artificielles contrôlées d’apprentissage continu. Ces critères sont en cours d'élaboration au sein du projet SORLAHNA.
La seconde contribution attendue concernera les communications induites par les calculs des différents modèles de VQ topologique étudiés lorsque les graphes neuronaux correspondants sont instanciés sur le NoC en cours de conception à l'IJL. Si en théorie tous les graphes neuronaux dynamiques peuvent être virtualisés sur un tel NoC, cela se fera parfois au détriment de l'efficacité des protocoles de communication. Il sera nécessaire de modéliser les flux de messages échangés par les neurones dans ces différents modèles, ainsi que les effets de leur gestion par le NoC. Si des goulots d'étranglement sont identifiés, de nouvelles stratégies de placement des neurones ou de nouvelles architectures neuronales de VQ topologique pourront être proposés de manière à privilégier des calculs locaux et des règles d'apprentissage ne dépendant pas de mécanismes globaux, y compris pour déterminer l'évolution dynamique de la topologie sous-jacente dans le cas de l'apprentissage continu et des données non stationnaires.
Enfin, une dernière contribution portera sur l'impact que les mécanismes de quantification vectorielle dynamique peuvent avoir sur des architectures SOM multi-cartes embarquées, en termes d'équilibrage dynamique des ressources. Il s'agira d'étudier comment de telles approches de VQ dynamique peuvent permettre d'échanger continûment les ressources neuronales entre les cartes (avec une quantité totale constante de ressources matérielles). Ce travail apportera un point de vue original sur des modèles associatifs tels que les les cartes consensus (CxSOM [8]) ou des architectures profondes de SOM pour la VQ résiduelle dans un cadre d'implémentation matérielle contraint. Différents critères quantitatifs devront être déterminés pour mesurer l'apport des algorithmes dynamiques en termes de qualité des résultats d'apprentissage, de vitesse de convergence et de capacité à traiter des données non stationnaires.

--------------------------------------------------------------------------------------------------------------------------------------------------------
--------------------------------------------------------------------------------------------------------------------------------------------------------

This thesis subject lies at the intersection of the two objectives of the ANR SORLAHNA project: 1) the definition of a hardware implementation methodology sufficiently flexible to manage versatile neural architectures of topological vector quantization (VQ), based on a NoC (network on chip) capable of instantiating a dynamic virtual topology on a programmable circuit, and 2) the definition of topological VQ models and algorithms for the efficient dynamic collection of data from a distributed network of sensors when such data are requested by a machine learning process.
Firstly, the student will have to familiarize with the different existing topological VQ neural algorithms (SOM, NG), as well as with their numerous variants proposed in connection with non-stationary data or possible hardware implementations (DSOM, CSOM [ 4], NP-SOM [5], PSOM [6], GNG, GWR, etc.).
The first expected contribution of the thesis will be the study of the tolerance of all these models to the most classic constraint of hardware implementations: limited precision calculation. If SOMs have proven robust to different types of calculation perturbations ([7]), this robustness will have to be evaluated in the specific case of the use of fixed point calculations with low precision for all the models used in the project, and in the very specific context of continuous learning and non-stationary data: the fairly fine compromise between stability and dynamicity required in such contexts risks colliding with the loss of very fine tuning capability that is inherent in reducing the precision of the calculations. This study, although it takes into account hardware implementation considerations, will be carried out entirely by software simulation and with the help of criteria making it possible to qualify and quantify the performance of the VQ algorithms on the basis of a predefined set of controlled artificial situations of continuous learning. These criteria are currently being developed within the SORLAHNA project.
The second expected contribution will focus on the communications induced by the calculations of the different topological VQ models when the corresponding neural graphs are instantiated on the NoC currently being designed at the IJL. If in theory all dynamic neural graphs can be virtualized on such a NoC, this will sometimes be done at the expense of the efficiency of the communication protocols. It will be necessary to model the flow of messages exchanged by the neurons in these different models, as well as the effects of their management by the NoC. If bottlenecks are identified, new neuron placement strategies or new topological VQ neural architectures could be proposed in order to favor local calculations and learning rules that do not depend on global mechanisms, including the rules to determine the dynamic evolution of the underlying topology in the case of continuous learning and non-stationary data.
Finally, a last contribution will focus on the impact that dynamic vector quantization mechanisms can have on embedded multi-map SOM architectures, in terms of dynamic resource balancing. The aim will be to study how such dynamic VQ approaches can enable neural resources to be continuously exchanged between maps (with a constant total quantity of hardware resources). This work will provide an original point of view on associative models such as consensus maps (CxSOM [8]) or deep SOM architectures for residual VQ in a constrained hardware implementation framework. Different quantitative criteria will have to be determined to measure the contribution of dynamic algorithms in terms of quality of learning results, speed of convergence and capacity to process non-stationary data.

 

[1] T. Kohonen. Self-organized formation of topologically correct feature maps in Biological Cybernetics, vol. 43(1), pp. 59–69, 1982.
[2] B. Fritzke. A growing neural gas network learns topologies In G. Tesauro, D. S. Touretzky, and T. K. Leen, editors, Advances in Neural Information Processing Systems 7, pages 625 632. MIT Press, Cambridge MA, 1995.
[3] L. Wang, X. Zhang, H. Su, and J. Zhu. A comprehensive survey of continual learning : Theory, method and application. arXiv, 2023.
[4] B. Girau and A. Upegui. Cellular Self-Organising Maps - CSOM. 13th Int. Workshop on Self-Organizing Maps and Learning Vector Quantization, Clustering and Data Visualization (WSOM), 2019.
[5] Y. Bernard et al. NP-SOM: network programmable self-organizing maps. IEEE 30th Int. Conf. on Tools with Artificial Intelligence (ICTAI), 2018.
[6] A. Upegui et al. Pruning Self-Organizing Maps for Cellular Hardware Architectures. 12th NASA/ESA Conference on Adaptive Hardware and Systems (AHS), 2018.
[7] B. Girau and C. Torres-Huitzil. Fault tolerance of Self-Organizing Maps. Neural Computing and Applications. Doi : 10.1007/s00521-018-3769-6, 2018.
[8] N. Gonnier. “Consensus drive self-organization: towards non-hierarchical multi-map architecures”, ICONIP, 2020.

 

Funding category: Contrat doctoral
Concours pour l'attribution d'un contrat doctoral UL
PHD title: Doctorat en Informatique
PHD Country: France

Requirements
Specific Requirements

Le candidat doit avoir l'équivalent d'un Master en informatique, de préférence dans une spécialité liée à l'intelligence artificielle, aux réseaux de neurones et/ou au calcul numérique distribué. Une expérience de la conception logicielle est requise, et des bases solides en codage et calcul numérique seront appréciées. Une connaissance de la conception sur circuit numérique sera également un atout. Le candidat doit parler couramment l'anglais et/ou le français.

--------------------------------------------------------------------------------------------------------------------------------------------------------
--------------------------------------------------------------------------------------------------------------------------------------------------------

The candidate should have the equivalent of a Master's degree in Computer Science, preferably in a specialty related to artificial intelligence, neural networks and/or distributed numerical computation. Experience in software design is required, and a solid knowledge of digital coding and calculation will be appreciated. Knowledge of digital circuit design will also be an asset. The candidate must be fluent in English and/or French.

Additional Information
Work Location(s)

Number of offers available

1

Company/Institute

Université de Lorraine - LORIA : Laboratoire Lorrain de Recherche en Informatique

Country

France

City

Nancy

Geofield

Where to apply

Website

https://www.abg.asso.fr/fr/candidatOffres/show/id_offre/122983

Contact

Website

http://www.loria.fr

STATUS: EXPIRED