Ingénieur Deep learning et multimodalité pour la robotique collaborative

L’ESIGELEC est une école d’ingénieurs-es inscrite dans la compétition mondiale. Elle est engagée dans la société et remplit trois missions fondatrices de son identité :

- La formation initiale par la voie classique ou l’alternance formant un-e ingénieur-e acculturé-e  au monde,

- La recherche à la fois amont créatrice de savoirs mais également aval créatrice de produits et services,

- La contribution au développement économique de notre territoire et de ses entreprises.

- Contexte :

Dans le cadre du projet NORMATHIIA, l’ESIGELEC développe des solutions innovantes de l’intelligence artificielle appliquée à la robotique colaborative et à la vision industrielle.

- Dans le cadre de l’étude de la multimodalité en robotique, nous travaillons àl’implémentation de modèles combinant les capacités des modèles de langage et de vision (LLMs et VLMs) pour permettre à des robots de générer des trajectoires 3D (x, y, z, rx,ry, rz) ainsi que des actions de préhension basées sur des instructions textuelles.

- Ce projet s’inspire des derniers avancement dans les modèles de référence (tels que RT-1 et RT-2) et de bases de données open-source afin d'améliorer l’interaction robot-humain.

- Le stage se déroulera sur du matériel de pointe : des robots UR (Universal Robots),des caméras Intel RealSense 435i, et un GPU NVIDIA A4500 pour l’entraînement et l’implémentation des modèles de bout en bout.

- Missions :

Sous la supervision directe d’un ingénieur en Deep Learning, le stagiaire participera aux missions suivantes :

• Etudier l’état-de-l’art en ce qui concerne la multimodalité en robotique industrielle et collaborative.
• Utiliser et fine-tuner des modèles LLM pour générer des séquences d’action pour le robot UR, avec un raisonnement en chaîne (chain-of-thought) pour des décisions plus complexes.
• Générer des trajectoires et commandes robotiques avec un contrôle précis, en utilisant des méthodes avancées de perception visuelle (ex. Mask R-CNN) qui lui seront
fournis.
• Tester et évaluer la performance des modèles en environnement simulé puis réel, incluant des scénarios robotiques pour tester la capaicité à généraliser.
• Documenter les choix techniques, les résultats des expérimentations.

- Ce que nous offrons :

• L’opportunité de contribuer à des projets de pointe en robotique et IA, au sein d’un environnement favorisant l’innovation.
• Un accès à des équipements de haute technologie, incluant des robots UR, des
caméras Intel RealSense 435i, et des GPU NVIDIA A4500.
• La possibilité de développer des compétences en robotique, vision et apprentissage multimodal.

Étudiant(e) en dernière année d’école d’ingénieur ou master 2 en informatique,
intelligence artificielle, machine learning, ou robotique avec:

• Une bonne maîtrise des architectures LLM et des techniques de fine-tuning pour des
applications en robotique multimodale.

• Compétences en apprentissage profond (Deep Learning), connaissances en vision par
ordinateur et en modèles multimodaux.

• Maitrise des frameworks tels que PyTorch ou TensorFlow pour le développement de
modèles de machine learning.

• Familiarité avec les bases de données open-source , et les environnements de
simulation.

• Esprit analytique, curiosité, capacité à résoudre des problèmes complexes
de façon autonome.