[STAGE MASTER 2] - Cartographie sémantique dans un environnement intérieur

CESI LINEACT (UR 7527), Laboratoire d'Innovation Numérique pour les Entreprises et les Apprentissages au service de la Compétitivité des Territoires, anticipe et accompagne les mutations technologiques des secteurs et des services liés à l’industrie et au BTP. La proximité historique de CESI avec les entreprises est un élément déterminant pour nos activités de recherche, et a conduit à concentrer les efforts sur une recherche appliquée proche de l’entreprise et en partenariat avec elles. Une approche centrée sur l’humain et couplée à l’utilisation des technologies, ainsi que le maillage territorial et les liens avec la formation, ont permis de construire une recherche transversale ; elle met l’humain, ses besoins et ses usages, au centre de ses problématiques et aborde l’angle technologique au travers de ces apports.

Sa recherche est organisée selon deux équipes scientifiques interdisciplinaires et deux domaines applicatifs.

• L’équipe 1 "Apprendre et Innover" relève principalement des Sciences cognitives, Sciences sociales et Sciences de gestion, Sciences et techniques de la formation et celles de l’innovation. Les principaux objectifs scientifiques visés sont la compréhension des effets de l'environnement, et plus particulièrement des situations instrumentées par des objets techniques (plateformes, ateliers de prototypage, systèmes immersifs...) sur les processus d'apprentissage, de créativité et d’innovation.
• L’équipe 2 "Ingénierie et Outils Numériques" relève principalement des Sciences du Numérique et de l'Ingénierie. Les principaux objectifs scientifiques portent sur la modélisation, la simulation, l’optimisation et l’analyse de données de systèmes cyber physiques. Les travaux de recherche portent également sur les outils d’aide à la décision associés et sur l’étude des interactions humains-systèmes notamment à travers les jumeaux numériques couplés à des environnements virtuels ou augmentés.

Ces deux équipes développent et croisent leurs recherches dans les deux domaines applicatifs de l'Industrie du Futur et de la Ville du Futur, soutenues par des plateformes de recherche, principalement celle de Rouen dédiée à l’Usine du Futur et celles de Nanterre dédiée à l’Usine et au Bâtiment du Futur.

Travaux de recherche :

Description :

La gestion des espaces intérieurs est cruciale pour des applications telles que la sécurité, l’évacuation ou encore le déploiement de robots. L’évolution technologique des robots mobiles a été marquée par des avancées significatives depuis les premiers concepts des années 1940 [1]. Les tâches d’exploration et de cartographie sont essentielles en robotique mobile, permettant aux robots de naviguer dans des environnements inconnus, de collecter des informations et de créer des représentations détaillées. L’exploration implique de parcourir des espaces inconnus pour acquérir des données, tandis que la cartographie vise à générer des représentations de ces environnements, souvent sous forme de cartes 2D ou 3D. Au départ, les méthodes de cartographie utilisaient des capteurs tels que le lidar et les caméras pour créer des cartes géométriques détaillant la disposition physique des objets et des espaces. Ces cartes sont principalement utilisées par les robots mobiles pour se localiser, planifier leurs trajectoires, éviter les obstacles et naviguer dans l’environnement. Cependant, elles ne permettent pas aux robots de comprendre leur environnement comme le ferait un être humain. Par exemple, un robot utilisant ces cartes est incapable de distinguer une cuisine d’un salon ou d’identifier les objets spécifiques qui composent une pièce. L’émergence des méthodes de cartographie sémantique a représenté une avancée majeure dans ce domaine [3]. Contrairement aux cartes géométriques traditionnelles, les cartes sémantiques enrichissent les représentations de l’environnement en intégrant des informations contextuelles sur les lieux explorés, les caractéristiques des objets identifiés et les relations entre les différents éléments de l’environnement. Dans ce contexte, la technologie des Jumeaux Numériques (JN) s’impose comme une solution innovante, en créant un lien en temps réel entre un environnement physique et sa réplique virtuelle.

Dans le cadre de ce stage, nous souhaitons travailler sur la cartographie sémantique d’un environnement intérieur. Ce travail s’inscrit dans la continuité des recherches présentées dans l’article [2, 4]. Dans ces travaux, les auteurs proposent une nouvelle approche de cartographie sémantique, enrichissant le JN avec une carte sémantique intégrant des informations contextuelles sur l’environnement. Ils ont introduit une nouvelle méthode de cartographie sémantique utilisant un robot mobile équipé de caméra RGB-D pour acquérir en temps réel des informations sémantiques sur les objets. Cette méthode combine la détection d’objets, la segmentation de scène et un algorithme de géométrie computationnelle pour générer des nuages de points détaillés et définir les zones d’occupation des objets. Les connaissances préalables, telles que les catégories d’objets et les modèles CAD 3D, sont intégrées pour valider les données et estimer les zones d’occupation à l’aide de boîtes englobantes orientées optimales (OBB). Cette recherche propose une approche collaborative pour maintenir à jour la carte sémantique dans le JN.

Les auteurs ont réussi à cartographier des objets rectangulaires tels que des tables, des sofas, ou des chaises. Ainsi, une première étape consistera à adapter l’algorithme développé dans ces travaux pour traiter des formes non régulières, tels que des objets circulaires, triangulaires, etc. Par ailleurs, nous souhaitons intégrer la notion de dynamique/statique dans la base de connaissances afin de prioriser le traitement des zones mobiles dans la scène.

Plan de travail :

1.Étude préliminaire

Réaliser un état de l’art des approches de cartographie sémantique et des méthodes de détection d’objets.

Étudier en détail les travaux présentés dans l’article 1, en particulier la méthode de cartographie sémantique proposée.

2.Adaptation de l’algorithme existant

Adapter l’algorithme pour inclure des formes non régulières (objets circulaires, triangulaires, etc.).

Intégrer la notion de dynamique/statique dans la base de connaissances pour identifier et prioriser les zones mobiles.

Développer une méthode de traitement différencié des zones mobiles et statiques dans l’environnement.

3. Implémentation et validation en simulation

Implémenter l’algorithme adapté dans un environnement simulé.

Tester et évaluer les performances de la méthode sur des formes non régulières.

4. Évaluation avec des données réelles

Appliquer la méthode à des données réelles acquises à l’aide d’un robot mobile équipé d’une caméra RGB-D.

Évaluer la précision de la cartographie sémantique et la gestion des zones dynamiques/statique.

5. Synthèse et recommandations

Comparer les résultats obtenus en simulation et avec des données réelles.

Identifier les points d’amélioration et proposer des perspectives pour les travaux futurs.

Ce plan permet de structurer le travail en étapes progressives, allant de la compréhension théorique à l’évaluation pratique.

Références:

[1] David Filliat. Robotique mobile. PhD thesis, EDX, 2011.

[2] ACHOUR Abdessalem. “Cartographie sémantique collaborative pour la mise à jour du jumeau numérique d’un environnement intérieur”. PhD thesis 2024.

[3] Achour A, Al-Assaad H, Dupuis Y, El Zaher M. Collaborative mobile robotics for semantic mapping: A survey. Applied Sciences. 2022 Oct 13;12(20):10316.

[4] Achour A, Al Assaad H, Dupuis Y, El Zaher M. Improving Semantic Mapping with Prior Object Dimensions Extracted from 3D Models. InInternational Conference on Robotics, Computer Vision and Intelligent Systems 2024 Feb 25 (pp. 115-133). Cham: Springer Nature Switzerland.

Compétences scientifiques et techniques:

• Maitrise du logiciel ROS.
• Programmation : Excellente maitrise du langage Python et C++,
• Gestion de bases de données,
• Bonnes capacités rédactionnelles,
• Maitrise de l’anglais.

Compétences relationnelles :

• Etre autonome, avoir un esprit d’initiative et de curiosité
• Savoir travailler en équipe et avoir un bon relationnel,
• Etre rigoureux(se) avec un bon esprit critique et analytique.