Une méthode d'étalonnage en ligne des caméras pour la cartographie et localisation collaboratives // A method for online camera calibration for collaborative mapping and localization

Les travaux de recherche proposés s'intéressent à l'étalonnage automatique en ligne des systèmes de vision (pouvant s'étendre à l'ajout d'une centrale inertielle - IMU) à partir d'un réseau de neurones. Cette méthode sera appliquée dans un système cherchant à réaliser la localisation et la cartographie de l'environnement en utilisant des algorithmes de type SLAM (Simultaneous Localization And Mapping) embarqués dans plusieurs agents. Ces agents travailleront de manière collaborative afin d'aboutir à une cartographie globale. L'apprentissage fédéré sera adopté pour préserver la confidentialité des agents, qui construiront des cartographies locales qui seront fusionnées par le serveur pour l'obtention d'une carte globale de l'environnement exploré.
Différentes solutions existent actuellement pour l'étalonnage des systèmes visuels mais elles sont souvent hors ligne, nécessitant d'être réalisées préalablement à la cartographie et à chaque changement physique du système; ou elles sont en ligne mais se limitent à une caméra ou à l'estimation de paramètres extrinsèques et ne comprennent pas les paramètres inertiels. L'application de la nouvelle approche à développer sur plusieurs agents pour la cartographie leur fournirait une complète autonomie, tout en profitent de la scalabilité fournie par l'approche fédérée.
Le sujet proposé vise le développement d'une nouvelle méthode basée sur les réseaux de neurones pour la détermination des paramètres intrinsèques et extrinsèques des caméras. Cette méthode sera embarquée sur plusieurs agents permettant la cartographie et la localisation de type SLAM. La confidentialité des agents sera prise en compte par l'approche fédérée adoptée. Cette thèse permettrait ainsi d'aboutir à un système de localisation embarqué complètement indépendant et en temps réel, grâce à la nouvelle méthode d'étalonnage et à la reconstruction par un algorithme SLAM.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

The proposed research work focuses on the automatic online calibration of vision systems (which can include an inertial unit - IMU) using a neural network. This method will be applied in a system that seeks to localize and map the environment using SLAM (Simultaneous Localization And Mapping) algorithms embedded in several agents. These agents will work collaboratively to produce a global map. Federated learning will be adopted to preserve the confidentiality of the agents, which will construct local maps to be merged by the server to obtain a global map of the explored environment.
Various solutions exist for calibrating visual systems, but they are often offline, requiring calibration prior to mapping and after each physical change of the system, or they are online but are limited to a camera or the estimation of extrinsic parameters and do not include inertial parameters. The application of the new approach to be developed on several agents for mapping would provide them with complete autonomy, while benefiting from the scalability provided by the federated approach.
The proposed research aims to develop a new method based on neural networks to determine the intrinsic and extrinsic parameters of cameras. This method will be embedded in several agents to enable mapping and localization. Agent confidentiality will be ensured through the adopted federated approach. This thesis would thus enable the realization of a completely independent and real-time on-board localization system, thanks to the new calibration method and reconstruction by a SLAM algorithm.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département d’Instrumentation Numérique
Service : Service Monitoring, Contrôle et Diagnostic
Laboratoire : Laboratoire Instrumentation Intelligente, Distribuée et Embarquée
Date de début souhaitée : 01-10-2024
Ecole doctorale : Sciences et Technologies de l’Information et de la Communication (STIC)
Directeur de thèse : GOUY-PAILLER Cédric
Organisme : CEA
Laboratoire : DRT/DIN//LIIDE

Financement public/privé

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département d’Instrumentation Numérique
Service : Service Monitoring, Contrôle et Diagnostic

IA, traitement de signal, systèmes embarqués