Modèles de Fondation Géospatiaux Multi-Modaux pour l'Analyse des Environnements Urbains // Multimodal geospatial Foundation Models for the Analysis of Urban Environments

L'essor des modèles de fondation (Foundation Models, FMs) en apprentissage profond a révolutionné l'analyse géospatiale, en particulier pour l'Observation de la Terre (OT). Cependant, pour l'étude des environnements urbains, les modèles actuels de télédétection (RSFMs) souffrent d'un manque de spécificité et d'une dépendance exclusive aux images satellites. Cette thèse vise à développer un modèle de fondation géospatial multimodal spécialisé pour l'analyse intra-urbaine, intégrant des images satellitaires (radar et optiques) et des données auxiliaires issues d'OpenStreetMap (OSM). La méthodologie repose sur la constitution d'un jeu de données urbain global, le pré-entraînement de modèles spécialisés et leur validation expérimentale à travers des études appliquées au Brésil et au Cambodge. Ce travail répondra aux questions suivantes : 1) Comment équilibrer la quantité et la spécificité des données de pré-entraînement? 2) L'intégration de données auxiliaires améliore-t-elle la performance des modèles? 3) Comment fusionner efficacement les représentations issues de différentes modalités ? Les résultats contribueront à l'amélioration des méthodes de modélisation géospatiale et seront mis à disposition de la communauté scientifique via des publications et du code open-source, selon les principes de la science ouverte.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

The rise of foundation models (FMs) in deep learning has transformed geospatial analysis, particularly in Earth Observation (EO). However, for urban environments analysis, current remote sensing foundation models (RSFMs) lack specificity and flexibility to rely on other data sources than satellite imagery. This thesis aims to develop a multimodal geospatial foundation model specialized in intra-urban analysis, integrating satellite imagery (radar and optical) with auxiliary data from OpenStreetMap (OSM). The methodology includes building a global urban dataset, pre-training specialized models, and conducting experimental validation through case studies in Brazil and Cambodia. This work will address the following questions: 1) How to balance the quantity and specificity of pre-training data? 2) Does integrating auxiliary data improve model performance? 3) How can representations from different modalities be effectively unified? The results will contribute to advancing geospatial modeling techniques and will be shared with the scientific community through publications and open-source code, in alignment with open science principles.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/2025

Public funding alone (i.e. government, region, European, international organization research grant)

Concours pour un contrat doctoral

Université de Montpellier

166 I2S - Information, Structures, Systèmes

étudiant.e ayant validé - soit un master d'informatique ou en géomatique - soit un cycle d'ingénieur en informatique, observation de la Terre
student who has obtained - either a master's degree in computer science or geomatics - or an engineering degree in computer science, Earth observation