IA générative pour la quantification robuste des incertitudes dans les problèmes inverses en astrophysiques // Generative AI for Robust Uncertainty Quantification in Astrophysical Inverse Problems

Contexte
Les problèmes inverses, c'est-à-dire l'estimation des signaux sous-jacents à partir d'observations corrompues, sont omniprésents en astrophysique, et notre capacité à les résoudre avec précision est essentielle à l'interprétation scientifique des données. Parmi les exemples de ces problèmes, on peut citer l'inférence de la distribution de la matière noire dans l'Univers à partir des effets de lentille gravitationnelle [1], ou la séparation des composantes dans l'imagerie radio-interférométrique [2].

Grâce aux récents progrès de l'apprentissage profond, et en particulier aux techniques de modélisation générative profonde (par exemple les modèles de diffusion), il est désormais possible non seulement d'obtenir une estimation de la solution de ces problèmes inverses, mais aussi d'effectuer une quantification de l'incertitude en estimant la distribution de probabilité a posteriori Bayésienne du problème, c'est-à-dire en ayant accès à toutes les solutions possibles qui seraient permises par les données, mais aussi plausibles en fonction des connaissances antérieures.

Notre équipe a notamment été pionnière dans l'élaboration de méthodes bayésiennes combinant notre connaissance de la physique du problème, sous la forme d'un terme de vraisemblance explicite, avec des à prioris basées sur les données et mises en œuvre sous la forme de modèles génératifs. Cette approche contrainte par la physique garantit que les solutions restent compatibles avec les données et évite les « hallucinations » qui affectent généralement la plupart des applications génératives de l'IA.

Cependant, malgré les progrès remarquables réalisés au cours des dernières années, plusieurs défis subsistent dans le cadre évoqué ci-dessus, et plus particulièrement :

[Données à priori imparfaites ou avec une distribution décalée] La construction de données à priori nécessite généralement l'accès à des exemples de données non corrompues qui, dans de nombreux cas, n'existent pas (par exemple, toutes les images astronomiques sont observées avec du bruit et une certaine quantité de flou), ou qui peuvent exister mais dont la distribution peut être décalée par rapport aux problèmes auxquels nous voudrions appliquer ce distribution à priori.
Ce décalage peut fausser les estimations et conduire à des conclusions scientifiques erronées. Par conséquent, l'adaptation, ou l'étalonnage, des antécédents basés sur les données à partir d'observations incomplètes et bruyantes devient cruciale pour travailler avec des données réelles dans les applications astrophysiques.

[Échantillonnage efficace de distributions a posteriori à haute dimension] Même si la vraisemblance et l'à priori basé par les données sont disponibles, l'échantillonnage correct et efficace de distributions de probabilités multimodales non convexes dans des dimensions si élevées reste un problème difficile. Les méthodes les plus efficaces à ce jour reposent sur des modèles de diffusion, mais elles s'appuient sur des approximations et peuvent être coûteuses au moment de l'inférence pour obtenir des estimations précises des distributions a posteriori souhaités.

Les exigences strictes des applications scientifiques sont un moteur puissant pour l'amélioration des méthodologies, mais au-delà du contexte scientifique astrophysique qui motive cette recherche, ces outils trouvent également une large application dans de nombreux autres domaines, y compris les images médicales [3].

Projet de doctorat
Le candidat visera à répondre à ces limitations des méthodologies actuelles, avec l'objectif global de rendre la quantification de l'incertitude pour les problèmes inverses à grande échelle plus rapide et plus précise.
Comme première direction de recherche, nous étendrons une méthodologie récente développée simultanément par notre équipe et nos collaborateurs de Ciela [4,5], basée sur l'algorithme d'espérance-maximisation, afin d'apprendre itérativement (ou d'adapter) des distributions à priori basés sur des méthodes de diffusion à des données observées sous un certain degré de corruption. Cette stratégie s'est avérée efficace pour corriger les décalages de la distribution á priori (et donc pour obtenir des distributions à posteriori bien calibrés). Cependant, cette approche reste coûteuse car elle nécessite la résolution itérative de problèmes inverses et le réentraînement des modèles de diffusion, et dépend fortement de la qualité du solveur de problèmes inverses. Nous explorerons plusieurs stratégies, notamment l'inférence variationnelle et les stratégies améliorées d'échantillonnage pour des problèmes inverses, afin de résoudre ces difficultés.
Dans une deuxième direction (mais connexe), nous nous concentrerons sur le développement de méthodologies générales pour l'échantillonnage de postérieurs complexes (géométries multimodales/complexes) de problèmes inverses non linéaires. En particulier, nous étudierons des stratégies basées sur le recuit (annealing) de la distribution à posteriori, inspirées de l'échantillonnage de modèles de diffusion, applicables dans des situations avec des vraisemblances et des distributions à priori explicites.
Finalement, nous appliquerons ces méthodologies à des problèmes inverses difficiles et à fort impact en astrophysique, en particulier en collaboration avec nos collègues de l'institut Ciela, nous viserons à améliorer la reconstruction des sources et des lentilles des systèmes de lentilles gravitationnelles fortes.
Des publications dans les meilleures conférences sur l'apprentissage automatique sont attendues (NeurIPS, ICML), ainsi que des publications sur les applications de ces méthodologies dans des revues d'astrophysique.

Références
[1] Benjamin Remy, Francois Lanusse, Niall Jeffrey, Jia Liu, Jean-Luc Starck, Ken Osato, Tim Schrabback, Probabilistic Mass Mapping with Neural Score Estimation, https://www.aanda.org/articles/aa/abs/2023/04/aa43054-22/aa43054-22.html

[2] Tobías I Liaudat, Matthijs Mars, Matthew A Price, Marcelo Pereyra, Marta M Betcke, Jason D McEwen, Scalable Bayesian uncertainty quantification with data-driven priors for radio interferometric imaging, RAS Techniques and Instruments, Volume 3, Issue 1, January 2024, Pages 505–534, https://doi.org/10.1093/rasti/rzae030

[3] Zaccharie Ramzi, Benjamin Remy, Francois Lanusse, Jean-Luc Starck, Philippe Ciuciu, Denoising Score-Matching for Uncertainty Quantification in Inverse Problems, https://arxiv.org/abs/2011.08698

[4] François Rozet, Gérôme Andry, François Lanusse, Gilles Louppe, Learning Diffusion Priors from Observations by Expectation Maximization, NeurIPS 2024, https://arxiv.org/abs/2405.13712

[5] Gabriel Missael Barco, Alexandre Adam, Connor Stone, Yashar Hezaveh, Laurence Perreault-Levasseur, Tackling the Problem of Distributional Shifts: Correcting Misspecified, High-Dimensional Data-Driven Priors for Inverse Problems, https://arxiv.org/abs/2407.17667


------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Context
Inverse problems, i.e. estimating underlying signals from corrupted observations, are ubiquitous in astrophysics, and our ability to solve them accurately is critical to the scientific interpretation of the data. Examples of such problems include inferring the distribution of dark matter in the Universe from gravitational lensing effects [1], or component separation in radio interferometric imaging [2].

Thanks to recent deep learning advances, and in particular deep generative modeling techniques (e.g. diffusion models), it now becomes not only possible to get an estimate of the solution of these inverse problems, but to perform Uncertainty Quantification by estimating the full Bayesian posterior of the problem, i.e. having access to all possible solutions that would be allowed by the data, but also plausible under prior knowledge.

Our team has in particular been pioneering such Bayesian methods to combine our knowledge of the physics of the problem, in the form of an explicit likelihood term, with data-driven priors implemented as generative models. This physics-constrained approach ensures that solutions remain compatible with the data and prevents “hallucinations” that typically plague most generative AI applications.

However, despite remarkable progress over the last years, several challenges still remain in the aforementioned framework, and most notably:

[Imperfect or distributionally shifted prior data] Building data-driven priors typically requires having access to examples of non corrupted data, which in many cases do not exist (e.g. all astronomical images are observed with noise and some amount of blurring), or might exist but may have distribution shifts compared to the problems we would like to apply this prior to.
This mismatch can bias estimations and lead to incorrect scientific conclusions. Therefore, the adaptation, or calibration, of data-driven priors from incomplete and noisy observations becomes crucial for working with real data in astrophysical applications.

[Efficient sampling of high dimensional posteriors] Even if the likelihood and the data-driven prior are available, correctly sampling from non-convex multimodal probability distributions in such high-dimensions in an efficient way remains a challenging problem. The most effective methods to date rely on diffusion models, but rely on approximations and can be expensive at inference time to reach accurate estimates of the desired posteriors.

The stringent requirements of scientific applications are a powerful driver for improved methodologies, but beyond the astrophysical scientific context motivating this research, these tools also find broad applicability in many other domains, including medical images [3].


PhD project
The candidate will aim to address these limitations of current methodologies, with the overall aim to make uncertainty quantification for large scale inverse problems faster and more accurate.
As a first direction of research, we will extend recent methodology concurrently developed by our team and our Ciela collaborators [4,5], based on Expectation-Maximization, to iteratively learn (or adapt) diffusion-based priors to data observed under some amount of corruption. This strategy has been shown to be effective at correcting for distribution shifts in the prior (and therefore leading to well calibrated posteriors). However, this approach is still expensive as it requires iteratively solving inverse problems and retraining the diffusion models, and is critically dependent on the quality of the inverse problem solver. We will explore several strategies including variational inference and improved inverse problem sampling strategies to address these issues.
As a second (but connected) direction we will focus on the development of general methodologies for sampling complex posteriors (multimodal/complex geometries) of non-linear inverse problems. Specifically we will investigate strategies based on posterior annealing, inspired from diffusion model sampling, applicable in situations with explicit likelihoods and priors.
Finally, we will apply these methodologies to some challenging and high impact inverse problems in astrophysics, in particular in collaboration with our colleagues from the Ciela institute, we will aim to improve source and lens reconstruction of strong gravitational lensing systems.
Publications in top machine learning conferences are expected (NeurIPS, ICML), as well as publications of the applications of these methodologies in astrophysical journals.

References
[1] Benjamin Remy, Francois Lanusse, Niall Jeffrey, Jia Liu, Jean-Luc Starck, Ken Osato, Tim Schrabback, Probabilistic Mass Mapping with Neural Score Estimation, https://www.aanda.org/articles/aa/abs/2023/04/aa43054-22/aa43054-22.html

[2] Tobías I Liaudat, Matthijs Mars, Matthew A Price, Marcelo Pereyra, Marta M Betcke, Jason D McEwen, Scalable Bayesian uncertainty quantification with data-driven priors for radio interferometric imaging, RAS Techniques and Instruments, Volume 3, Issue 1, January 2024, Pages 505–534, https://doi.org/10.1093/rasti/rzae030

[3] Zaccharie Ramzi, Benjamin Remy, Francois Lanusse, Jean-Luc Starck, Philippe Ciuciu, Denoising Score-Matching for Uncertainty Quantification in Inverse Problems, https://arxiv.org/abs/2011.08698

[4] François Rozet, Gérôme Andry, François Lanusse, Gilles Louppe, Learning Diffusion Priors from Observations by Expectation Maximization, NeurIPS 2024, https://arxiv.org/abs/2405.13712

[5] Gabriel Missael Barco, Alexandre Adam, Connor Stone, Yashar Hezaveh, Laurence Perreault-Levasseur, Tackling the Problem of Distributional Shifts: Correcting Misspecified, High-Dimensional Data-Driven Priors for Inverse Problems, https://arxiv.org/abs/2407.17667

------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Pôle fr : Direction de la Recherche Fondamentale
Département : Institut de recherche sur les lois fondamentales de l’univers
Service : Direction d’Astrophysique
Laboratoire : Laboratoire CosmoStat
Date de début souhaitée : 01-10-2025
Ecole doctorale : Astronomie et Astrophysique d’Île de France (ED A&A)
Directeur de thèse : LANUSSE François
Organisme : CEA
Laboratoire : DRF/IRFU/DAp
URL : https://flanusse.net
URL : https://www.cosmostat.org
URL : https://tobias-liaudat.github.io

Public/private mixed funding

Pôle fr : Direction de la Recherche Fondamentale
Département : Institut de recherche sur les lois fondamentales de l’univers
Service : Direction d’Astrophysique

Master MVA ou similaire, donc M2 en machine learning