Implicit Neural Representation for Super-Resolution of Medical Images

Le Laboratoire des Sciences du Numérique de Nantes (LS2N) a été créé en janvier 2017 afin de répondre à l’ambition de faire progresser significativement la visibilité de la recherche en sciences du numérique à Nantes. Le LS2N résulte essentiellement de la fusion des ex-UMR IRCCyN (Institut de Recherche en Communications et Cybernétique de Nantes) et LINA (Laboratoire d’Informatique de Nantes Atlantique). Cette jeune unité mixte de recherche met en commun les forces de recherche dans le domaine du numérique de trois établissements d’enseignement supérieur (Université de Nantes, Centrale Nantes, l’IMT Atlantique/campus de Nantes), du CNRS et de l’Inria. Le LS2N est la plus grosse unité de recherche publique sur le site de Nantes et en région Pays de la Loire.

L’effectif du LS2N s’élève à plus de 500 personnes dont la moitié de permanents, répartis sur 5 sites : Faculté des Sciences et Techniques, Centrale Nantes, Polytech Nantes, IMT Atlantique et IUT de Nantes. La recherche du LS2N est effectuée au sein de 22 équipes de recherche, structurées autour de 5 grands pôles scientifiques : Signaux, Images, Ergonomie et Langues ; Sciences des Données et de la Décision ; Science du Logiciel et des Systèmes Distribués ; Conception et Conduite de Systèmes et Robotique, Procédés, Calcul. À ces 5 pôles s’ajoutent les 6 thèmes transverses d’application : Industrie et entreprise du futur, Énergie et impacts environnementaux, Sciences du vivant, Véhicules et mobilités, Cultures numériques et Technologie Numérique pour l’Éducation Ouverte.

Scientific Context
In clinical routine, Phase-Contrast MRI is used to image the anatomy and velocity accross a 2D acquisition plane and along the cardiac cycle. In the last decades, 4D flow MRI interest increased with the possibility to image a 3D region of interest [MFK + 12]. Specifically, the anatomy and three velocity components are measured along the cardiac cycle as depicted by Figure 1.

Acquisition time being constrained, the image signal-to-noise ratio and resolution are degraded. However, this large amount of data provides a significative insight of the cardiovascular system. Indeed, 4D velocity images illustrate local anatomic deficiencies. For instance, a strong velocity jet can be the result of a biscupid valve when localized in the ascending aorta. Meanwhile, it can also result from an aortic stenosis which might appear on any vessel. Besides, 4D flow MRI images give information which might be useful for the patient’s disease tracking.

Unfortunately, quantitative information, also named biomarkers, extracted from this dataset are severely impacted by the low resolution and poor signal-to-noise ratio [LCI + 20]. Recent studies proposed to enhance the resolution of the velocity field [FSD + 20, LMS24]. In order to complete that former work, we would like to develop a novel approach that increase the spatio-temporal resolution of the anatomic images. It might help the state-of-the-art tools that segment vessels of interest. In the state-of-the-art, multiple solutions rely on Computer Vision strategies using deep learning. Most popular networks like Convolutional NN [FSD + 20] or Vision Transformers [FEA22] use an architecture with an image format as input. Recently, new solutions investigate the benefit of a continuous representation of the image through the Implicit Neural Representations [CLW21]. This architecture might be of interest for the super-resolution task. One of the first step will be to understand, apply, and access the performance of this type of architecture on the 4D Flow MRI anatomy super-resolution task [CCL + 22].

Objectives
In the context of a collaboration between the University Hospital of Nantes and the IPI team of the LS2N (https://www.ls2n.fr/equipe/ipi/), we aim to provide a new super-resolution tool that
deal with the 4D anatomic volume.
1. To carry out a state-of-the-art study on super-resolution methods employing Implicit Neural Representation
2. Implement one to three state-of-the-art methods to get a benchmark
3. Investigate the interest of features based on velocity to improve anatomical super-resolution.
4. Implement a novel approach and access its performance
5. Write a scientific report
 

Supervisor
Sébastien LEVILLY
Maître de Conférences - Associate Professor
Nantes Université - IUT de Nantes
LS2N - Image Perception Interaction (IPI)

PDF with images : https://uncloud.univ-nantes.fr/index.php/s/R6rKToJgRq6gaKd

Candidat en Master recherche sur l'intelligence artificielle ou en école d'ingénieur avec une expérience en réseaux de neurones.

Bon communicant à l'écrit et à l'oral.