Segmentation de particules de suies dans des images de microscopie électronique par transmission par deep learning

Contexte :

La vapeur d'eau et les particules de suie, constituées d'un mélange de matières particulaires non volatiles et de particules organiques et inorganiques semi-volatiles contribuent à la formation de traînée de condensation. Celles-ci peuvent persister et évoluer en cirrus de traînée, qui absorbe et réémet le rayonnement infrarouge, le résultat net étant un forçage radiatif positif et donc un réchauffement de l’atmosphère. La caractérisation des particules de suies émises par les moteurs d’avion constitue donc un enjeu important pour la réduction des trainées de condensation.

L'ONERA a développé un micro-LiDAR à rétrodiffusion élastique à courte portée dédié au profilage d'aérosols à haute résolution spatiale et temporelle : le système Colibri, spécialement conçu pour fournir des profils quantitatifs d'aérosols et de panaches avec une résolution centimétrique dans les cent premiers mètres. Le système LiDAR permet de connaître avec précision les propriétés radiatives (c'est-à-dire les profils de rétrodiffusion) et les propriétés microphysiques (c'est-à-dire la concentration en nombre de particules) des panaches visés.

Pour l'étalonnage de Colibri, nous avons développé un protocole expérimental basé sur un brûleur miniCAST, modifié pour le carburant Jet-A1, afin de produire de façon maitrisée des particules de suie similaires à celles des avions. Les particules de suie émises sont analysées en parallèle à l'aide de Colibri et collectées sur une grille pour une analyse hors ligne au microscope électronique à transmission (TEM).

L'analyse des particules élémentaires de suies et agrégats dans les images TEM est réalisée en deux étapes : dans un premier temps, nous utilisons des réseaux profonds pour obtenir un masque de segmentation de chaque agrégat par rapport à l'arrière-plan. L'utilisation de deep learnig au lieu d'outils de seuillage classiques est particulièrement bien adaptée aux images TEM à faible contraste, avec des morphologies d'agrégats complexes. L'étude statistique des propriétés des agrégats et de la taille des particules primaires est ensuite réalisée grâce à des méthodes classiques, comme celles de la toolbox ATEMS [Dastanpour2016].

Objectifs :

Nous avons obtenu de premiers résultats prometteurs pour la segmentation des agrégats en combinant deux réseaux : un réseau de segmentation basé sur le Panoptic Feature Pyramid Network (FPN), entraîné sur des données similaires à nos images TEM, en suivant l'approche de [Sipkens2021], et ensuite le réseau de segmentation très populaire : Segment Anything (SAM) [Kirilov2023], sans fine tuning sur nos données, car ce réseau permet de segmenter des nouvelles images en zero-shot. Cependant, les images avec des zoom importants, sur lesquelles les agrégats sont de grandes tailles sur un fond très bruité ne sont pas toutes correctement segmentées.

Le but du stage est d’améliorer cette procédure de segmentation automatique, en adaptant SAM à nos données TEM et en améliorant la fourniture d’informations pour les prompts. Nous avons en effet environ 400 images par campagne, il serait trop fastidieux de fournir un prompt manuellement pour chaque agrégat en entrée de SAM.

Le ou la candidat(e) pourra notamment s’appuyer sur des versions de SAM dédiées aux données de microscopie [Anwai2023], des méthodes d’adaptation de SAM aux données médicales ou de microscopie [SAMAdaptor][SAMDA] et aussi sur la nouvelle version SAM2 [https://ai.meta.com/sam2], bien plus rapide que SAM et également plus performante.

Dans un deuxième temps, il serait intéressant d'évaluer si ces architectures peuvent être utilisées pour segmenter chaque particule primaire et non plus uniquement les agrégats, car de bons résultats ont été obtenus avec un réseau Mask-RCNN sur des particules de dioxyde de titane sous forme d'agglomérats [Monchot2021] et avec une version de SAM dédiée aux nanoparticules [Larsen2023], et avec quelle incertitude de prédiction associée.

Références bibliographiques :

[Dastanpour2016] R. Dastanpour, J. M. Boone, and S. N. Rogak. Automated primary particle sizing of nanoparticle aggregates by TEM image analysis. Powder Technology, 295:218–224, 2016.

[Sipkens2021] T.A. Sipkens et al, Characterizing soot in TEM images using a convolutional neural network. Powder Technology, 387:313–324, 2021.

[Kirilov2023] A. Kirillov et al, Segment anything. arXiv:2304.02643, 2023.

[Anwai2023] A. Anwai et al, Segment anything for microscopy. bioRxiv, 2023.

[SAMAdaptor] http://tianrun-chen.github.io/SAM-Adaptor/

[SAMDA] Y. Wang, L. Xiao, SAMDA: Leveraging SAM on Few-Shot Domain Adaptation for Electronic Microscopy Segmentation, arXiv:2403.07951.

[Monchot2021] P. Monchot et al, Deep learning based instance segmentation of titanium dioxide particles in the form of agglomerates in scanning electron microscopy. Nanomaterials, 11(4), 2021.

[Larsen2023] Larsen R et al. NP-SAM: Implementing the Segment Anything Model for Easy Nanoparticle Segmentation in Electron Microscopy Images. ChemRxiv. 2023; doi:10.26434/chemrxiv-2023-k73qz-v2.