Tri automatique des déchets dans des dépôts sauvages par analyse d'images multi-composantes acquises en conditions extérieures // Automatic waste sorting in illegal waste dumps using multi-component image analysis acquired in outdoor conditions

Ces travaux de thèse portent donc sur la conception et le développement d'un outil logiciel de tri automatique de déchets dans des dépôts sauvages extérieurs par analyse en temps réel d'images multi-composantes.

Ils soulèvent les principaux problèmes scientifiques suivants :
• Acquisition de séquences d'images multi-composantes à partir de caméras embarquées sur un bras manipulateur;
• À partir des images acquises, extraction de caractéristiques invariantes aux conditions d'éclairage et aux déformations des déchetsobservés dans la scène ;
• Reconnaissance des déchets par analyse des textures forméespar leur surface ;
• Identification et localisation des déchets en cas d'occultation, de mélange et de déformation.

Avec la société CAPLOGY-NORD, qui apportera son expertise sur la robotique et concevra le bras robotisé manipulateur des déchets, nous proposons d'aborder les pistes suivantes:
• Sélection des bandes spectrales, dans les domaines du visible et du proche infrarouge, les mieux adaptées pour permettre de discriminer les déchets;
• Estimation en temps réel de la réflectance à partir d'images multi-composantes acquises par une caméra multi-spectrale de type instantané dans les bandes spectrales sélectionnées;
• Segmentation sémantique en temps réel des images de déchets par apprentissage semi-supervisé pour alléger les phases fastidieuses de collecte et d'étiquetage d'images en chaque pixel nécessaires à la constitution de la vérité terrain;
• Localisation et identification des déchets par apprentissage profondadapté aux images multi-composantes ;
• Guidage en temps réel du bras manipulateur robotisé grâce aux informations relatives à l'identification et la localisation des déchets.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

This thesis deals with the design and development of a software tool for the automatic sorting of waste in outdoor dumpsites using real-time analysis of multi-component images.

They raise the following main scientific issues:
- Acquisition of multi-component image sequences from cameras mounted on a manipulator arm;
- From the acquired images, extraction of features invariant to lighting conditions and deformations of the waste observed in the scene;
- Recognition of waste by analysis of surface textures;
- Identification and localization of waste in the event of occultation, mixing and deformation.

In conjunction with CAPLOGY-NORD, which will contribute its expertise in robotics and design the waste-handling robot arm, we propose to explore the following avenues:
- Selection of the spectral bands, in the visible and near-infrared domains, best suited to waste discrimination;
- Real-time reflectance estimation from multi-component images acquired by a multi-spectral snapshot camera in the selected spectral bands;
- Real-time semantic segmentation of waste images using semi-supervised learning to reduce the time-consuming collection and labeling of images at each pixel required to establish the ground truth;
- Localization and identification of waste using deep learning adapted to multi-component images;
- Real-time guidance of the robotic manipulator arm based on waste identification and localization information.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/2025

Financement d'une collectivité locale ou territoriale

Université de Lille

631 MADIS Mathématiques, sciences du numérique et de leurs interactions

Analyse d'images et machine learning Python
Image analysis and machine learning Python