Défense des modèles d'analyse de scène contre les attaques adversaires // Defense of scene analysis models against adversarial attacks

Dans de nombreuses applications, des briques d'analyse de scène comme la segmentation sémantique, la détection et la reconnaissance d'objets, ou la reconnaissance de pose, sont nécessaires. Les réseaux de neurones profonds sont aujourd'hui parmi les modèles les plus efficaces pour effectuer un grand nombre de tâches de vision, parfois de façon simultanée lorsque l'apprentissage profond est multitâches. Cependant, il a été montré que ceux-ci étaient vulnérables face aux attaques adversaires (adversarial attacks): En effet, il est possible d'ajouter aux données d'entrée certaines perturbations imperceptibles par l'oeil humain qui mettent à mal les résultats lors de l'inférence faite par le réseau de neurones. Or, une garantie de résultats fiables est capitale pour les systèmes de décision où les failles de sécurité sont critiques (ex : applications comme le véhicule autonome, la reconnaissance d’objets en surveillance aérienne, ou la recherche de personnes/véhicules en vidéosurveillance). Différents types d'attaques adversaires et de défense ont été proposés, le plus souvent pour le problème de classification (d'images notamment). Quelques travaux ont abordé l'attaque des plongements qui sont optimisés par apprentissage de métrique pour les tâches de type ensemble-ouvert comme la réidentification d'objets, la reconnaissance faciale ou la recherche d'images par le contenu. Les types d'attaques se sont multipliés, qu'il s'agisse d'attaques universelles ou optimisées sur une instance particulière. Les défenses proposées doivent faire face à de nouvelles menaces sans trop sacrifier les performances initiales du modèle. La protection des données d'entrée face aux attaques adversaires est capitale pour les systèmes de décision où les failles de sécurité sont critiques. Un moyen de protéger ces données est de développer des défenses contre ces attaques. L'objectif sera donc d'étudier et de proposer différentes attaques et défenses applicables aux briques d'analyse de scène, notamment celles de détection d'objets et de recherche d'instance d'objet dans les images.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

In many applications, scene analysis modules such as object detection and recognition, or pose recognition, are required. Deep neural networks are nowadays among the most efficient models to perform a large number of vision tasks, sometimes simultaneously in case of multitask learning. However, it has been shown that they are vulnerable to adversarial attacks: Indeed, it is possible to add to the input data some perturbations imperceptible by the human eye which undermine the results during the inference made by the neural network. However, a guarantee of reliable results is essential for applications such as autonomous vehicles or person search for video surveillance, where security is critical. Different types of adversarial attacks and defenses have been proposed, most often for the classification problem (of images, in particular). Some works have addressed the attack of embedding optimized by metric learning, especially used for open-set tasks such as object re-identification, facial recognition or image retrieval by content. The types of attacks have multiplied: some universal, other optimized on a particular instance. The proposed defenses must deal with new threats without sacrificing too much of the initial performance of the model. Protecting input data from adversarial attacks is essential for decision systems where security vulnerabilities are critical. One way to protect this data is to develop defenses against these attacks. Therefore, the objective will be to study and propose different attacks and defenses applicable to scene analysis modules, especially those for object detection and object instance search in images.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Intelligence Ambiante et Systèmes Interactifs (LIST)
Service : Service Intelligence Artificielle pour le Langage et la Vision
Laboratoire : Laboratoire Vision et Apprentissage pour l’analyse de scènes
Date de début souhaitée : 01-10-2024
Ecole doctorale : Sciences et Technologies de l’Information et de la Communication (STIC)
Directeur de thèse : LUVISON Bertrand
Organisme : CEA
Laboratoire : DRT/DIASI//LVA
URL : https://list.cea.fr/en/
URL : https://kalisteo.cea.fr/

Public/private mixed funding

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Intelligence Ambiante et Systèmes Interactifs (LIST)
Service : Service Intelligence Artificielle pour le Langage et la Vision

Master2 ou ingénieur avec bonne expérience en vision et apprentissage profond