Détection de Deepfakes en analysant la palette des couleurs d’image

Founded in 1973, Université Lumière Lyon 2 welcomes nearly 30,000 students on its two campuses, ranging from undergraduate to doctoral level.

As a university of literature, languages, and human and social sciences, it is comprised of 13 teaching units spread over four main areas of teaching and research.

With 33 laboratories and four research federations, which cover the areas of literature, languages, and human and social sciences (LLSHS – Lettres, Langues, Sciences Humaines et Sociales), Université Lumière Lyon 2 bases its approach on innovation, interdisciplinarity, partnership and an international outlook.

Through the projects developed and coordinated by its 1000 researchers, the university would like to enable communication and discussion between the human and social sciences, on one hand, and the hard sciences, on the other, as well as to put research at the centre of current societal and scientific challenges.

Université Lumière Lyon 2 has a strong focus on international cooperation and currently has agreements with 350 institutions throughout the world. International students, whether part of an exchange programme or otherwise, account for more than 15% of the overall student body.
 

Contexte de l’étude

Les méthodes d’apprentissage profond ont connu un important développement au cours des dernières années. En particulier, les Réseaux Antagonistes Génératifs (en anglais GAN – Generative Adversarial Networks), sont maintenant capables de générer des images naturelles et de créer de fausses identités dans des images ou dans des vidéos. Nous nous intéressons en particulier à la technique des Deepfakes [1] (ou permutations intelligentes de visages), qui synthétise des images humaines, en se basant sur l’intelligence artificielle. Initialement créée à des fins récréatives, l'utilisation de cette technique soulève aujourd’hui de nombreuses questions éthiques et de sécurité. En effet, l’utilisation de visages de célébrités ou de personnalités politiques pour créer de fausses images/vidéos peut engendrer de nombreux problèmes sociétaux (par exemple, des individus malveillants sont en mesure de créer de fausses vidéos pour appuyer de potentielles «fake news»). La détection des vidéos truquées est donc un sujet important qui nécessite le concours de compétences qui relèvent des domaines de la sécurité multimédia, de la communication et de la psychologie.

Description du sujet

Il a été démontré que les méthodes d’IA génératives laissent des traces dans les images manipulées [2] et qu’il est possible de détecter des falsifications d’images grâce à l’analyse des palettes de couleurs des images [3]. Pendant ce stage, nous aimerions étudier la possibilité d’utiliser des différents espaces colorimétriques pour améliorer des méthodes de détection des deepfakes proposées dans les articles [4,5]. Les objectifs principaux de ce stage sont les suivants :

1. Analyser des images issues de vidéos d’un point de vue colorimétrique [2] ainsi que par la détection de traces de manipulations [3]
2. Analyser des séquences d’images extraites de vidéos pour prendre en compte les incohérences colorimétriques des vidéos falsifiées en utilisant des méthodes proposées dans [4,5]
3. Proposer des améliorations de cette approche.

Références

[1] A. Rossler, D. Cozzolino, L. Verdoliva, C. Riess, J. Thies and M. Niessner, "FaceForensics++: Learning to Detect Manipulated Facial Images", International Conference on Computer Vision (ICCV), 2019.

[2] L. Uhlenbrock, D. Cozzolino, D. Moussa, L. Verdoliva, and C. Riess, ”Did You Note My Palette? Unveiling Synthetic Images Through Color Statistics”, In Proceedings of the 2024 ACM Workshop on Information Hiding and Multimedia Security, Association for Computing Machinery, New York, NY, USA, 47–52.

[3] C. Destruel, V. Itier, O. Strauss and W. Puech, "Color Noise-Based Feature for Splicing Detection and Localization," 2018 IEEE 20th International Workshop on Multimedia Signal Processing (MMSP), Vancouver, BC, Canada, 2018.

[4] M. Atamna, I. Tkachenko, S. Miguet, “Improving generalization in facial manipulation detection using image noise residuals and temporal features”, IEEE ICIP 2023, October 2023, Kuala Lumpur, Malaysia.

[5] M. Atamna, I. Tkachenko, S. Miguet, "WaveConViT: Wavelet-Based Convolutional Vision Transformer for Cross-Manipulation Deepfake Video Detection", MMforWILD Workshop ICPR, December 2024, Kolkata, India.

Profil recherché

• Le candidat doit suivre actuellement une formation de Master 2 ou dernière année d’école d’ingénieur (Bac+5) en informatique
• Langage de programmation : Python
• Une bonne maîtrise de PyTorch est requise
• Outils de programmation pour l’analyse d’image : OpenCV, scikit-image (Python)
• Connaissances scientifiques : analyse et traitement des images et des vidéos, des compétences en apprentissage automatique et apprentissage profond
• Langues : français ou anglais