Détection d’objets dans les peintures

Laboratoire LIRIS, Université Lyon 2 (campus Porte des Alpes, Bron, Rhône)

Lieu du stage : Laboratoire LIRIS, Université Lyon 2 (campus Porte des Alpes, Bron, Rhône)

Période : à partir de février-mars 2025

Durée : 5 à 6 mois

Contexte du sujet de stage : Ce stage concerne les domaines de l’informatique et du traitement automatique des images. L’objectif du projet AAA, financé par l’Agence Nationale de la Recherche (ANR), est de produire un prototype d’une application sur tablette tactile permettant une perception et une interprétation augmentées d’œuvres d’art rencontrées au musée. Cet outil doit permettre au visiteur d’un musée d’explorer l’œuvre d’art devant laquelle il se situe, en recherchant des analogies avec les œuvres d’un corpus complémentaire.

Le grand nombre d’œuvres d’art numérisées permet aux spécialistes de l’histoire de l’art d’appliquer des approches basées sur les réseaux neuronaux profonds, qui sont couramment utilisés dans les tâches de vision par ordinateur, pour analyser ces collections. Les spécialistes de l’histoire de l’art pourraient être très intéressés par des outils automatisés pour rechercher des connexions entre différentes œuvres d’art, car une approche manuelle pourrait être très chronophage.

Dans ce stage, on s’intéresse plus particulièrement à une tâche de détection d’objets qui peut être résolue en utilisant des modèles d’apprentissage profond pré-entraînés sur de grands ensembles de données photographiques. Ces modèles pourraient potentiellement être utilisés pour la détection d’objets dans des œuvres d’art en utilisant la technique de l’apprentissage par transfert.

Objectives du stage :  

• Examiner les différentes œuvres scientifiques dans les domaines de la detection d’objets et de l’intelligence artificielle pour l’art.
• Résoudre la tâche de detection d’objets dans les peintures en utilisant les modèles de détection d’objets à vocabulaire ouvert [1, 2] qui permettent la détection d’objets audelà des classes prédéfinies et comparer ces modèles avec des détecteurs à vocabulaire fixe, qui sont entraînés sur des ensembles de données avec des catégories prédéfinies comme  [36].
• Développer une application mobile qui permet de détécter les objets face au tableau dans le musée et de trouver les objets similaires dans les œuvres d’un corpus complémentaire.

Bibliographie :

1. Xiao, Bin, Haiping Wu, Weijian Xu, Xiyang Dai, Houdong Hu, Yumao Lu, Michael Zeng, Ce Liu and Lu Yuan. “Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks.” 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023): 4818-4829.

2. Beyer, Lucas, Andreas Steiner, André Susano Pinto, Alexander Kolesnikov, Xiao Wang, Daniel M. Salz, Maxim Neumann, Ibrahim M. Alabdulmohsin, Michael Tschannen, Emanuele Bugliarello, Thomas Unterthiner, Daniel Keysers, Skanda Koppula, Fangyu Liu, Adam Grycner, Alexey A. Gritsenko, Neil Houlsby, Manoj Kumar, Keran Rong, Julian Martin Eisenschlos, Rishabh Kabra, Matthias Bauer, Matko Bovsnjak, Xi Chen, Matthias Minderer, Paul Voigtlaender, Ioana Bica, Ivana Balazevic, Joan Puigcerver, Pinelopi Papalampidi, Olivier J. Hénaff, Xi Xiong, Radu Soricut, Jeremiah Harmsen and Xiao-Qi Zhai. “PaliGemma: A versatile 3B VLM for transfer.” ArXiv abs/2407.07726 (2024): n. pag.

3. Cheng, Tianheng, Lin Song, Yixiao Ge, Wenyu Liu, Xinggang Wang and Ying Shan. “YOLO-World: Real-Time Open-Vocabulary Object Detection.” 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2024): 16901-16911.

4. Reis, Dillon, Jordan Kupec, Jacqueline Hong and Ahmad Daoudi. “Real-Time Flying Object Detection with YOLOv8.” ArXiv abs/2305.09972 (2023): n. pag.

5. Wang, Chien-Yao, I-Hau Yeh and Hongpeng Liao. “YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information.” ArXiv abs/2402.13616 (2024): n. pag.

6. Wang, Ao, Hui Chen, Lihao Liu, Kai Chen, Zijia Lin, Jungong Han and Guiguang Ding. “YOLOv10: Real-Time End-to-End Object Detection.” ArXiv abs/2405.14458 (2024): n. pag.

Compétences souhaitées : Bon niveau en informatique et programmation, connaissances de base en traitement d’images, connaissances de base en méthodes d’apprentissage en profondeur, travail en équipe.