Fact-checking multimédia, multimodal et explicable

Contexte
Cette offre de thèse s'inscrit dans le cadre du projet « Fact Checking » mené depuis 2021 entre le laboratoire
LIFAT et l’équipe PRIM [1][2][3][4]. Le fact checking, ou vérification de fait, consiste à vérifier la véracité des
faits présentés dans les médias par des personnalités publiques ou autres organisations.
De nombreux travaux de recherches ont été et sont en train d’être menés [5][6][7] pour répondre à l’enjeu
majeur de la désinformation, notamment depuis l’avènement des technologies de deep-fake et d’IA
génératives. Ce phénomène de désinformation massive est observable dans plusieurs domaines : on peut
citer en particulier la sphère politique (« political discourse »), le changement climatique ou encore le
domaine de santé (« COVID-19 misinformation »).
Au cours de la dernière décennie, des progrès significatifs ont été réalisés dans les domaines du « Computer
Vision » (CV) et du « Natural Language Processing » (NLP), en grande partie grâce au succès des réseaux
neuronaux. Ainsi, c’est tout naturellement que l’aspect multimodal (apprentissage conjointe des modalités)
mêlant la CV et le NLP ont été étudiés récemment, avec succès dans des tâches telles que la réponse visuelle
aux questions (VQA), le sous-titrage d'images ou de vidéos, etc.

Objectifs de la thèse
Cette thèse vise à la conception et à l’évaluation de nouvelles techniques de détection multimodale (vidéo,
image, audio, texte) dans du contenu multimédia (vidéo, audio). Pour ce faire, la thèse explorera l’utilisation
de concepts d’IA à différents niveaux « Audio-visual Active Speaker identification » (ASD), «
Multimodal Named Entity recognition » (MNER), « Retrieval-Augmented Generation » (RAG), etc., et
l’exploitation d’une base de données de fait vérifiés existante (base de données issue de [1], [4] ou
benchmark existants).
Par ailleurs, compte-tenu de l’impact sociétal de ces travaux, un fort accent sera mis sur l’explicabilité des
algorithmes multimodaux proposés, en agrégant différentes solutions : récupération d’information tierces
via la recherche d’information, génération textuelle, visualisation d’élément saillant dans les images/vidéos,
isolation des séquences d’intérêt dans les pistes audio/vidéos, etc.
Enfin, durant la réalisation de ces travaux de recherche, il s’agira aussi de tenir compte des verrous
théoriques et empiriques de l’acception des citoyens d’un tel outil via les notions d’interactions avec les
outils développés, et de visualisation interactive et d’ergonomie. Ces aspects seront abordés via une
collaboration avec des chercheurs en sciences de l’information et de la communication ou des journalistes
et fact-checkers.

Bibliographie (indicative)
[1] Rayar F. FrenchFacts: A French Dataset of Fact-Checked Claims. In Proceedings of the 2024 Joint
International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING).
2024 (Accepted).
[2] Rayar F. Fact-Checked Claim Detection in Videos Using a Multimodal Approach. In Proceedings of the
19th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and
Applications (VISAPP), 614-620. 2024.
[3] Rayar F. et Nicey J. Détecter et contextualiser le faux dans les énoncés politiques en télévision :
conception d’un dispositif multimodal de vérification. Infox sur Seine. 2023.
[4] Rayar F., Delalandre M., and Le V-H. A large-scale TV video and metadata database for French political
content analysis and fact-checking. In Proceedings of the 19th International Conference on Content-based
Multimedia Indexing (CBMI), 181–185. 2022
[5] Guo, Z., Schlichtkrull, M., and Vlachos, A. A survey on automated fact-checking. Transactions of the
Association for Computational Linguistics, 10:178. 2023.
[6] Akhtar M., Schlichtkrull M., Guo, Z., Cocarascu, O., Simper E., and Vlachos, A. Multimodal automated fact-
checking: A survey. 2023
[7] Kotonya, N. and Toni, F. Explainable automated fact-checking: A survey. CoRR, abs/2011.03870. 2020

Les recherches du Laboratoire d’Informatique Fondamentale et Appliquée de Tours (LIFAT) consistent à concevoir et développer des modèles, et à créer des algorithmes pour la fouille de données, la visualisation de données, l’apprentissage automatique, le traitement des langues naturelles et des images ou l’optimisation combinatoire. Le laboratoire est donc spécialisé en Sciences des Données, avec des spécialités reconnues dans les domaines de l’Intelligence Artificielle et de l’Optimisation.

M2 en informatique ou diplôme d’ingénieur
- Bonnes connaissances en Machine Learning et Intelligence Artificielle

- Bonnes connaissances en programmation indispensables

- Des compétences en développement web sont souhaitables

- Bonnes capacités de communication et de rédaction, en particulier en anglais