Approches few-shot et zero-shot pour l’extraction d’information à partir de textes // Few-shot and zero-shot models for Information Extraction

Dans le domaine de l’extraction d’information, dont l’objectif est d’identifier des concepts ou des faits dans des textes et de structurer les informations retenues, un enjeu important est de concevoir des modèles performants en utilisant seulement peu de données annotées (few-shot), voire sans données annotées (zero-shot). Le sujet de thèse proposé se situe dans ce cadre et portera en particulier sur l’exploitation des capacités des grands modèles de langues pré-entraînés (LLMs) pour cette tâche. Plus précisément, les pistes explorées pourront couvrir des approches de distillation de grands modèles tels que ChatGPT pour produire des données de préentraînement pour l’extraction d’information, une étude sur les synergies possible entre le préentraînement de modèles à grande échelle et des méthodes few-shot de méta-apprentissage épisodique ou la proposition de nouvelles méthodes pour la constitution de données de préentraînement, en utilisant par exemple une supervision distante par des bases de connaissances structurées.

------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Information Extraction aims to identify concepts or facts in texts and to structure the information. In this field, a major challenge is to design high-performance models using only few annotated data (few-shot), or even no annotated data at all (zero-shot). The proposed topic for this PhD falls within this framework, and will focus in particular on exploiting the capabilities of large pre-trained language models (LLMs) for this task. More specifically, the avenues explored could cover approaches for large models distillation in order to produce training data for information extraction, a study of possible synergies between large-scale model pre-training and episodic meta-learning, or the proposal of new methods for building pre-training data, using for example distant supervision from structured knowledge bases.

------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Intelligence Ambiante et Systèmes Interactifs (LIST)
Service : Service Intelligence Artificielle pour le Langage et la Vision
Laboratoire : Laboratoire Analyse Sémantique Textes et Images
Date de début souhaitée : 01-10-2024
Ecole doctorale : Sciences et Technologies de l’Information et de la Communication (STIC)
Directeur de thèse : FERRET Olivier
Organisme : CEA
Laboratoire : DRT/DIASI/SIALV/LASTI

Public/private mixed funding

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Intelligence Ambiante et Systèmes Interactifs (LIST)
Service : Service Intelligence Artificielle pour le Langage et la Vision

Master 2 en informatique ou diplôme d'ingénieur informatique