Approches few-shot et zero-shot pour l’extraction d’information à partir de textes // Few-shot and zero-shot models for Information Extraction
ABG-125031 | Sujet de Thèse | |
10/07/2024 | Financement public/privé |
CEA Paris-Saclay Laboratoire Analyse Sémantique Textes et Images
Saclay
Approches few-shot et zero-shot pour l’extraction d’information à partir de textes // Few-shot and zero-shot models for Information Extraction
- Science de la donnée (stockage, sécurité, mesure, analyse)
Data intelligence dont Intelligence Artificielle / Défis technologiques / Informatique et logiciels / Sciences pour l’ingénieur
Description du sujet
Dans le domaine de l’extraction d’information, dont l’objectif est d’identifier des concepts ou des faits dans des textes et de structurer les informations retenues, un enjeu important est de concevoir des modèles performants en utilisant seulement peu de données annotées (few-shot), voire sans données annotées (zero-shot). Le sujet de thèse proposé se situe dans ce cadre et portera en particulier sur l’exploitation des capacités des grands modèles de langues pré-entraînés (LLMs) pour cette tâche. Plus précisément, les pistes explorées pourront couvrir des approches de distillation de grands modèles tels que ChatGPT pour produire des données de préentraînement pour l’extraction d’information, une étude sur les synergies possible entre le préentraînement de modèles à grande échelle et des méthodes few-shot de méta-apprentissage épisodique ou la proposition de nouvelles méthodes pour la constitution de données de préentraînement, en utilisant par exemple une supervision distante par des bases de connaissances structurées.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Information Extraction aims to identify concepts or facts in texts and to structure the information. In this field, a major challenge is to design high-performance models using only few annotated data (few-shot), or even no annotated data at all (zero-shot). The proposed topic for this PhD falls within this framework, and will focus in particular on exploiting the capabilities of large pre-trained language models (LLMs) for this task. More specifically, the avenues explored could cover approaches for large models distillation in order to produce training data for information extraction, a study of possible synergies between large-scale model pre-training and episodic meta-learning, or the proposal of new methods for building pre-training data, using for example distant supervision from structured knowledge bases.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Intelligence Ambiante et Systèmes Interactifs (LIST)
Service : Service Intelligence Artificielle pour le Langage et la Vision
Laboratoire : Laboratoire Analyse Sémantique Textes et Images
Date de début souhaitée : 01-10-2024
Ecole doctorale : Sciences et Technologies de l’Information et de la Communication (STIC)
Directeur de thèse : FERRET Olivier
Organisme : CEA
Laboratoire : DRT/DIASI/SIALV/LASTI
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Information Extraction aims to identify concepts or facts in texts and to structure the information. In this field, a major challenge is to design high-performance models using only few annotated data (few-shot), or even no annotated data at all (zero-shot). The proposed topic for this PhD falls within this framework, and will focus in particular on exploiting the capabilities of large pre-trained language models (LLMs) for this task. More specifically, the avenues explored could cover approaches for large models distillation in order to produce training data for information extraction, a study of possible synergies between large-scale model pre-training and episodic meta-learning, or the proposal of new methods for building pre-training data, using for example distant supervision from structured knowledge bases.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Intelligence Ambiante et Systèmes Interactifs (LIST)
Service : Service Intelligence Artificielle pour le Langage et la Vision
Laboratoire : Laboratoire Analyse Sémantique Textes et Images
Date de début souhaitée : 01-10-2024
Ecole doctorale : Sciences et Technologies de l’Information et de la Communication (STIC)
Directeur de thèse : FERRET Olivier
Organisme : CEA
Laboratoire : DRT/DIASI/SIALV/LASTI
Nature du financement
Financement public/privé
Précisions sur le financement
Présentation établissement et labo d'accueil
CEA Paris-Saclay Laboratoire Analyse Sémantique Textes et Images
Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Intelligence Ambiante et Systèmes Interactifs (LIST)
Service : Service Intelligence Artificielle pour le Langage et la Vision
Profil du candidat
Master 2 en informatique ou diplôme d'ingénieur informatique
Postuler
Fermer
Vous avez déjà un compte ?
Nouvel utilisateur ?
Besoin d'informations sur l'ABG ?
Vous souhaitez recevoir nos infolettres ?
Découvrez nos adhérents
CESI
Généthon
CASDEN
MabDesign
Laboratoire National de Métrologie et d'Essais - LNE
Tecknowmetrix
Institut Sup'biotech de Paris
ADEME
Nokia Bell Labs France
MabDesign
Institut de Radioprotection et de Sureté Nucléaire - IRSN - Siège
SUEZ
ONERA - The French Aerospace Lab
Groupe AFNOR - Association française de normalisation
TotalEnergies
ANRT
PhDOOC
Aérocentre, Pôle d'excellence régional
Ifremer
-
Sujet de ThèseRef. ABG125548Centre de Recherche en CardioVasculaire et Nutrition (C2VN) - INSERM 1263 - INRAE 1260 - Aix-Marseille universitéMarseille - Provence-Alpes-Côte d'Azur - France
Mechanisms involving neutrophils in Venous Thrombosis / Etude des mécanismes impliquant les neutrophiles dans la thrombose veineuse
Biologie -
EmploiCDIRef. ABG125568Cours GalienStrasbourg - Grand Est - France
Résponsable pédagogique études médicales
Biologie - Santé, médecine humaine, vétérinaireNiveau d'expérience indifférent -
EmploiCDIRef. ABG123642Laboratoire des Courses Hippiques (GIE LCH)Verrières-le-Buisson - Ile-de-France - France
Chargé(e) de Recherche et Innovation (H/F) / Senior Scientist Research & Innovation (M/F)
Chimie - BiochimieConfirmé