Intégrité, disponibilité et confidentialité de l'IA embarquée dans les étapes post-apprentissage // Integrity, availability and confidentiality of embedded AI in post-training stages

Dans un contexte de régulation de l'IA à l'échelle européenne, plusieurs exigences ont été proposées pour renforcer la sécurité des systèmes complexes d'IA modernes. En effet, nous assistons à un développement impressionnant de grands modèles (dits modèles de "Fondation") qui sont déployés à grande échelle pour être adaptés à des tâches spécifiques sur une large variété de plateformes. Aujourd'hui, les modèles sont optimisés pour être déployés et même adaptés sur des plateformes contraintes (mémoire, énergie, latence) comme des smartphones et de nombreux objets connectés (maison, santé, IoT industriel, ...).
Cependant, la prise en compte de la sécurité de tels systèmes d'IA est un processus complexe avec de multiples vecteurs d'attaque contre leur intégrité (tromper les prédictions), leur disponibilité (dégrader les performances, ajouter de la latence) et leur confidentialité (rétro-ingénierie, fuite de données privées).
Au cours de la dernière décennie, les communautés de l'Adversarial Machine Learning et du Privacy-Preserving Machine Learning ont franchi des étapes importantes en caractérisant de nombreuses attaques et en proposant des schémas de défense. Les attaques sont essentiellement centrées sur les phases d'entraînement et d'inférence, mais de nouvelles menaces apparaissent, liées à l'utilisation de modèles pré-entraînés, leur déploiement non sécurisé ainsi que leur adaptation (fine-tuning).
Des problèmes de sécurité supplémentaires concernent aussi le fait que les étapes de déploiement et d'adaptation peuvent être des processus "embarqués" (on-device), par exemple avec l'apprentissage fédéré inter-appareils (cross device Federated Learning). Dans ce contexte, les modèles sont compressés et optimisés avec des techniques de l'état de l'art (par exemple, la quantification, le pruning ou Low Rank Adaptation - LoRA) dont l'influence sur la sécurité doit être évaluée.
La thèse se propose de (1) définir des modèles de menaces propres au déploiement et à l'adaptation de modèles de fondation embarqués (e.g., sur microcontrôleurs avec accélérateur HW, SoC); (2) démontrer et caractériser des attaques avec un intérêt particulier pour les attaques par empoisonnement de modèles; (3) proposer et développer des protections et des protocoles d'évaluation.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

With a strong context of regulation of AI at the European scale, several requirements have been proposed for the "cybersecurity of AI" and more particularly to increase the security of complex modern AI systems. Indeed, we are experience an impressive development of large models (so-called “Foundation” models) that are deployed at large-scale to be adapted to specific tasks in a wide variety of platforms and devices. Today, models are optimized to be deployed and even fine-tuned in constrained platforms (memory, energy, latency) such as smartphones and many connected devices (home, health, industry…).

However, considering the security of such AI systems is a complex process with multiple attack vectors against their integrity (fool predictions), availability (crash performance, add latency) and confidentiality (reverse engineering, privacy leakage).

In the past decade, the Adversarial Machine Learning and privacy-preserving machine learning communities have reached important milestones by characterizing attacks and proposing defense schemes. Essentially, these threats are focused on the training and the inference stages. However, new threats surface related to the use of pre-trained models, their unsecure deployment as well as their adaptation (fine-tuning).


Moreover, additional security issues concern the fact that the deployment and adaptation stages could be “on-device” processes, for instance with cross-device federated learning. In that context, models are compressed and optimized with state-of-the-art techniques (e.g., quantization, pruning, Low Rank Adaptation) for which their influence on the security needs to be assessed.

The objectives are:
(1) Propose threat models and risk analysis related to critical steps, typically model deployment and continuous training for the deployment and adaptation of large foundation models on embedded systems (e.g., advanced microcontroller with HW accelerator, SoC).
(2) Demonstrate and characterize attacks, with a focus on model-based poisoning.
(3) Propose and develop protection schemes and sound evaluation protocols.

------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Systèmes (LETI)
Service : Service Sécurité des Systèmes Electroniques et des Composants
Laboratoire : Laboratoire des Systèmes Embarqués Sécurisés
Date de début souhaitée : 01-10-2025
Ecole doctorale : Sciences et Technologies de l’Information et de la Communication (STIC)
Directeur de thèse : GOUY-PAILLER Cédric
Organisme : CEA
Laboratoire : DRT/DIN//LIIDE

Public/private mixed funding

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Systèmes (LETI)
Service : Service Sécurité des Systèmes Electroniques et des Composants

Intelligence Artificielle, Sécurité