Optimisations matérielles pour une IA générative efficace avec les réseaux Mamba // Hardware-aware Optimizations for Efficient Generative AI with Mamba Networks

L'IA générative a le potentiel de transformer diverses industries. Cependant, les modèles actuels de pointe comme les transformers rencontrent des défis significatifs en termes d'efficacité computationnelle et de mémoire, notamment lorsqu'ils sont déployés sur des matériels à ressources limitées. Cette recherche de doctorat vise à résoudre ces problèmes en optimisant les réseaux Mamba pour des applications matérielles. Les réseaux Mamba offrent une alternative prometteuse en réduisant la complexité quadratique des mécanismes d'attention par des choix architecturaux innovants. En utilisant des techniques comme les motifs d'attention éparses et le partage efficace des paramètres, les réseaux Mamba peuvent générer des données de haute qualité avec des besoins en ressources beaucoup plus faibles. La recherche se concentrera sur la mise en œuvre d'optimisations matérielles pour améliorer l'efficacité des réseaux Mamba, les rendant adaptés aux applications en temps réel et aux dispositifs embarqués. Cela inclut l'optimisation des temps de formation et d'inférence, ainsi que l'exploration des accélérations matérielles potentielles. L'objectif est d'avancer le déploiement pratique de l'IA générative dans des domaines à ressources limitées, contribuant ainsi à son adoption plus large et à son impact.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Generative AI has the potential to transform various industries. However, current state-of-the-art models like transformers face significant challenges in computational and memory efficiency, especially when deployed on resource-constrained hardware. This PhD research aims to address these limitations by optimizing Mamba networks for hardware-aware applications. Mamba networks offer a promising alternative by reducing the quadratic complexity of self-attention mechanisms through innovative architectural choices. By leveraging techniques such as sparse attention patterns and efficient parameter sharing, Mamba networks can generate high-quality data with significantly lower resource demands. The research will focus on implementing hardware-aware optimizations to enhance the efficiency of Mamba networks, making them suitable for real-time applications and edge devices. This includes optimizing training and inference times, as well as exploring potential hardware accelerations. The goal is to advance the practical deployment of generative AI in resource-constrained domains, contributing to its broader adoption and impact.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Systèmes et Circuits Intégrés Numériques (LIST)
Service : DSCIN
Laboratoire : Laboratoire Systèmes-sur-puce et Technologies Avancées
Date de début souhaitée : 01-10-2025
Ecole doctorale : Mathématiques, Sciences et Technologies de l’Information, Informatique (MSTII)

Public/private mixed funding

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département Systèmes et Circuits Intégrés Numériques (LIST)
Service : DSCIN

Master's degree in Computer Science. Strong knowledge in neural networks and algorithms. Optional knowledge in embedded programming. Excellent analytical and experimental skills will be highly valued.