Plateforme de calcul temps-réel haute performance de simulation physique geste-son-image pour la création artistique // HIGH PERFORMANCE COMPUTING PLATFORM AIMED AT REAL-TIME MULTISENSORY PHYSICS-BASED SIMULATION FOR GESTURE-SOUND-IMAGE ARTISTIC CREATION

-----
Résumé
-----

La thèse vise l'étude, la réalisation, la validation et l'expérimentation d'une plateforme matérielle et logicielle de calcul temps réel haute performance pour la simulation interactive d'objets physiques multisensoriels complexes, combinant interaction gestuelle à retour d'effort, image et son. Les résultats de cette thèse trouveront immédiatement leurs usages dans des applications en création artistique, ainsi qu'en recherche et en pédagogie.

-----
Contexte
-----
Dans les domaines des réalités virtuelles, de l'informatique graphique, de l'informatique musicale et de l'haptique, les performances temps réel des plateformes de simulation interactive sont un verrou critique, afin d'atteindre un niveau de qualité et de richesse sensori-motrice à la mesure des capacités cognitives humaines.
La thèse s'inscrit dans le programme de recherche conduit sur la plateforme Art Science Technologie fondée par Grenoble-INP et l'ACROE. Elle s'appuie sur les technologies créatives issues de ce programme : réalité virtuelles instrumentales et mutisensorielles à retour d'effort, modélisation et simulation physique modulaire pour le son et la musique, l'animation et les arts visuels et l'interaction gestuelle [https://hal.science/hal-04069704v1].
Ce contexte est particulièrement critique en matière d'architecture de calcul temps réel synchrone, de par (1) la nécessité d'une très faible latence pour l'interaction gestuelle à retour d'effort ; (2) la diversité et le nombre des transducteurs sensoriels visuels et sonores immersifs ; (3) le besoin d'une importante puissance de calcul.

-----
Objectifs / méthode
-----
La thèse vise la conception, la validation et l'expérimentation d'une nouvelle génération d'architecture matérielle et logicielle de calcul temps réel synchrone haute performance pour la simulation physique geste-son-image dans le contexte de la création artistique multisensorielle.
On ambitionne des situations d'interaction multisensorielle avec retour d'effort sur le front de l'état de l'art, dans lesquelles plusieurs personnes jouent ensemble, au moyen de plusieurs dispositifs à retour d'effort, sur une scène virtuelle très complexe, projetées sur des sorties sonores multicanal immersives (dôme sonore à 24 hauts parleurs) et plusieurs sorties visuelles.
Seront notamment objet de recherche le cœur de l'architecture de calcul, les protocoles de communication pour les signaux gestuels, sonores et visuels, l'interconnexion des nœuds de simulation (réseau haute performance, etc.), les étages de conversion CAN et CNA pour la transduction gestuelle, le schéma algorithmique du calcul temps réel de simulation, afin de supporter le calcul temps réel synchrone, réparti, multi-échelle et multifréquence des objets physiques virtuels.
En parallèle, des validations expérimentales en modélisation et simulation multisensorielle seront réalisées, ainsi qu'en création au moyen de collaborations avec des artistes du réseau d'utilisateur.

-----
Contexte administratif et modalités de candidature
-----
La thèse se déroulera sur la plateforme Art Science Technologie de Grenoble, dans le cadre du laboratoire GIPSA-Lab, au sein de l'école doctorale ISCE, spécialité Ingénierie de la Cognition, de l'interaction, de l'Apprentissage et de la Création.
Le processus de recrutement se déroulera en mai 2025, pour un début prévu en octobre 2025.

-----
Les personnes intéressées sont invitées à prendre contact avec Nicolas Castagné, directeur de la thèse, en envoyant un CV et quelques mots d'accompagnement : nicolas.castagne@grenoble-inp.fr
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

-----
Abstract
-----
This PhD focuses on the study, design, implementation, validation, and testing of a high-performance real-time computing platform, that combines hardware & software, to support the real-time simulation of complex multisensory physics-based objects, that enable gesture interaction with force feedback, and visual and sound outputs. The application domain for the research and for the targeted platform is artistic creation (music, visual arts) ; and besides research, and education.

-----
Context
-----
In the fields of virtual reality, computer graphics, computer music, and haptics, the real-time performance of interactive simulation platforms is a critical barrier to achieve a level of quality and sensory-motor richness that truly matches the human instrumental multisensori-motor skills and cognitive abilities.
This PhD is part of the research program conducted at the Art Science Technology platform founded by Grenoble-INP and ACROE. It draws on the creative technologies of this program: instrumental and multi-sensory virtual reality with force feedback, modular physics-based modeling and simulation [https://hal.science/hal-04069704v1]. This context is particularly critical regarding synchronous real-time hardware-software computing architectures, due to (1) the need for very low latency for force-feedback interaction; (2) the diversity and number of sensory transducers; (3) the need for significant computing power.

-----
Objectives / Method
-----
The PhD aims to design, implement, validate, and test a new generation of hardware and software architecture for high-performance synchronous real-time computation of gesture-sound-image physics simulation for multisensory artistic creation.
The goal is to achieve state-of-the-art multisensory interaction situations, with force feedback audio and visuals, in which several people play together, using multiple force feedback devices, on a highly complex virtual scene, with immersive multi-channel sound outputs (a 24-speaker sound dome), and multiple visual outputs.
The research will focus on the core of the computational hardware and softare architecture, the communication protocols for gesture, sound, and visual signals, the interconnection of simulation nodes (high-performance network, etc.), the ADC and DAC conversion stage, and the algorithmic scheme of the real-time simulation computation, to support distributed, multi-scale, and multi-frequency real-time computation of the physical virtual objects.
In parallel, experimental validations with multisensory modeling and simulation will be carried out, so as applications in creative artistic situations through collaborations with artists from the user network.

-----
Administrative Context and Application Procedures
-----
The thesis will be conducted on the Art Science Technology platform in Grenoble, inside the laboratory GIPSA of University Grenoble Alpes, within the ISCE doctoral school, and its PhD specialty Engineering for Cognition, Interaction, Learning, and Creation.
The recruitment process will run in May 2025, and the PhD is planned to start in October 2025.
-----
Interested candidates are invited to contact Nicolas Castagné, thesis supervisor, by sending a CV and a few words explaining shortly their motivation: nicolas.castagne@grenoble-inp.fr
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/2025
WEB : https://cloud.univ-grenoble-alpes.fr/s/rACxsJD27b4KyaF

Public funding alone (i.e. government, region, European, international organization research grant)

Concours pour un contrat doctoral

Université Grenoble Alpes

216 ISCE - Ingénierie pour la Santé la Cognition et l'Environnement

Diplômé M2 en informatique / informatique embarqué, ayant obtenu de très bons résultats les dernières années, avec des compétences en systèmes embarqués, architecture de calcul temps réel, CAO électronique numérique, communication numérique. Une forte motivation pour le contexte applicatif de la création artistique (musique / image animée…) est nécessaire.
Master 2 degree in Computer Sciences / Embeded system, with good results, with skills in embedded systems, real time computing architecture, digital electronics, communication protocols, etc. A high interest for the targeted application application, instrumental art creation (music, animated image…) is needed.