Environnement logiciel interactif de modélisation physique geste-son-image pour la création artistique musicale, visuelle et multisensorielle // Software environment supporting physics-based modeling for gesture-sound-image interaction aimed at musical,

--------------
--- Résumé
--------------
La thèse ambitionne de fonder une nouvelle génération d'environnements logiciels pour la création, basée sur les principes de la modélisation et de la simulation physique modulaire masses-interactions, avec ses ergonomies d'interface graphique de modélisation, pour ouvrir la possibilité de modèles nativement multi-sensoriels : interaction gestuelle, y compris avec retour d'effort, son, image.

--------------
--- Contexte et objectif
--------------
Les domaines de l'informatique graphique, de l'informatique sonore et musicale, de l'haptique, des réalités virtuelles ont abouti à la constitution de connaissances et de technologies matures. Toutefois, chacun de ces domaines cible majoritairement une modalité sensori-motrice : vison, ou audition, ou interaction gestuelle. Une problématique contemporaine est d'étudier les voies qui permettront à la machine numérique d'adresser le système sensorimoteur humain dans son ensemble : l'action gestuelle et la perception haptique, le son et l'image.
La thèse s'appuie sur le constat qu'une propriété essentielle commune aux objets visibles, audibles et manipulables tient à leur physicalité : Les oscillations acoustiques, les comportements mécaniques durant la manipulation et les mouvements perçus par l'œil sont tous cohérents, car liés aux propriétés physiques, uniques, de l'objet physique. Pour générer des comportements visuels, sonores et/ou haptiques en cohérence multi-sensori-motrice, le positionnement original adopté sera de s'appuyer, au cœur des simulacres, sur le principe de la modélisation et de la simulation physique.
L'objectif est alors de fonder une nouvelle génération d'environnement logiciel de création par la modélisation et la simulation physique, pour ouvrir à la possibilité de modèles nativement multi-sensoriels et, possiblement, à l'exploration d'un nouvel art multisensoriel encore en devenir.

--------------
--- Axes de recherche / méthode
--------------
On s'appuiera sur les acquis du programme de recherche conduit sur la plateforme Art Science Technologie à Grenoble INP, fondée par Grenoble-INP et l'ACROE.
Il s'agira tout d'abord d'étudier les modalités d'amarrage entre les modeleurs-simulateurs GENESIS [https://doi.org/10.1007/978-3-319-58316-7_8] et MIMESIS [https://hal.science/hal-00910631v1], dédiés respectivement à la synthèse de son et la synthèse d'images en mouvements par modèles physiques.
Puis, les deux logiciels devront être incrémentés ensemble par une étude commune sur les systèmes d'interactions gestuelles à retour d'effort, en particulier en ce qui concerne les morphologies mécaniques de manipulation (1D, 2D, 3D, Claviers, Sticks, etc.). Un cadre formel commun devra être étudié pour que ceux-ci puissent être utilisés indifféremment par tous type d'utilisateurs.
Il s'agira ensuite d'assurer le couplage entre les différents étages de modélisation : Modèles pour les systèmes gestuels – Modèles d'objets 2D-3D – Modèles d'instruments musicaux. Pour cela, des études théoriques seront à mener à la fois sur la coopération entre systèmes de dimensionnalité différents (1D - 2D - 3D) et sur leur coopération inter-fréquentielle (fréquences gestuelle, acoustique et mouvements visibles).
Une dimension importante sera celle de la conception ergonomique de l'interface graphique de modélisation, permettant à l'utilisateur de spécifier les modalités de l'interopérabilité des parties de modèles.
Enfin, la nouvelle architecture de modélisation et de simulation sera validée sur un ensemble de modèles multisensoriels représentatifs, puis dans des situations de création avec des artistes partenaires.

** Voir : https://cloud.univ-grenoble-alpes.fr/s/tis5erLRKE2dpwx
** Financement acquis.
** candidature : prendre contact avec l'équipe, pour un échange : Nicolas Castagné nicolas.castagne@grenoble-inp.fr
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

----------
-- Summary
----------
This PhD aims to design a new generation of software environments for artistic creation, based on the principles of modular mass-interaction physical modeling and simulation, with adequate graphical modeling interfaces, to open up the possibility of natively multi-sensory models: gestural interaction, including force feedback, sound, and image.

----------
-- Context and objectives
----------
The project is based on the observation that an essential property shared by visible, audible, and manipulable objects is their physicality: acoustic oscillations, mechanical behaviors during manipulation, and movements perceived by the eye are all coherent, since they are tied to the physical properties of the physical object.
To generate coherent visual, audio, and/or haptic behaviors, with a high multi-sensory-motor coherence, an innovative approach will be adopted : we will rely, at the heart of the simulacra, on the principle of physical modeling and simulation.
The objective is therefore to establish a new generation of software environment for artistic creation, empowering the artist with physical modeling and simulation, and opening up the possibility of natively multi-sensory models and, possibly, the exploration of a new multi-sensory art form, still to be discovered.

----------
--- Research Areas / Methods
----------
We will build on the creative technologies achieved the past years by the research program conducted at the Art Science Technology platform at Grenoble INP, founded by Grenoble-INP and ACROE.

We will first study the pathways enabling to inter-connect the GENESIS [https://doi.org/10.1007/978-3-319-58316-7_8] and MIMESIS [https://hal.science/hal-00910631v1] modelers-simulators, dedicated respectively to sound synthesis and moving image synthesis using physical models.

Then, the software environments will be augmented together, by means of a joint study on force-feedback gestural interaction systems, particularly with regard to the morphology of the mechanical manipulation (1D, 2D, 3D, keyboards, sticks, etc.). A common formal framework will be designed, so that they can the gesture morphological adaptors can be used interchangeably by all types of users.

A next step will be to ensure the coupling between the different modeling stages: Models for gestural systems VS. 2D-3D object models VS. Musical instrument models. To this end, theoretical studies will be conducted regarding the cooperation between systems (or models) having different dimensionality (1D - 2D - 3D), with different scales, and with different simulation frequencies (gestural, acoustic, and visible movement frequencies).

An important aspect will be the ergonomic design of the graphical modeling interface, allowing the user to specify the interoperability of model parts.

Finally, the new modeling and simulation architecture will be validated with a set of representative multisensory models, and also within creative situations in collaboration with partner artists.

** See: https://cloud.univ-grenoble-alpes.fr/s/tis5erLRKE2dpwx
** The funding for this PhD offer is secured.

** Application: Contact the team for an exchange: Nicolas Castagné nicolas.castagne@grenoble-inp.fr
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/2025
WEB : https://cloud.univ-grenoble-alpes.fr/s/tis5erLRKE2dpwx

Plan Investissement d'Avenir (Idex, Labex)

Université Grenoble Alpes

216 ISCE - Ingénierie pour la Santé la Cognition et l'Environnement

Intéressé(e) ? Prendre contact avec l'équipe d'encadrement pour un échange : Nicolas Castagné nicolas.castagne@grenoble-inp.fr Nous recherchons des personnes intéressées par le sujet, formées en informatique. Compétence de type M2 ou Ingénieur en informatique (computer sciences). Sensibilité à l'interaction homme machine et aux interfaces interactives (GUI). Intérêt pour l'informatique musicale et/ou l'informatique graphique et/ou les réalités virtuelles et/ou l'haptique. Motivation pour le contexte applicatif de la création artistique (musicale et/ou visuelle).
Interested : please contact the PhD Team to start an exchange : Nicolas Castagne We are seeking : Student with skills in Computer Sciences Knowhow in the design and implantation of graphical user interfaces. Interest for virtual reality and/or computer graphics and/or computer music and/or haptics. Interest for the application domain : artistic creation (music and/or visuals)