Faciliter l’apprentissage de mouvements grâce à un retour sonore interactif : de la musique à la rééducation

L’apprentissage sensori-moteur dans les systèmes interactifs gestuels avec retour sonore

Les interfaces gestuelles font désormais partie intégrante des interfaces homme-machine, des systèmes mobiles aux consoles de jeux vidéo. De plus, des technologies de captation de mouvement sont très facilement intégrables dans des objets et des outils, ce qui permet de nouveaux usages dans l’écosystème émergeant des objets connectés. Les problématiques liées à l’apprentissage et à la maîtrise de nouveaux gestes deviennent dès lors centrales pour ces nouvelles interfaces et objets tangibles.

Le projet Legos a porté précisément sur l’apport du retour sonore pour l’apprentissage des systèmes interactifs gestuels. Dans ce contexte, l’apprentissage sensori-moteur a encore été très peu étudié comparativement au retour visuel. Le projet Legos a été conçu comme interdisciplinaire, croisant des expertises sur les technologies du son et de la musique avec celles concernant l’apprentissage sensori-moteur, liées aux neurosciences. Au delà de la musique, de nombreuses applications sont concernées par le bénéfice potentiel d’un retour sonore interactif, comme par exemple, la rééducation, la substitution sensorielle ou encore, l’apprentissage de geste sportif.

Comprendre et modéliser les interactions entre les mouvements et les sons en résultant

Premièrement, sur la base d’une approche expérimentale, nous avons étudié l’apport du retour sonore en considérant plusieurs contextes: de tâches simples de pointage ou de poursuite visuo-motrice, jusqu’à des taches plus complexes où le son interactif guide des mouvements et actions, ou encore des cas de substitution sensorielle où le retour sonore renseigne, uniquement sur la base des sons perçus, sur la forme d’un objet. Deuxièmement, sur un mode de workshop participatif, nous avons développé des méthodologies pour le design du retour sonore. Nous avons également proposé une méthode de « mapping  par démonstration» entre mouvement et son à l’aide de modèles probabilistes. Cette approche facilite la mise en place du retour sonore dans un système interactif et permet de considérer des actions et des retours sonores relativement complexes. Ce procédé a fait l’objet de démonstrations à la conférence Siggraph 2014 dans les Emerging Technologies.

Résultats du projet

Le projet a fait l’objet de plus de 26 publications et communications dans des conférences internationales (5 articles de revues, 2 chapitres de livre, 19 actes ou communications dans des conférences) et plusieurs articles en cours de soumission. Deux thèses de doctorat, soutenues en 2015, ont également été produites dans le cadre de ce projet. Des logiciels et prototypes ont également été réalisés grâce au projet. Nos travaux trouvent de nombreuses applications, que nous allons poursuivre, dans la musique, le design sonore interactif, la rééducation, la substitution sensorielle et le sport.

Nous avons contribué au développement d’une communauté sur la sonification de mouvement. Le projet a permis d’établir un réseau de collaborations avec, entre autres, l’ISIR de l’Université Pierre et Marie Curie, l’UFR STAPS de l’Université Paris Descartes, l’Institut du Cerveau et de la Moëlle Epinière, l’École normale supérieure, University College of London, Simon Fraser University. En particulier nous allons poursuivre les applications en rééducation dans le cadre du laboratoire d’excellence Labex SMART (en collaboration avec l’ISIR) dans le cadre de la COMUE Sorbonne Université. De plus, nous avons organisé à la fin du projet un colloque international de deux jours réunissant des experts internationaux réputés.

Le projet Legos est un projet de recherche fondamentale coordonné par l’Ircam, en partenariat avec le Laboratoire de Neurophysique et Physiologie puis le Laboratoire de Psychologie de la Perception (UMR CNRS – Université Paris Descartes). Le projet a commencé en octobre 2011 et a duré 42 mois. Il a bénéficié d’une aide de l’ANR de 429 806 € pour un coût global de 1 046 905 €. Le projet a été labélisé par le pôle de compétitivité Cap Digital.