À l’ISIR, le projet CoVR effleure le toucher du bout des doigts
Lancé en 2017 par l’Institut des systèmes intelligents et de robotique (Sorbonne Université/CNRS/Inserm), le projet CoVR intègre le sens du toucher dans la réalité virtuelle à travers une interface robotisée. Un dispositif novateur au carrefour de la robotique et de l’interaction humain-machine et qui permet de proposer une expérience encore plus immersive.
Il était possible de voir et d’entendre. Désormais, dans la réalité virtuelle (RV), il sera aussi possible de toucher. C’est en tout cas la promesse sur laquelle travaillent plusieurs équipes de recherche de l’ISIR. Sous une pyramide de verre, au sein de la faculté des Sciences et Ingénierie, cette unité mixte codirigée par Sorbonne Université, le CNRS et l’Inserm, rassemble des spécialistes de nombreuses disciplines allant de la robotique aux sciences cognitives en passant par l’intelligence artificielle. C’est dans les sous-sols de ce laboratoire, où se mêle une curieuse faune de scientifiques et de robots en tout genre, qu’est développé depuis 2017 le projet CoVR.
Au départ, une idée simple : si, une fois le casque RV ajusté, la vue et l’ouïe de l’utilisateur sont mobilisées, la sensation du toucher reste encore inexplorée. « La grosse limite de la réalité virtuelle, c’est de pouvoir ressentir les objets qu’on manipule aussi bien qu’on les voit ou qu’on peut les entendre », constate Gilles Bailly, directeur de recherche CNRS. Marinière sur les épaules, ce chercheur a fait de l’interaction humain-machine (IHM), une discipline qui s’intéresse aux moyens permettant aux humains d’échanger avec une machine et vice-versa, sa spécialité.
Arrivé à l’ISIR en 2016, Gilles Bailly a contribué avec Sinan Haliyo au développement d’un nouveau courant au laboratoire au sein de l’équipe Interactions Multi-Échelles, centré sur la recherche autour de l’haptique, la discipline qui explore le sens du toucher, et la robotique pour l’IHM. Un domaine qui aiguise l’appétit des géants du numérique, comme Meta, la maison-mère de Facebook, avec pour objectif de rendre les futurs mondes virtuels plus réalistes. « Quand on veut toucher un mur dans la RV, la main va traverser. On ne ressent pas le contact entre la main et le mur », explique Gilles Bailly.
« Un robot au bon endroit et au bon moment »
Si de nombreux systèmes pour simuler la sensation du toucher sont développés à travers le monde, l’originalité du projet CoVR tient dans son interface robotisée, qui anticipe les mouvements de l’utilisateur, et qui ramène des « props », des objets réels et bon marché du quotidien à son contact.
Concrètement, une colonne montée sur un robot se déplace au milieu d’une arène et interagit avec l’utilisateur. « Quand l’utilisateur va approcher sa main du mur virtuel, notre colonne robotisée va se déplacer et arriver pile poil au bon endroit, au bon moment. Ainsi, lorsque la main virtuelle touche le mur virtuel, la main réelle va toucher la colonne exactement au même moment » et donc avoir l’impression de toucher un vrai mur.
Le résultat est tout simplement bluffant. Une fois le casque de RV sur la tête, il devient impossible de deviner les mouvements du robot, ni même d’imaginer combien d’objets sont dans la pièce. « L’utilisateur a vraiment l’impression d’interagir avec plusieurs objets », sourit Gilles Bailly. Muni d’une canne à pêche face à un requin dans l’eau ou devant un ascenseur qui monte, l’utilisateur va vraiment ressentir la force de l’animal ou devoir physiquement tirer une porte coulissante pour pénétrer dans la cabine.
« Le sens du toucher est super complexe »
A l’origine de ce projet se trouve une ancienne doctorante du laboratoire, Elodie Bouzbib, qui après son premier prototype a obtenu le prix de la meilleure thèse pluridisciplinaire en 2022. Aujourd’hui en post-doctorat au centre Inria de l’université de Rennes, cette passionnée du sens du toucher continue de travailler sur la création d’interfaces robotiques pour améliorer l’haptique dans la RV. « Je voulais avoir une meilleure compréhension du toucher. Ce sens est super complexe, il donne énormément d’informations. Mais il n’est pas dominant par rapport à la vue. On contrôle l’environnement par la vision », note Elodie Bouzbib.
Si pour l’instant, CoVR se destine à des salles d’arcade ou à des industriels pour l’apprentissage et le transfert de compétences, la technologie mise au point pourrait ouvrir le champ des possibles. Gilles Bailly évoque la multiplication des robots dans l’arène pour proposer un aspect collaboratif, ou encore « plein de petits robots, avec des propriétés différentes et voir comment ils pourraient coopérer ensemble ». Le développement de l’haptique pourrait à terme permettre certaines prouesses. Elodie Bouzbib s’interroge : « La recherche pourrait-elle réussir à simuler le toucher si on a des prothèses ? ». Touchons du bois.