PhD defense: “Réalité Augmentée pour la chirurgie de l’épaule” (David BOAS)

Au vue des conditions sanitaires actuelles, le port du masque sera obligatoire, et une certaine distanciation appliquée. Du gel hydro-alcoolique, ainsi que quelques masques, seront mis à disposition. Un dispositif de visio-conférence sera également mis en place, qui utilisera Teams (ou jitsi si problèmes). Merci de prendre contact (david.boas@etu.univ-tours.fr) pour la participation physique ou à distance.

Résumé :  
Cette thèse présente de nouvelles méthodes pour l’usage de la réalité augmentée dans un contexte de chirurgie de l’épaule, à l’aide d’un couple de caméras couleur (RGB) et de profondeur (D). Son objectif consiste à guider le geste du chirurgien, par la visualisation de la pose de la prothèse établie en amont de l’opération, à travers un casque à réalité augmentée. À cette fin, ces travaux se concentrent sur deux problématiques scientifiques associées. Tout d’abord, la problématique de calibrage d’un couple de caméras RGB-D, nécessaire pour l’affichage en réalité augmentée, et pour l’utilisation conjointe des deux caméras. Notre contribution principale consiste en une nouvelle méthode de calibrage RGB-D complète, utilisant des sphères comme objets de référence. Notre méthode intègre tout d’abord deux nouvelles approches de détection et d’estimation des sphères par les deux caméras. Dans ce cadre, une nouvelle contrainte pour la détection de sphères par la caméra couleur est définie, par la connaissance a priori de son orientation. Enfin, notre méthode intègre au sein du calibrage des informations tridimensionnelles connues a priori, par la connaissance du rayon de la sphère, ainsi que des paramètres internes de la caméra couleur, permettant d’estimer la position d’une sphère à partir d’une unique image couleur. L’ensemble de ces contributions résulte en une amélioration importante des résultats d’estimation des paramètres de caméra, particulièrement dans le cas de données de profondeur fortement bruitées. La seconde problématique étudiée est celle du suivi de pose d’objets, nécessaire pour obtenir un affichage cohérent avec les mouvements de tête du chirurgien, et de l’épaule du patient. Nous proposons une nouvelle approche d’application du suivi, par l’apprentissage d’un modèle 3D reconstruit de l’objet à suivre. Des informations contextuelles de voisinage sont intégrées au modèle pour améliorer les performances de suivi. Les informations apprises sont ensuite utilisées pour suivre les variations de pose de l’objet. Une nouvelle stratégie d’apprentissage est ensuite utilisée, permettant d’offrir des résultats similaires à d’autres approches de l’état de l’art, pour un temps d’apprentissage significativement réduit. Ce résultat permet d’envisager son exécution sur un matériel de puissance modeste, et tout juste en amont de la phase de suivi. Pour chacune de ces contributions, des ensembles de données spécifiques ont été créés, et de nombreuses expérimentations ont permis de mettre en avant les apports de nos approches par rapport à d’autres approches de l’état de l’art. Bien que ces travaux se concentrent sur le contexte applicatif d’une chirurgie de l’épaule, les méthodes présentées sont suffisamment génériques pour envisager leur usage dans d’autres contextes. Ces travaux ont résulté en des librairies de calibrage et de suivi directement utilisables en entreprise. Ces outils ont pu être testés sur de véritables données médicales, et tracent la voie à une utilisation dans une véritable chirurgie.

Mots-clés : Vision par ordinateur,Réalité augmentée,Caméra RGB-D,Calibrage de caméra,Suivi de pose