Extension de la segmentation des affordances pour robots portables aux images multi-objets

Des chercheurs proposent, dans une prépublication arXiv (2610.29474), une amélioration des pipelines de vision embarquée qui identifient les parties saisissables d'un objet pour les prothèses de membre supérieur. Ces systèmes servent à sélectionner automatiquement la prise et à préformer la main avant le contact. La modification matérielle est minime: un pointeur laser s'ajoute au dispositif porté par l'utilisateur et sert à désigner l'objet visé parmi plusieurs. Les réseaux de neurones convolutifs de segmentation d'affordances sont réentraînés en conséquence. Pour produire les données d'entraînement, une stratégie de réalité mixte réutilise des masques de segmentation de haute qualité déjà disponibles et génère des images réalistes de façon procédurale. Les auteurs annoncent une précision de désambiguïsation de la cible améliorée jusqu'à 9 % par rapport aux solutions existantes, à coût de calcul équivalent. Il s'agit de résultats expérimentaux de laboratoire, sans déploiement ni produit commercialisé.

Le point d'intérêt tient au verrou que le travail vise: les pipelines actuels fonctionnent surtout sur des scènes à objet unique, alors qu'une table réelle en contient plusieurs. Plutôt que d'alourdir les modèles, l'approche déplace l'ambiguïté vers l'utilisateur, qui désigne l'objet par un geste simple, ce qui garde l'inférence compatible avec l'électronique embarquée d'une prothèse. L'usage de données synthétiques à partir de masques existants limite aussi le coût d'annotation, un frein classique dans ce domaine. Il faut toutefois relativiser: le gain de 9 % est présenté « jusqu'à », sans précision dans le résumé sur les jeux de test, la référence de comparaison ou la variabilité d'une scène à l'autre. Un pointeur laser peut en outre poser problème en plein soleil, sur des surfaces brillantes ou transparentes, et ajoute une action à l'utilisateur, ce qui compte pour l'acceptation clinique.

Ce travail s'inscrit dans la ligne des prothèses à contrôle semi-autonome, où une caméra et un réseau de segmentation assistent le choix de la prise, afin de réduire la charge cognitive des amputés par rapport au contrôle myoélectrique seul. La scène à objets multiples reste le point faible de ces approches, et les auteurs y répondent par un ajustement pragmatique du capteur et des données plutôt que par un nouveau modèle. Les grands acteurs de la main prothétique, comme Ottobock, Össur ou Psyonic, intègrent progressivement ce type d'assistance, sans qu'aucun lien avec cette publication soit établi. Les prochaines étapes logiques seraient des essais avec des utilisateurs amputés, des tests hors laboratoire et une mesure du temps de sélection de bout en bout. Le résumé n'annonce ni calendrier ni partenaire industriel.