RecherchearXiv cs.RO 2 septembre 2026

Au-delà de la sélection d'objets : positionnement de robot par regard, sans marqueurs, à une position arbitraire

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente un système de manipulation robotique piloté par le regard capable de placer des objets à une position arbitraire, sans marqueurs physiques, en résolvant l'alignement spatial entre un casque de suivi oculaire et un robot. Décrit dans un article arXiv publié début septembre 2026 (arXiv:2609.00478v1), le travail s'attaque à un problème resté ouvert dans la manipulation assistée par regard : jusqu'ici, ces interfaces géraient bien la sélection d'objets mais peinaient à placer un objet n'importe où dans l'espace, faute d'un calibrage précis entre les coordonnées du casque et celles du robot. Les auteurs introduisent trois contributions : un cadre d'interaction sans marqueurs, un jeu de données dédié à l'alignement inter-appareils, une méthode de sélection de référence par graphe pour compenser le manque de repères visibles sur le robot, ainsi que plusieurs pipelines de calibrage testés selon un protocole commun.

L'apport le plus notable est conceptuel autant que technique : les chercheurs montrent que la précision de pose classique (erreur de position et d'orientation du capteur) ne prédit pas fiablement la précision de la tâche réelle, car les erreurs de translation et de rotation peuvent se compenser mutuellement dans le rayon de regard projeté. Pour objectiver ce constat, ils proposent une nouvelle métrique, la Gaze-Surface Intersection Error (GSIE), qui mesure directement l'écart spatial entre le point visé par le regard et la cible réelle sur la surface. Résultat contre-intuitif pour le secteur : des méthodes d'alignement classées en tête par les métriques de pose usuelles ne sont pas nécessairement les meilleures une fois évaluées à l'échelle de la tâche via GSIE. Pour les concepteurs d'interfaces d'assistance et de téléopération, cela suggère qu'évaluer un système par la seule précision géométrique du capteur peut induire en erreur sur ses performances effectives.

Ce travail s'inscrit dans le champ de la manipulation assistée par regard pour la robotique d'assistance, où la fusion eye-tracking et cinématique robotique reste un défi d'ingénierie ouvert, en particulier pour les utilisateurs à mobilité réduite dépendant de bras robotiques. L'article ne précise pas de plateforme matérielle ni de partenaire industriel identifié ; il se présente comme une contribution méthodologique et un protocole d'évaluation, avec dataset et framework mis à disposition, plutôt que comme un système prêt au déploiement.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

D'observateur passif à critique actif : l'apprentissage par renforcement révèle un raisonnement de processus pour la manipulation robotique

Une équipe de recherche propose PRIMO R1 (Process Reasoning Induced Monitoring), un framework de 7 milliards de paramètres qui transforme les modèles vidéo multimodaux (MLLM) en "critiques" actifs capables d'évaluer la progression d'une tâche de manipulation robotique, plutôt qu'en simples "observateurs" qui se contentent de reconnaître les actions en cours. La méthode s'appuie sur de l'apprentissage par renforcement basé sur le résultat final pour inciter le modèle à générer un raisonnement explicite en chaîne de pensée (chain-of-thought) lors de l'estimation de la progression. L'architecture ancre la séquence vidéo entre une image de l'état initial et une image de l'état courant, une construction temporelle structurée soutenue par un nouveau jeu de données et benchmark, le PRIMO Dataset. Les résultats annoncés sont significatifs : une réduction de 50% de l'erreur absolue moyenne par rapport aux meilleures références spécialisées, des gains face à des MLLM généralistes de 72 milliards de paramètres malgré une taille dix fois inférieure, et 67,0% de précision sur le benchmark RoboFail, dépassant le modèle o1 d'OpenAI de 6 points. Cette avancée cible un vrai point de friction du secteur : pour les tâches de manipulation longues, les robots doivent non seulement reconnaître ce qu'ils font, mais estimer où ils en sont par rapport à l'objectif final, une capacité clé pour la détection autonome d'échecs sans supervision humaine. Qu'un modèle de 7B batte des systèmes bien plus lourds, y compris o1, sur ce type de raisonnement suggère que le renforcement orienté résultat peut compenser la taille, un argument important pour un déploiement embarqué sur des robots humanoïdes où latence et coût de calcul comptent. Le travail s'inscrit dans la vague de modèles de raisonnement entraînés par RL appliquée spécifiquement à la robotique, avec des tests validés aussi bien en environnements simulés qu'en scénarios réels sur humanoïdes. Il s'agit à ce stade d'une publication de recherche (preprint arXiv, version révisée) accompagnée d'un dataset et d'un benchmark ouverts, pas d'un produit déployé, mais elle pose une référence explicite face aux modèles généralistes et aux systèmes propriétaires comme o1 sur la détection d'échec robotique.

RecherchePaper

1 source

2arXiv cs.RO

Reconstruction de robots à structure continue par recalage de forme sans marqueurs à partir d'images, via un modèle cinématique

Un algorithme de reconstruction de forme pour robots continus, décrit dans une version mise à jour d'un article déposé sur arXiv (arXiv:2405.15336v2), reconstruit la courbe tridimensionnelle du squelette de ces manipulateurs souples directement à partir d'images, sans marqueurs physiques. La méthode ajuste une courbe paramétrique aux pixels du robot détectés dans un pipeline photogrammétrique classique, sans connaître a priori sa position dans l'image. Sur la majorité des configurations testées, l'écart entre la reconstruction et la vérité terrain reste inférieur à 1 mm, soit 0,67% de la longueur du robot. Sur des robots continus réels à tubes concentriques, les résultats concordent avec dix mesures manuelles de référence prises sur 18 configurations différentes, et le pipeline automatisé traite chaque configuration en environ 0,5 seconde. Cette avancée cible un problème concret pour les concepteurs de robots continus, utilisés en aérospatiale, en inspection industrielle et en chirurgie mini-invasive: les modèles physiques seuls prédisent mal la déformation réelle du squelette, ce qui oblige à mesurer précisément la forme obtenue pour valider ces modèles et constituer des jeux de données de référence. Remplacer une procédure manuelle et lente par un pipeline automatisé de l'ordre de la demi-seconde par configuration accélère significativement les cycles de validation en laboratoire, sans nécessiter de marqueurs qui seraient difficiles à poser ou à observer dans des espaces confinés et courbes, typiques de ces applications. Il s'agit toutefois d'un résultat de recherche mesuré en conditions contrôlées, pas d'un produit commercial déployé. Les robots continus, structures fines et flexibles inspirées des tentacules ou des trompes, gagnent du terrain face aux manipulateurs rigides classiques précisément parce qu'ils naviguent dans des environnements encombrés inaccessibles autrement, notamment via des robots à tubes concentriques insérés par de petites incisions en chirurgie. Les approches historiques de mesure de forme reposent sur des capteurs embarqués, des fibres optiques ou un suivi manuel par marqueurs, chacune avec ses limites de coût, d'encombrement ou d'occlusion. Publié sans affiliation industrielle ni site de déploiement mentionnés, ce travail s'adresse aux laboratoires de robotique et de dispositifs médicaux en quête d'outils de validation plus rapides, sans annonce de pilote ni de calendrier de transfert vers l'industrie.

RecherchePaper

1 source

3arXiv cs.RO

Une théorie généralisée de la répartition de charge dans les systèmes robotiques à actionnement redondant

Un article publié sur arXiv (référence 2603.11431v2, version corrigée d'une soumission antérieure) présente une théorie généralisée de la distribution des charges dans les corps rigides manipulés par des systèmes robotiques à actionnement redondant, composés de plusieurs chaînes cinématiques fermées indépendantes, comme une main multidoigts, des robots à pattes ou des bras coopérants tenant un même objet. Les auteurs caractérisent l'ensemble complet des distributions de torseurs (forces et moments) compatibles avec un torseur résultant donné appliqué au corps rigide, et dérivent des solutions explicites aux problèmes de synthèse et d'analyse de torseurs, calculables directement sans méthode numérique itérative ni inversion de grandes matrices, avec un coût de calcul croissant linéairement selon le nombre de torseurs appliqués. Ils relèvent aussi des lacunes dans les approches actuelles de l'état de l'art et proposent des corrections, appuyées par des exemples illustratifs et une simulation. Cette théorie concerne directement le contrôle de force des mains robotiques multidoigts, des robots à pattes, des robots coopérants manipulant une charge commune, et plus largement tout mécanisme surcontraint où le nombre de points de contact ou d'actionneurs dépasse ce qui est strictement nécessaire, rendant la répartition des efforts mathématiquement indéterminée sans hypothèses supplémentaires, un problème classique et non trivial en robotique. Une solution explicite et peu coûteuse en calcul ouvre la voie à un contrôle en temps réel plus robuste pour la préhension complexe, la locomotion des robots à pattes et la manipulation coopérative entre bras, des briques utiles pour les intégrateurs déployant des systèmes de préhension ou des flottes collaboratives. Le constat des auteurs, selon lequel des méthodes de référence actuelles comportent des erreurs, suggère que certaines stratégies de contrôle de force déjà en usage dans l'industrie reposent sur des hypothèses de répartition de charge incorrectes. Il s'agit d'une publication académique sur arXiv, sans entreprise, produit ni déploiement associé, ce qui la distingue nettement des annonces commerciales du secteur robotique. La répartition des efforts dans les systèmes surcontraints est étudiée depuis des décennies en robotique, notamment pour la préhension multidoigt et les robots parallèles, mais généralement traitée au cas par cas selon le type de mécanisme. Les auteurs positionnent leur travail comme une généralisation unifiée couvrant à la fois les mains robotiques, les robots à pattes et les systèmes multi-robots coopérants, plutôt qu'une solution propre à une seule catégorie. Cette version 2 de l'article suggère une itération après retours de la communauté scientifique, mais aucune validation expérimentale sur robot physique au-delà de la simulation n'est mentionnée à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

RGB-D pour l'amélioration de la prédiction dans la transmission d'objets humain-robot

L'équipe à l'origine de l'article publié sur arXiv le 13 août 2026 (arXiv:2608.13028v1) présente Hand2Bot, un jeu de données vidéo RGB-D dédié aux transferts d'objets humain-robot, ainsi que PassGen, un pipeline génératif associé. Hand2Bot capture des scénarios de passation d'objets avec des informations contextuelles riches, posture corporelle et expressions faciales incluses, dans des conditions de bruit capteur réalistes. PassGen s'appuie sur la diffusion vidéo stable (stable vidéo diffusion) combinée à un module appelé Intention-Aware Temporal Face Encoder pour générer des séquences de passation synthétiques cohérentes entre la main et l'objet manipulé. Pour réduire l'écart entre simulation et réel, les chercheurs ont développé une stratégie d'édition de profondeur basée sur la morphologie, qui reproduit le bruit typique des capteurs de profondeur physiques. Les évaluations, menées en étude d'ablation puis en déploiement réel sur une plateforme robotique physique, montrent une forte précision d'identification de l'intention de passation et un faible taux de déclenchements erronés. Cette avancée cible un verrou concret de la robotique collaborative : la rareté des jeux de données humains à grande échelle pour l'interaction homme-robot, combinée au fossé persistant entre modèles entraînés en simulation et comportements observés sur robot réel. En démontrant qu'un entraînement sur données synthétiques générées par PassGen permet un transfert zero-shot robuste et une anticipation plus précoce de l'intention de passation que les approches classiques centrées sur la main, les auteurs apportent une preuve empirique que la génération vidéo synthétique peut compenser le manque de données réelles annotées, un problème central pour tout intégrateur travaillant sur des tâches de manipulation collaborative en espace partagé. Le travail s'inscrit dans la lignée des recherches sur la perception d'intention en robotique de collaboration, où les méthodes existantes se limitaient largement à des indices centrés sur la main, sans exploiter le langage corporel ou les expressions faciales du partenaire humain. En intégrant ces signaux sociaux dans le pipeline génératif et en validant l'approche par un déploiement réel plutôt qu'en simulation seule, les auteurs positionnent Hand2Bot et PassGen comme une brique méthodologique reproductible pour la perception sociale robotique, sans toutefois préciser de partenaires industriels, de calendrier de diffusion du jeu de données ou de plans de commercialisation à ce stade.

RecherchePaper

1 source