Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Sketch-MoMa : téléopération d'un manipulateur mobile par interprétation de croquis dessinés à la main

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente Sketch-MoMa, un système de téléopération pour manipulateur mobile (base mobile portant un bras) piloté par des croquis dessinés à la main. L'utilisateur trace ses instructions directement sur l'image de la caméra du robot, depuis un appareil 2D courant comme une tablette ou un écran tactile. Un modèle vision-langage (VLM) interprète le croquis superposé à l'image, identifie la forme dessinée (cinq formes de croquis ont été testées) et en déduit des tâches de bas niveau pour le robot. Le croquis et la forme inférée servent ensuite à la reconnaissance de la scène et à la planification de mouvement. Les auteurs ont évalué l'approche avec des VLM de pointe sur 7 tâches et montrent qu'elle permet de préciser des mouvements fins, comme la manière de saisir un objet ou l'angle de rotation à appliquer. Une étude utilisateur auprès de 14 participants conclut à une utilisabilité comparable à celle d'une interface 2D existante. Il s'agit d'un travail académique publié sur arXiv (quatrième version du préprint), sans produit commercialisé ni déploiement en conditions réelles.

L'intérêt porte sur un verrou précis de la téléopération assistive : un même croquis peut avoir des significations différentes selon la scène. Les travaux antérieurs compensaient en ajoutant des modalités (menus, commandes vocales, sélection d'actions), ce qui alourdit l'usage. Ici, le VLM lève l'ambiguïté à partir du contexte visuel, ce qui simplifie l'interface. Pour les intégrateurs de robots de service ou d'assistance, cela suggère qu'un opérateur non expert pourrait piloter un robot à distance avec du matériel ordinaire. Les résultats restent à relativiser : seulement 7 tâches, 14 utilisateurs, et « utilisabilité comparable » ne signifie pas supérieure. Les taux d'échec des VLM et la latence d'inférence, déterminants en usage réel, ne sont pas détaillés dans le résumé.

Ce travail s'inscrit dans la tendance qui utilise les VLM comme couche d'interprétation entre l'humain et le robot, en parallèle des modèles vision-langage-action (VLA) qui génèrent directement les actions à partir du langage. L'approche par croquis se distingue par son contrôle spatial explicite, là où les instructions purement textuelles restent imprécises sur la géométrie. Les prochaines étapes probables seraient des tests sur davantage de tâches et de robots, avec des utilisateurs en situation d'assistance, ainsi que l'évaluation de la robustesse face à des croquis imprécis.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Un cadre de téléopération bilatérale pour la manipulation dextérique
1arXiv cs.RO 

Un cadre de téléopération bilatérale pour la manipulation dextérique

Une équipe de chercheurs publie, dans un preprint arXiv déposé en juin 2026 (arXiv:2606.15434), un système modulaire de téleopération bilatérale conçu pour la manipulation dextre en environnements réels à fort contact. L'architecture proposée couple une interface côté opérateur à un bras robotique compliant et à une main mécanique dextre côté robot, dans une boucle de contrôle unifiée. Quatre fonctionnalités centrales sont documentées : le retargeting de posture de main par positions (adaptation des commandes d'une main humaine vers une main robotique de morphologie différente), la commande différentielle du bras, le retour haptique multi-échelle, et un mécanisme de contrôle partagé pour stabiliser les phases de manipulation en contact. Le framework est validé sur une tâche réelle de manipulation dextre, sans que les métriques de performance - latence, temps de cycle, taux de succès - ne soient communiquées dans le résumé public disponible. L'intérêt principal de ce travail pour les équipes de recherche et les intégrateurs ne réside pas dans les performances brutes du système de téleopération lui-même, mais dans sa vocation déclarée de plateforme de collecte de démonstrations haute qualité pour l'apprentissage par imitation (learning from demonstration). À l'heure où les architectures VLA (Vision-Language-Action) - comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA - exigent des datasets massifs de trajectoires expertes en manipulation fine, la qualité du pipeline de collecte devient un goulot d'étranglement critique. Les auteurs identifient aussi trois problèmes de conception restant ouverts : le mismatch cross-embodiment (écart morphologique entre la main de l'opérateur et celle du robot), la granularité du retour haptique, et le dosage optimal du contrôle partagé. Ce framework s'inscrit dans une tendance de fond visant à standardiser l'infrastructure de collecte de données téléopérées, dans la lignée du système ALOHA de Stanford ou de la plateforme UMI. Les acteurs européens comme Enchanted Tools (France) ou les équipes robotique de l'INRIA travaillent sur des problématiques similaires de couplage haptique et de retargeting pour la manipulation fine. Ce preprint ne présente pas de chiffres de déploiement ni de partenariats industriels annoncés : il s'agit d'une contribution académique amont, dont la suite logique serait la publication d'un dataset de démonstrations et de benchmarks comparatifs sur des tâches de manipulation standardisées.

UELes équipes françaises (Enchanted Tools, INRIA) travaillent sur des problématiques similaires de couplage haptique et de retargeting, ce framework pourrait alimenter leurs pipelines de collecte de démonstrations pour entraîner des modèles VLA.

RecherchePaper
1 source
M3-Tele : un cadre unifié de téléopération multimodale pour la manipulation mobile souple du corps entier
2arXiv cs.RO 

M3-Tele : un cadre unifié de téléopération multimodale pour la manipulation mobile souple du corps entier

Des chercheurs présentent M3-Tele, un framework unifié de téléopération multimodale conçu pour la manipulation mobile à corps entier avec conformité physique, décrit dans un article déposé sur arXiv (identifiant 2609.07859, version 2, publiée en tant que remplacement d'une version antérieure). Le système capture simultanément des observations visuelles, tactiles, de force et proprioceptives alignées pendant l'exécution de tâches à fort contact physique. Les expériences rapportées montrent que le contrôleur proposé réduit l'erreur de suivi de force de 4,132 N à 0,346 N, fait chuter les pertes de contact de 2,46 à 0,02 événement par essai, et diminue l'erreur de déformation tactile de 65 %. Des études utilisateurs menées sur quatre tâches de manipulation mobile ont également été conduites pour évaluer la fiabilité et l'ergonomie du système. Des expériences complémentaires avec une politique de diffusion (Diffusion Policy) ont par ailleurs été réalisées pour tester la valeur ajoutée du couplage entre détection tactile et détection de force. Ces résultats s'adressent directement à un problème connu dans la robotique de manipulation par apprentissage : la qualité des démonstrations collectées par téléopération conditionne directement la performance des politiques entraînées en aval. Les frameworks de téléopération existants négligent souvent l'articulation conjointe entre perception multimodale et coordination du corps entier, ce qui dégrade la richesse et la fiabilité des données de contact recueillies. En démontrant qu'une meilleure régulation de la conformité physique et de la coordination multimodale améliore mesurablement le suivi de force et réduit les pertes de contact, l'étude apporte un argument concret en faveur de pipelines de collecte de données plus rigoureux avant l'entraînement de politiques, un enjeu central pour les équipes qui développent des politiques de manipulation apprises par imitation pour des tâches industrielles à fort contact. Le travail s'inscrit dans un contexte de recherche où l'apprentissage de politiques par imitation, via des approches comme Diffusion Policy, dépend de plus en plus de la qualité des démonstrations humaines télé-opérées plutôt que de la seule quantité. Il ne s'agit pas d'un produit commercial ni d'un déploiement industriel, mais d'une contribution méthodologique testée en conditions expérimentales contrôlées, avec des utilisateurs humains évaluant le système sur des tâches définies en laboratoire. Le fait qu'il s'agisse d'une version 2 d'un article déjà soumis suggère une itération après retours, sans que les auteurs, l'institution ou une feuille de route de déploiement ne soient précisés dans le résumé disponible.

RecherchePaper
1 source
Préserver l'intention de l'opérateur malgré les contraintes d'actionnement : téléopération de manipulateurs à transmissions couplées
3arXiv cs.RO 

Préserver l'intention de l'opérateur malgré les contraintes d'actionnement : téléopération de manipulateurs à transmissions couplées

Une équipe de chercheurs, dont l'identité n'est pas précisée dans le résumé, publie sur arXiv une méthode de téléopération maître-esclave conçue pour des manipulateurs dont les poignets reposent sur des transmissions différentielles couplées. Le système modélise ensemble la compensation de gravité du bras maître, la correspondance articulaire entre maître et esclave, et la commande du poignet différentiel de l'esclave. Quand un moteur sature, la saturation est appliquée de façon coordonnée dans l'espace moteur, en fonction de la marge de gravité disponible. La méthode ajoute un déroulement continu des angles (angle unwrapping), une surveillance de l'état de retour et une mise à jour des références jusqu'à ce qu'elles redeviennent réalisables. Des essais sur robot réel donnent des trajectoires de poignet plus lisses et une reprise plus continue qu'avec une correspondance directe. Le résumé ne donne ni chiffres, ni charge utile, ni nombre de DOF, ni temps de cycle, ni plateforme précise. Le problème traité est concret. Dans un poignet différentiel, le tangage (pitch) et le roulis (roll) sont produits par deux moteurs couplés. Si chaque moteur sature indépendamment, le mouvement résultant dévie de ce que voulait l'opérateur, ce qui dégrade la coordination et la précision. Une correspondance fixe entre articulations réagit en outre mal aux changements brusques de suivi dus à la gravité et aux limites d'actionnement. Préserver la direction du mouvement plutôt que de seulement écrêter chaque axe est un gain d'usage pour les tâches de précision à distance. La robustesse aux brèves coupures de communication compte aussi pour les opérateurs de robots d'intervention. Reste à vérifier sur des protocoles plus larges: le résumé ne précise ni le nombre d'essais, ni les métriques, ni la comparaison avec d'autres approches que la correspondance directe. Ce travail s'inscrit dans le regain d'intérêt pour la téléopération, qui sert aussi à collecter des démonstrations pour entraîner des politiques d'imitation et des modèles vision-langage-action (VLA). Cette collecte exige des gestes propres et continus. Il s'agit d'un préprint non évalué par des pairs et sans annonce de déploiement ni de produit. Aucune suite n'est précisée, mais les prochaines étapes naturelles seraient des tests sur d'autres architectures de poignet, des mesures quantitatives et des comparaisons avec des méthodes existantes.

RecherchePaper
1 source
Téléopération bilatérale par ondes entre manipulateurs non linéaires avec retour direct de la force de contact
4arXiv cs.RO 

Téléopération bilatérale par ondes entre manipulateurs non linéaires avec retour direct de la force de contact

Des chercheurs ont publié le 21 août 2026 sur arXiv (référence 2608.20043v1) une étude sur la téléopération bilatérale entre manipulateurs robotiques non linéaires à plusieurs degrés de liberté (DOF), en présence de délais de communication constants. Contrairement aux architectures classiques à transformation d'ondes, qui transmettent une force de coordination entre les sites maître et esclave, les auteurs renvoient directement la force de contact mesurée côté distant vers l'opérateur, pour améliorer la transparence haptique de la téléopération. Ce retour de force direct pouvant déstabiliser la boucle fermée, l'équipe caractérise d'abord le déficit de passivité du système distant, modélisé selon le formalisme Euler-Lagrange, via une approche par inégalité matricielle linéaire (LMI). Une loi de communication sur-strictement passive compense ensuite ce déficit calculé, ce qui garantit, sous conditions appropriées, la stabilité de la boucle sous délai ainsi que la synchronisation en position et en force. La méthode est validée par simulation sur des manipulateurs non linéaires à 2 DOF, dans plusieurs configurations. Ce travail s'attaque à un compromis central en téléopération à distance : la transparence, c'est-à-dire la fidélité du ressenti des forces de l'environnement pour l'opérateur, se dégrade généralement dès que les délais augmentent, sur des liaisons satellite, sous-marines ou intercontinentales. Renvoyer la force de contact brute plutôt qu'une force de coordination indirecte vise un ressenti plus réaliste, un enjeu pour la chirurgie robotique à distance, la maintenance nucléaire, l'exploration spatiale ou sous-marine, et plus largement les bras téléopérés en environnement dangereux. Le résultat va à l'encontre de l'idée répandue selon laquelle le retour de force direct serait trop instable hors de systèmes linéaires simplifiés : la preuve formelle par LMI garantit la stabilité même pour des manipulateurs non linéaires multi-DOF sous délai constant. Pour les chercheurs en contrôle, il s'agit toutefois d'une contribution théorique, validée en simulation sur seulement 2 DOF, loin des bras industriels à 6 ou 7 DOF utilisés en conditions réelles. Les architectures à variables d'onde, conçues historiquement pour garantir la passivité des systèmes téléopérés sous délai, transmettent traditionnellement des combinaisons de vitesse et de force plutôt que la force de contact brute, précisément parce que celle-ci est plus difficile à stabiliser. Cette étude prolonge la recherche en théorie de la passivité et en contrôle par LMI appliquée à la robotique, un champ actif face à la multiplication des usages de téléopération à latence variable. Les auteurs ne mentionnent aucun partenariat industriel ni déploiement pilote : la publication reste une contribution académique, fondée sur une preuve mathématique et des simulations numériques, sans validation sur matériel physique ni comparaison chiffrée avec les architectures à transformation d'ondes existantes. Les prochaines étapes attendues porteraient sur l'extension à des manipulateurs à plus haut nombre de DOF et sur des essais avec du matériel réel et des délais variables, avant toute adoption par des fabricants de bras téléopérés ou d'interfaces haptiques.

RecherchePaper
1 source