RecherchearXiv cs.RO 23 septembre 2026

VisForce : ancrage visuel des forces actuelles et souhaitées pour la manipulation dextérique orientée objectif

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent VisForce, une méthode qui ancre visuellement les forces de contact, actuelles et désirées, directement sur les positions des doigts d'une main robotique pour des modèles Vision-Language-Action (VLA) appliqués à la manipulation dextre. Plutôt que de fournir la force comme un vecteur d'état séparé, comme le font la plupart des architectures VLA actuelles, VisForce superpose des indices visuels de force sur l'image du poignet en temps réel et sur une image objectif propre à la tâche, puis fusionne ces deux flux via un mécanisme d'attention croisée conditionnée par objectif pour produire des actions tenant compte de la force. La méthode a été testée sur un robot réel UR10 équipé d'une main dextre RH56F1, à travers une tâche de préhension conditionnée par la force et trois tâches de manipulation multi-étapes. Lors des essais de préhension, le système a montré une réponse de force proportionnelle à la force désirée, avec des taux de réussite de saisie-et-levage de 70% pour un œuf et 80% pour un tube de dentifrice. Sur les tâches multi-étapes, les taux de réussite finaux atteignent 70% pour l'insertion d'une tasse et le versement d'une bouteille, 55% pour le transfert de pain à l'aide de pinces, et 40% pour une insertion de cheville avec gestion du glissement. L'article, publié en préimpression sur arXiv (référence 2609.25785), reste un résultat expérimental en environnement contrôlé, sans indication de laboratoire d'origine ni de volume de déploiement.

Ce travail cible une limite concrète des modèles VLA appliqués à la manipulation dextre: la force de contact, essentielle pour saisir un objet fragile ou verser un liquide sans le renverser, est aujourd'hui traitée comme une donnée numérique déconnectée de l'image, ce qui complique l'apprentissage d'une correspondance spatiale entre où toucher et avec quelle force. En rendant la force visible et localisée sur l'image, VisForce permet au modèle de traiter force et vision dans un même espace de représentation, une piste qui pourrait intéresser les intégrateurs travaillant sur la préhension d'objets déformables ou fragiles, en logistique, agroalimentaire ou pharmaceutique. L'écart de performance entre tâches, de 80% pour une saisie simple à 40% pour un assemblage nécessitant une gestion fine du glissement, rappelle aussi que la manipulation dextre conditionnée par VLA progresse mais reste loin d'une fiabilité industrielle sur les tâches de contact complexes.

Cette contribution s'inscrit dans le courant de recherche VLA qui cherche à faire piloter bras et mains robotiques par des politiques génératives entraînées sur vision et langage, mais qui traitent généralement les capteurs de force comme une modalité annexe plutôt qu'un signal ancré spatialement dans l'image. VisForce ne revendique aucun déploiement ni partenariat industriel: il s'agit d'une preuve de concept académique, validée sur un seul bras UR10 et une seule main dextre commerciale, sans comparaison chiffrée rapportée face à d'autres méthodes de conditionnement par la force. Les auteurs présentent ces résultats comme une validation de principe, sans calendrier annoncé pour une généralisation à d'autres mains robotiques ou d'autres tâches.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Fly-by-Code : des agents de code incarnés pour la manipulation aérienne, avec retour visuel actif et retour physique

Des chercheurs proposent Fly-by-Code, un cadre où des agents de codage incarnés pilotent un manipulateur aérien (un drone équipé d'un bras) en générant des programmes exécutables à partir d'instructions en langage naturel, puis en les corrigeant à partir du retour d'exécution. Le travail, publié sur arXiv (2610.12549), introduit un mécanisme appelé Active Feedback (AF), fondé sur le principe « View and Probe ». Quand le retour d'exécution laisse des questions ouvertes, l'agent synthétise un programme de diagnostic distinct, exécuté en simulation. Ce programme peut soit inspecter depuis des points de vue informatifs des résultats que le robot n'a pas vus (View), soit tester des hypothèses sur les causes d'un échec par des interactions physiques ciblées (Probe). Sur six tâches de manipulation aérienne simulées, avec 60 essais par condition, AF fait passer les fausses déclarations de réussite de 25 à 5 et le taux de succès final de 31,7 % à 75 %. La comparaison se fait avec un retour terminal simple, à configuration d'agent et limite d'exécution identiques. Les programmes affinés en simulation tournent ensuite sur un manipulateur aérien physique, via des API robot partagées et sans modification du code source. Ils accomplissent des tâches de manipulation en plusieurs étapes en conditions réelles. L'intérêt tient à l'hypothèse que le travail remet en cause. Les boucles d'agents de codage supposent que le retour d'exécution dit si la tâche a réussi et, en cas d'échec, indique comment corriger le programme. En aérien, cette hypothèse ne tient pas. Les contraintes de charge utile limitent les caméras embarquées, si bien que des résultats décisifs restent hors champ (observabilité partielle). Le fort couplage dynamique et les faibles marges de contrôle rendent les interactions fragiles, et plusieurs causes d'échec produisent les mêmes symptômes. Relire le même retour ne récupère donc ni des observations jamais capturées, ni une distinction entre causes. Le point le plus parlant est la réduction des fausses déclarations de réussite : un agent qui annonce avoir fini sans l'avoir fait est le principal danger d'un déploiement autonome. Pour les intégrateurs, le message est que la fiabilité vient moins d'un meilleur modèle de langage que d'une instrumentation active du diagnostic. Il faut toutefois nuancer : les chiffres viennent de simulation, six tâches seulement, et la démonstration réelle reste qualitative, sans taux de succès publié sur matériel. Le transfert sans modification du code est encourageant, mais ne vaut pas validation en production. Ce travail s'inscrit dans la montée des agents de codage embarqués, qui génèrent des politiques sous forme de programmes plutôt que d'entraîner des politiques neuronales de bout en bout, comme le font les approches VLA. L'aérien est un cas limite, car la charge utile impose des capteurs réduits et la physique pardonne peu. Le résumé ne cite ni modèle de langage, ni plateforme précise, ni calendrier de pilotes. Il s'agit d'une préversion de recherche (v1), sans produit ni déploiement industriel annoncé. La suite logique est une évaluation plus large sur matériel, avec des mesures chiffrées en conditions réelles, et l'application de la même logique de diagnostic exécutable à d'autres robots à capteurs contraints.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

CARD : ancrage sur les contacts pour le retargeting en manipulation dextérique

Des chercheurs proposent CARD (Contact-Anchored Retargeting for Dexterous Manipulation), un cadre logiciel qui transfère des démonstrations humaines vers des mains robotiques en conservant les forces de contact visées, et pas seulement la cinématique des doigts. Le système fonctionne sans simulateur ni modèle d'objet. Il unifie trois sources de données, la vidéo, la capture de mouvement et les gants tactiles, via une représentation commune main-contact, et produit des cibles de force explicites en plus des trajectoires articulaires. Pour rejouer ces forces en boucle ouverte sur du matériel réel, les auteurs ajoutent un contrôleur de suivi tactile. Pour la vidéo, qui ne contient aucune mesure tactile, ils introduisent Vid-HACO, un modèle d'estimation des contacts à partir d'images, présenté comme l'état de l'art. Sur les données vidéo, gants, capture de mouvement et le jeu GRAB, CARD maintient le contact sur 43 à 78 % des images où un contact existe. Les méthodes purement cinématiques tombent sous 10 %, et les méthodes qui exploitent un modèle d'objet atteignent 22,5 %. Intégrée à un retargeting basé sur la physique, la formulation fait passer le taux de réussite strict de 12 % à 32 % sur GRAB. L'enjeu est la qualité des données d'entraînement pour la manipulation dextre. La téléopération, l'enseignement cinesthésique et les exosquelettes obligent l'opérateur à agir à travers le corps du robot, ce qui bride son habileté et plafonne la qualité des démonstrations collectées. Le retargeting depuis des mains nues lève ce goulot, mais les approches actuelles perdent l'information qui décide de la réussite d'une saisie ou d'une insertion, à savoir l'intensité et la localisation des appuis. Si ces résultats se confirment, la vidéo humaine, abondante et peu coûteuse, deviendrait une source exploitable pour des politiques de type VLA (vision-langage-action) sur mains à plusieurs doigts. Les intégrateurs y gagneraient une voie de collecte moins dépendante de parcs de téléopération. Les chiffres appellent toutefois de la prudence. Un contact maintenu sur 43 à 78 % des images reste loin d'une fiabilité industrielle. Un taux de réussite strict de 32 % sur un benchmark académique, même multiplié par plus de deux, ne dit rien d'une cadence de production. La validation matérielle repose sur un rejeu en boucle ouverte de démonstrations, et non sur une politique apprise tournant en autonomie. Ce travail s'inscrit dans la course aux données pour mains dextres, où cohabitent la téléopération à grande échelle, les gants instrumentés et l'apprentissage depuis la vidéo humaine, que poursuivent notamment les équipes humanoïdes et les laboratoires académiques. Le point de départ de CARD est que la plupart des méthodes de retargeting, cinématiques ou guidées par les objets, ignorent la dynamique de contact réelle. Il s'agit d'une prépublication arXiv, sans relecture par les pairs, sans produit ni calendrier de déploiement annoncés, et sans acteur industriel identifié. La suite logique serait de brancher CARD sur l'entraînement de politiques en boucle fermée, de tester des mains et des capteurs tactiles plus variés, et de mesurer la robustesse de Vid-HACO sur des vidéos non contrôlées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

DexTacWAM : un modèle visuo-tactile du monde et de l'action pour la manipulation dextérique

Un article déposé sur arXiv en septembre 2026 (arXiv:2609.24976v1) présente DexTacWAM, un World-Action Model (WAM) visuo-tactile pour la manipulation dextre, qui encode indépendamment chaque bout de doigt et injecte l'information tactile, via un compresseur sensible au doigt et à sa pose, dans un modèle du monde fondé sur la diffusion vidéo. Testé sur six tâches de manipulation à fort contact sur une plateforme bimanuelle à 22 degrés de liberté, DexTacWAM obtient le meilleur score sur toutes, avec une moyenne de 70,6 points contre 38,0 pour le meilleur système de référence, sur une échelle non précisée par les auteurs. Une étude d'ablation montre que retirer la modélisation tactile du monde, tout en gardant les mêmes caractéristiques tactiles et le même module d'action, fait chuter la moyenne sur quatre tâches de 74,7 à 26,6 points. Avec un encodeur vidéo pré-entraîné gelé, quatre heures d'adaptation de l'encodeur tactile et une centaine de démonstrations par tâche suffisent pour une qualité de prédiction visuelle à moins de 0,5 dB du niveau purement visuel, un rappel de contact conservé à 89,4% après compression, un entraînement 2,26 fois plus rapide et une inférence 1,29 fois plus rapide. Ce résultat cible une limite connue des WAM actuels, généralement centrés sur la vision et donc incapables de modéliser directement la dynamique de contact, pourtant déterminante en manipulation fine. L'étude montre que le gain provient surtout du fait de traiter l'évolution du contact comme une composante de l'état du monde prédit, plutôt que d'un simple conditionnement des actions sur des données tactiles. Pour les intégrateurs et les équipes de recherche en robotique dextre, l'intérêt pratique tient à l'efficacité: étendre un grand modèle vidéo déjà entraîné au sens du toucher avec un budget de données et de calcul réduit, sans tout ré-entraîner. Le travail s'inscrit dans la lignée des World-Action Models, qui couplent modélisation vidéo prédictive et génération d'action pour anticiper les effets des mouvements d'un robot, jusqu'ici presque exclusivement visuels. Il s'agit à ce stade d'un article de recherche, sans identification des auteurs ni annonce de partenariat industriel, de plateforme commerciale ou de calendrier de déploiement. La suite logique, non détaillée dans l'article, consisterait à valider l'approche sur davantage de tâches et de plateformes, voire sur des mains dextres commerciales, avant toute intégration dans des systèmes de manipulation opérationnels.

RechercheActu

1 source

4arXiv cs.RO

ReForce : apprentissage du retargeting sensible à la force pour la manipulation dextérique

Une équipe de recherche a publié le 18 août 2026 sur arXiv (référence 2608.15560v1) une méthode baptisée ReForce, conçue pour la manipulation dextre par robot à partir de démonstrations humaines. Le problème visé est le suivant: les pipelines de retargeting (transfert des mouvements humains vers un bras ou une main robotique) restent aujourd'hui essentiellement cinématiques, c'est-à-dire qu'ils copient les trajectoires et postures sans tenir compte des forces de contact, alors que ce sont ces forces qui déterminent la réussite ou l'échec d'une prise en main. ReForce ajoute un résidu de force au-dessus du mouvement retargeté classiquement, calculé par un "force tracker" générique entraîné sur un grand volume d'interactions simulées. La méthode fonctionne en deux modes: téléopération en ligne avec retour de force, et traduction hors ligne de jeux de données de démonstration déjà enregistrés. Les tests, menés à la fois en simulation et sur du matériel réel, portent sur des tâches réputées difficiles car riches en contacts fins: la saisie d'un gobelet en papier et la manipulation de pinces (tongs). Les auteurs rapportent une erreur de suivi de force réduite et un engagement multi-doigts plus stable que les approches purement cinématiques. Pour l'industrie robotique, l'enjeu dépasse le simple gain de précision: la collecte de démonstrations humaines à grande échelle est devenue le principal levier pour entraîner des politiques de manipulation dextre, y compris pour les modèles vision-langage-action. Si le retargeting cinématique ignore la force, les données transmises aux modèles encodent des gestes visuellement corrects mais mécaniquement approximatifs, ce qui explique en partie pourquoi certaines démonstrations impressionnantes en vidéo échouent lors d'un déploiement réel sur objets fragiles, déformables ou glissants. En introduisant un modèle de force générique et transférable, ReForce propose une brique technique susceptible d'améliorer la qualité des jeux de données de téléopération en amont, plutôt que de complexifier uniquement le modèle final. Il s'agit d'une contribution académique en preprint, sans entreprise ni produit commercial associé, à distinguer des annonces de Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix), qui portent sur des modèles de bout en bout déployés ou pilotés en conditions réelles. ReForce se positionne en amont de ces systèmes, sur la brique de collecte et de conversion de données de démonstration. L'abstract ne mentionne ni publication de code, ni jeu de données ouvert, ni calendrier de déploiement industriel: les deux tâches testées, prise de gobelet et manipulation de pinces, servent de preuve de concept plutôt que de benchmark étendu, la validation à plus grande échelle restant à faire.

RecherchePaper

1 source