Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
TAO-Force : unifier perception sensible à la force et contrôle rapide-lent pour la manipulation à contacts riches
RecherchearXiv cs.RO 

TAO-Force : unifier perception sensible à la force et contrôle rapide-lent pour la manipulation à contacts riches

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

TAO-Force, présenté dans un papier de recherche publié sur arXiv en septembre 2026 (arXiv:2609.18497v1), s'attaque aux limites des modèles Vision-Language-Action (VLA) pour la manipulation robotique riche en contact, comme l'insertion de pièces ou l'assemblage fin. Le système ajoute une perception sensible à la force via F-FiLM (Force-conditioned Feature-wise Linear Modulation), un module qui injecte un retour de force encodé dans les représentations d'un backbone vision-langage pré-entraîné et gelé, sans altérer ses connaissances sémantiques. Côté contrôle, une architecture "fast-slow" déclenchée par la détection de contact fait alterner une branche lente en position, qui suit la trajectoire nominale hors contact, et une branche rapide en admittance, qui régule l'interaction physique dès le contact. L'approche est validée par une tâche dédiée de perception de force et par des essais réels sur quatre tâches de manipulation riches en contact ; l'abstract ne précise ni taux de réussite chiffrés, ni plateforme robotique, ni affiliation des auteurs.

Le travail cible un angle mort documenté des VLA génériques actuels, de Pi-0 à Helix : leur perception, essentiellement visuelle, détecte mal l'amorce et l'intensité d'un contact, et leur exécution en boucle de position ne s'adapte pas en temps réel aux dynamiques de contact qui évoluent vite, ce qui cantonne ces modèles à la préhension grossière plutôt qu'aux gestes fins comme l'insertion de connecteurs. Pour les intégrateurs et les équipes robotique industrielles, l'intérêt tient à la méthode : injecter un retour de force dans un backbone VLA gelé, sans réentraîner tout le modèle, offre une adaptation moins coûteuse, dans un secteur où l'écart entre démonstrations léchées et fiabilité en usine reste le principal frein à l'adoption de politiques génériques de manipulation.

TAO-Force s'inscrit dans une tendance de recherche plus large consistant à ajouter des capteurs de force et de couple aux politiques de manipulation. Ces politiques, entraînées surtout sur des flux caméra, sont ici adaptées via un backbone gelé plutôt que par un réentraînement complet. Publié sur arXiv sans revue par les pairs et sans partenaire industriel ni calendrier de déploiement annoncés, le travail devra être reproduit par d'autres laboratoires avant toute intégration dans des piles logicielles pour bras industriels ou mains de robots humanoïdes.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

FORCA : un agent de code sensible à la force pour la manipulation robotique riche en contacts
1arXiv cs.RO 

FORCA : un agent de code sensible à la force pour la manipulation robotique riche en contacts

FORCA, un agent de code décrit dans l'article arXiv 2610.31841, prend en entrée des observations visuelles et les mesures du capteur force/couple (F/T) monté au poignet du robot, puis écrit des programmes Python pour sonder le contact et produire des mouvements réactifs à la force. Entre deux exécutions, l'agent examine les enregistrements de force en parallèle des résultats visuels, diagnostique la cause de l'échec et révise à la fois la trajectoire et la logique de retour d'effort. Le système ne requiert ni démonstrations, ni entraînement spécifique à la tâche, ni simulation. Les auteurs l'ont testé sur cinq tâches avec un robot réel, couvrant trois formes de manipulation riche en contact : l'amélioration de la précision (notamment de saisie), l'adaptation à des changements de propriétés d'objet ou de surface, et la régulation du contact face à des variations de surface ou à un objet en mouvement. Face à une variante de l'agent limitée à la vision, FORCA améliore la précision de saisie et le taux de réussite, et réduit les pertes de contact lors d'essais d'essuyage et d'épluchage. Le résumé ne donne ni chiffres de gain, ni modèle de langage utilisé, ni modèle de robot. L'intérêt tient à la voie suivie : au lieu d'entraîner une politique VLA (vision-langage-action) sur des démonstrations téléopérées, coûteuses à collecter, la logique de contrôle est générée comme du code lisible, puis corrigée par essais successifs. Pour un intégrateur, cela rend le comportement inspectable et modifiable, et laisse espérer une mise en service plus rapide sur des tâches de contact (essuyage, épluchage, insertion) que les modèles purement visuels traitent mal, faute de perception de la force. La comparaison avec la variante vision seule suggère que le capteur F/T apporte un gain réel, mais elle ne prouve rien sur la fiabilité industrielle. Cinq tâches de laboratoire, sans taux publiés dans le résumé, sans temps de cycle ni nombre d'itérations de raffinement nécessaires, laissent ouverte la question de la robustesse, de la sécurité des essais physiques menés par un agent, et du coût de ces boucles d'essai-erreur sur du matériel réel. Ce travail s'inscrit dans la montée des agents de code pour la robotique, qui traduisent le langage en programmes, et dans l'effort pour doter les modèles fondation d'une perception tactile et de force, que les VLA actuels exploitent peu. Il rejoint les approches de politiques apprises comme Pi-0 ou GR00T, qui misent sur les données, avec un compromis différent : moins de données, mais plus d'ingénierie de la boucle de diagnostic. Il s'agit d'un préprint en première version (v1), non évalué par les pairs. Les suites naturelles seraient une validation sur davantage de plateformes et de tâches, des comparaisons directes avec des politiques apprises, et l'ouverture du code.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Rêver le son du contact : générer vidéo et audio pour la manipulation sensible à la force en zero-shot
2arXiv cs.RO 

Rêver le son du contact : générer vidéo et audio pour la manipulation sensible à la force en zero-shot

Un article déposé sur arXiv (référence 2609.19137, catégorie "new") début septembre 2026, intitulé "Dreaming the Sound of Contact", décrit une méthode pour doter les robots manipulateurs d'une perception de la force lors de tâches de contact. Les modèles de génération vidéo utilisés pour apprendre des trajectoires de manipulation ne produisent que des mouvements cinématiques, sans information de force, et échouent donc dès qu'un contact adéquat est requis pour réussir la tâche. Les auteurs augmentent la vidéo générée avec de l'audio: le volume des sons de contact synthétisés façonne un profil de force désirée, borné et variable dans le temps, dérivé conjointement avec la trajectoire à partir d'un simple prompt textuel structuré. Exécutées sur un bras Franka Panda via un régulateur de force en boucle fermée qui suit ce profil audio pendant le contact, ces trajectoires réussissent plusieurs tâches là où une base purement cinématique échoue, sans qu'un taux de réussite chiffré ne soit précisé dans le résumé. Le pipeline sert aussi de générateur de données pour entraîner des politiques exécutant ces tâches en boucle fermée, avec code, vidéos et jeu de données promis sur dreamingcontactsound.github.io. Le travail cible un angle mort des approches génératives aujourd'hui dominantes en manipulation robotique, notamment les modèles vision-langage-action qui imitent des mouvements visuellement plausibles mais ignorent la dynamique de contact, pourtant indispensable pour pousser, essuyer, visser ou insérer une pièce. Montrer qu'un signal audio généré, et non mesuré par un capteur réel, peut suffire à façonner une consigne de force exploitable en boucle fermée ouvre une piste peu coûteuse pour réduire l'écart entre démonstration vidéo et exécution physique réelle. Pour les intégrateurs et les équipes de R&D en manipulation industrielle, l'intérêt est double: moins dépendre de démonstrations réelles coûteuses à collecter, et étendre le champ des politiques apprises par vidéo, aujourd'hui cantonnées aux tâches sans contact critique, vers l'assemblage ou la manipulation fine. Cette méthode s'inscrit dans une lignée de recherches qui exploitent la génération vidéo comme source de trajectoires de manipulation robotique, une alternative à la téléopération ou à l'apprentissage par renforcement en simulation pour collecter des données d'entraînement. L'absence de force dans ces trajectoires générées, et l'échec conséquent sur les tâches à contact riche, est une limite connue depuis l'essor des architectures vision-langage-action à grande échelle. Le choix du bras Franka Panda, plateforme standard des laboratoires de recherche en manipulation, situe ce travail au stade de validation expérimentale plutôt que de déploiement industriel: aucun partenariat commercial, licence ou calendrier de mise en production n'est mentionné. Les seules suites annoncées sont la mise à disposition du code, des vidéos et du jeu de données sur le site du projet, ouvrant la voie à une réplication par la communauté robotique.

RecherchePaper
1 source
FOMI : une interface de manipulation à retour d'effort pour enseigner les tâches riches en contacts
3arXiv cs.RO 

FOMI : une interface de manipulation à retour d'effort pour enseigner les tâches riches en contacts

Des chercheurs présentent FOMI, une interface de manipulation à retour d'effort destinée à la collecte de démonstrations humaines pour l'apprentissage de politiques robotiques. Le dispositif, publié sur arXiv, repose sur un mécanisme en forme de ciseaux qui transmet directement aux mains de l'opérateur les forces d'interaction avec l'objet, via des liens d'actionnement, sans capteur de force. Autour de cette interface, l'équipe a construit un système complet de collecte intégrant calibration des capteurs, acquisition des données et synchronisation, utilisable sans robot. En associant les variations de pose et l'ouverture de la pince de FOMI aux poses de l'effecteur et aux commandes de préhension du robot, le même système sert aussi à la téléopération. Sur quatre tâches riches en contacts, FOMI améliore l'efficacité de collecte d'environ 29 % en mode sans robot et 18 % en téléopération, par rapport aux meilleures références testées. Les politiques entraînées sur ces démonstrations réalisent des tâches de manipulation difficiles avec des taux de réussite annoncés comme élevés, sans que le résumé en donne les valeurs chiffrées. L'enjeu touche un goulot d'étranglement du secteur: la qualité et le coût des données de démonstration. Les interfaces portables sans robot, dans la lignée de ce que l'on a vu avec les pinces de collecte à main, permettent de passer à l'échelle sans mobiliser de bras robotisés, mais elles privent l'opérateur de sensation tactile. Or l'insertion, le serrage ou l'assemblage exigent des ajustements en temps réel guidés par l'effort. Faire ressentir ces forces sans instrumenter l'outil de capteurs coûteux pourrait abaisser le prix des données pour les contacts riches, là où les politiques de type VLA restent les plus fragiles. Il faut toutefois relativiser: les gains de 18 à 29 % portent sur quatre tâches, face à des références non détaillées dans le résumé, et le mode de mesure de l'efficacité n'est pas précisé. Aucune donnée n'est fournie sur le nombre de démonstrations nécessaires, ni sur la robustesse hors laboratoire, ce qui laisse ouvert l'écart entre résultat académique et usage industriel. Ce travail s'inscrit dans la montée des approches de collecte découplées du robot, qui cherchent à contourner le coût de la téléopération classique, et dans le mouvement qui met le retour haptique au service de l'apprentissage par imitation. Il concurrence les interfaces portables passives et les dispositifs de téléopération à retour d'effort, plus lourds et plus chers. Il s'agit ici d'un prototype de recherche, ni produit commercialisé ni déploiement en usine, et aucun calendrier de diffusion ni code ouvert n'est mentionné dans le résumé. La suite logique consistera à valider le dispositif sur des tâches plus variées, avec d'autres morphologies de robots, et à mesurer son effet sur la généralisation des politiques apprises.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches
4arXiv cs.RO 

VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches

Des chercheurs présentent VT-WAM, un modèle de manipulation robotique combinant vision et toucher, décrit dans un article déposé sur arXiv (2607.02503v1) et accompagné d'un site dédié (vt-wam.github.io). Le système, un "Visual-Tactile World Action Model", apprend simultanément trois choses dans un même cadre de flow matching : prédire les images visuelles futures, prédire la déformation tactile future, et prédire l'action à exécuter. Deux mécanismes techniques soutiennent cette approche : une attention "Asymmetric Mixture-of-Transformers" (MoT) qui relie une première image de référence à la dynamique tactile dans le temps, et un module nommé AVTAG (Action-Visual-Tactile Attention Guidance) qui force le modèle à s'appuyer davantage sur le signal tactile pendant les phases de contact. Sur six tâches de manipulation en conditions réelles impliquant un contact physique important, VT-WAM atteint un taux de réussite moyen de 71,67%, contre des scores inférieurs de 26,67 points pour Fast-WAM et de 35,84 points pour OmniVTLA, deux modèles de référence utilisés en comparaison. L'enjeu dépasse la simple performance chiffrée : les politiques visuo-tactiles existantes se contentent généralement d'injecter le signal tactile brut dans la prédiction d'action, sans modéliser comment cette déformation évolue dans le temps. Or c'est précisément sur les tâches à fort contact (insertion, préhension d'objets déformables, gestion du glissement) que les modèles purement visuels ou de type VLA (vision-language-action) échouent le plus souvent, malgré des démonstrations impressionnantes en environnement contrôlé. Pour les intégrateurs industriels qui cherchent à automatiser des opérations d'assemblage fin, ce travail illustre une piste concrète pour combler l'écart entre démonstration et fiabilité réelle. Le papier s'inscrit dans la lignée des "world models" appliqués à la robotique, dont Fast-WAM constitue un prédécesseur direct servant de base de comparaison, aux côtés de familles de modèles VLA comme OmniVTLA. Il s'agit toutefois d'une publication académique, sans acteur industriel identifié ni date de déploiement annoncée : les résultats restent circonscrits à six tâches de laboratoire, et les auteurs eux-mêmes soulignent via leurs ablations que la modélisation de la dynamique tactile reste un problème ouvert plutôt qu'une solution définitivement close.

RecherchePaper
1 source