Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
TacCoRL : intégration du retour tactile dans les modèles VLA par simulation
RecherchearXiv cs.RO 

TacCoRL : intégration du retour tactile dans les modèles VLA par simulation

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (2606.11743) TacCoRL, un framework destiné à intégrer le retour tactile dans les modèles vision-langage-action (VLA) pour la manipulation robotique. L'approche combine un co-entraînement simulation-réel et de l'apprentissage par renforcement (RL) en simulation, sans nécessiter de pré-entraînement tactile à grande échelle ni d'exploration extensive sur hardware réel. Évalué sur quatre tâches bimanuelles à riche contact (insertion, assemblage, manipulation d'objets déformables), le système atteint un taux de succès moyen de 72,5 % contre 50,0 % pour la baseline VLA visuelle seule, soit un gain relatif de 45 % sur ces benchmarks spécifiques.

L'apport technique central n'est pas simplement d'ajouter la touche comme entrée supplémentaire, mais d'apprendre comment les lectures de contact doivent moduler la réponse motrice dans les états de quasi-échec, états rares dans les démonstrations humaines et risqués à collecter sur robot physique. TacCoRL utilise un simulateur aligné sur le réel comme environnement fermé pour les interactions de contact : des trajectoires mixtes (simulées et réelles) initialisent d'abord les actions conditionnées au tactile dans la politique pré-entraînée, puis le RL avec récompenses vérifiables optimise la politique sur des rollouts simulés, tandis qu'un objectif supervisé sur trajectoires réelles ancre la distribution visuelle, tactile et d'action au domaine de déploiement. Le résultat se transfère directement sur robot réel, sans état simulé privilégié ni RL en ligne. C'est une réponse directe au "demo gap" des VLA actuels : les politiques vision-seule échouent précisément sur les phases de contact que la caméra ne résout pas.

Le contexte est celui d'une compétition intense autour des VLA polyvalents : Physical Intelligence avec π0, Google DeepMind avec RT-2 et ses dérivés, ainsi que les efforts de génération suivante (GR00T N2 de NVIDIA, OpenVLA). Tous partagent la même limitation structurelle : l'observation visuelle reste insuffisante pour les tâches à fort contact. La piste tactile est explorée depuis plusieurs années (capteurs GelSight, SynTouch, Digit de Meta), mais son intégration dans des architectures VLA de grande taille restait un verrou de scalabilité. TacCoRL propose une voie pragmatique sans dataset tactile massif, ce qui abaisse la barrière d'adoption pour les laboratoires et intégrateurs. Les prochaines étapes logiques seraient l'extension à des capteurs tactiles commerciaux standardisés et des évaluations sur des tâches industrielles réelles, hors conditions de laboratoire contrôlées.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0OpenVLA / RT-X

À lire aussi

ViTaR : adaptation résiduelle visuo-tactile pour la manipulation par modèles fondation VLA
1arXiv cs.RO 

ViTaR : adaptation résiduelle visuo-tactile pour la manipulation par modèles fondation VLA

Une équipe publie sur arXiv (2608.15816v1) ViTaR (Visuo-Tactile Residual Adaptation), qui comble un angle mort des modèles Vision-Language-Action (VLA) : entraînés sur de vastes a priori visuels, ils produisent la même action que le contact avec l'objet soit établi, perdu ou déstabilisé. Plutôt que de modifier l'intérieur du VLA, au risque d'un oubli catastrophique, ou de recourir à du renforcement en ligne près des conditions d'échec, ViTaR garde le modèle gelé et traite le tactile comme un modulateur d'exécution plutôt que comme une entrée génératrice d'action. Une première étape détermine si une correction résiduelle est localement justifiée à partir des résultats observés, une seconde la convertit en un gain continu calculé en temps réel. Sur le benchmark UniVTAC, sept tâches de manipulation à fort contact, ViTaR atteint 61,3% de réussite moyenne, soit 30,6 points de plus que le VLA gelé de base, devançant aussi des méthodes tactiles spécialisées ; des essais sur robot physique confirment le transfert au bruit et à la dynamique réels des capteurs. Ce résultat cible un point critique pour l'industrialisation des VLA, de plus en plus déployés sur bras manipulateurs et humanoïdes : ces modèles excellent sur des tâches visuelles généralistes mais restent fragiles dès qu'il faut saisir, insérer ou assembler avec un contact fin, un scénario omniprésent en logistique et en assemblage industriel. En montrant qu'une correction résiduelle bornée, greffée sur un VLA figé, suffit à gagner plus de 30 points de réussite sans réentraîner le modèle de base, ViTaR ouvre une voie pour ajouter de la robustesse tactile aux piles VLA existantes sans dégrader leurs capacités généralistes. Les approches précédentes laissaient au contraire au tactile une influence non bornée sur l'action générée, au risque de contredire les a priori qui font la généralisabilité de ces modèles. Le travail s'inscrit dans les efforts pour doter les modèles VLA de fondation, dans la lignée de familles comme Pi-0, GR00T ou Helix, d'une perception multimodale plus fine que la seule vision. Publié comme soumission arXiv nouvelle, ViTaR reste à ce stade une contribution de recherche validée sur un benchmark simulé et par des essais robot physique limités, sans annonce de déploiement industriel ni de partenariat commercial. Les auteurs ne donnent pas de calendrier pour une intégration dans des piles VLA commerciales existantes.

RecherchePaper
1 source
SimPT : un cadre de simulation automatisé pour le post-entraînement de modèles VLA par intervention
2arXiv cs.RO 

SimPT : un cadre de simulation automatisé pour le post-entraînement de modèles VLA par intervention

Des chercheurs présentent SimPT (Simulation-based Post-Training), un cadre de simulation qui automatise le post-entraînement des politiques vision-langage-action (VLA) par intervention humaine simulée. Le système enchaîne les déroulés de politique, la collecte de données correctives, l'entraînement et l'évaluation indépendante. Pour décider quand intervenir et comment récupérer, il s'appuie sur un « Agent-Compiled Progress Graph », qui suit l'avancement de la tâche grâce à l'état privilégié du simulateur et conserve des instantanés stables. Après un échec, un expert fondé sur CuRobo tente la reprise depuis ces instantanés, en partant des étapes les plus avancées puis en reculant si nécessaire. Quatre méthodes sont comparées (RECAP, HG-DAgger, DPO+SFT, FlowPRO) sur sept tâches de manipulation RoboTwin. Face à une référence à instantanés à intervalle fixe, le graphe réduit de 75,0 % les tentatives de reprise et fait passer leur taux de réussite de 93,4 % à 98,9 %. Les auteurs en tirent RECAP-CF-LPF, une variante de RECAP qui combine validation croisée (cross-fitting) et filtrage passe-bas des prédictions de valeur. En simulation, sur des essais tenus à l'écart, le taux de réussite global passe de 76,50 % à 79,36 %, un gain modeste de moins de 3 points. Sur robot réel, en post-entraînement avec humain dans la boucle, il passe de 72 % à 96 % sur 25 scénarios d'une tâche d'insertion de câble Ethernet. Ce dernier chiffre est le plus parlant, mais il porte sur une seule tâche et un nombre limité de scénarios. Le résumé ne précise ni le robot, ni le nombre d'essais par scénario, ni la significativité statistique. L'intérêt tient au goulot qu'il vise : le post-entraînement par corrections d'experts améliore les VLA, mais la supervision humaine coûte cher et chaque évaluation sur robot réel ralentit l'exploration d'algorithmes. Un banc simulé qui automatise la décision d'intervenir et la production de corrections permet de comparer des méthodes à moindre coût avant de les transposer au réel. Le transfert d'un raffinement validé en simulation vers un gain réel de 24 points suggère que ce banc peut guider le développement, sans prouver que le sim-to-real est résolu. Pour les intégrateurs, c'est un pas vers l'amélioration des politiques sur site avec moins de téléopération. Reste une limite : l'approche suppose un état privilégié du simulateur et un jumeau numérique fidèle de la tâche, ce qui n'est pas acquis pour des cellules industrielles variées. Ces travaux s'inscrivent dans la montée des méthodes d'apprentissage par renforcement et de correction pour VLA, dont RECAP, associée à la famille Pi de Physical Intelligence, et HG-DAgger, variante classique de l'apprentissage par imitation interactif. Le banc RoboTwin et le planificateur CuRobo (NVIDIA) fournissent l'infrastructure de simulation. Il s'agit d'un préprint arXiv sans déploiement commercial annoncé. La suite logique serait d'élargir à davantage de tâches et d'embodiments, et de valider la robustesse hors du cadre de laboratoire.

RecherchePaper
1 source
MotionVLA : intégration du mouvement géométrique dans un modèle vision-langage-action (VLA)
3arXiv cs.RO 

MotionVLA : intégration du mouvement géométrique dans un modèle vision-langage-action (VLA)

Un preprint déposé sur arXiv le 9 juin 2026 (arXiv:2606.08288) introduit MotionVLA, une interface de mémoire motrice conçue pour améliorer les modèles vision-language-action appliqués à la manipulation robotique longue portée. Le principe : plutôt qu'alimenter le modèle avec une séquence d'images passées traitées indépendamment, MotionVLA convertit une courte fenêtre vidéo récente en tokens de champ de trajectoire (trajectory-field tokens), compacts et temporellement continus. Ces tokens encodent le mouvement cohérent entre les observations, et les tokens visuels courants les interrogent pour extraire les informations de mouvement pertinentes à la tâche en cours. Le tout est réinjecté dans le flux VLA via une supervision ancrée sur les trajectoires. Les auteurs rapportent des améliorations sur des benchmarks de simulation ainsi que des essais préliminaires sur robot réel, avec des exécutions décrites comme plus fluides et plus directes. L'enjeu est théorique, mais les implications pratiques sont directes. Les VLA actuels -- pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure) -- cherchent à résoudre l'ambiguïté des tâches longues en injectant toujours plus de contexte : historique d'images, profondeur, features 4D. L'hypothèse implicite est "plus de contexte spatio-temporel équivaut à une meilleure politique". MotionVLA conteste cette hypothèse : un contexte incohérent en termes de mouvement introduit de la dérive géométrique, des indices temporels fragmentés et une génération d'actions instable. Reformuler la mémoire comme un champ de mouvement plutôt que comme un empilement de frames résout le problème à la source, ce qui intéresse directement les équipes cherchant à stabiliser des VLA en déploiement industriel sans exploser le budget de calcul. Ce travail s'inscrit dans une course intense à l'architecture VLA optimale. Les approches concurrentes incluent les modèles à base de profondeur (SpatialVLA), de features 4D (CogACT), ou de diffusion de trajectoires (pi-0). MotionVLA se rapproche davantage des travaux sur le flot optique dense et les représentations de mouvement continu. Deux mises en garde s'imposent : les résultats sur robot réel sont explicitement qualifiés de "préliminaires" par les auteurs, et aucun chiffre de benchmark précis n'est disponible dans la publication actuelle. À ce stade, il s'agit d'une contribution de recherche, non d'un produit industrialisé ni d'une démonstration validée à l'échelle.

RechercheOpinion
1 source
Amélioration du transfert inter-incarnations dans les modèles d'action latente par supervision de similarité d'action
4arXiv cs.RO 

Amélioration du transfert inter-incarnations dans les modèles d'action latente par supervision de similarité d'action

Une équipe de chercheurs propose une nouvelle méthode d'entraînement pour les modèles d'actions latentes (latent action models, LAM), décrite dans un article publié le 18 septembre 2026 sur arXiv (référence 2609.19846v1) et intitulé "Improving Cross-embodiment Transfer in Latent Action Models with Action-Similarity Supervision". Les LAM apprennent des représentations d'actions à partir de vidéos sans étiquette de commande motrice, ce qui permettrait en théorie de partager des données d'entraînement entre robots différents. Problème identifié: ces modèles restent sensibles au bruit visuel de l'arrière-plan et encodent souvent un même mouvement physique avec des latents différents selon le robot qui l'exécute. Plutôt que d'ajouter une perte auxiliaire qui prédit directement l'action réelle du robot à partir du latent (méthode existante), les auteurs entraînent la similarité entre deux actions latentes à correspondre à la similarité entre les séquences d'actions réelles correspondantes, sans jamais faire prédire ces actions par le modèle. Testée sur le benchmark de simulation RoboTwin 2.0, avec deux robots bimanuels démontrant des tâches disjointes et une politique unique évaluée en boucle fermée sur les tâches que seul l'autre robot a démontrées, cette approche double plus que le taux de succès en transfert cross-embodiment par rapport à une politique entraînée sur les actions réelles. La supervision par similarité surpasse aussi la perte auxiliaire classique à données égales, et calculer les similarités sur le mouvement de l'effecteur terminal plutôt que dans l'espace articulaire donne les meilleurs résultats. Ce résultat vise un goulot d'étranglement central des politiques vision-language-action (VLA): la démonstration téléopérée reste coûteuse et généralement liée à une plateforme robotique précise, ce qui freine le passage à l'échelle des politiques génériques face à des flottes hétérogènes (bras industriels, humanoïdes, robots mobiles). En montrant qu'un signal de similarité, plutôt qu'une prédiction directe d'action, réduit la fuite d'informations spécifiques au robot dans l'espace latent, l'étude apporte une preuve de concept utile aux équipes de recherche travaillant sur le transfert de compétences entre embodiments, sans prétendre résoudre le problème en conditions réelles. Il s'agit à ce stade d'un résultat de recherche en simulation, non d'un produit ou d'un déploiement industriel: RoboTwin 2.0 est un environnement de test standardisé pour robots bimanuels, et l'évaluation porte sur deux plateformes simulées avec des tâches contrôlées, un cadre plus restreint que des conditions de terrain réelles. Le travail s'inscrit dans la lignée des efforts récents sur les LAM entraînés à partir de vidéos non annotées (dans la veine de travaux comme Genie ou LAPA côté recherche), une piste explorée en parallèle par des laboratoires développant des modèles VLA à grande échelle tels que Pi-0 ou GR00T. Les auteurs ne annoncent pas de suite commerciale ni de calendrier de transfert vers du matériel physique.

RecherchePaper
1 source