Aller au contenu principal
VBT-MPC : commande prédictive tactile à base de vision pour le suivi de contourIllustration générée par IA
RecherchearXiv cs.RO 

VBT-MPC : commande prédictive tactile à base de vision pour le suivi de contour

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont publié sur arXiv (2605.20392) un framework de contrôle prédictif baptisé VBT-MPC (Vision-Based Tactile Model Predictive Control), conçu pour le suivi de contours en manipulation robotique. Le système repose sur un capteur tactile à vision embarquée (VBTS, Vision-Based Tactile Sensor) monté en configuration eye-in-hand, c'est-à-dire fixé au poignet du robot de façon à co-localiser la perception et l'action. La contribution centrale est que le contrôleur MPC opère directement dans l'espace des descripteurs de contour extraits du capteur, sans passer par un module intermédiaire d'estimation de pose ni par une architecture de contrôle en effort dédiée. Les expériences couvrent des objets aux géométries et matériaux variés, évalués à la fois en simulation et en conditions réelles, avec comparaison systématique contre des stratégies de visual servoing adaptées aux features tactiles.

Ce travail s'attaque à un verrou concret du suivi de surface industriel : maintenir un contact calibré tout en longeant un contour exige traditionnellement soit un estimateur de pose précis (coûteux en calcul et sensible aux erreurs de modèle), soit un contrôleur en force complexe. En faisant du MPC un contrôleur natif dans l'espace tactile, les auteurs réduisent la chaîne de traitement et potentiellement la latence de réaction. Pour un intégrateur ou un COO industriel, cela pointe vers des applications d'inspection de surface, de meulage ou d'assemblage de précision où la robustesse au glissement et aux irrégularités géométriques est critique. La comparaison avec le visual servoing tactile permet de quantifier le gain du MPC sur l'horizon de prédiction face à une loi de commande réactive pure, ce qui est une donnée utile pour le choix d'architecture.

Les capteurs tactiles à vision (GelSight du MIT, DIGIT de Meta/CMU, Allsight, Soft-bubble) ont connu une forte montée en maturité depuis 2019, permettant d'extraire des champs de déformation et des features géométriques à haute résolution sans marqueurs. L'intégration du MPC à ce type de sensing prolonge des travaux antérieurs sur le contrôle en force/contact, mais substitue la mesure de force par une information visuelle riche et moins coûteuse en capteurs. Côté concurrence académique, des équipes comme CMU Robotics, Berkeley AUTOLAB et ETH Zurich RSL explorent des approches comparables (apprentissage par imitation tactile, diffusion policies avec retour haptique). La prochaine étape naturelle pour ce type de framework serait l'intégration dans des pipelines de manipulation généralistes ou des bancs d'inspection automatisée, potentiellement combinée avec des VLA (Vision-Language-Action models) pour la planification de haut niveau.

À lire aussi

MR-MPCC : commande prédictive par contournage pour le suivi d'un bras manipulateur dans des repères mobiles
Illustration générée par IA
1arXiv cs.RO 

MR-MPCC : commande prédictive par contournage pour le suivi d'un bras manipulateur dans des repères mobiles

MR-MPCC est un cadre de commande publié sur arXiv (2610.21292) pour manipulateurs robotiques à commande en vitesse, conçu pour réguler la pose complète de l'effecteur (6 DOF) lorsque le repère de référence lui-même se déplace. Il repose sur une architecture hiérarchique. Au niveau supérieur, une commande prédictive par contournage (MPCC) optimise l'avancement le long du chemin tout en pénalisant l'erreur de contour et l'erreur d'orientation. En dessous, une couche RMRC (resolved motion rate control) sous contraintes convertit le torseur cartésien commandé en vitesses articulaires admissibles, dans le respect des limites des articulations et des contraintes de sécurité. L'ensemble est implémenté dans une chaîne ROS2 et MuJoCo, puis validé sur un UR5e. Le repère du chemin y est perturbé et suivi par des capteurs électromagnétiques. Les auteurs le comparent à un correcteur PI et à une MPC de suivi indexée sur le temps, soumis à la même perturbation. Ils annoncent une erreur géométrique de suivi plus faible et des écarts réduits dans le repère mobile. Le résumé ne donne aucune valeur chiffrée, ce qui empêche d'évaluer l'ampleur du gain. L'enjeu concerne les tâches à faibles tolérances d'exécution, comme l'usinage ou l'automatisation chirurgicale, où la pièce ou le patient bouge pendant l'opération. Les contrôleurs indexés sur le temps, dont la MPC de suivi classique, associent chaque instant à un point précis de la trajectoire. Si le repère saute ou si le timing dérive, l'erreur relative au chemin s'accumule. Le contournage supprime ce couplage rigide, puisque l'avancement devient une variable d'optimisation et que la fidélité géométrique prime sur le respect de l'horloge. Pour un intégrateur, c'est une piste crédible pour compenser des mouvements de pièce sans recalcul complet de trajectoire. La preuve reste toutefois limitée. Il s'agit d'un banc de laboratoire sur un seul bras, avec des perturbations choisies par les auteurs et deux références de comparaison, dont un PI qui constitue une base peu exigeante. Il n'y a ni test sur process réel, ni mesure de charge de calcul ou de latence en boucle fermée. Le MPCC vient à l'origine de la commande de machines-outils et de la course autonome, où la précision de contour compte plus que la ponctualité. Son transfert vers la manipulation à base mobile ou à cible mobile s'inscrit dans un courant plus large de commande réactive, aux côtés du suivi visuel asservi et des MPC à contraintes de sécurité. Le choix d'un UR5e, bras collaboratif très répandu, et d'une chaîne ROS2 facilite la reproduction par d'autres laboratoires. Les suites logiques sont des essais sur usinage ou gestes chirurgicaux réels, des comparaisons avec d'autres schémas robustes, et une quantification du temps de calcul par cycle. Aucun partenaire industriel ni calendrier de transfert n'est mentionné dans ce résumé.

RecherchePaper
1 source
VIGOR-MPC : commande prédictive par modèle à régulation d'objectifs guidée par la vision
Illustration générée par IA
2arXiv cs.RO 

VIGOR-MPC : commande prédictive par modèle à régulation d'objectifs guidée par la vision

VIGOR-MPC est un cadre de commande publié sur arXiv (2610.20333) qui s'attaque à un problème classique de la robotique mobile: piloter un agent dont la seule perception de l'environnement vient de caméras embarquées. Les auteurs proposent une architecture modulaire de type élève-enseignant, indépendante du pipeline de perception. L'enseignant est un MPC (commande prédictive par modèle) à long horizon, exécuté en simulation avec connaissance complète de l'état. Il intègre la contrainte de champ de vision grâce à une formulation multi-trajectoires qui garantit que l'agent reste dans son champ de vision. L'élève est un MPC à horizon court, dont les paramètres de coût sont déterminés en ligne à partir de la vision par une application récurrente multi-niveaux. Il ne voit que le contexte bruité, de longueur variable et partiellement occulté fourni par le module de perception. Les tests portent sur la course autonome basée sur la vision, en simulation puis sur matériel. Sur des circuits jamais vus à l'entraînement, la méthode s'approche des temps au tour de l'enseignant privilégié tout en réduisant le calcul par pas de plus de 90 %. L'intérêt tient à un goulot d'étranglement très concret: sur un robot réel, la puissance de calcul embarquée est partagée entre perception et commande, ce qui limite l'horizon de planification exécutable en temps réel. Au lieu de remplacer le MPC par une politique apprise de bout en bout, difficile à certifier, VIGOR-MPC conserve un optimiseur classique et n'apprend que ses paramètres de coût. Cette approche garde une structure interprétable et des contraintes explicites, ce qui compte pour les intégrateurs qui doivent justifier le comportement d'un système. La réduction de plus de 90 % du calcul laisse de la marge pour d'autres tâches sur le même processeur. Il faut toutefois relativiser: la validation se limite à la course, un cadre où la piste est structurée, et l'abstract ne donne ni vitesses, ni plateforme matérielle, ni écart chiffré avec l'enseignant. La formule « s'approche des temps au tour » reste donc qualitative. Le travail est une preuve de concept académique, sans produit ni déploiement industriel. Le travail s'inscrit dans la lignée des méthodes qui distillent un expert privilégié, entraîné avec information complète en simulation, vers une politique n'utilisant que des capteurs embarqués. Cette stratégie est déjà courante en locomotion et en vol de drones de course. L'originalité ici est de distiller vers les paramètres d'un MPC plutôt que vers des commandes directes. Les concurrents conceptuels sont les politiques de bout en bout par apprentissage par renforcement et les MPC à long horizon alimentés par une cartographie explicite, plus coûteux en calcul. Les suites naturelles seraient des tests sur des tâches de navigation hors course, comme des environnements encombrés ou des robots mobiles d'entrepôt, et des campagnes de mesures plus détaillées sur matériel. L'article n'annonce aucun calendrier.

RecherchePaper
1 source
Commande prédictive par contouring augmentée par processus gaussien pour le suivi de trajectoire à 6 DOF d'un AUV holonome
Illustration générée par IA
3arXiv cs.RO 

Commande prédictive par contouring augmentée par processus gaussien pour le suivi de trajectoire à 6 DOF d'un AUV holonome

Des chercheurs proposent une commande prédictive par contouring (MPCC, Model Predictive Contouring Control) non linéaire sur les six degrés de liberté d'un petit véhicule sous-marin autonome (AUV) holonome, enrichie par un apprentissage des erreurs de modèle via régression par processus gaussien (GP). Le résidu appris vient compléter le modèle dynamique nominal et est intégré au problème de commande optimale par un schéma d'optimisation robuste d'ordre zéro, ce qui maintient le contrôleur en temps réel à 25 Hz. La validation porte sur le MOLA (Multimodality, Observing, Low-cost, Agile), un AUV compact, en simulation puis en essais en eau réelle. Les performances sont comparées à deux références : un MPCC nominal sans apprentissage et un contrôleur PID éprouvé sur le terrain. Une étude d'ablation en simulation montre en outre que le choix des variables sur lesquelles porte le résidu appris est déterminant pour la conception du contrôleur. Le résumé disponible ne chiffre pas les gains d'erreur de suivi, ni la durée ou la profondeur des essais. L'intérêt tient à un problème pratique de l'inspection sous-marine rapprochée. Un véhicule holonome, capable de se déplacer et de s'orienter indépendamment dans toutes les directions, peut observer une structure sous n'importe quel angle, mais exige un suivi précis de la position et de l'attitude, sous contraintes d'états et d'entrées. Le MPCC gère naturellement ces contraintes, mais dépend d'un modèle hydrodynamique que l'on identifie mal : masse ajoutée, traînée et perturbations varient et sont difficiles à mesurer. Apprendre uniquement l'écart au modèle, plutôt que la dynamique complète, est une voie pragmatique, et la tenue des 25 Hz montre que l'approche reste compatible avec un calculateur embarqué. Le fait de se mesurer à un PID de terrain est un signal de maturité, mais il s'agit d'un résultat académique : rien n'indique encore une robustesse sur de longues missions, en courant fort ou face à des changements de charge utile. Ces travaux s'inscrivent dans la tendance qui combine commande prédictive et apprentissage, déjà établie en robotique aérienne (drones de course, MPCC pour le suivi de trajectoire) et appliquée ici à un milieu où les modèles sont bien moins fiables. Le MOLA appartient à la catégorie des AUV bon marché et agiles, face à des plateformes d'inspection commerciales largement pilotées par PID ou par des commandes plus classiques. Les suites naturelles seraient des essais autour de structures réelles, comme des piles de ponts, des coques ou des infrastructures offshore, ainsi qu'une adaptation en ligne du GP, dont le coût de calcul et la généralisation hors du domaine d'entraînement restent les points à surveiller. Aucun calendrier de déploiement ni partenaire industriel n'est annoncé.

RecherchePaper
1 source
Manipulation Tactile et Visuelle Centrée sur le Contact pour la Manipulation du Bras Complet
Illustration générée par IA
4arXiv cs.RO 

Manipulation Tactile et Visuelle Centrée sur le Contact pour la Manipulation du Bras Complet

Des chercheurs du laboratoire EMPRISE de l'université Cornell présentent TACTIC (Tactile and Vision Conditioned Contact-Centric Control), un contrôleur pour la manipulation "bras entier", où le robot touche l'environnement avec plusieurs segments de son bras et non plus seulement sa pince. Décrit dans un preprint arXiv (2607.09218), le système combine images RGB-D, capteurs tactiles distribués et une carte de proximité 2D compacte pour prédire comment les contacts se forment, glissent ou se rompent au fil du mouvement. Un modèle de dynamique appris est couplé aux jacobiennes de contact pour simuler à l'avance forces d'interaction et configurations futures, et alimente un planificateur prédictif (MPC) à échantillonnage dont les trajectoires candidates sont orientées vers des directions qui modulent les forces plutôt que de les subir. En simulation, TACTIC dépasse les méthodes de référence à base de modèle et les approches purement apprises. Sur un bras réel équipé de peau tactile, l'équipe démontre trois tâches multi-contacts : retourner et repositionner un mannequin, et atteindre un objectif dans un labyrinthe 3D dynamique. La manipulation bras entier est un angle mort des pipelines d'apprentissage actuels, taillés pour un contact unique au niveau de la pince. Dès que plusieurs segments touchent l'environnement simultanément, mouvement et forces de contact deviennent étroitement couplés, l'état de contact reste partiellement caché sous occlusion, et les politiques purement apprises se désynchronisent physiquement hors distribution, faute de données sur les configurations multi-contacts. En hybridant apprentissage et modèle physique explicite, TACTIC illustre une tendance de fond en robotique de manipulation : combiner du model-based pour la garantie physique et de l'apprenant pour la perception, plutôt que tout confier à un modèle de bout en bout type VLA. Pour les intégrateurs visant des bras opérant en espace encombré (tri, logistique, désassemblage), c'est un manque réel comblé, la plupart des démonstrateurs actuels évitant soigneusement tout contact hors pince. Le travail émane du laboratoire EMPRISE de Cornell, spécialisé en manipulation riche en contact et perception tactile, et s'inscrit dans une littérature plus large sur le contrôle prédictif informé par le contact, aux côtés de recherches comparables au MIT ou à CMU. Contrairement aux annonces commerciales de robots humanoïdes comme Figure, Optimus ou les modèles VLA de Physical Intelligence et NVIDIA, il s'agit ici d'un résultat académique validé en simulation puis sur un unique bras de laboratoire, pas d'un produit commercialisé. Aucun acteur français ou européen n'est associé à cette publication. Les auteurs mettent en ligne une page projet (emprise.cs.cornell.edu/tactic) sans calendrier annoncé de transfert vers des plateformes commerciales.

RecherchePaper
1 source