RecherchearXiv cs.RO 22 avril 2026

GenerativeMPC : contrôle prédictif corps entier guidé par VLM-RAG, impédance virtuelle et manipulation mobile bimanuelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont soumis sur arXiv (arXiv:2604.19522) un framework baptisé GenerativeMPC, destiné aux robots manipulateurs mobiles bimanaux. Le système articule un modèle de vision-langage couplé à une génération augmentée par récupération (VLM-RAG) avec un contrôleur prédictif sur le corps entier (Whole-Body MPC). Concrètement, le module VLM-RAG analyse la scène en temps réel, visuellement et en langage naturel, puis génère des contraintes de contrôle numériques directement exploitables: limites de vitesse dynamiques et marges de sécurité injectées dans le MPC. Parallèlement, il module les gains de raideur et d'amortissement virtuels d'un contrôleur impédance-admittance unifié pour adapter la compliance du robot au contexte. Les expériences menées dans les simulateurs MuJoCo et IsaacSim, puis sur une plateforme physique bimanuale, font état d'une réduction de vitesse de 60% à proximité des humains. Le système s'appuie sur une base de données vectorielle alimentée par l'expérience passée, ce qui permet d'ancrer les paramètres de contrôle sans ré-entraînement du modèle.

L'enjeu architectural est significatif pour les intégrateurs et les décideurs industriels. Les approches end-to-end de type VLA, comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), délèguent entièrement la traduction sémantique-physique au réseau neuronal, rendant les garanties de sécurité difficiles à certifier formellement. GenerativeMPC propose une architecture hybride explicite: le grand modèle raisonne sur le contexte (présence humaine, nature de la tâche) et produit des paramètres numériques interprétables qui alimentent un MPC classique au comportement auditable et déterministe. Pour les secteurs à forte contrainte réglementaire, c'est un argument de poids. La réduction de 60% reste cependant une métrique à contextualiser: le papier ne précise pas la vitesse de référence initiale ni les conditions exactes des essais physiques, un bémol courant dans les publications de ce type.

La manipulation mobile bimanuale est l'un des problèmes ouverts les plus exigeants de la robotique collaborative, coincé entre contrôleurs classiques contextuellement aveugles et modèles end-to-end difficilement certifiables. L'utilisation du RAG pour paramétrer des contrôleurs physiques est une direction de recherche émergente, distincte de l'apprentissage par renforcement. Dans l'écosystème concurrent, Figure AI (Figure 03), Boston Dynamics (Atlas) et 1X Technologies explorent des architectures hybrides pour des tâches bimanales. En Europe, Enchanted Tools (France) et des laboratoires comme le LAAS-CNRS avancent sur des architectures de contrôle sûres pour la collaboration humain-robot. GenerativeMPC reste pour l'instant un résultat de recherche académique sans déploiement industriel annoncé, mais son approche explicitement certifiable ouvre des perspectives concrètes pour la logistique collaborative et la robotique médicale.

Impact France/UE

Le LAAS-CNRS et Enchanted Tools (France) travaillent sur des architectures de contrôle sûres similaires ; l'approche hybride certifiable de GenerativeMPC pourrait renforcer le positionnement européen dans les débats réglementaires sur la certification des robots collaboratifs au titre de l'AI Act.

Dans nos dossiers

Figure 1X Technologies Boston Dynamics Enchanted Tools — Mirokaï

À lire aussi

1arXiv cs.RO

WristMimic : contrôle corps entier de l'humanoïde par manipulation guidée au poignet

Publié en juillet 2026 sur arXiv, WristMimic est un framework de contrôle corps entier pour robots humanoïdes qui transfère des démonstrations humaines de manipulation vers une simulation physique. Plutôt que de suivre intégralement la pose de la main, la méthode sépare le corps et le poignet, guidés cinématiquement, des doigts, qui apprennent leurs gestes de préhension à partir du suivi de l'objet et du résultat des contacts. Le poignet sert de charnière entre les deux régimes : peu soumis aux forces de contact, il reste suivable fidèlement tout en plaçant la main dans une configuration de prise atteignable. Des contraintes de réinitialisation et une priorisation des récompenses au poignet fiabilisent ce positionnement ; les auteurs annoncent des performances égales ou supérieures aux méthodes à supervision complète des doigts, avec un retargeting indépendant de la morphologie de la main. Le problème ciblé est connu en contrôle humanoïde : une trajectoire de main en position seule ne renseigne pas les forces de contact nécessaires à une prise réussie, et imposer un suivi complet des doigts tend à surcontraindre des comportements qui doivent rester riches en contacts, ce qui fragilise la manipulation fine. En découplant mouvement libre et manipulation, WristMimic s'inscrit dans la recherche sur l'imitation à grande échelle pour l'IA incarnée, sans dépendre d'une capture de main parfaite. Pour l'industrie, l'argument concret est qu'une approche agnostique à la morphologie de la main pourrait réduire le travail d'adaptation quand un intégrateur change de main dextérisée, un problème récurrent tant les architectures varient d'un fabricant humanoïde à l'autre. Ce travail s'inscrit dans la lignée des méthodes de contrôle guidé par la cinématique humaine pour humanoïdes, qui cherchent depuis deux ans à rapprocher téléopération et apprentissage par renforcement. L'abstract ne mentionne aucun déploiement sur robot réel ni partenariat industriel : il s'agit pour l'instant d'une validation en simulation, une contribution de recherche plutôt qu'un produit. Les suites logiques seraient une validation sur plateforme humanoïde physique et une comparaison avec les pipelines de téléopération des acteurs du secteur, qu'il s'agisse des humanoïdes commerciaux ou des modèles VLA généralistes comme Pi-0 ou GR00T N2.

RecherchePaper

1 source

2arXiv cs.RO

TAC-LOCO : contrôle unifié du corps entier pour la loco-manipulation quadrupède guidée par le tact

Cette étude, publiée sur arXiv en juillet 2026, présente TAC-LOCO, un cadre d'apprentissage par renforcement qui unifie pour la première fois le contrôle corporel complet d'un robot quadrupède doté d'un bras manipulateur en intégrant un retour tactile dans la boucle de commande. Le système encode les données d'un réseau de capteurs tactiles montés sur une pince compliante en une représentation latente compacte, fusionnée avec la proprioception du robot pour piloter simultanément les pattes, le bras et la pince. Les chercheurs ont déployé la politique sans réentraînement supplémentaire (zero-shot) sur un quadrupède Unitree Go2 équipé d'un bras Interbotix WidowX 250 et d'une pince tactile. Les résultats chiffrés sont précis : une réduction de 47% de la force de préhension appliquée et un taux de chute d'objet inférieur à 1%, y compris lors de changements de charge progressifs et de relâchements brusques. L'apport principal tient à ce que le système régule activement la force de préhension en fonction de l'interaction physique réelle, plutôt que de simplement serrer fermement l'objet comme le font la plupart des approches existantes en loco-manipulation dynamique. Pour l'industrie robotique, cela répond à une limite concrète des robots à pattes actuels : la capacité à transporter des charges tout en se déplaçant dynamiquement sans les endommager ni les laisser tomber, un enjeu direct pour la logistique, l'inspection industrielle ou les interventions en environnement non structuré. Ce résultat illustre aussi que l'intégration tactile n'est plus cantonnée aux tâches de manipulation statique en laboratoire, mais devient exploitable dans des scénarios de contrôle corporel complet à haute dynamique, un signal notable pour les intégrateurs qui évaluent la maturité des architectures VLA et RL appliquées à la robotique mobile. Le travail s'inscrit dans la continuité des recherches sur la loco-manipulation, un domaine où la coordination entre stabilité locomotrice et précision de manipulation reste un défi ouvert, généralement traité sans capteurs tactiles faute de méthodes robustes pour exploiter ce signal en temps réel. TAC-LOCO se positionne ainsi face aux approches de contrôle corporel complet sans tactile, en démontrant un gain mesurable sur la robustesse aux perturbations externes. La validation reste toutefois limitée à une plateforme de recherche (Go2 plus bras WidowX), sans indication de calendrier vers un déploiement industriel ou une plateforme commerciale.

RecherchePaper

1 source

3arXiv cs.RO

SM2ITH : manipulation mobile sécurisée avec prédiction interactive des humains via contrôle prédictif hiérarchique par niveaux

Des chercheurs ont publié sur arXiv (référence 2511.17798, deuxième version) un framework baptisé SM²ITH, pour Safe Mobile Manipulation with Interactive Human Prediction via Task-Hierarchical Bilevel Model Predictive Control. L'objectif : permettre à des robots mobiles manipulateurs d'évoluer en sécurité dans des espaces partagés avec des humains, sans que ces derniers se comportent de façon prévisible ou coopérative. Le système a été validé expérimentalement sur deux plateformes distinctes, le Stretch 3 de Hello Robot et le Ridgeback-UR10 (Clearpath + bras Universal Robots), dans trois configurations : tâches de livraison avec priorités navigation/manipulation variables, séquences pick-and-place en présence de piétons, et scénarios dits "adversariaux" où l'humain adopte délibérément un comportement perturbateur vis-à-vis du robot. La contribution technique centrale est l'intégration d'un modèle de prédiction interactive du mouvement humain dans un contrôleur MPC hiérarchique via une optimisation bilinéaire. Contrairement aux approches classiques qui modélisent les humains comme des obstacles passifs (modèle en boucle ouverte) ou qui fondent les objectifs en une somme pondérée, SM²ITH anticipe la façon dont le robot influence lui-même la trajectoire de l'humain, et résout conjointement les dynamiques des deux agents. Les résultats montrent une coordination plus sûre et plus efficace que les baselines testées. Pour les intégrateurs industriels ou les équipes déployant des robots de service en milieu hospitalier ou logistique, cela signifie qu'un robot peut maintenir des priorités de tâches strictes (hiérarchie de type HTMPC) tout en s'adaptant en temps réel à un comportement humain non scriptié, y compris hostile. SM²ITH s'inscrit dans une lignée de travaux sur le Hierarchical Task MPC, une famille de méthodes d'optimisation qui gèrent simultanément des tâches de navigation et de manipulation avec des niveaux de priorité explicites, mais jusqu'ici réservées à des environnements structurés ou statiques. L'extension aux dynamiques humaines interactives est le verrou que ce papier prétend lever, au stade de la validation expérimentale en laboratoire. Sur le plan de la compétition académique, les approches concurrentes s'appuient soit sur des politiques apprises (RL, diffusion), soit sur des MPC sans modèle réactif de l'humain. Aucun acteur européen n'est directement impliqué dans cette publication. Les prochaines étapes naturelles seraient une validation hors laboratoire, sur des robots à plus haute charge utile, et une comparaison avec des méthodes de prédiction basées sur des VLA ou des modèles de fondation pour l'humain.

RecherchePaper

1 source

4arXiv cs.RO

Commande prédictive par modèle à impédance corps entier pour l'interaction physique humain-robot sûre sur base flottante

Des chercheurs ont publié sur arXiv (réf. 2606.14617, juin 2026) une architecture de contrôle à trois niveaux pour robots à base flottante - bipèdes et humanoïdes - conçue pour maintenir l'équilibre tout en tolérant l'interaction physique soutenue avec des opérateurs humains (pHRI, physical human-robot interaction). Le premier niveau est un MPC centroïdal qui planifie les forces de contact sur un horizon de 500 millisecondes. Le deuxième est un contrôleur corps entier (WBC) qui traduit l'équilibre en couples articulaires par projection dans l'espace nul cohérente avec les contraintes de contact. Le troisième est un programme quadratique (QP) à horizon fuyant qui prédit et rejette les perturbations de contact à l'aide d'un état augmenté par filtre de Kalman. Une linéarisation par retour d'état réduit la dynamique de l'effecteur à un double intégrateur à matrice constante dans chaque mode de contact, permettant une précalculation hors-ligne des matrices de coût et une exécution à plus de 1 kHz. Les validations ont été conduites en simulation sur un biped à 17 degrés de liberté et sur l'humanoïde Unitree G1. L'apport central est une garantie formelle d'erreur nulle en régime permanent sous des forces de contact humain soutenues et bornées - une limite connue des contrôleurs WBC à gain fixe, qui accumulent une dérive statique lorsqu'un opérateur guide ou pousse le robot en continu. La cadence à 1 kHz, rendue possible par la précalculation hors-ligne, s'inscrit dans les contraintes temps réel de la robotique industrielle. Un théorème d'équivalence d'impédance établit que la limite horizon infini du contrôleur retrouve une loi d'impédance classique en espace tâche, avec masse, amortissement et raideur effectifs qui s'adaptent automatiquement à la posture et à la configuration de contact - ce qui facilite le réglage intuitif pour des ingénieurs familiers des contrôleurs d'impédance conventionnels. Ce travail étend une architecture Impedance MPC à deux couches pour base fixe publiée antérieurement par les mêmes auteurs. Le passage à la base flottante est non trivial : le robot doit simultanément gérer sa propre stabilité dynamique et absorber les perturbations externes. L'Unitree G1, humanoïde commercialisé autour de 16 000 dollars par Unitree Robotics, sert de banc de validation en simulation. Il faut souligner que l'ensemble des résultats est simulé - aucun essai physique sur robot réel n'est rapporté, ce qui constitue l'étape attendue. Dans un paysage où Boston Dynamics (Atlas), Agility Robotics (Digit) et Figure (03) développent leurs propres solutions WBC pour la coopération humain-robot, cette approche apporte une contribution méthodologique formellement fondée, mais dont la robustesse en conditions réelles reste à démontrer.

RecherchePaper

1 source