RecherchearXiv cs.RO 22 avril 2026

GenerativeMPC : contrôle prédictif corps entier guidé par VLM-RAG, impédance virtuelle et manipulation mobile bimanuelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont soumis sur arXiv (arXiv:2604.19522) un framework baptisé GenerativeMPC, destiné aux robots manipulateurs mobiles bimanaux. Le système articule un modèle de vision-langage couplé à une génération augmentée par récupération (VLM-RAG) avec un contrôleur prédictif sur le corps entier (Whole-Body MPC). Concrètement, le module VLM-RAG analyse la scène en temps réel, visuellement et en langage naturel, puis génère des contraintes de contrôle numériques directement exploitables: limites de vitesse dynamiques et marges de sécurité injectées dans le MPC. Parallèlement, il module les gains de raideur et d'amortissement virtuels d'un contrôleur impédance-admittance unifié pour adapter la compliance du robot au contexte. Les expériences menées dans les simulateurs MuJoCo et IsaacSim, puis sur une plateforme physique bimanuale, font état d'une réduction de vitesse de 60% à proximité des humains. Le système s'appuie sur une base de données vectorielle alimentée par l'expérience passée, ce qui permet d'ancrer les paramètres de contrôle sans ré-entraînement du modèle.

L'enjeu architectural est significatif pour les intégrateurs et les décideurs industriels. Les approches end-to-end de type VLA, comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), délèguent entièrement la traduction sémantique-physique au réseau neuronal, rendant les garanties de sécurité difficiles à certifier formellement. GenerativeMPC propose une architecture hybride explicite: le grand modèle raisonne sur le contexte (présence humaine, nature de la tâche) et produit des paramètres numériques interprétables qui alimentent un MPC classique au comportement auditable et déterministe. Pour les secteurs à forte contrainte réglementaire, c'est un argument de poids. La réduction de 60% reste cependant une métrique à contextualiser: le papier ne précise pas la vitesse de référence initiale ni les conditions exactes des essais physiques, un bémol courant dans les publications de ce type.

La manipulation mobile bimanuale est l'un des problèmes ouverts les plus exigeants de la robotique collaborative, coincé entre contrôleurs classiques contextuellement aveugles et modèles end-to-end difficilement certifiables. L'utilisation du RAG pour paramétrer des contrôleurs physiques est une direction de recherche émergente, distincte de l'apprentissage par renforcement. Dans l'écosystème concurrent, Figure AI (Figure 03), Boston Dynamics (Atlas) et 1X Technologies explorent des architectures hybrides pour des tâches bimanales. En Europe, Enchanted Tools (France) et des laboratoires comme le LAAS-CNRS avancent sur des architectures de contrôle sûres pour la collaboration humain-robot. GenerativeMPC reste pour l'instant un résultat de recherche académique sans déploiement industriel annoncé, mais son approche explicitement certifiable ouvre des perspectives concrètes pour la logistique collaborative et la robotique médicale.

Impact France/UE

Le LAAS-CNRS et Enchanted Tools (France) travaillent sur des architectures de contrôle sûres similaires ; l'approche hybride certifiable de GenerativeMPC pourrait renforcer le positionnement européen dans les débats réglementaires sur la certification des robots collaboratifs au titre de l'AI Act.

Dans nos dossiers

Figure 1X Technologies Boston Dynamics Enchanted Tools — Mirokaï

À lire aussi

1arXiv cs.RO

WristMimic : contrôle corps entier de l'humanoïde par manipulation guidée au poignet

Publié en juillet 2026 sur arXiv, WristMimic est un framework de contrôle corps entier pour robots humanoïdes qui transfère des démonstrations humaines de manipulation vers une simulation physique. Plutôt que de suivre intégralement la pose de la main, la méthode sépare le corps et le poignet, guidés cinématiquement, des doigts, qui apprennent leurs gestes de préhension à partir du suivi de l'objet et du résultat des contacts. Le poignet sert de charnière entre les deux régimes : peu soumis aux forces de contact, il reste suivable fidèlement tout en plaçant la main dans une configuration de prise atteignable. Des contraintes de réinitialisation et une priorisation des récompenses au poignet fiabilisent ce positionnement ; les auteurs annoncent des performances égales ou supérieures aux méthodes à supervision complète des doigts, avec un retargeting indépendant de la morphologie de la main. Le problème ciblé est connu en contrôle humanoïde : une trajectoire de main en position seule ne renseigne pas les forces de contact nécessaires à une prise réussie, et imposer un suivi complet des doigts tend à surcontraindre des comportements qui doivent rester riches en contacts, ce qui fragilise la manipulation fine. En découplant mouvement libre et manipulation, WristMimic s'inscrit dans la recherche sur l'imitation à grande échelle pour l'IA incarnée, sans dépendre d'une capture de main parfaite. Pour l'industrie, l'argument concret est qu'une approche agnostique à la morphologie de la main pourrait réduire le travail d'adaptation quand un intégrateur change de main dextérisée, un problème récurrent tant les architectures varient d'un fabricant humanoïde à l'autre. Ce travail s'inscrit dans la lignée des méthodes de contrôle guidé par la cinématique humaine pour humanoïdes, qui cherchent depuis deux ans à rapprocher téléopération et apprentissage par renforcement. L'abstract ne mentionne aucun déploiement sur robot réel ni partenariat industriel : il s'agit pour l'instant d'une validation en simulation, une contribution de recherche plutôt qu'un produit. Les suites logiques seraient une validation sur plateforme humanoïde physique et une comparaison avec les pipelines de téléopération des acteurs du secteur, qu'il s'agisse des humanoïdes commerciaux ou des modèles VLA généralistes comme Pi-0 ou GR00T N2.

RecherchePaper

1 source

2arXiv cs.RO

TAC-LOCO : contrôle unifié du corps entier pour la loco-manipulation quadrupède guidée par le tact

Cette étude, publiée sur arXiv en juillet 2026, présente TAC-LOCO, un cadre d'apprentissage par renforcement qui unifie pour la première fois le contrôle corporel complet d'un robot quadrupède doté d'un bras manipulateur en intégrant un retour tactile dans la boucle de commande. Le système encode les données d'un réseau de capteurs tactiles montés sur une pince compliante en une représentation latente compacte, fusionnée avec la proprioception du robot pour piloter simultanément les pattes, le bras et la pince. Les chercheurs ont déployé la politique sans réentraînement supplémentaire (zero-shot) sur un quadrupède Unitree Go2 équipé d'un bras Interbotix WidowX 250 et d'une pince tactile. Les résultats chiffrés sont précis : une réduction de 47% de la force de préhension appliquée et un taux de chute d'objet inférieur à 1%, y compris lors de changements de charge progressifs et de relâchements brusques. L'apport principal tient à ce que le système régule activement la force de préhension en fonction de l'interaction physique réelle, plutôt que de simplement serrer fermement l'objet comme le font la plupart des approches existantes en loco-manipulation dynamique. Pour l'industrie robotique, cela répond à une limite concrète des robots à pattes actuels : la capacité à transporter des charges tout en se déplaçant dynamiquement sans les endommager ni les laisser tomber, un enjeu direct pour la logistique, l'inspection industrielle ou les interventions en environnement non structuré. Ce résultat illustre aussi que l'intégration tactile n'est plus cantonnée aux tâches de manipulation statique en laboratoire, mais devient exploitable dans des scénarios de contrôle corporel complet à haute dynamique, un signal notable pour les intégrateurs qui évaluent la maturité des architectures VLA et RL appliquées à la robotique mobile. Le travail s'inscrit dans la continuité des recherches sur la loco-manipulation, un domaine où la coordination entre stabilité locomotrice et précision de manipulation reste un défi ouvert, généralement traité sans capteurs tactiles faute de méthodes robustes pour exploiter ce signal en temps réel. TAC-LOCO se positionne ainsi face aux approches de contrôle corporel complet sans tactile, en démontrant un gain mesurable sur la robustesse aux perturbations externes. La validation reste toutefois limitée à une plateforme de recherche (Go2 plus bras WidowX), sans indication de calendrier vers un déploiement industriel ou une plateforme commerciale.

RecherchePaper

1 source

3arXiv cs.RO

SM2ITH : manipulation mobile sécurisée avec prédiction interactive des humains via contrôle prédictif hiérarchique par niveaux

Des chercheurs ont publié sur arXiv (référence 2511.17798, deuxième version) un framework baptisé SM²ITH, pour Safe Mobile Manipulation with Interactive Human Prediction via Task-Hierarchical Bilevel Model Predictive Control. L'objectif : permettre à des robots mobiles manipulateurs d'évoluer en sécurité dans des espaces partagés avec des humains, sans que ces derniers se comportent de façon prévisible ou coopérative. Le système a été validé expérimentalement sur deux plateformes distinctes, le Stretch 3 de Hello Robot et le Ridgeback-UR10 (Clearpath + bras Universal Robots), dans trois configurations : tâches de livraison avec priorités navigation/manipulation variables, séquences pick-and-place en présence de piétons, et scénarios dits "adversariaux" où l'humain adopte délibérément un comportement perturbateur vis-à-vis du robot. La contribution technique centrale est l'intégration d'un modèle de prédiction interactive du mouvement humain dans un contrôleur MPC hiérarchique via une optimisation bilinéaire. Contrairement aux approches classiques qui modélisent les humains comme des obstacles passifs (modèle en boucle ouverte) ou qui fondent les objectifs en une somme pondérée, SM²ITH anticipe la façon dont le robot influence lui-même la trajectoire de l'humain, et résout conjointement les dynamiques des deux agents. Les résultats montrent une coordination plus sûre et plus efficace que les baselines testées. Pour les intégrateurs industriels ou les équipes déployant des robots de service en milieu hospitalier ou logistique, cela signifie qu'un robot peut maintenir des priorités de tâches strictes (hiérarchie de type HTMPC) tout en s'adaptant en temps réel à un comportement humain non scriptié, y compris hostile. SM²ITH s'inscrit dans une lignée de travaux sur le Hierarchical Task MPC, une famille de méthodes d'optimisation qui gèrent simultanément des tâches de navigation et de manipulation avec des niveaux de priorité explicites, mais jusqu'ici réservées à des environnements structurés ou statiques. L'extension aux dynamiques humaines interactives est le verrou que ce papier prétend lever, au stade de la validation expérimentale en laboratoire. Sur le plan de la compétition académique, les approches concurrentes s'appuient soit sur des politiques apprises (RL, diffusion), soit sur des MPC sans modèle réactif de l'humain. Aucun acteur européen n'est directement impliqué dans cette publication. Les prochaines étapes naturelles seraient une validation hors laboratoire, sur des robots à plus haute charge utile, et une comparaison avec des méthodes de prédiction basées sur des VLA ou des modèles de fondation pour l'humain.

RecherchePaper

1 source

4arXiv cs.RO

PRISM : commande prédictive par échantillonnage avec projection et réglage bayésien du coût pour la manipulation bimanuelle

Un framework académique publié en août 2026 sur arXiv (référence 2608.25666) présente PRISM, une commande prédictive par modèle (MPC) pour la manipulation bimanuelle en environnement encombré et riche en contacts. Le système s'appuie sur un simulateur physique accéléré par GPU comme modèle du monde en ligne, et introduit un échantillonnage de commandes guidé par programmation quadratique : les trajectoires de vitesses articulaires échantillonnées sont projetées sur l'ensemble des mouvements respectant les limites de position, vitesse, accélération et jerk avant évaluation. Un solveur QP maison, basé sur ADMM et le splitting de Bregman, assure l'exécution temps réel, tandis qu'une optimisation bayésienne règle automatiquement les poids de coût. PRISM a été testé sur des variantes du benchmark PerAct2 (transport de balle avec obstacles, transport de plateau, transfert de cube, levage de boîte), avec un transfert sim-to-real démontré sur deux bras UR5e d'Universal Robots. Cette approche illustre une alternative aux modèles vision-langage-action (VLA) comme Pi-0, GR00T N2 ou Helix, qui dominent la manipulation robotique par apprentissage bout en bout : au lieu d'entraîner un réseau de neurones sur des démonstrations massives, PRISM planifie directement via simulation physique, réduisant le besoin de données tout en gardant une exécution temps réel. Pour les intégrateurs industriels, le transfert sim-to-real réussi sur du matériel standard comme l'UR5e est significatif, car l'écart simulation-réalité reste un point de rupture fréquent des méthodes MPC comme des approches apprises. Il s'agit néanmoins d'un travail académique publié sur arXiv, sans partenaire industriel annoncé ni déploiement commercial, ce qui le distingue des annonces produit humanoïdes. Le contrôle bimanuel en milieu contraint reste un problème ouvert de longue date en robotique, partagé entre méthodes MPC classiques, coûteuses en calcul, et méthodes apprises nécessitant d'importants volumes de démonstrations. PRISM se positionne entre les deux en combinant simulation GPU et optimisation bayésienne pour automatiser le réglage des coûts. Le choix du benchmark PerAct2 et du bras UR5e, plateforme largement répandue en recherche comme en intégration industrielle, facilite la reproductibilité et la comparaison avec d'autres approches. Aucun essai pilote, partenariat industriel ni calendrier de commercialisation n'est mentionné dans la publication, qui reste à ce stade une contribution de recherche accompagnée de code source ouvert.

UELe transfert sim-to-real réussi de PRISM sur des bras UR5e, plateforme cobotique du danois Universal Robots largement déployée dans l'industrie européenne, rend cette approche directement testable par des intégrateurs européens.

RecherchePaper

1 source