RecherchearXiv cs.RO 19 octobre 2026

LY-GWM-RoboCasa-Human300 : sélection d'actions guidée par la prédiction avec un modèle de dynamique à base de graphes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

LY-GWM-RoboCasa-Human300 est une politique de manipulation en simulation qui empile trois composants. Le premier est un générateur d'actions GR00T-N1.5 (le modèle fondation de NVIDIA) affiné sur le jeu de données Human300. Le deuxième est un modèle de dynamique à graphe, conditionné par l'action. Le troisième est un évaluateur binaire appris, qui note la récompense d'un état. À l'inférence, le système tire quatre séquences d'actions (« chunks »), prédit pour chacune les caractéristiques latentes futures et l'état du robot sur un horizon de 16 pas, puis exécute celle dont l'état prédit obtient le meilleur score. Les trois modules restent figés pendant l'évaluation. Sur 50 tâches RoboCasa 1.0.1 (cuisines du split « pretrain », 50 épisodes par tâche), la politique réussit 207 épisodes sur 2 500 (8,28 %), contre 181 sur 2 500 (7,24 %) pour une base GR00T-N1.5 entraînée en interne. L'écart est de 26 succès, soit 1,04 point. Les tâches atomiques passent de 141/900 à 150/900. Les mainteneurs de RoboCasa ont aussi réévalué la soumission : 354 succès sur 1 500 (23,6 %), avec 48,3 % en Atomic-Seen, 16,3 % en Composite-Seen et 3,1 % en Composite-Unseen.

L'intérêt est surtout méthodologique. La sélection guidée par prédiction modifie réellement les actions envoyées à l'environnement : les audits comptent 212 700 chunks modifiés, dont 28 223 sur les tâches atomiques. Le gain reste toutefois modeste, et les auteurs n'annoncent pas de test de significativité sur 26 succès supplémentaires. Ils refusent aussi d'attribuer à une amélioration du modèle l'écart entre le score local et le score officiel, ce qui est honnête mais rappelle que les chiffres ne sont pas comparables entre protocoles. Le résultat officiel montre surtout le plafond actuel : 3,1 % sur les compositions inédites, loin d'une généralisation exploitable en cuisine réelle. Pour les intégrateurs, il n'y a donc rien de déployable ici. Il s'agit d'une démonstration que les modèles du monde peuvent servir de filtre à l'inférence sur une politique VLA (vision-langage-action) figée, sans réentraînement.

Ce travail s'inscrit dans la course aux modèles du monde et aux politiques généralistes autour de GR00T, de Pi-0 et de leurs variantes, évaluées sur le benchmark RoboCasa de simulation domestique. L'approche rejoint les méthodes de planification par échantillonnage et notation déjà explorées en apprentissage par renforcement basé sur modèle. Les auteurs décrivent les étapes d'entraînement, la provenance des évaluations et des points d'entrée publics de reproduction, ce qui permettra à d'autres équipes de vérifier l'effet. Aucune échéance de déploiement ni validation sur robot physique n'est annoncée.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T

À lire aussi

1arXiv cs.RO

TacWAM : un modèle d'action du monde guidé par ancrage, avec prédiction tactile sensible à la mécanique

Traduction-résumé de l'article arXiv ci-dessous, format demandé (3 paragraphes, sans titres). --- Des chercheurs présentent TacWAM (Anchor-Guided World Action Model with Mechanics-Aware Tactile Prediction), un modèle qui combine prédiction d'état futur et génération d'action pour des robots manipulateurs, en s'appuyant cette fois sur le tactile plutôt que sur la seule vision. Le système repose sur trois briques : un encodeur tactile à fusion spatialement alignée (SAF) qui projette apparence tactile, champs de force denses et flux de déformation dans un espace latent commun, avec reconstruction bilatérale des forces et couples pour préserver l'information de contact globale ; un encodeur d'historique tactile qui donne du contexte temporel à la prédiction future ; et un mécanisme d'attention tri-modal guidé par ancrage (AGT) qui sépare les tokens visuels et tactiles courants, les tokens de prédiction future et les tokens d'action, de façon à ce que la supervision par le tactile futur n'agisse pas comme un raccourci direct pour l'action. Sur quatre tâches réelles de manipulation à contact riche (prise d'objets fragiles, contact de surface soutenu, manipulation dynamique en main), TacWAM atteint un taux de réussite moyen de 75,0 %, soit 37,5 points de plus que la meilleure référence testée. Des ablations montrent une dégradation nette dès que l'historique tactile est retiré ou que l'accès aux cibles de prédiction future est relâché. L'enjeu dépasse la simple mesure de performance : la vision seule peine à fournir un signal utile pour la force, le glissement ou la déformation lors de tâches de contact fin, un angle mort connu des approches de manipulation par apprentissage. En montrant qu'une prédiction tactile future bien conçue, couplée à une architecture qui empêche cette prédiction de devenir une "triche" pour l'action, améliore significativement des tâches réputées difficiles (objets fragiles, contact soutenu), les auteurs apportent un argument concret en faveur de l'intégration native du tactile dans les futurs modèles de type "world action model", au-delà des architectures VLA aujourd'hui dominées par la vision et le langage. Ce travail s'inscrit dans la lignée des World Action Models, qui cherchent à unifier prédiction du monde et politique d'action pour améliorer la robustesse des robots manipulateurs, un axe déjà exploré via la vision par des modèles comme GR00T N2 ou Pi-0. TacWAM reste à ce stade une contribution de recherche publiée sur arXiv, validée sur un nombre restreint de tâches en laboratoire et non un système déployé industriellement ; ses auteurs annoncent vouloir approfondir les ablations et étendre l'évaluation à davantage de scénarios de contact.

RecherchePaper

1 source

2arXiv cs.RO

De la prédiction à la décision : sélection d'action guidée par modèle du monde pour l'excavation continue de tas

Une équipe de recherche présente dans un article publie en preprint sur arXiv (2609.15382) le World-Action Model (WAM), un système de décision pour l'excavation autonome par chargeuse sur pneus. Comme chaque scoop modifie le relief disponible pour l'action suivante, WAM génère plusieurs trajectoires de godet candidates, éliminé celles géométriquement impossibles, prédit conjointement pour chacune le changement de terrain et le volume charge, puis exécuté celle au chargement prédit le plus élevé avant de replanifier depuis le nouveau relief observe. Sur 32 épisodes de test MinSlope a géométries distinctes, ce classement par modèle du monde applique a des propositions générées par diffusion fait chuter le nombre moyen de passes de godet de 651,8 a 540,6 (-17,1%), préservé un taux de réussite de 32/32 et améliore chaque épisode teste individuellement. En comparaison système complet, WAM termine ses 32 épisodes contre 29 sur 32 pour une politique "soft actor-critic" entraînée séparément. L'équipe a aussi valide l'interface sur des données de chargeuse grandeur réelle et déployé la boucle complète perception-proposition-prédiction-sélection-exécution en conditions physiques, via une implémentation ROS2/TensorRT traitant cinq candidats en 72,4 millisecondes sur un module Jetson AGX Orin. Le résultat vise un problème central du terrassement autonome: chaque action transforme l'environnement de la décision suivante, ce qui rend l'anticipation des conséquences plus déterminante que la seule qualité du mouvement exécuté. En montrant qu'une couche de décision fondée sur un modèle du monde améliore a la fois l'efficacité, moins de passes pour un même résultat, et la fiabilité, taux de complétion supérieur a une politique de renforcement entraînée de bout en bout, l'étude indique que le gain vient du choix explicite entre plusieurs actions possibles plutôt que de la seule politique de mouvement. Pour les intégrateurs et fabricants d'équipements de chantier et de mines, une baisse de 17% du nombre de passes se traduit directement en gains de temps de cycle a l'échelle d'une flotte, même si ces chiffres restent issus de la simulation, l'expérience physique ne démontrant pour l'instant que la faisabilité de la boucle fermée en conditions réelles. Le travail s'inscrit dans l'automatisation des engins de terrassement, ou les approches existantes reposent soit sur des politiques de mouvement générées par diffusion sans raisonnement explicite sur les conséquences terrain, soit sur de l'apprentissage par renforcement comme le soft actor-critic utilise ici en comparaison. Les auteurs testent également plusieurs représentations d'entrée, étendues spatiales et cinq architectures de réseau afin d'identifier un prédicteur "structure par la physique" a la fois précis et rapide, une contribution méthodologique distincte du résultat applicatif. A ce stade, il s'agit d'un article de recherche en preprint, valide sur chargeuse grandeur réelle en boucle expérimentale mais sans déploiement en flotte ni acteur industriel nomme, ce qui le situe cote recherche amont dans un domaine ou l'automatisation des chargeuses et pelles intéressé autant les laboratoires que les fabricants d'équipements de chantier et de mines.

RecherchePaper

1 source

3arXiv cs.RO

VIGOR-MPC : commande prédictive par modèle à régulation d'objectifs guidée par la vision

VIGOR-MPC est un cadre de commande publié sur arXiv (2610.20333) qui s'attaque à un problème classique de la robotique mobile: piloter un agent dont la seule perception de l'environnement vient de caméras embarquées. Les auteurs proposent une architecture modulaire de type élève-enseignant, indépendante du pipeline de perception. L'enseignant est un MPC (commande prédictive par modèle) à long horizon, exécuté en simulation avec connaissance complète de l'état. Il intègre la contrainte de champ de vision grâce à une formulation multi-trajectoires qui garantit que l'agent reste dans son champ de vision. L'élève est un MPC à horizon court, dont les paramètres de coût sont déterminés en ligne à partir de la vision par une application récurrente multi-niveaux. Il ne voit que le contexte bruité, de longueur variable et partiellement occulté fourni par le module de perception. Les tests portent sur la course autonome basée sur la vision, en simulation puis sur matériel. Sur des circuits jamais vus à l'entraînement, la méthode s'approche des temps au tour de l'enseignant privilégié tout en réduisant le calcul par pas de plus de 90 %. L'intérêt tient à un goulot d'étranglement très concret: sur un robot réel, la puissance de calcul embarquée est partagée entre perception et commande, ce qui limite l'horizon de planification exécutable en temps réel. Au lieu de remplacer le MPC par une politique apprise de bout en bout, difficile à certifier, VIGOR-MPC conserve un optimiseur classique et n'apprend que ses paramètres de coût. Cette approche garde une structure interprétable et des contraintes explicites, ce qui compte pour les intégrateurs qui doivent justifier le comportement d'un système. La réduction de plus de 90 % du calcul laisse de la marge pour d'autres tâches sur le même processeur. Il faut toutefois relativiser: la validation se limite à la course, un cadre où la piste est structurée, et l'abstract ne donne ni vitesses, ni plateforme matérielle, ni écart chiffré avec l'enseignant. La formule « s'approche des temps au tour » reste donc qualitative. Le travail est une preuve de concept académique, sans produit ni déploiement industriel. Le travail s'inscrit dans la lignée des méthodes qui distillent un expert privilégié, entraîné avec information complète en simulation, vers une politique n'utilisant que des capteurs embarqués. Cette stratégie est déjà courante en locomotion et en vol de drones de course. L'originalité ici est de distiller vers les paramètres d'un MPC plutôt que vers des commandes directes. Les concurrents conceptuels sont les politiques de bout en bout par apprentissage par renforcement et les MPC à long horizon alimentés par une cartographie explicite, plus coûteux en calcul. Les suites naturelles seraient des tests sur des tâches de navigation hors course, comme des environnements encombrés ou des robots mobiles d'entrepôt, et des campagnes de mesures plus détaillées sur matériel. L'article n'annonce aucun calendrier.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Sécurité prédictive calibrée pour robots hétérogènes : un cadre JEPA conditionné par l'action avec boucliers de sécurité basés modèle

Un article publié sur arXiv (référence 2608.17496v1), intitulé « Calibrated Predictive Safety for Heterogeneous Robots », présente un pipeline de décision en cinq étapes pour des robots de types différents. Un module « proposer » génère K séquences d'actions candidates ; un modèle du monde de type JEPA (Joint-Embedding Predictive Architecture), conditionné par l'action et par l'identité du robot, simule chaque candidat dans un espace latent à encodeur figé ; deux têtes calibrées estiment ensuite le risque physique et la progression de la tâche pour chaque simulation, avec une mesure d'incertitude ; un filtre de sécurité déterministe propre à chaque robot élimine les candidats inadmissibles ; une procédure de repli prend le relais si aucun candidat ne passe le filtre. Testé selon un protocole pré-enregistré sur le benchmark de simulation LIBERO-Long, le système améliore le taux de réussite sur des lots de 600 épisodes par rapport à un filtre de sécurité utilisé seul, et réduit les faux négatifs de collision à rappel constant. Des mesures d'efficacité sur accélérateurs embarqués et de périphérie complètent l'évaluation. Le travail cible une tension centrale du secteur : les politiques vision langage action généralisent largement mais n'offrent aucune garantie au moment de l'exécution, tandis que les planificateurs classiques respectent les contraintes cinématiques et géométriques mais généralisent mal. En couplant une prédiction de risque apprise à un filtre déterministe qui seul porte la garantie de sécurité, les chercheurs proposent une architecture où l'apprentissage améliore la performance sans jamais se substituer à la certification, un enjeu concret pour des intégrateurs devant faire cohabiter plusieurs types de robots sur un même site. L'approche illustre une conviction croissante dans l'industrie : la généralisation d'une politique apprise ne suffit pas, seule, à rendre un robot certifiable pour un déploiement réel. Le travail reste cantonné à la simulation. Les auteurs précisent explicitement que les essais sur robot réel et un test statistique de significativité pour le reclassement hors ligne restent à mener, ce qui distingue nettement cette publication de recherche d'un système déployé ou d'un produit commercialisé. Elle s'inscrit dans un effort plus large de plusieurs laboratoires pour combiner modèles du monde appris et garanties formelles de sécurité, afin de répondre à l'écart régulièrement pointé entre les démonstrations de politiques génératives et leur fiabilité une fois embarquées sur du matériel physique. La prochaine étape annoncée consiste à valider le pipeline sur des robots physiques avant toute perspective de déploiement industriel.

RecherchePaper

1 source