Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Modèles du monde latents structurés par énergie avec champs de temps neuronaux pour la planification de mouvement physiquement cohérente en monde ouvert
RecherchearXiv cs.RO 

Modèles du monde latents structurés par énergie avec champs de temps neuronaux pour la planification de mouvement physiquement cohérente en monde ouvert

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un preprint publié sur arXiv (arXiv:2608.09876v1) présente ELWM (Energy-Structured Latent World Model), un modèle du monde latent qui encode l'énergie et le moment cinétique pour garantir des transitions physiquement causales, entraîné sur des données RGB-D et inertielles. Les chercheurs l'intègrent à un module de navigation, PC-NTF (Physics-Conditioned Neural Time Fields), qui couple ce modèle à un champ de temps d'arrivée via l'équation eikonale. Sur des scènes de test inédites, il fait passer le NRMSE de prédiction à 0,8 seconde de 0,36 à 0,29 face aux modèles latents génériques, et, face à Active Neural Time Fields, porte le taux de réussite en navigation de 81,3% à 89,7%, le SPL de 0,64 à 0,73, tout en réduisant la collision de 12,1% à 5,8% et le résidu eikonal de 0,083 à 0,031.

Le travail cible une faiblesse des world models robotiques: sans contrainte physique explicite, ils peuvent halluciner des dynamiques irréalistes, ce qui fragilise la navigation dès qu'un robot mobile ou humanoïde sort des scénarios d'entraînement pour un environnement ouvert et imprévisible. En forçant le modèle à conserver énergie et moment, les auteurs améliorent simultanément précision de prédiction et sécurité réelle, deux métriques qui ne progressent pas toujours ensemble dans les architectures purement data-driven. Pour les équipes développant des planificateurs pour AMR et robots humanoïdes, l'approche esquisse une piste pour combler l'écart entre modèles prédictifs et exigences de sécurité dynamique, alors que le secteur cherche à faire passer world models et VLA de la démonstration à un usage fiable.

Il s'agit d'un preprint de recherche, sans robot physique ni site de déploiement, évalué sur des scènes tenues à l'écart de l'entraînement plutôt que dans un déploiement réel: les gains relèvent d'une validation contrôlée, pas d'un produit commercial. La comparaison s'appuie sur les modèles latents génériques et sur les Active Neural Time Fields, une approche de champs de temps neuronaux déjà établie en planification de trajectoire. Le travail s'inscrit dans une tendance plus large de la recherche en IA incarnée visant à injecter des priors physiques dans les world models de navigation, sans calendrier de transfert vers du matériel réel précisé par les auteurs.

Dans nos dossiers

IA physique & VLAWorld modelsarXiv cs.RO

À lire aussi

Champs temporels neuronaux sensibles à la forme pour la planification de mouvement et de manipulation de corps rigides
1arXiv cs.RO 

Champs temporels neuronaux sensibles à la forme pour la planification de mouvement et de manipulation de corps rigides

Des chercheurs proposent Shape-Aware Neural Time Fields, un cadre de planification de mouvement par réseaux de neurones informés par la physique, publié sur arXiv (2610.22762, première version). Le système apprend une représentation réutilisable du temps de trajet, c'est-à-dire un coût restant jusqu'au but, pour un corps rigide dont la position et l'orientation comptent à la fois. Le champ appris capture séparément la difficulté locale en translation et en rotation, puis il est associé à un planificateur par échantillonnage qui arbitre entre la progression vers l'objectif et le coût pour atteindre les poses voisines. Les auteurs l'évaluent sur des tâches de planification de corps rigide en 2D et en 3D, ainsi que sur de la manipulation non préhensile, avec du poussage d'objets dans des environnements variés. Ils annoncent des gains substantiels de taux de succès et d'efficacité d'inférence face aux méthodes neuronales informées par la physique, tout en restant compétitifs avec les planificateurs classiques par échantillonnage, pour des temps de planification nettement plus courts. Aucun chiffre précis n'est donné dans le résumé. L'enjeu concret tient au couplage entre translation et rotation. Pour déplacer une pièce encombrante dans une cellule dense, un palettiseur ou une zone de manutention, la géométrie environnante contraint rarement ces deux degrés de liberté de la même façon. Un planificateur qui les traite uniformément perd du temps ou échoue dans les passages étroits. En apprenant un champ de coût réutilisable, la méthode déplace l'effort de calcul vers une phase hors ligne, ce qui rend la replanification rapide. Les expériences de poussage en boucle fermée, avec déviations d'exécution et perturbations externes, vont dans ce sens : une replanification rapide permet une exécution réactive. Il faut toutefois rester prudent. Il s'agit d'un travail académique non évalué par les pairs, sans déploiement industriel, et les benchmarks restent en environnements de test. La comparaison avec les planificateurs classiques ne dit pas non plus si la qualité des trajectoires est équivalente ni si le champ appris se généralise à des scènes inconnues sans réentraînement. Ce travail s'inscrit dans la lignée des champs de temps neuronaux et des solveurs de l'équation eikonale informés par la physique, apparus pour accélérer la planification de mouvement face aux méthodes classiques de type RRT ou PRM, fiables mais coûteuses en temps de calcul dans les scènes encombrées. Les premières approches neuronales traitaient mal l'orientation, ce que cette contribution tente de corriger. Les ablations annoncées par les auteurs séparent l'apport de la représentation apprise de celui de la stratégie de planification, mais le résumé ne les chiffre pas. Les prochaines étapes naturelles seraient des essais sur bras réels et des scènes dynamiques, ainsi qu'une intégration avec des politiques de manipulation apprises. Aucun calendrier de pilote ou de transfert industriel n'est mentionné.

RecherchePaper
1 source
ACID : cohérence des actions par dynamique inverse pour la planification avec des modèles du monde
2arXiv cs.RO 

ACID : cohérence des actions par dynamique inverse pour la planification avec des modèles du monde

ACID (Action Consistency via Inverse Dynamics), présenté dans un article arXiv publié début juillet 2026 (arXiv:2607.02403v1), s'attaque à un défaut connu de la planification par modèles du monde conditionnés par l'action, une méthode largement utilisée en contrôle robotique. Le problème identifié par les auteurs : le coût de planification standard ne juge une trajectoire candidate qu'à l'aune de la proximité entre l'état terminal prédit et l'objectif, sans vérifier si les transitions intermédiaires sont réalisables. Résultat, une trajectoire peut sembler cohérente sur le papier tout en divergeant fortement une fois exécutée dans l'environnement réel. ACID introduit un principe de "cohérence d'action cyclique" : à chaque étape, un modèle de dynamique inverse tente de retrouver, à partir de la transition prédite, l'action qui l'a produite ; l'écart entre cette action reconstruite et l'action réelle est intégré au coût de planification via une pondération adaptative invariante à l'échelle. Les auteurs valident la méthode sur quatre modèles du monde différents et six tâches couvrant la manipulation d'objets rigides et déformables, le contrôle de systèmes articulés et la navigation visuelle, avec un gain systématique en qualité de planification. L'apport principal n'est pas seulement la précision, mais l'efficacité : ACID atteint une exactitude comparable aux méthodes de référence tout en réduisant substantiellement le budget de calcul nécessaire à la planification. C'est un point sensible pour l'embarqué robotique, où le temps de cycle et la puissance de calcul disponible contraignent directement le déploiement temps réel. Le papier touche aussi à un débat plus large dans le secteur : la fiabilité des modèles du monde utilisés pour anticiper les conséquences d'une action avant de l'exécuter, un maillon critique face aux erreurs qui s'accumulent le long d'une trajectoire prédite. Cette approche s'inscrit dans la lignée des travaux sur la planification par modèle prédictif (MPC) couplée à des dynamiques apprises, une alternative aux architectures vision-langage-action de bout en bout comme Pi-0, GR00T N2 ou Helix, qui n'exposent pas de mécanisme de vérification explicite des trajectoires intermédiaires. Publié en preprint, ACID n'a pas encore fait l'objet d'une revue par les pairs ni d'une validation sur robot physique au-delà des bancs de test utilisés dans l'étude ; la suite logique serait une évaluation en conditions réelles et une comparaison directe avec les méthodes de planification par diffusion, autre piste active du domaine.

RecherchePaper
1 source
Au-delà des emplacements d'instances : des modèles du monde sémantiquement riches pour la planification d'interactions physiques
3arXiv cs.RO 

Au-delà des emplacements d'instances : des modèles du monde sémantiquement riches pour la planification d'interactions physiques

Des chercheurs présentent SR-WM (Semantically Rich World Model), un modèle du monde conditionné par la tâche pour la planification d'interactions physiques en robotique de manipulation, détaillé dans un article publié sur arXiv sous la référence 2608.22294v1. Plutôt que de se limiter à prédire des observations futures ou des caractéristiques latentes, comme le font les modèles du monde classiques, SR-WM structure sa représentation autour de cinq rôles fonctionnels explicites: gripper, cible, but, relation et phase. Un encodeur d'entités visuelles extrait des hypothèses d'entités à partir de caractéristiques de patchs pré-entraînées, les masques de segmentation servant d'indices optionnels plutôt que d'entrées obligatoires. Un module de liaison de rôles associe ensuite ces hypothèses aux rôles spécifiques à la tâche, tandis qu'un modèle de dynamique conditionné par l'action prédit les transitions de rôles ainsi que des éléments fins: contact, établissement de relations entre objets, préservation de ces relations et changement de phase. L'ensemble est évalué sur les quatre suites de simulation LIBERO, avec des tests de transfert inter-suites, des diagnostics de perception et une analyse de sensibilité aux actions. Pour l'industrie de la manipulation robotique et les équipes travaillant sur des architectures vision-langage-action (VLA), ce travail cible un écart précis: un modèle qui prédit correctement des pixels ou des embeddings futurs ne garantit pas qu'il comprenne si une action préserve les relations nécessaires à la réussite d'une tâche, comme ne pas rompre une prise ou déplacer un objet hors de sa zone cible. En rendant explicites des rôles fonctionnels plutôt que de s'appuyer sur des slots d'objets indifférenciés ou un état monolithique, SR-WM propose une interface sémantique reliant dynamique visuelle et décision de planification, utilisée pour générer plusieurs candidats d'action, les reclasser selon l'étape de la tâche, et rechantillonner en cas de violation détectée. C'est une piste concrète pour fiabiliser la sélection d'actions issues de politiques apprises, plutôt que de juger leur qualité sur des démonstrations sélectionnées ou des taux de réussite bruts en simulation. Ce travail s'inscrit dans la lignée des recherches sur les représentations centrées objets pour les modèles du monde, qui cherchent depuis plusieurs années à dépasser les limites des slots d'instances indifférenciés en robotique par apprentissage. LIBERO, le benchmark utilisé pour l'évaluation, est devenu une référence standard pour tester la généralisation des politiques de manipulation entre familles de tâches. L'article ne fait état d'aucun déploiement matériel, partenariat industriel ou test sur robot réel: il s'agit d'une contribution académique évaluée exclusivement en simulation. Les suites naturelles pour ce type d'approche, transfert sim-to-real et intégration à des pipelines VLA existants, ne sont ni annoncées ni datées dans l'article.

RecherchePaper
1 source
Modèle du monde à quantification vectorielle : planification de mouvement par rétroaction latente pour la manipulation robotique
4arXiv cs.RO 

Modèle du monde à quantification vectorielle : planification de mouvement par rétroaction latente pour la manipulation robotique

Des chercheurs proposent le Vector-Quantized World Model (VQ-WM), un cadre de planification de mouvement à retour d'information latent pour la manipulation robotique, décrit dans la version 2 d'un preprint arXiv (2610.25600). L'architecture combine deux étages. Un prédicteur latent discret modélise les transitions entre états visuels quantifiés par vecteurs, ce qui permet au planificateur de chercher en profondeur et de trouver le plus court chemin vers le but par recherche discrète. Un contrôleur continu appris atteint ensuite ces états planifiés l'un après l'autre, en s'appuyant sur le retour visuel pour corriger les déviations. L'innovation technique tient à la métrique de quantification. Là où la quantification vectorielle classique utilise la distance euclidienne, les auteurs emploient un nouvel estimateur du temps de premier passage, utilisé comme quasi-métrique, afin que l'abstraction de planification reflète ce que le contrôleur sait réellement atteindre. L'évaluation physique porte sur la tour de Hanoï, avec 100 % de réussite à partir de données de jeu courtes. Sur des benchmarks en simulation couvrant manipulation et locomotion, la méthode devance les meilleurs modèles du monde de 13,3 à 85,3 points de pourcentage. L'intérêt tient à l'un des points faibles les plus cités des approches actuelles, la manipulation à long horizon. Les auteurs affirment que les modèles fondation de pointe, qu'il s'agisse de VLA (vision-langage-action) ou de WAM (world action models), ne réussissent la tâche que si la trace de la solution figure dans leurs données d'entraînement. VQ-WM, lui, recompose des solutions longues à partir de démonstrations courtes. Si ce résultat se confirmait, il plaiderait pour des architectures hybrides, où la recherche explicite et le contrôle par retour visuel complètent l'apprentissage de politiques de bout en bout, et pour une collecte de données moins coûteuse, car elle n'aurait plus à couvrir chaque séquence complète. Il faut toutefois rester prudent. Hanoï est une tâche structurée, à états discrets bien définis et à solution connue, très éloignée du désordre d'un entrepôt ou d'une ligne d'assemblage. L'écart de 13,3 à 85,3 points est une fourchette très large, qui dépend sans doute fortement des benchmarks et des baselines retenus. Le résumé ne précise ni le nombre d'essais, ni le robot utilisé, ni les temps de cycle. Ces travaux s'inscrivent dans la montée des modèles du monde visuels pour la planification, qui se heurtent à l'accumulation des erreurs de prédiction, à la complexité de la recherche et à des plans latents que le contrôleur bas niveau ne peut pas exécuter. VQ-WM s'attaque à ces trois obstacles. Il se place face aux VLA comme Pi-0 ou GR00T, et face aux WAM, qui dominent les démonstrations industrielles actuelles. Il s'agit d'une publication académique, non d'un produit ni d'un pilote : aucune commercialisation ni calendrier n'est annoncé. Les prochaines étapes à surveiller sont la validation sur des tâches non structurées, avec des objets variés et des perturbations réelles, ainsi que la publication du code et des données.

RecherchePaper
1 source