Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Les dynamiques prédites peuvent-elles exister dans le monde physique ?
RecherchearXiv cs.RO 

Les dynamiques prédites peuvent-elles exister dans le monde physique ?

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un preprint déposé le 1er juin 2026 sur arXiv (identifiant 2606.00089) introduit le concept d'admissibilité physique pour les politiques de robotique apprise, qu'il s'agisse de modèles VLA (Vision-Language-Action), de diffusion policies ou d'Action Chunking Transformers. Ces systèmes génèrent des trajectoires d'état, des séquences d'actions et des plans en espace latent, mais le problème central est le suivant : un faible RMSE (Root Mean Square Error) de prédiction ne garantit pas qu'une proposition soit physiquement exécutable sur un robot réel. Les auteurs formulent une interface prédiction-contrôle qui évalue chaque proposition candidate via des conditions cinématiques, dynamiques et des horizons composés, avant toute exécution. Sur le benchmark Hugging Face LeRobot PushT, les résidus RMSE et dynamiques standardisés atteignent des AUC (aire sous la courbe ROC) de 0,982 et 0,972, la porte complète atteint 0,957, et le système bloque 87 à 89 % des propositions invalides tout en préservant un progrès de tâche moyen de 0,998. Point notable : les conditions cinématiques seules n'atteignent que 0,592 d'AUC.

Pour les intégrateurs et les équipes qui déploient des politiques apprises sur du matériel réel, l'apport est concret : une couche de validation interposable entre la sortie d'un modèle et le contrôleur bas niveau, avec attribution de cause au rejet (dépassement de couple, violation de limites articulaires, incohérence cinématique). Ce n'est pas un certificat de succès de la tâche, mais un filtre qui réduit le fossé sim-to-real sans nécessiter de retraining. Le faible AUC des conditions cinématiques seules contredit une hypothèse parfois avancée dans le secteur : vérifier la cohérence géométrique ne suffit pas, les contraintes dynamiques sont indispensables pour filtrer les trajectoires non exécutables.

Ce travail s'inscrit dans un contexte où des modèles comme pi0 (Physical Intelligence), GR00T N2 (NVIDIA) et les politiques de Figure affichent une généralisation croissante mais aussi des échecs caractéristiques au contact du déploiement réel. La question de la vérifiabilité formelle des sorties de politiques apprises est un axe de recherche actif dans plusieurs laboratoires, dont MIT, CMU et ETH Zurich. Ce preprint n'est pas encore évalué par les pairs et les expériences restent confinées à un benchmark de manipulation 2D relativement simple (PushT) ; la validation sur des manipulateurs industriels 6 DOF en boucle temps réel reste entièrement à démontrer.

Dans nos dossiers

NVIDIA GR00TPhysical Intelligence — π0arXiv cs.RO

À lire aussi

Préserver les modes instables grâce à la dynamique inverse dans les modèles du monde JEPA
1arXiv cs.RO 

Préserver les modes instables grâce à la dynamique inverse dans les modèles du monde JEPA

Une équipe de chercheurs publie sur arXiv (2610.07540) une étude sur un défaut discret des modèles du monde de type JEPA (Joint-Embedding Predictive Architecture) utilisés pour piloter des robots à partir d'images. Les systèmes robotiques présentent souvent des modes instables, c'est-à-dire des directions de l'état le long desquelles une petite perturbation croît sans limite si aucun retour d'état ne la corrige. Les auteurs montrent qu'un entraînement fondé sur la prédiction de l'étape suivante, associé à une régularisation anti-effondrement, ne garantit pas la conservation de ces modes contrôlables : la fonction de perte peut être minimisée alors que ces directions sont écrasées dans la représentation, ce qui rend toute stabilisation impossible. Le remède proposé ajoute un objectif de reconstruction de l'action (une perte de dynamique inverse). Les auteurs démontrent qu'une reconstruction exacte rend l'encodeur injectif sur le sous-espace atteignable en H pas, et que, lorsque H augmente, l'espace propre dominant du gramien de contrôlabilité à horizon fini converge vers le sous-espace instable contrôlable. Les preuves portent sur des systèmes linéaires. Les tests empiriques, sur CartPole, Walker2D et PointMaze, visent à montrer que le résultat se prolonge au cas non linéaire visuel. L'intérêt est surtout diagnostique. Il met en évidence un mode de défaillance silencieux : une perte d'entraînement basse ne prouve pas que la représentation soit exploitable pour le contrôle. Pour les équipes qui construisent des politiques ou des planificateurs sur des modèles du monde latents, c'est un argument pour ajouter des signaux sensibles à l'action plutôt que de se fier à la seule qualité de prédiction. Ce travail ne contredit pas les approches existantes, il en précise une limite théorique. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, sans déploiement ni robot physique. Les benchmarks sont des environnements simulés simples, loin de la manipulation à grand nombre de degrés de liberté. Le résultat s'inscrit dans la lignée des JEPA, popularisées par l'équipe de Yann LeCun, et des modèles du monde appris pour le contrôle, face à des approches de type VLA qui apprennent directement les actions. Aucune suite ni calendrier n'est annoncé. L'étape suivante logique serait un passage à l'échelle sur des tâches visuelles plus riches, puis sur du matériel réel.

RecherchePaper
1 source
IA physique : modèle du monde 3D fondé sur les principes physiques pour la manipulation d'objets dynamiques (PhysMani)
2arXiv cs.RO 

IA physique : modèle du monde 3D fondé sur les principes physiques pour la manipulation d'objets dynamiques (PhysMani)

Des chercheurs présentent PhysMani, un framework qui couple un modèle du monde en Gaussiennes 3D fondé sur la physique avec un modèle de politique d'action anticipatif, pour la manipulation d'objets rapides et dynamiques en environnement 3D non structuré. Le modèle du monde apprend un champ de vitesse gaussien à divergence nulle par optimisation en ligne, ce qui permet une prédiction rapide et physiquement cohérente de la dynamique future de la scène. Le modèle de politique intègre ensuite ces prédictions via un module d'attention croisée à base de tokens appris. Les auteurs introduisent également PhysMani-Bench, un nouveau benchmark de manipulation dynamique composé de 16 tâches, et rapportent un taux de réussite supérieur à des baselines solides, aussi bien en simulation que lors d'expériences avec un robot réel. Le papier, publié sur arXiv (2607.01938), ne précise ni la plateforme robotique utilisée ni de métriques chiffrées exactes (taux de réussite, temps de cycle, charge utile), ce qui en fait à ce stade une contribution de recherche plutôt qu'un produit ou un déploiement commercial. Pour l'industrie robotique, ce travail s'attaque à un point faible connu des modèles vision-langage-action (VLA) et des world models existants: leur difficulté à représenter une géométrie 3D précise et à anticiper une dynamique physiquement plausible pour des objets en mouvement rapide. La manipulation de cibles dynamiques, objets qui tombent, glissent ou sont lancés, reste l'un des angles morts des démonstrations actuelles de bras robotiques et d'humanoïdes, la plupart des systèmes généralistes étant surtout validés sur de la manipulation quasi statique. Si les résultats de PhysMani se confirment au-delà du cadre académique, cela ouvrirait une piste pour réduire l'écart entre démonstration en laboratoire et usage réel en logistique ou en industrie, où la prise d'objets en mouvement est fréquente sur convoyeur ou en tri à cadence élevée. Mais tant que l'étude reste limitée à un benchmark maison et sans comparaison indépendante, il s'agit d'une preuve de concept à confirmer, pas d'une solution prête à intégrer. Ce travail s'inscrit dans la lignée des world models 3D construits sur des représentations en Gaussiennes, une technique héritée du rendu de scènes et de plus en plus utilisée en robotique pour modéliser des environnements denses. Ces approches se positionnent face aux modèles VLA de bout en bout entraînés sur de larges corpus de démonstrations, popularisés par des acteurs comme Physical Intelligence avec Pi-0 ou NVIDIA avec GR00T N2, ainsi qu'aux world models déjà exploités par d'autres équipes de recherche en manipulation. Aucun partenaire industriel ni acteur français ou européen n'est mentionné dans l'abstract. La suite logique pour les auteurs serait d'étendre le benchmark, de tester la méthode sur des plateformes robotiques variées, et de la comparer directement aux VLA généralistes pour situer PhysMani face aux solutions déjà commercialisées.

RechercheOpinion
1 source
Identifier l'habitude, la physique et la nuisance dans les modèles du monde des robots
3arXiv cs.RO 

Identifier l'habitude, la physique et la nuisance dans les modèles du monde des robots

Une équipe de recherche propose, dans un article publié sur arXiv (référence 2609.09210v1), une méthode pour décomposer les données de démonstrations téléopérées utilisées pour entraîner les modèles du monde en robotique. Le constat de départ est que ces démonstrations, collectées par téléopération, apparaissent multimodales même quand la dynamique physique sous-jacente est quasi déterministe une fois l'action connue. Les auteurs identifient trois facteurs mélangés dans ce bruit apparent : l'habitude de l'opérateur humain dans le choix des actions, la physique partagée du système, et le "nuisance" lié à l'observation (apparence, angle de caméra). Ils formalisent cette décomposition via un modèle causal structurel (a=g(h,z,u), z'=f(z,a), o=r(z,c)) et le valident par des interventions ciblées : remplacer ou mélanger les actions à état fixe dégrade fortement l'erreur de prédiction de l'état suivant, alors que des changements d'apparence ou de caméra ne devraient pas l'affecter. La règle d'adaptation qui en découle consiste à figer la partie du modèle qui lit la physique partagée et à ne mettre à jour qu'une fine interface. Testée sur trois bancs d'essai de manipulation robotique, StackCube, DROID et RH20T, cette approche améliore le transfert en few-shot par rapport à un entraînement complet from scratch, tout en conservant une dynamique plus propre face à des données d'adaptation corrompues. Cette contribution s'adresse directement à un point de friction connu des modèles vision-langage-action (VLA) et des world models robotiques : la difficulté à distinguer, dans des vidéos de démonstration, ce qui relève du vrai comportement physique de ce qui n'est qu'artefact de capture ou tic de l'opérateur humain. En proposant une méthode pour isoler ces facteurs sans tout réentraîner, les auteurs offrent une piste concrète pour réduire le coût d'adaptation des modèles de manipulation à de nouveaux environnements ou capteurs, un enjeu central pour les intégrateurs qui cherchent à déployer l'apprentissage par imitation à moindre coût de données. Le travail s'inscrit dans la lignée des recherches sur les architectures VLA et les world models pour la manipulation robotique, où les gains rapportés par StackCube, DROID et RH20T servent de référence communautaire pour comparer les méthodes de transfert. Les auteurs prennent soin de délimiter leur contribution : ils ne prétendent pas que les actions latentes équivalent à l'habitude de l'opérateur, ni ne visent les benchmarks de génération vidéo à grande échelle, signalant une portée volontairement méthodologique plutôt qu'un système de production prêt à déployer.

RecherchePaper
1 source
AVL-JEPA : éviter l'effondrement de l'information sur la dynamique causale dans les modèles du monde à architecture prédictive à plongement conjoint
4arXiv cs.RO 

AVL-JEPA : éviter l'effondrement de l'information sur la dynamique causale dans les modèles du monde à architecture prédictive à plongement conjoint

Des chercheurs proposent AVL-JEPA (action-grounded vision-invariance latent), une méthode d'entraînement destinée aux world models de type JEPA (joint embedding prédictive architecture), publiée sur arXiv sous la référence 2610.03587v1. Les JEPA prédisent les représentations latentes futures sans reconstruire les observations, ce qui leur permet de se concentrer sur la dynamique sémantique de haut niveau. Les auteurs décrivent toutefois un défaut qu'ils nomment « causal dynamics information collapse » : le modèle conserve beaucoup d'information visuelle tout en perdant celle qui relie une action à ses conséquences physiques. Pour y remédier, AVL utilise d'abord l'action exécutée comme ancre auxiliaire de dynamique, afin d'obliger le modèle à préserver cette information. Une seconde voie, dite d'invariance visuelle, aligne ensuite les prédictions latentes issues d'observations perturbées et propres, sans sacrifier cette information. La validation porte sur quatre tâches de contrôle robotique : TwoRoom, PushT, OGBench Cube et Reacher. Selon les auteurs, les taux de succès progressent nettement sous perturbations visuelles, sans dégrader les performances en environnement propre. Le résumé ne donne aucun chiffre précis, ni de gain, ni de taille de modèle. L'enjeu concerne la robustesse des world models, un point faible fréquent dans le passage du laboratoire au terrain. Un modèle qui planifie dans l'espace latent peut paraître performant en démonstration, puis échouer quand l'éclairage, le bruit de capteur ou les reflets changent, ce qui est courant en usine ou en entrepôt. L'article désigne un mécanisme concret : un JEPA entraîné sans contrainte explicite peut bien reconstruire l'apparence de la scène tout en ignorant ce qui compte pour la planification. Les auteurs ajoutent des diagnostics au-delà du taux de succès : alignement des conséquences physiques, cohérence de la dynamique entre entrées propres et bruitées, et effacement ciblé du sous-espace de transition pour mesurer son effet causal. Cette approche est plus informative qu'un simple score. Pour un intégrateur ou un responsable R&D, ces tests montrent comment vérifier si un modèle comprend vraiment la dynamique avant de le déployer. Il faut cependant relativiser : les quatre tâches sont des benchmarks de recherche, en simulation ou en environnement simplifié, loin de la variabilité industrielle. Il s'agit d'un résultat académique préliminaire (v1), sans validation sur robot réel annoncée. Ce travail s'inscrit dans le courant des world models prédictifs en espace latent, popularisé par les architectures JEPA, et dans la recherche de planification à partir de représentations apprises. Les benchmarks choisis (PushT, OGBench Cube, Reacher) sont des références courantes pour la manipulation et le contrôle, mais restent modestes face aux modèles de fondation robotiques développés par des acteurs industriels. Le résumé ne cite ni comparaison avec des baselines nommées, ni pilote, ni calendrier de transfert. La suite logique serait de tester la méthode sur des plateformes physiques, avec des perturbations réalistes et des tâches plus longues, avant d'envisager toute intégration dans des pipelines de production.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source