RecherchearXiv cs.RO 2 novembre 2026

Mise en forme de la distribution tenant compte des spécifications pour les modèles fondation en robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent un cadre d'optimisation de la distribution d'actions qui impose des contraintes de logique temporelle de signaux (STL, Signal Temporal Logic) à un modèle de fondation robotique pré-entraîné, sans en modifier les paramètres. L'approche s'applique au moment de l'exécution. À chaque pas de décision, elle calcule la distribution d'actions la plus proche possible de celle produite par le modèle, tout en respectant une contrainte de faisabilité STL stricte. Pour cela, elle raisonne sur l'horizon restant par propagation de la dynamique vers l'avant. Les spécifications couvrent des exigences spatio-temporelles riches : visites d'objectifs dans un délai borné, objectifs séquentiels, conditions de sécurité permanentes. La validation reste purement en simulation, avec des modèles de fondation robotiques de pointe, plusieurs environnements et des spécifications complexes. Le résumé publié (version 2 du preprint arXiv 2603.17969) ne donne aucun chiffre sur les taux de succès, les temps de calcul ni la part des actions modifiées. Il ne précise pas non plus quels modèles ont été testés.

Ce travail vise un point faible connu des modèles VLA (vision-langage-action) et des politiques généralistes : ils exécutent bien des instructions en langage naturel sur des tâches variées, mais restent pilotés par les données et n'offrent aucune garantie formelle de respect des contraintes au déploiement. Pour un intégrateur ou un responsable sûreté, c'est souvent ce qui bloque la mise en production en environnement industriel, où une règle comme « ne jamais entrer dans cette zone » ou « visiter A puis B en moins de 30 secondes » doit être tenue à chaque cycle, et pas seulement en moyenne. Agir sur la distribution d'actions, sans réentraîner ni ajuster le modèle, rend la méthode en principe compatible avec des politiques existantes. Les limites sont à garder en tête : la garantie dépend de la fidélité du modèle de dynamique utilisé pour la propagation, l'écart entre simulation et réel n'est pas traité dans le résumé, et le coût de calcul en temps réel sur un robot physique reste inconnu.

Cette recherche s'inscrit dans un courant qui cherche à greffer des garanties de type vérification formelle sur des politiques apprises. Ce courant va des filtres de sécurité et des fonctions barrières de contrôle jusqu'à la synthèse sous contraintes STL, jusque-là surtout appliquée à des contrôleurs classiques ou à des politiques de petite taille. Les modèles généralistes de type Pi-0 ou GR00T, tout comme les approches de Figure ou de Tesla, misent sur l'échelle des données et ne proposent pas de garanties comparables. La suite logique serait une validation sur matériel, des mesures de latence et une comparaison avec les couches de sûreté certifiées utilisées aujourd'hui en robotique industrielle. Aucun pilote ni calendrier n'est annoncé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

SLoSa : des modèles fondation petits, économes en énergie et sûrs pour la planification de tâches en robotique

SLoSa est un cadre d'entraînement neuro-symbolique, décrit dans un préprint arXiv, qui vise à produire des planificateurs de tâches robotiques compacts, économes en énergie et conscients des contraintes de sécurité. La méthode construit d'abord un jeu de données orienté sécurité en combinant des planificateurs classiques, un grand modèle de langage « enseignant » et des vérificateurs formels. Deux étapes d'entraînement suivent: un fine-tuning supervisé, puis un fine-tuning par apprentissage par renforcement (RL) guidé par une « reward machine » fondée sur la vérification, chargée d'imposer l'alignement de sécurité. L'évaluation couvre quatre domaines PDDL (Planning Domain Definition Language, le langage standard de description de problèmes de planification), deux environnements de simulation domestique, des plateformes embarquées et un bras robotique de bureau. Sur les tâches PDDL, le post-entraînement guidé par vérificateur porte le taux de réussite de modèles de 4 à 14 milliards de paramètres à 70,5-76,0 %. Quantifiés en INT4 sur un Jetson Orin, ils consomment 17,85 à 26,41 W de puissance moyenne. L'intérêt tient à la tension que le travail cherche à résoudre. Les planificateurs symboliques classiques offrent des garanties formelles sur les contraintes encodées, mais exigent des formats d'entrée rigides et voient leur coût de calcul exploser avec la taille de l'espace de recherche. Les LLM apportent la souplesse d'interface et la généralisation, mais sont volumineux, gourmands et peu exposés à des données de sécurité propres à la robotique, ce qui complique leur déploiement local sur des machines aux ressources limitées. Montrer qu'un modèle de 4 à 14 milliards de paramètres peut tourner dans une enveloppe de 18 à 26 W est pertinent pour les intégrateurs qui veulent de la planification embarquée sans dépendre du cloud. Les réserves sont toutefois nettes: un taux de réussite d'environ 70 à 76 % reste loin du niveau requis en production, la validation physique se limite à un bras de bureau, et le résumé ne précise ni la part de plans effectivement vérifiés sûrs, ni les références comparées, ni la latence de planification. Le travail s'inscrit dans la montée des approches neuro-symboliques, qui cherchent à marier la fiabilité des vérificateurs formels et la flexibilité des modèles de fondation, face aux pipelines tout-LLM et aux planificateurs PDDL purs. La distillation depuis un modèle enseignant puis le RL à récompense vérifiable suivent une recette désormais courante dans le raisonnement des LLM, ici transposée à la sécurité robotique. Il s'agit d'un préprint de recherche, sans produit ni pilote industriel annoncé. Les suites naturelles seraient une validation sur des manipulateurs et des robots mobiles plus variés, des tâches plus longues et des mesures de latence et de robustesse en conditions réelles.

RecherchePaper

1 source

2arXiv cs.RO

L'analyse causale des modèles fondation pour la robotique permet des gains d'efficacité

Une étude publiée sur arXiv (2610.20750) analyse de façon mécaniste la manière dont trois modèles VLA (vision-langage-action) de pointe, π0.5, MolmoAct2 et MolmoBot, transforment une image et une instruction en actions. Par des expériences d'activation patching, qui consistent à substituer des activations internes pour mesurer leur effet causal, les auteurs montrent que l'information décisive atteint l'« action expert » (le module qui génère les mouvements) par une bande étroite de couches de cross-attention intermédiaires à tardives, baptisée « interface de conditionnement d'action ». Les représentations du nom de l'objet cible, dans les couches précoces à intermédiaires, déterminent l'objet saisi. Les couches intermédiaires à tardives portent l'information spatiale des tokens de texte, qui redirige le mouvement. Sa localisation dépend de l'architecture : MolmoAct2 la forme sur les positions de texte suivant l'instruction, tandis que π0.5 la stocke aussi sur les tokens d'image. En limitant le conditionnement de l'action expert de MolmoBot à 3 couches sur 36, les chercheurs réduisent les FLOPs d'inférence jusqu'à 33 %. Le taux de succès reste comparable sur 3 000 épisodes d'évaluation (46,7 % contre 46,9 % pour le modèle par défaut). Le principe est aussi appliqué à un déploiement sur robot réel de π0.5. L'intérêt dépasse la seule optimisation. Les VLA sont souvent traités comme des boîtes noires, et leur déploiement embarqué se heurte au budget de calcul et à la latence. Montrer que l'essentiel du couplage perception-action passe par une poignée de couches ouvre une voie d'élagage guidée par la causalité plutôt que par l'empirisme, avec un coût d'inférence réduit sans perte mesurable de performance. Pour les intégrateurs et les décideurs industriels, cela signifie des modèles plus légers sur des calculateurs embarqués moins chers, ou des fréquences de contrôle plus élevées. Il faut toutefois relativiser : un taux de succès d'environ 47 % reste modeste en valeur absolue, et les 33 % de FLOPs économisés ne se traduisent pas forcément en gain équivalent de latence. Les résultats sur robot réel sont mentionnés sans chiffres dans le résumé, et la généralité du résultat sur trois modèles reste à confirmer sur d'autres architectures. Ce travail s'inscrit dans le prolongement de l'interprétabilité des modèles de langage et de vision, bien documentée, mais encore peu appliquée aux politiques robotiques. π0.5, de Physical Intelligence, est une référence des VLA généralistes, tandis que MolmoAct2 et MolmoBot s'inscrivent dans la famille Molmo de l'Allen Institute for AI, qui mise sur l'ouverture. Face à eux, des approches comme GR00T de NVIDIA ou Helix de Figure reposent sur des architectures proches, à double système, ce qui laisse penser que la méthode pourrait y être transposée. La suite logique serait de valider l'élagage sur davantage de tâches et de plateformes, et d'exploiter ces cartes causales pour fiabiliser ou corriger les comportements des VLA.

RecherchePaper

1 source

3arXiv cs.RO

Modèles du monde fondation pour la robotique multi-embodiment, fondés sur des actions latentes

Des chercheurs proposent LAC-WM (Latent Action-Conditioned Robot World Model), un modèle du monde robotique qui fonctionne dans un espace d'actions latent unifié, appris et partagé entre embodiments très différents. Il est comparé à une variante de référence, EAC-WM (Explicit Action-Conditioned World Model), conditionnée par des étiquettes de mouvement explicites propres à chaque robot. Les deux modèles sont évalués sur des tâches de manipulation dextre et sur une version modifiée du benchmark LIBERO. Lors de l'adaptation à des robots absents du pré-entraînement, LAC-WM améliore la performance aval jusqu'à 46,7 % sur la manipulation dextre et 11,7 % sur LIBERO. Le travail, publié sur arXiv (2610.10846v1), s'accompagne d'un site de projet (lacwm.github.io). Le résumé ne précise ni les robots testés, ni la taille des modèles, ni les volumes de données de pré-entraînement. Le résultat le plus significatif concerne le passage à l'échelle. La performance de LAC-WM augmente avec le nombre d'embodiments vus au pré-entraînement. À l'inverse, celle d'EAC-WM diminue quand ce nombre croît. Selon les auteurs, des étiquettes d'action explicites produisent des représentations disjointes d'un robot à l'autre, et ajouter des plateformes crée alors de l'interférence plutôt que du transfert. Pour les équipes qui construisent des modèles fondations robotiques, cela remet en cause l'idée qu'agréger davantage de données hétérogènes améliore mécaniquement la généralisation. L'espace d'action serait un goulot d'étranglement central, et pas seulement le volume de données. Pour un intégrateur, l'enjeu est concret : si ce principe se confirme, un modèle du monde pré-entraîné pourrait être adapté à une nouvelle plateforme avec moins de données propriétaires. Les gains annoncés sont toutefois mesurés sur des benchmarks, dont un LIBERO modifié, et non sur des déploiements industriels. Le gain de 11,7 % sur LIBERO est modeste, et l'écart de 46,7 % dépend de la base de comparaison choisie par les auteurs. On parle ici de résultats de recherche, pas d'un produit livré. Ce travail s'inscrit dans la course aux modèles généralistes cross-embodiment, où les approches VLA (vision-langage-action) comme Pi-0 ou GR00T se heurtent à la diversité des espaces d'action, entre bras à 6 ou 7 DOF, mains dextres et humanoïdes. Les modèles du monde, qui prédisent l'évolution de la scène en fonction des actions, sont devenus un axe parallèle pour la planification et l'évaluation des politiques. Les actions latentes, apprises à partir des seules transitions visuelles, offrent une voie pour exploiter de grandes quantités de vidéos sans étiquettes d'action. Le papier est une prépublication v1, sans relecture par les pairs. Il faudra surveiller la publication du code et des poids, des tests sur du matériel réel, ainsi que des comparaisons directes avec d'autres modèles du monde cross-embodiment pour savoir si l'effet de passage à l'échelle se maintient avec des dizaines de plateformes.

RecherchePaper

1 source

4arXiv cs.RO

Les featurizers multidimensionnels permettent un pilotage fin et une mise en forme des données dans les modèles fondation pour la robotique

Des chercheurs proposent une méthode pour piloter de l'intérieur les modèles vision-langage-action (VLA), ces réseaux qui traduisent images et consignes en commandes robotiques, et pour identifier les données d'entraînement qui produisent un comportement donné. Publiée sur arXiv (2610.20767), l'étude s'appuie sur des « featurizers » à blocs épars (block-sparse featurizers, BSF). Contrairement aux autoencodeurs épars classiques, qui associent chaque concept à une seule direction de l'espace interne du modèle, les BSF représentent chaque caractéristique dans un sous-espace de faible dimension. Les auteurs affirment qu'ils retrouvent plusieurs caractéristiques multidimensionnelles liées à la tâche : perception, langage, état proprioceptif, phase de l'épisode et variables de contrôle. Ils les valident causalement par un pilotage fin. Modifier la perception visuelle, la représentation sémantique ou la localisation spatiale entraîne des changements prévisibles dans les actions prédites. Enfin, l'attribution de données fondée sur ces caractéristiques isole l'origine de la récupération après échec : moins de 1,4 % des tokens d'entraînement suffisent, une fois masqués, à supprimer ce comportement. Pour les intégrateurs et les responsables techniques, l'enjeu est la contrôlabilité des VLA, aujourd'hui souvent traités comme des boîtes noires. Un modèle dont on peut lire et ajuster les représentations internes, plutôt que de le réentraîner ou de le reprompter à l'aveugle, se prête mieux à la validation, au débogage et à la certification. L'attribution de données est tout aussi concrète. Savoir quelles fractions du jeu de démonstrations produisent un comportement, comme la récupération après échec, permet de cibler la collecte plutôt que d'accumuler des heures de téléopération. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs. Le résumé ne précise ni le ou les VLA testés, ni le robot, ni les taux de réussite en tâche réelle. Aucun déploiement industriel n'est annoncé. Les résultats prouvent une interprétabilité causale sur des modèles de recherche, pas encore un gain de fiabilité en production. Ces travaux prolongent l'interprétabilité mécaniste des grands modèles de langage, où les autoencodeurs épars se sont imposés avant que des travaux récents sur les modèles de vision et de langage ne révèlent des caractéristiques multidimensionnelles qu'une direction unique capture mal. Son transfert à la robotique répond à la montée des VLA généralistes (Pi-0 de Physical Intelligence, GR00T de NVIDIA, Helix de Figure), dont les acteurs publient peu sur le fonctionnement interne. La suite logique serait de tester ces outils sur des modèles de grande taille, sur robots réels et sur des tâches longues, puis de vérifier si le pilotage et le filtrage de données améliorent la robustesse mesurée hors laboratoire.

RecherchePaper

1 source