Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RHO : votre agent de code est secrètement un roboticien
IA physiquearXiv cs.RO 

RHO : votre agent de code est secrètement un roboticien

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié en juin 2026 une méthode nommée RHO (Robotics Harness Optimization), qui repense l'usage des LLM pour le contrôle robotique. Plutôt que de générer du code en boucle pendant l'exécution, comme le font les systèmes Code-as-Policies actuels, RHO déplace l'optimisation à l'entraînement : des agents codeurs explorent des dépôts de politiques multi-fichiers (Repositories-as-Policies), composant des primitives de perception, planification et contrôle, avec pour seul signal du reward d'environnement, sans démos téléopérées. À l'exécution, le robot tourne sur du code statique. Sur le benchmark LIBERO-PRO (saisie-dépose avec perturbations), OpenVLA plafonne à 0,0 % et π₀.₅ de Physical Intelligence atteint 12,83 %, contre 45,0 % pour RHO, soit 2,5 fois le meilleur système multi-tour concurrent. Sur Robosuite, RHO fixe un nouveau SOTA à 70,0 % (record précédent : 68,29 %), en exécution single-turn sans corrections LLM au déploiement. Sur le benchmark O3DE de RAI, le taux de succès passe de 23,5 % à 44,3 %, avec 20 % moins de temps horloge et 27 % moins d'appels d'outils.

Le résultat pointe un problème concret des VLA (Vision-Language-Action models) et des pipelines Code-as-Policies classiques : itérer avec un LLM à chaque cycle de contrôle est incompatible avec les contraintes temps-réel d'un bras industriel. RHO sépare raisonnement offline et exécution rapide, ce qui rend le déploiement possible sans dépendance cloud en temps réel. Sur LIBERO-PRO, les VLA de Physical Intelligence, parmi les plus robustes du secteur, échouent quasi-systématiquement sur des variantes perturbées que RHO gère à 45 %, ce qui suggère une meilleure généralisation out-of-distribution via l'approche neurosymbolique.

Le paradigme Code-as-Policies a été popularisé par des travaux de Google et CMU, mais souffrait de son coût à l'inférence. RHO s'inscrit dans une logique de séparation train/deploy que l'on retrouve dans les approches de compilation de politiques robotiques. Les concurrents directs sur les benchmarks cités sont OpenVLA (Berkeley/Stanford) et π₀.₅ de Physical Intelligence. La recherche est un preprint arXiv (juin 2026), non encore soumis à peer review, et tous les résultats ont été obtenus en simulation ; une validation sur hardware physique et des déploiements industriels réels restent à démontrer.

Dans nos dossiers

Physical Intelligence — π0OpenVLA / RT-XarXiv cs.RO

À lire aussi

Show-Harness : un simple agent VLM suffit pour piloter des robots
1arXiv cs.RO 

Show-Harness : un simple agent VLM suffit pour piloter des robots

Une équipe de recherche présente Show-Harness, un cadre logiciel ("embodied harness") permettant à des modèles vision-langage (VLM) généralistes de piloter directement des robots, décrit dans un preprint arXiv publié début septembre 2026 (arXiv:2609.10522). Le système repose sur une interface sémantique compacte : il expose un ensemble d'unités d'action discrètes que le VLM peut manipuler par raisonnement, tandis que des interpréteurs spécifiques à chaque plateforme robotique traduisent ces unités en commandes locales de manière déterministe, le VLM restant responsable des décisions physiques fines. Les auteurs démontrent deux usages : le contrôle "zero-shot" de robots avec des VLM propriétaires de pointe (closed-source), sans entraînement supplémentaire, et l'adaptation de VLM open-source de petite taille via seulement quelques heures de calcul GPU de fine-tuning, pour un déploiement à moindre coût. Le papier introduit aussi GUMI (GUI Manipulation Interface), qui étend le même espace d'action sémantique à la collecte de démonstrations via une interface graphique, permettant à des humains ou à des agents de générer des données d'entraînement pour différents robots sans matériel de téléopération spécialisé. Cette approche s'attaque à deux limites récurrentes des pipelines vision-langage-action (VLA) : le coût du pré-entraînement spécifique à chaque embodiment robotique, et l'écart persistant entre l'intelligence généraliste des modèles fondation et leur capacité réelle à contrôler finement un corps physique. Si la thèse tient, elle suggère qu'un VLM du commerce, y compris propriétaire, pourrait être réorienté vers la robotique sans le fine-tuning coûteux ni les jeux de données spécialisés qu'exigent aujourd'hui la plupart des modèles VLA dédiés. Pour les intégrateurs et décideurs industriels, l'argument est d'abord économique : la collecte de démonstrations par téléopération matérielle est lente et coûteuse à mettre à l'échelle, et GUMI propose de la remplacer par une interface graphique standard. Les auteurs affirment que leurs agents équipés de Show-Harness généralisent mieux, à travers tâches, robots et environnements, que des paradigmes agentiques et VLA représentatifs existants, mais l'abstract ne détaille ni taux de réussite ni tâches précises testées, ce qui invite à attendre la publication complète et une validation indépendante avant de juger l'ampleur réelle du gain. Show-Harness s'inscrit dans une course plus large où plusieurs laboratoires et start-ups cherchent à doter des robots humanoïdes ou industriels d'une couche de décision fondée sur des modèles vision-langage-action, à l'image des travaux menés par des acteurs comme Physical Intelligence, NVIDIA ou Figure sur leurs propres modèles généralistes. La proposition des auteurs se distingue en misant sur la conception d'une interface plutôt que sur l'augmentation de la capacité du modèle ou un pré-entraînement coûteux propre à chaque robot. Le texte, classé comme nouvelle soumission sur arXiv, ne mentionne ni partenaire industriel, ni déploiement en production, ni calendrier de suite : il s'agit pour l'instant d'une contribution de recherche destinée à être évaluée par la communauté, sans acteur français ou européen identifié dans cette publication.

IA physiqueActu
1 source
Contrôle robotique sans démonstration via des agents LLM
2arXiv cs.RO 

Contrôle robotique sans démonstration via des agents LLM

Des chercheurs ont publié FAEA (Frontier Agent as Embodied Agent), un framework qui applique directement aux manipulateurs robotiques les architectures d'agents LLM conçues pour le génie logiciel, sans démonstrations spécifiques à la tâche ni fine-tuning. Évalué sur trois benchmarks de référence en simulation avec accès privilégié à l'état de l'environnement (positions des objets fournies directement, sans perception visuelle brute), FAEA atteint des taux de succès de 84,9 % sur LIBERO, 85,7 % sur ManiSkill3, et 96 % sur MetaWorld, en utilisant le Claude Agent SDK d'Anthropic comme modèle frontier non modifié. Une itération optionnelle de feedback humain porte le score LIBERO à 88,2 %. Ces résultats se rapprochent des performances des modèles VLA (Vision-Language-Action) entraînés sur moins de 100 démonstrations par tâche, seuil qui représente aujourd'hui le plancher de coût pour la collecte de données en robotique incarnée. L'implication centrale est notable : pour les tâches de manipulation dominées par la planification délibérative à haut niveau, un agent généraliste non spécialisé peut suffire, sans pipeline de données propriétaire. FAEA peut en outre explorer de façon autonome des scénarios inédits en simulation et générer des trajectoires réussies pour augmenter les datasets d'entraînement, court-circuitant ainsi le goulot de la collecte humaine. Nuance critique : tous les tests restent en simulation avec état privilégié ; aucun transfert sim-to-real n'est validé dans ce travail, ce qui limite la portée des conclusions pour un déploiement industriel réel. Les modèles VLA entraînés bout-en-bout, pi-0 de Physical Intelligence, RT-2 de Google DeepMind, ou OpenVLA, dominent la recherche en manipulation depuis 2023 mais restent contraints par des pipelines de collecte de données coûteux et spécifiques à chaque domaine. FAEA s'inscrit dans un courant alternatif qui cherche à exploiter l'infrastructure d'agents software directement en robotique : la même boucle plan-act-observe-debug qui pilote les agents de coding est ici transférée sans modification au contrôle de manipulateurs. Ce positionnement implique un bénéfice passif : toute amélioration des modèles frontier se répercute directement sur les capacités robotiques sans retraining. Le préprint est disponible sur arXiv (2601.20334v2) et le code sur GitHub ; aucun déploiement industriel n'est annoncé à ce stade.

IA physiquePaper
1 source
Ludi₀.₁ : un système à base d'agents pour des robots socialement intelligents
3arXiv cs.RO 

Ludi₀.₁ : un système à base d'agents pour des robots socialement intelligents

Des chercheurs ont publié le 25 août 2026 sur arXiv (identifiant 2608.22035v1) un article décrivant Ludi 0.1, un système agentique visant à doter les robots d'une intelligence sociale, au-delà de la simple exécution de commandes isolées. Le système combine parole interactive, raisonnement multimodal, mémoire, navigation et manipulation apprise dans une architecture unique. Son cœur décisionnel est un modèle vision-langage affiné sur des traces d'interaction multi-tours : requêtes ambiguës, demandes de clarification, corrections, interruptions, dialogue mêlant social et tâches à plusieurs étapes. Un harnais logiciel dédié orchestre la boucle d'interaction entre ce modèle et ses outils, pendant que des politiques spécialisées de navigation et de manipulation exécutent les compétences physiques sur le robot. Pour les intégrateurs et décideurs de la robotique humanoïde, ce travail marque un déplacement de priorité : après des années focalisées sur les benchmarks de perception et de contrôle bas niveau (préhension, locomotion, déplacement d'objets), l'enjeu se porte désormais sur la robustesse conversationnelle et la capacité à réviser un comportement en cours quand l'intention de l'utilisateur change. L'hypothèse testée est qu'affiner un modèle vision-langage-action sur des traces d'interaction réelles, plutôt que sur des démonstrations de tâches isolées, peut réduire l'écart souvent constaté entre démonstrations impressionnantes et fiabilité en usage réel. Les auteurs présentent Ludi 0.1 comme une étape intermédiaire, non comme un modèle fondation abouti : le système sert avant tout à générer les traces multimodales nécessaires pour entraîner un futur modèle plus intégré. Cette publication s'inscrit dans le sillage des modèles vision-langage-action déjà démontrés pour la manipulation, comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, et des plateformes humanoïdes commerciales telles qu'Optimus Gen 3 de Tesla ou Figure 03, dont les démonstrations restent centrées sur l'exécution de tâches plutôt que sur l'interaction sociale prolongée. Ludi 0.1 se distingue en ciblant explicitement la collaboration homme-robot en dialogue continu, un axe encore peu couvert par les annonces commerciales du secteur. L'article ne mentionne aucun déploiement industriel, ni volume de production, ni prix : il s'agit d'une contribution de recherche publiée sur arXiv, dont la suite annoncée est d'exploiter les traces collectées pour entraîner un futur modèle fondation combinant plus étroitement raisonnement social et compétences physiques.

IA physiqueOpinion
1 source
XS-VLA : associe distillation spatiale à gros grain et appariement de flux latent pour un contrôle robotique léger
4arXiv cs.RO 

XS-VLA : associe distillation spatiale à gros grain et appariement de flux latent pour un contrôle robotique léger

Des chercheurs publient sur arXiv (juillet 2026) XS-VLA, un modèle Vision-Language-Action en deux étapes conçu pour le contrôle robotique embarque a faible cout de calcul. La première étape distille les connaissances spatiales d'un grand modèle, Qwen3-VL-4B, vers un squelette léger SmolVLM2 de seulement 0,25 milliard de paramètres, via un fine-tuning sur des descriptions spatiales grossières. La seconde étape conditionne ce squelette enrichi avec une politique de Latent Flow Matching, qui combine un autoencodeur variationnel conditionnel (CVAE) et une dynamique de flow matching pour modéliser des distributions d'actions multimodales, plutôt qu'un contrôleur déterministe classique. Sur le benchmark de simulation LIBERO, XS-VLA atteint l'état de l'art parmi les modèles de moins de 0,5 milliard de paramètres, avec un gain de taux de réussite moyen allant jusqu'a 7,2 points par rapport a la base SmolVLA 0,25B, dont 23 points sur la tache LIBERO-Long, et dépasse même la version SmolVLA a 2,2 milliards de paramètres, près de neuf fois plus grosse. Les auteurs revendiquent aussi une accélération de 3,2 fois du temps d'exécution de mission face a la précédente politique de flow matching légère. Le résultat cible un problème concret pour l'industrie robotique: les grands modèles vision-langage comprennent bien l'espace mais sont trop lourds pour du contrôle temps réel embarque, tandis que les modèles légers souffrent généralement de "cécité spatiale". Si les chiffres se confirment au-delà de la simulation, cela suggère qu'un entrainement cible, distillation spatiale puis génération d'actions par flow matching, peut compenser un manque de paramètres, ce qui intéressé directement les intégrateurs cherchant a déployer des VLA sur du materiel edge limite plutôt que sur des clusters GPU. Ce travail s'inscrit dans la vague de modèles VLA ouverts lancée par des politiques comme Pi-0, GR00T N2 ou Helix, et prolonge spécifiquement la lignée SmolVLA d'Hugging Face en visant l'efficacité plutôt que la taille. Il reste toutefois a un stade de recherche: les résultats sont mesures sur LIBERO, un benchmark simule standard mais éloigné des conditions réelles, et aucune validation sur robot physique n'est mentionnée a ce stade.

IA physiqueActu
1 source