Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Transférer l'intelligence des VLM au contrôle robotique
IA physiquearXiv cs.RO 

Transférer l'intelligence des VLM au contrôle robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un papier de recherche publié sur arXiv (2609.22966v1) présente RoboDawn, une interface qui permet à un modèle vision-langage (VLM) généraliste de piloter un robot sans entraînement spécifique à la tâche, via un jeu restreint de commandes discrètes de translation, rotation et pince, exécutées en boucle fermée d'observation, de raisonnement et d'action. Un mécanisme d'apprentissage en contexte fournit au modèle quelques démonstrations pour lui apprendre l'usage de l'interface et la stratégie de la tâche. Sur le banc d'essai RoboTwin 2.0 C2R, le taux de réussite passe de 53,2% en zero-shot à 73,6% avec une seule démonstration, dépassant la référence pi-0.5 (46,0%) ; sur RoboDojo, il grimpe de 35,67% à 47,17%. Le système est aussi testé sur un bras Franka réel, pour des tâches de rangement et d'empilement de cubes.

Le résultat questionne l'hypothèse dominante selon laquelle un contrôle robotique fiable exige d'entraîner ou d'affiner un modèle vision-langage-action sur de vastes jeux de démonstrations robotiques collectées tâche par tâche, comme le font pi-0, GR00T N2 ou Helix. RoboDawn suggère qu'un VLM généraliste, jamais entraîné sur des données robot, peut être compétitif via une simple interface d'action et quelques exemples en contexte, ce qui réduirait le coût de collecte de données pour les intégrateurs. Pour les décideurs évaluant leur pile de contrôle robotique, c'est un argument pour des architectures VLM plus interface plutôt qu'un fine-tuning coûteux par tâche. Le bémol : les gains les plus marquants restent mesurés en simulation, et la validation réelle se limite à deux tâches simples sur un seul bras, avec des taux de réussite qui restent sous 75%.

RoboDawn s'inscrit dans le débat sur les modèles vision-langage-action porté par Physical Intelligence (pi-0, pi-0.5), NVIDIA (GR00T N2) ou Figure (Helix), qui misent sur un entraînement spécifique sur des données robotiques. L'approche inverse consiste à garder le VLM tel quel et à n'ajouter qu'une couche d'interface et un protocole de prompting en contexte, sans réentraînement. Classé comme nouvelle soumission sur arXiv, le papier n'a pas encore été publié en conférence et ne correspond à aucun produit commercial ; la suite logique serait d'étendre la validation réelle au-delà du bras Franka et des deux tâches testées.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0arXiv cs.RO

À lire aussi

Contrôle robotique sans démonstration via des agents LLM
1arXiv cs.RO 

Contrôle robotique sans démonstration via des agents LLM

Des chercheurs ont publié FAEA (Frontier Agent as Embodied Agent), un framework qui applique directement aux manipulateurs robotiques les architectures d'agents LLM conçues pour le génie logiciel, sans démonstrations spécifiques à la tâche ni fine-tuning. Évalué sur trois benchmarks de référence en simulation avec accès privilégié à l'état de l'environnement (positions des objets fournies directement, sans perception visuelle brute), FAEA atteint des taux de succès de 84,9 % sur LIBERO, 85,7 % sur ManiSkill3, et 96 % sur MetaWorld, en utilisant le Claude Agent SDK d'Anthropic comme modèle frontier non modifié. Une itération optionnelle de feedback humain porte le score LIBERO à 88,2 %. Ces résultats se rapprochent des performances des modèles VLA (Vision-Language-Action) entraînés sur moins de 100 démonstrations par tâche, seuil qui représente aujourd'hui le plancher de coût pour la collecte de données en robotique incarnée. L'implication centrale est notable : pour les tâches de manipulation dominées par la planification délibérative à haut niveau, un agent généraliste non spécialisé peut suffire, sans pipeline de données propriétaire. FAEA peut en outre explorer de façon autonome des scénarios inédits en simulation et générer des trajectoires réussies pour augmenter les datasets d'entraînement, court-circuitant ainsi le goulot de la collecte humaine. Nuance critique : tous les tests restent en simulation avec état privilégié ; aucun transfert sim-to-real n'est validé dans ce travail, ce qui limite la portée des conclusions pour un déploiement industriel réel. Les modèles VLA entraînés bout-en-bout, pi-0 de Physical Intelligence, RT-2 de Google DeepMind, ou OpenVLA, dominent la recherche en manipulation depuis 2023 mais restent contraints par des pipelines de collecte de données coûteux et spécifiques à chaque domaine. FAEA s'inscrit dans un courant alternatif qui cherche à exploiter l'infrastructure d'agents software directement en robotique : la même boucle plan-act-observe-debug qui pilote les agents de coding est ici transférée sans modification au contrôle de manipulateurs. Ce positionnement implique un bénéfice passif : toute amélioration des modèles frontier se répercute directement sur les capacités robotiques sans retraining. Le préprint est disponible sur arXiv (2601.20334v2) et le code sur GitHub ; aucun déploiement industriel n'est annoncé à ce stade.

IA physiquePaper
1 source
Une entreprise chinoise accélère l'intelligence des robots humanoïdes avec un contrôle à 300 FPS
2Interesting Engineering 

Une entreprise chinoise accélère l'intelligence des robots humanoïdes avec un contrôle à 300 FPS

Horizon Robotics, entreprise chinoise connue jusqu'ici pour ses SoC dédiés à l'IA embarquée dans l'automobile, a publié en open source HoloMotion-1, un modèle de contrôle moteur corps entier pour robots humanoïdes. Fort de 4 milliards de paramètres, ce modèle dépasse d'un à deux ordres de grandeur les architectures cérébelleuses habituellement déployées, qui plafonnent à quelques millions de paramètres. En inférence, HoloMotion-1 atteint 200 à 300 cycles par seconde sur calculateur embarqué, le module moteur physique tournant en parallèle à 50 Hz pour lisser les trajectoires. La démonstration a été conduite sur un robot Unitree G1, en zero-shot complet : aucun fine-tuning sur données réelles, toute l'inférence exécutée en local. Le robot a reproduit des comportements absents de son entraînement physique, notamment la danse, le rampé, la position assise et des frappes de type arts martiaux. Des tests de téléopération en temps réel via combinaison de capture de mouvement et contrôleurs VR ont également montré un suivi stable des gestes humains. Le point critique n'est pas la vitesse brute mais la robustesse du sim-to-real gap sans adaptation. Réussir un transfert zero-shot sur un humanoïde commercial reste un obstacle mal résolu par la majorité des systèmes actuels, qui exigent des phases de fine-tuning coûteuses. HoloMotion-1 contourne partiellement ce problème en constituant un corpus de données radicalement plus large : données MoCap sélectionnées, données internes, et mouvements reconstruits depuis des vidéos du monde réel, augmentant la couverture des situations imprévues. L'architecture MoE (Mixture-of-Experts) Transformer active sélectivement des sous-réseaux spécialisés à chaque pas de temps, réduisant le coût computationnel sans régresser sur la capacité expressive. Le KV-cache accélère l'inférence séquentielle en réutilisant les calculs passés. L'entraînement repose sur une méthode PPO (Proximal Policy Optimization) appliquée à des séquences de mouvement complètes plutôt qu'à des pas de temps isolés, ce qui améliore la stabilité sur corpus hétérogène. Pour un intégrateur ou un OEM robotique, la conséquence concrète est qu'un modèle généraliste à 4 milliards de paramètres devient déployable sur edge hardware sans infrastructure cloud. Il convient toutefois de souligner que les démonstrations publiées restent des séquences sélectionnées, sans métriques indépendantes sur la robustesse en conditions industrielles. Horizon Robotics est historiquement positionnée sur la couche silicium, avec ses puces Journey pour l'ADAS, et HoloMotion-1 marque un pivot vers la couche logicielle en robotique humanoïde. Le choix de l'open source suit la stratégie d'influence sur l'écosystème pratiquée par Meta avec LLaMA dans les LLM : imposer un standard de fait avant que les concurrents ne verrouillent leur stack propriétaire. Le paysage concurrentiel est dense : Physical Intelligence (Pi-0), NVIDIA (GR00T N2), Agility Robotics et Figure AI côté occidental, Unitree, Fourier Intelligence et Zhiyuan Robotics côté chinois. La publication décrit un plan en quatre phases pour le contrôle humanoïde ("Imitate Any Pose, Follow Any Command" en constituent les deux premières), mais les phases suivantes n'ont pas été détaillées publiquement. Aucun déploiement industriel ni partenariat de production n'est annoncé à ce stade.

UELa publication open-source de HoloMotion-1 met à disposition des équipes R&D européennes un modèle de contrôle moteur corps entier déployable sur edge hardware, mais aucun acteur, labo ou déploiement européen n'est impliqué.

IA physiqueOpinion
1 source
Au-delà des VLA : comment les modèles du monde pour l'action transforment la manipulation robotique
3NVIDIA Developer Blog 

Au-delà des VLA : comment les modèles du monde pour l'action transforment la manipulation robotique

Un courant de recherche en robotique met en avant les « World Action Models » (WAM) comme prolongement des modèles Vision-Language-Action (VLA) utilisés pour la manipulation. Le problème central est la généralisation : une politique entraînée par démonstrations réussit dans la scène d'apprentissage mais échoue dès que la forme des objets, leur position ou l'éclairage changent. Généraliser exige que le modèle comprenne la physique sous-jacente de la tâche plutôt que d'imiter les démonstrations, une capacité qui proviendrait du backbone, l'architecture de base du modèle d'action. Cette reformulation compte pour les intégrateurs et décideurs B2B car elle interroge l'approche dominante depuis deux ans, fondée sur le clonage de comportement à partir de larges jeux de démonstrations. Si la généralisation réelle suppose une compréhension physique plutôt qu'une simple imitation, les architectures purement VLA risquent de buter sur le même écart entre démonstration et déploiement réel déjà observé sur le terrain. Pour un secteur qui vise à industrialiser la manipulation au-delà de scénarios scriptés, cette piste remet en cause l'hypothèse selon laquelle accumuler données et paramètres suffit à résoudre le passage de la simulation au réel. Les VLA se sont imposés ces dernières années comme paradigme dominant pour piloter bras robotisés et humanoïdes, avec des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI. Les World Action Models s'inscrivent en complément ou en alternative, en cherchant à doter les politiques d'un modèle du monde capable d'anticiper les conséquences physiques d'une action avant son exécution. Le contenu disponible ne mentionne ni déploiement, ni pilote industriel, ni calendrier précis, ce qui situe pour l'instant cette approche du côté de la recherche plutôt que du produit livré.

IA physiqueOpinion
1 source
Daimon Robotics construit la couche d'infrastructure de l'intelligence tactile
4Robotics Business Review 

Daimon Robotics construit la couche d'infrastructure de l'intelligence tactile

Daimon Robotics positionne son offre comme une couche d'infrastructure pour l'intelligence tactile plutôt que comme un fabricant de capteurs isolés ou un développeur de modèle de fondation. La société construit une chaîne qui relie capteurs tactiles, collecte de données, simulation et modèles d'IA, avec un retour tactile fonctionnant à 30 Hz. Son Partner et VP Technology, le Dr Zhu, l'a résumé à The Robot Report : Daimon ne vise pas à devenir développeur de modèles, mais à fournir l'infrastructure à ceux qui en construisent. L'entreprise dit avoir évoqué plus de 10 000 heures de données collectées, et son initiative à plus long terme, Daimon-Infinity, cible plus d'un million d'heures de données tactiles incarnées. Les données humaines sont recueillies avec le dispositif Umi. À l'IROS 2026, Daimon a montré des tâches délicates : application de motifs par transfert thermique sur des tote bags, enfilage de bracelets, et ramassage puis emballage de verre brisé, présenté comme l'illustration d'un modèle entraîné sur des scénarios variés et piloté par instruction. Aucun prix, volume de déploiement ni client nommé n'a été communiqué. L'intérêt tient à un angle mort bien connu des modèles vision-langage-action (VLA) actuels : la caméra ne dit rien des forces, du glissement ou de la bonne insertion d'une pièce. Pour l'assemblage et le conditionnement, où le robot doit réagir au contact plutôt que suivre une trajectoire figée, le toucher devient une condition de fiabilité. Le discours de Zhu est aussi plus franc que la moyenne sur la simulation : il juge son état actuel « pas assez bon, plutôt terrible » pour le tactile, ce qui contredit les récits d'un sim-to-real déjà résolu. L'approche de Daimon consiste à calibrer le simulateur sur des mesures réelles (frottement, forces de contact) avant d'y transférer les données. Les décideurs doivent toutefois lire ces chiffres avec prudence : les démonstrations IROS sont sélectionnées, sans taux de réussite ni temps de cycle, et les 10 000 heures restent une déclaration non auditée, tandis que le million d'heures est un objectif. Le tactile reste un maillon peu industrialisé de la manipulation, alors que l'essentiel des efforts autour de modèles généralistes se concentre sur la vision et le langage. En se présentant comme fournisseur de capteurs, d'outils de collecte, de logiciels et d'évaluation, Daimon parie sur une division du travail où d'autres entreprises construisent les modèles et les applications. Zhu reconnaît que « tout faire soi-même ne suffisait pas » et souligne l'importance de collaborations internationales avec des acteurs aval, sans en nommer. La suite dépendra de la publication de benchmarks reproductibles, de partenaires identifiés et de la capacité de l'entreprise à prouver que ses données tactiles améliorent mesurablement les taux de réussite sur des tâches industrielles, au-delà des démonstrations de salon.

IA physiqueActu
1 source