Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel

Dossier Physical Intelligence — π0 — page 22

1351 articles · page 22 sur 28

Physical Intelligence et la famille π0 : modèles fondation cross-embodiment, transfert de compétences entre robots, levées Lux Capital et OpenAI Startup Fund.

Humanoid (UK) lance un système d'apprentissage par renforcement pour améliorer la manipulation robotique
1051Robotics & Automation News IA physiqueOpinion

Humanoid (UK) lance un système d'apprentissage par renforcement pour améliorer la manipulation robotique

Humanoid, jeune pousse britannique de robotique, a dévoilé KinetIQ Ascend, une nouvelle couche d'apprentissage par renforcement destinée à ses robots humanoïdes industriels. L'objectif affiché est d'atteindre 99,9% de fiabilité de manipulation, à une vitesse égale ou supérieure à celle d'un humain. Le système s'appuie sur la plateforme KinetIQ annoncée précédemment par l'entreprise, fondée sur un apprentissage par essais-erreurs qui permet aux robots de s'améliorer directement sur des tâches industrielles réelles plutôt que via une simulation isolée. Selon Humanoid, KinetIQ Ascend a été testé sur plusieurs tâches de manipulation en conditions industrielles, mais le communiqué reste avare de précisions sur le nombre exact de tâches couvertes, les sites concernés ou un calendrier de déploiement. Ce chiffre de 99,9% de fiabilité, s'il se confirme hors du cadre contrôlé d'une démonstration, viserait directement le principal frein actuel à l'industrialisation des humanoïdes: la fiabilité de la manipulation fine, un problème bien plus tenace que la locomotion bipède, déjà largement maîtrisée par des robots comme Figure 03 ou Optimus Gen 3. En misant sur un apprentissage par renforcement ancré dans des tâches réelles plutôt que sur l'entraînement massif en simulation ou sur des modèles génériques vision-langage-action à la Pi-0 (Physical Intelligence), Helix (Figure AI) ou GR00T N2 (NVIDIA), Humanoid parie sur une spécialisation tâche par tâche, potentiellement plus rapide à mettre en production mais aussi moins généralisable. Pour les intégrateurs et décideurs industriels, la vraie inconnue reste de savoir si ce taux tient sur une diversité de tâches en usine, ou seulement sur un périmètre restreint choisi pour la vidéo de présentation. Humanoid s'est positionnée depuis sa création sur l'apprentissage par renforcement appliqué directement à l'industrie, plutôt que sur la seule prouesse mécanique de ses machines. La concurrence sur ce marché naissant s'est nettement densifiée: aux côtés des géants américains déjà cités, des acteurs européens comme le français Pollen Robotics, l'exosquelette devenu humanoïde de Wandercraft, ou l'automatisation d'entrepôt d'Exotec cherchent chacun à s'imposer avec une approche distincte de l'autonomie et du déploiement. Pour l'instant, Humanoid n'a communiqué ni calendrier de commercialisation ni client pilote nommé pour KinetIQ Ascend, ce qui place l'annonce du côté de la démonstration technologique plutôt que d'un déploiement industriel confirmé.

UERenforce indirectement la pression concurrentielle sur les acteurs europeens de la robotique humanoide (Pollen Robotics, Wandercraft, Exotec) sans impact direct ou verifiable sur le marche francais ou une reglementation UE.

1 source
X Square Robot mise sur une approche full-stack pour l'IA incarnée et la robotique polyvalente
1052Robotics & Automation News 

X Square Robot mise sur une approche full-stack pour l'IA incarnée et la robotique polyvalente

Le fabricant chinois de robots humanoïdes X Square Robot, basé à Shenzhen, a récemment bouclé quatre levées de fonds consécutives, confirmant l'intérêt soutenu des investisseurs pour l'IA incarnée (embodied AI). La société développe une approche "full-stack" du robot généraliste, c'est-à-dire qu'elle conçoit à la fois le matériel (actionneurs, capteurs, plateforme mécanique) et les modèles d'IA qui pilotent la perception et la manipulation, plutôt que de s'appuyer sur des briques tierces assemblées. L'objectif affiché est de produire des machines capables d'exécuter une large variété de tâches réelles, à l'opposé des robots historiquement programmés pour une application unique et rigide. Cette stratégie d'intégration verticale illustre un basculement plus large du secteur robotique : la course ne se joue plus seulement sur le hardware, mais sur la capacité à faire tenir un modèle d'IA généraliste (de type VLA, vision-language-action) à l'échelle industrielle, du laboratoire jusqu'au déploiement en usine ou en entrepôt. Pour les intégrateurs et décideurs B2B, le succès ou l'échec de ce pari conditionne directement l'arbitrage entre acheter une plateforme fermée type Optimus ou Figure, ou miser sur des acteurs émergents proposant une pile technologique propriétaire complète. Le nombre de tours de financement consécutifs, sans que les montants précis soient encore détaillés publiquement, signale une pression concurrentielle et une conviction des investisseurs chinois sur ce segment. X Square Robot s'inscrit dans un paysage chinois de plus en plus dense sur l'IA incarnée, aux côtés d'acteurs comme Unitree ou UBTech, dans un contexte où Pékin pousse activement la robotique humanoïde comme filière stratégique. Face à elle, la scène occidentale reste dominée par Tesla (Optimus), Figure AI ou encore Physical Intelligence (Pi-0), tandis qu'en Europe des acteurs comme Wandercraft ou Enchanted Tools explorent des approches plus spécialisées. Les prochaines étapes à surveiller pour X Square Robot concernent la divulgation des montants levés, l'identité des investisseurs, et surtout la transition entre démonstrations en laboratoire et déploiements pilotes vérifiables chez des clients industriels, seul indicateur qui permettra de distinguer l'annonce marketing du produit réellement opérationnel.

Chine/AsieOpinion
1 source
BIFROST : transfert de représentation de caractéristiques invariantes pour le passage simulation-réel dans l'espace d'observation
1053arXiv cs.RO 

BIFROST : transfert de représentation de caractéristiques invariantes pour le passage simulation-réel dans l'espace d'observation

Des chercheurs ont publié sur arXiv (référence 2607.01410v1) un nouveau système appelé BIFROST (Bridging Invariant Feature Representation for Observation-space Sim2Real Transfer), destiné à résoudre l'un des obstacles centraux de l'apprentissage robotique par renforcement : le fossé entre simulation et réalité. Le principe consiste à entraîner un encodeur partagé sur des données appariées provenant des deux domaines, via un objectif de bisimulation cross-domaine qui rapproche, dans un espace latent commun, les séquences observation-action menant aux mêmes résultats à long terme, indépendamment des différences de rendu visuel ou de physique. L'équipe a testé l'approche sur trois tâches : navigation visuelle en sim2sim, manipulation à contact riche en sim2real, et asservissement visuel. Selon le papier, les politiques entraînées dans cet espace latent partagé transfèrent en zero-shot vers la réalité, sans réentraînement sur données réelles, là où les méthodes de référence en adaptation de domaine et en co-entraînement échouent face à des écarts à la fois visuels et dynamiques. Pour l'industrie robotique, le sim2real reste le goulot d'étranglement entre démonstration en laboratoire et déploiement en usine : entraîner en simulation coûte peu, mais transférer une politique vers un robot physique sans perte de performance exige d'habitude des mois de randomisation de domaine ou de fine-tuning gourmand en données réelles. Si les résultats se confirment à plus grande échelle, la promesse est de réduire nettement le coût de mise en production de politiques de manipulation et de navigation, un enjeu clé pour les intégrateurs déployant bras robotiques ou AMR sur des sites variés. C'est aussi un signal dans le débat sur les architectures VLA : l'idée d'une structure invariante exploitable directement depuis l'observation brute pourrait simplifier la conception des politiques génériques que recherchent des labos comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T). À noter que, publication arXiv non encore relue par les pairs, la portée reste limitée aux trois tâches testées en environnement contrôlé. Le problème est documenté depuis les débuts du RL appliqué à la robotique : les approches historiques traitent séparément l'écart visuel (randomisation de domaine, transfert de style) et l'écart dynamique (identification de système, randomisation physique), les deux modules étant ensuite empilés quand les problèmes coexistent, une approche jugée limitée par les auteurs car elle traite les symptômes plutôt que la structure commune sous-jacente. BIFROST s'inscrit dans la lignée des travaux sur la bisimulation en apprentissage par renforcement, appliquée ici explicitement au transfert cross-domaine. Aucune entreprise ni calendrier de commercialisation n'est mentionné : le travail reste une contribution académique, dont les suites attendues sont une validation sur des tâches plus complexes et une comparaison directe avec les politiques VLA déployées par les acteurs commerciaux du secteur humanoïde et manipulation.

RecherchePaper
1 source
LaMP : apprentissage d'une politique vision-langage-action avec flux de scène 3D comme a priori de mouvement latent
1054arXiv cs.RO 

LaMP : apprentissage d'une politique vision-langage-action avec flux de scène 3D comme a priori de mouvement latent

Des chercheurs presentent LaMP, un framework de manipulation robotique combinant deux modules experts. Le premier, le "Motion Expert", genere en une seule etape un flux de scene 3D partiellement debruite via une methode de flow-matching; ses etats caches conditionnent ensuite un second module, l'"Action Expert", charge de predire les actions du robot, via une attention croisee filtree. Contrairement aux VLA classiques qui deduisent les actions directement de features visuelles 2D, LaMP integre ainsi un a priori de mouvement 3D explicite sans reconstruction complete multi-etapes. Le systeme a ete evalue sur les bancs d'essai de simulation LIBERO, LIBERO-Plus et SimplerEnv-WidowX, ainsi que sur des experiences reelles. Selon les auteurs, LaMP depasse systematiquement les references VLA testees, avec les meilleurs taux de reussite moyens a budget d'entrainement egal, et un gain moyen de 9,7% de robustesse sur les perturbations hors distribution de LIBERO-Plus par rapport a la meilleure reference existante. Ce travail cible un point faible connu des politiques VLA: leur difficulte a generaliser a des dynamiques spatiales non vues pendant l'entrainement, un ecart souvent qualifie de "sim-to-real" ou de "demo vs reality gap". En forcant les modeles a apprendre implicitement la physique 3D a partir de simples features 2D, les architectures actuelles, dans la lignee de RT-2, Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, restent fragiles des que l'environnement s'ecarte du jeu d'entrainement. Pour les integrateurs et decideurs B2B, la robustesse hors distribution separe une demonstration convaincante d'un deploiement industriel fiable: c'est souvent le vrai goulot d'etranglement, plus que la reussite brute sur des taches deja vues. Le papier, publie sur arXiv en version 2, s'inscrit dans un debat plus large sur la meilleure facon d'injecter des priors physiques 3D dans des backbones visuels pre-entraines en 2D, face a des alternatives comme les nuages de points ou les politiques de diffusion conditionnees par la profondeur. Il s'agit d'une contribution academique, sans affiliation industrielle affichee ni indication de deploiement au-dela des benchmarks; les prochaines etapes attendues concernent le passage a l'echelle en conditions reelles et une comparaison directe avec des politiques VLA deja commercialisees comme Pi-0 ou GR00T N2.

RechercheActu
1 source
WARP : rétargétage corps entier pour l'apprentissage par démonstrations humaines préenregistrées
1055arXiv cs.RO 

WARP : rétargétage corps entier pour l'apprentissage par démonstrations humaines préenregistrées

Un pipeline de transformation de poses humaines en actions robotiques, baptisé WARP (Whole-body-Aware Retargeting from human Pose), vient d'être publié en préprint sur arXiv (2606.29940). L'objectif est de permettre la manipulation mobile corps-entier à partir de séquences de démonstrations humaines capturées hors-ligne, sans recourir à la télé-opération. La méthode centrale repose sur un solveur géométrique à forme fermée dit SEW (Shoulder-Elbow-Wrist), qui calcule de façon exacte la position et l'orientation des effecteurs terminaux du robot tout en conservant la cohérence globale de la posture. À cela s'ajoute une stratégie de contrôle "lazy" de la base mobile, qui minimise les déplacements inutiles de la plateforme pour produire des trajectoires cohérentes et déterministes. Les auteurs rapportent qu'en rejeu boucle ouverte sur robot réel, les données générées sont suffisamment fiables pour une exécution directe sans correction humaine, ce qui constitue leur principale validation expérimentale. L'enjeu central est la suppression de la télé-opération comme source de données d'entraînement. Collecter des données de téléopération à grande échelle reste coûteux, lent et difficile à généraliser entre plateformes. Les méthodes de retargeting existantes produisent des solutions ambiguës, engendrant une "multi-modalité d'action" qui empêche la convergence des politiques supervisées. WARP prétend résoudre ce problème via un solveur déterministe, ce qui aligne données humaines et action robot de façon univoque. Si la revendication "zero-shot" des auteurs se confirme en dehors de conditions contrôlées, cela réduirait significativement le coût d'acquisition de données pour les systèmes de manipulation mobile, en ouvrant l'accès à des corpus vidéo humains existants comme source d'entraînement à grande échelle. Ce travail s'inscrit dans une tendance forte de la recherche en robotique apprenante : exploiter la donnée humaine plutôt que la donnée robot. Des systèmes comme pi-0 (Physical Intelligence), OpenVLA ou ACT ont montré que les politiques visuomotrices peuvent apprendre depuis des démonstrations téléopérées ou humaines, mais le passage à la manipulation corps-entier sur base mobile restait un verrou technique non résolu. WARP ne mentionne ni déploiement industriel ni plateforme robot spécifique dans son résumé, ce qui cantonne pour l'instant la contribution au cadre académique. La prochaine étape logique serait de tester la robustesse hors distribution et de comparer les politiques issues de WARP à celles entraînées sur données téléopérées, sur des benchmarks communs comme ceux d'OXE ou LIBERO.

RecherchePaper
1 source
Booster Lab : un pipeline centré sur les données pour l'apprentissage de politiques de locomotion humanoïde déployables
1056arXiv cs.RO 

Booster Lab : un pipeline centré sur les données pour l'apprentissage de politiques de locomotion humanoïde déployables

Des chercheurs de Booster Robotics ont publié le 27 juin 2026 sur arXiv (2606.27813) un article décrivant "Booster Lab", un pipeline de bout en bout pour apprendre et déployer des politiques de locomotion sur des robots humanoïdes. Le système repose sur quatre étapes enchaînées : curation automatisée de données de mouvement, adaptation du modèle robot de l'environnement réel vers la simulation (real-to-sim), apprentissage par renforcement avec la méthode AMP (Adversarial Motion Priors), et transfert simulation-vers-réel (sim-to-real). Le pipeline a été validé sur le robot humanoïde Booster T1, la plateforme principale de l'entreprise, avec des premiers résultats de portabilité obtenus sur le Booster K1. Aucun chiffre de performance brut (temps de cycle, vitesse de marche, taux de succès) n'est disponible dans l'abstract de cette préprint, ce qui limite l'évaluation indépendante des résultats. Le véritable apport de ce travail n'est pas une architecture RL inédite, mais une réponse opérationnelle à un problème concret qui ralentit tout le secteur : la rareté des données de mouvement compatibles avec la morphologie des robots humanoïdes. Les captures humaines brutes sont souvent inutilisables directement, les clips open-source sont hétérogènes en qualité, et même les trajectoires synthétiques issues de simulation nécessitent une vérification de faisabilité physique. En centralisant la curation, l'adaptation de modèle et la vérification dans un même pipeline, Booster Lab propose une infrastructure reproductible plutôt qu'un résultat de labo isolé. La validation croisée sur deux plateformes distinctes (T1 et K1) suggère une ambition de généralisation, mais reste à confirmer sur des benchmarks indépendants. Booster Robotics est une startup chinoise spécialisée dans les humanoïdes à faible coût, positionnée en compétition directe avec Unitree et ses séries H1/G1, ainsi qu'avec Fourier Intelligence. Le T1 est commercialisé comme plateforme de recherche accessible, en opposition aux segments premium occupés par Figure (Figure 02), Agility Robotics (Digit) ou Boston Dynamics (Atlas). L'approche data-centric de ce papier s'inscrit dans la tendance de fond du secteur : après les percées en manipulation portées par des VLA comme pi0 (Physical Intelligence) ou GR00T N2 (NVIDIA), la locomotion naturelle et robuste reste le dernier verrou avant des déploiements industriels crédibles. La suite logique de ce travail serait un benchmark public des politiques apprises et un accès au pipeline de curation pour la communauté.

RecherchePaper
1 source
MANGO : génération automatisée d'oracles de test multi-agents pour les modèles vision-langage-action
1057arXiv cs.RO 

MANGO : génération automatisée d'oracles de test multi-agents pour les modèles vision-langage-action

Des chercheurs ont publié fin juin 2026 sur arXiv (2606.24815) un framework nommé MANGO, pour Multi-Agent test oracle GENeration for Vision-Language-Action models. Les modèles VLA constituent la nouvelle génération de systèmes de contrôle robotique : ils intègrent dans une architecture unifiée la perception visuelle, la compréhension du langage naturel et la génération d'actions motrices. L'approche dominante pour les tester repose sur des oracles symboliques écrits manuellement, des fonctions qui évaluent si un robot a accompli sa tâche à partir de l'état final de l'environnement. MANGO automatise cette étape via un pipeline de trois agents LLM collaboratifs : un Generator qui produit une bibliothèque d'actions atomiques réutilisables, un Assessor qui ancre ces définitions dans le simulateur, et un Judge qui arbitre et affine les artefacts par feedback itératif. Le système a été évalué sur les benchmarks LIBERO_10 et RoboCasa Humanoid Tabletop. L'intérêt principal est de supprimer le goulot d'étranglement humain dans la qualification des robots VLA. Les oracles symboliques actuels exigent une expertise domaine significative et restent couplés à une tâche précise, ce qui limite fortement leur réutilisation dès qu'on change de scénario ou de cellule de travail. MANGO génère des oracles à grain fin capables d'évaluer des étapes intermédiaires, pas seulement l'état final, ce qui améliore la localisation des pannes : au lieu de constater qu'un robot a échoué, on identifie quelle action atomique a dévié. Les résultats montrent une détection de défauts comparable aux oracles symboliques manuels avec une couverture diagnostique plus riche, un levier direct pour les équipes QA qui valident des flottes de robots VLA en production. Les modèles VLA ont connu une accélération marquée depuis 2024 avec Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure AI et plusieurs variantes issues des laboratoires académiques. Tous partagent le même point faible : leur validation reste artisanale, peu reproductible, et difficile à passer à l'échelle. MANGO s'inscrit dans un effort croissant pour combler le fossé entre démos en laboratoire et déploiement industriel, en dotant les pipelines CI/CD robotiques d'outils d'évaluation automatisés. L'article demeure un preprint non relu par les pairs et le code n'est pas encore publié, ce qui invite à nuancer les résultats avant toute adoption. La prochaine étape naturelle serait une validation sur environnements physiques réels, au-delà des scénarios de manipulation sur table couverts par les benchmarks actuels.

RechercheOpinion
1 source
Planification de mouvement adaptative aux événements avec un modèle vision-langage distillé en situations critiques
1058arXiv cs.RO 

Planification de mouvement adaptative aux événements avec un modèle vision-langage distillé en situations critiques

Une équipe de chercheurs a déposé le 25 juin 2026 sur arXiv (réf. 2606.25629) un cadre algorithmique baptisé EAMP (Event-Adaptive Motion Planning) pour la navigation robotique en environnements logistiques à criticité sécurité. Le système repose sur trois modules imbriqués : un déclencheur sémantique configurable par prompt, le PC-SET, qui surveille en continu de courtes séquences vidéo pour détecter des anomalies comportementales ; un modèle vision-langage allégé, le SemNav-VLM, activé uniquement lors d'une anomalie avérée, qui produit des décisions stratégiques discrètes ; et un module de contrôle prédictif sémantique (SMPC) qui traduit ces décisions en reconfiguration des objectifs d'optimisation et des références géométriques du planificateur bas niveau. Le SemNav-VLM est obtenu par distillation d'un grand modèle vision-langage (VLM), guidée par des vérifications de cohérence physique, ce qui préserve le raisonnement de bon sens du modèle parent tout en réduisant drastiquement la latence d'inférence. Les expériences sont menées dans des scénarios logistiques simulés. L'enjeu adressé est structurel pour la robotique mobile industrielle : dans les entrepôts et environnements mixtes, la majorité des collisions ne provient pas d'obstacles statiques inédits, mais du comportement imprévisible d'agents dynamiques, opérateurs humains, chariots élévateurs, autres robots autonomes. Les VLMs, capables d'un raisonnement contextuel robuste sur ces situations, sont jusqu'ici incompatibles avec la boucle de contrôle temps-réel en raison de leur latence computationnelle, qui déstabilise l'exécution physique. EAMP résout cette contradiction par déclenchement conditionnel : le modèle allégé n'est invoqué qu'en présence d'une anomalie, préservant l'efficacité temps-réel sans sacrifier la capacité de raisonnement sémantique. Les résultats indiquent une amélioration significative des marges de sécurité dynamiques par rapport aux baselines existantes. Il s'agit néanmoins d'une démonstration en simulation ; aucune validation sur robot physique réel n'est rapportée dans cette version du preprint. Ce travail s'inscrit dans une tendance de fond de 2025-2026 : intégrer les capacités de raisonnement des grands modèles dans des architectures de planification classiques (MPC, RRT) sans sacrifier la réactivité temps-réel. Les approches concurrentes incluent les modèles VLA (Vision-Language-Action) de bout en bout comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui fusionnent différemment raisonnement et action à l'échelle. La distillation supervisée par contraintes physiques est une direction active pour compresser ces modèles sans dégradation critique. Côté déploiement, des acteurs comme Exotec (France, système Skypod) opèrent déjà dans des entrepôts mixtes humains-robots où la problématique des agents dynamiques est centrale ; un cadre comme EAMP pourrait constituer une brique de planification adaptative pour ces systèmes, à condition d'une validation physique que les auteurs n'ont pas encore fournie.

UEExotec (France, système Skypod) est explicitement cité comme cas d'usage potentiel pour ce cadre de planification adaptative, mais l'absence de validation sur robot physique réel reporte tout impact industriel concret.

RecherchePaper
1 source
Table ronde : la vraie stratégie du capital-risque IA, un pas devant le consensus | 2026WAVES
105936Kr 

Table ronde : la vraie stratégie du capital-risque IA, un pas devant le consensus | 2026WAVES

Lors de la conférence 2026 WAVES, un roundtable intitulé "Investir avant le consensus" a réuni Zhu Tianyu, managing partner de BlueRun Ventures, et Qin Shentao, fondateur et CEO d'OriginFlow, startup créée en 2025 alors qu'il était doctorant à l'université Tsinghua, à 24 ans. En moins de cinq mois, OriginFlow a levé plus de 500 millions de yuans (environ 63 millions d'euros), de la ronde angel jusqu'au Pre-A1. BlueRun a co-mené le tour angel et réinvesti à trois reprises ; Zhu Tianyu avait pris sa décision d'investir en trente minutes de discussion. La société développe une interface motrice non invasive pour l'embodied AI : des capteurs électromécaniques portables décodent les signaux moteurs descendants du cerveau humain afin de capturer, en temps réel, les données de mouvement physique dans des environnements industriels, sans implant chirurgical ni interruption des processus de production. L'argument fondateur d'OriginFlow tient à ce que Qin Shentao identifie comme le troisième grand chantier de la donnée pour l'IA. Le texte, trente ans de tokenisation des savoirs humains sur Internet, a permis l'émergence des LLM d'OpenAI et Anthropic. La vidéo, accumulée par au moins 300 000 véhicules en circulation dans le cas de la conduite autonome, a alimenté les Robotaxi. L'interaction physique avec contact reste quasi-inexploitée : les 8 milliards d'humains génèrent, selon les estimations de la startup, près de 100 milliards d'heures de données d'interaction physique réelle chaque jour, contre quelques centaines de milliers d'heures seulement effectivement utilisées dans les modèles génératifs actuels, soit un écart de plusieurs ordres de grandeur. OriginFlow mise sur une collecte in the wild, pendant les processus de production normaux, sans perturber les cadences industrielles. BlueRun résume ce modèle économique par la formule "earn money while earning data" : les industriels paient pour le service et constituent simultanément un corpus de données propriétaires pour la startup. BlueRun Ventures est l'un des rares fonds early-stage chinois à avoir co-investi dans un LLM de base (Moonshot AI, éditeur du chatbot Kimi), une application IA (Genspark), un constructeur automobile (Li Auto) et un roboticien (Agibot). Son cadre d'analyse dit "trois vagues cumulatives" (AGI, robotique physique, interaction 3D), formalisé vers 2021-2022 avant le lancement de ChatGPT, place OriginFlow à l'intersection des trois vecteurs. Zhu Tianyu souligne l'avantage comparatif chinois : densité de talents en IA couplée à une chaîne industrielle manufacturière profonde, propice aux approches combinant software et hardware pour la collecte de données physiques. Sur ce segment précis de l'interface neuromécanique non invasive pour l'embodied AI, aucun concurrent direct n'est cité dans les échanges ; des acteurs comme Physical Intelligence (Pi-0) ou les fournisseurs de modèles VLA opèrent sur des couches différentes de la pile robotique. Les prochaines étapes d'OriginFlow ne sont pas détaillées dans la discussion, mais la rapidité et le volume de la levée suggèrent des déploiements pilotes en environnement industriel à court terme.

Chine/AsieActu
1 source
Tutorat bidirectionnel pour l'apprentissage moteur développemental en robotique : dynamiques co-développées et stabilité
1060arXiv cs.RO 

Tutorat bidirectionnel pour l'apprentissage moteur développemental en robotique : dynamiques co-développées et stabilité

Une équipe de chercheurs a publié sur arXiv (référence 2606.19728, juin 2026) une étude portant sur l'apprentissage moteur développemental des robots, inspirée de la manière dont les nourrissons acquièrent leurs compétences motrices via l'interaction avec leurs aidants. L'expérience centrale implique un robot humanoïde physique chargé d'une tâche de manipulation d'objets, soumis à deux protocoles distincts : d'abord une interaction humain-robot en temps réel, puis un tuteur IA doté d'un mécanisme d'intervention adaptatif conçu pour reproduire la même dynamique bidirectionnelle dans des conditions plus contrôlées. Le système d'apprentissage repose sur un réseau de neurones fondé sur le principe de l'énergie libre (free-energy principle, FEP), étendu par un mécanisme de rejeu génératif (generative replay) permettant un apprentissage stable séquence par séquence à partir d'épisodes tutorés uniques. L'hypothèse centrale, vérifiée dans les deux configurations, est que le tutorat bidirectionnel produit des comportements plus cohérents et une généralisation par étapes (stage-wise generalization), le robot requérant progressivement moins de guidage externe. Cela tranche avec le paradigme dominant de l'apprentissage par démonstration (learning from demonstration, LfD), où le robot reçoit passivement des flux de téléopération sans que ses expériences passées contraignent la dynamique d'interaction. Pour les intégrateurs et ingénieurs roboticiens, l'implication est concrète : les stratégies d'entraînement actuelles, largement fondées sur des démonstrations unidirectionnelles comme celles utilisées par Figure, Tesla Optimus ou Physical Intelligence, pourraient négliger un levier important de cohérence comportementale et de robustesse à la distribution. Ce travail s'inscrit dans la tradition de la robotique développementale, un champ qui emprunte aux sciences cognitives du développement pour concevoir des agents capables d'apprentissage progressif et socialement ancré. Il faut toutefois nuancer : il s'agit d'un preprint arXiv non encore évalué par les pairs, réalisé sur un robot unique dans des conditions expérimentales contrôlées, sans déploiement industriel ni partenariat commercial annoncé. La prochaine étape naturelle serait de tester la scalabilité du protocole sur plusieurs morphologies de robots et sur des tâches plus complexes, afin d'évaluer si la dynamique bidirectionnelle conserve ses avantages au-delà de la manipulation d'objets simples.

RecherchePaper
1 source
Plateforme d'IA incarnée évolutive pour le transfert réel-sim-réel de tâches de manipulation mobile domestique
1061arXiv cs.RO 

Plateforme d'IA incarnée évolutive pour le transfert réel-sim-réel de tâches de manipulation mobile domestique

Une équipe de chercheurs a publié sur arXiv (référence 2606.18646v1) les travaux autour de BestMan, une plateforme logicielle conçue pour boucler le cycle real-to-sim-to-real dans le domaine de la manipulation mobile en environnements domestiques. Le système s'articule autour de trois composants : un module de génération automatique de scènes (ASG) qui reconstruit des environnements simulés à partir d'observations réelles, une architecture d'apprentissage de compétences hybrides évaluable à grande échelle en simulation, et un middleware unifié baptisé HUM (Hardware-agnostic and Unified Middleware) assurant le déploiement sur des manipulateurs mobiles hétérogènes. Il s'agit d'une contribution académique sous forme de preprint, pas d'un produit commercialisé ni d'un déploiement industriel annoncé. L'enjeu central que traite BestMan est le fossé sim-to-real, l'un des verrous les plus persistants de la robotique d'intérieur. La manipulation mobile en environnement non-structuré, c'est-à-dire sur des surfaces encombrées, dans des cuisines ou des entrepôts domestiques sans balisage préalable, reste hors de portée des approches qui nécessitent une reconstruction manuelle et coûteuse des scènes de simulation. Le module ASG automatise cette étape, ce qui réduit le coût d'entrée pour les chercheurs souhaitant tester des stratégies de contrôle. Le middleware HUM, s'il tient ses promesses d'agnosticisme matériel, simplifierait le travail des intégrateurs qui opèrent des flottes de robots hétérogènes : une seule pipeline de simulation pour plusieurs plateformes physiques. L'article revendique des benchmarks standardisés, ce qui manquait cruellement dans le champ de la manipulation mobile, mais les métriques précises de performance (taux de succès, temps de cycle, généralisation à des objets inconnus) ne sont pas détaillées dans l'abstract. BestMan s'inscrit dans une vague de plateformes d'intelligence incarnée visant à industrialiser le pipeline simulation-réel : on pense à Isaac Sim de NVIDIA, à Genesis (plateforme de simulation physique open-source), ou encore aux travaux de Physical Intelligence (pi) autour de Pi-0 qui misent sur les VLA (vision-language-action models) pour généraliser sans retraining massif. Côté européen, des acteurs comme Enchanted Tools (Miroki) ou Wandercraft (Atalante) traitent des problèmes adjacents de transfert sim-réel mais sur des morphologies très différentes. L'équipe derrière BestMan ne précise pas de partenariats industriels ni de calendrier de mise à disposition publique de la plateforme : la prochaine étape logique serait une validation sur plusieurs familles de robots et une ouverture du code pour permettre des benchmarks communautaires comparables.

UEImpact indirect potentiel pour les acteurs européens comme Enchanted Tools ou Wandercraft si la plateforme est rendue publique, mais aucun déploiement ou partenariat européen documenté à ce stade.

RecherchePaper
1 source
LAGO Policy : diffusion asynchrone sensible à la latence et planification sans collision pour une manipulation fluide
1062arXiv cs.RO 

LAGO Policy : diffusion asynchrone sensible à la latence et planification sans collision pour une manipulation fluide

Une équipe de chercheurs a publié sur arXiv (référence 2606.17982, juin 2026) un cadre algorithmique baptisé LAGO Policy, acronyme de Latency-Aware asynchronous Goal-directed Optimization, destiné à résoudre deux limitations structurelles des politiques visuomotrices à diffusion en manipulation robotique : les discontinuités entre blocs d'actions lors de l'inférence asynchrone, et l'absence de mécanisme natif d'évitement d'obstacles. Le système repose sur trois composantes intégrées : un guidage sans classifieur (classifier-free guidance, CFG) conditionné sur les actions futures pour assurer la cohérence entre segments d'exécution consécutifs ; une prédiction automatique de point d'interaction cible extraite des démonstrations pour orienter la planification ; et une optimisation spatio-temporelle des trajectoires garantissant des mouvements à faible à-coup (low-jerk) et physiquement réalisables. Les auteurs rapportent des expériences en conditions réelles sur des tâches de manipulation présentées comme complexes, avec un taux de succès élevé, bien que l'abstract ne détaille ni les objets testés ni les métriques quantitatives précises. Ce travail s'attaque à un problème concret qui freine le déploiement industriel des politiques à diffusion : ces modèles génèrent des actions de haute qualité, mais leur temps de calcul est incompatible avec une boucle de contrôle synchrone. Les approches asynchrones existantes contournent la latence en découplant inférence et exécution, mais introduisent précisément les à-coups et ruptures de trajectoire que LAGO cherche à corriger. L'intégration de la planification d'évitement d'obstacles directement dans le pipeline de la politique, sans module externe de type MPC ou RRT, représente un changement d'architecture notable pour les intégrateurs qui empilent aujourd'hui ces briques séparément. Les politiques à diffusion pour la manipulation ont été popularisées notamment par les travaux de Shuran Song (Columbia/Stanford) puis par Physical Intelligence avec Pi-0, architecture qui sert de référence dans le domaine. LAGO s'inscrit dans une tendance plus large où la frontière entre apprentissage par imitation et planification classique se réduit, visible aussi dans GR00T N2 de NVIDIA ou les variantes d'ACT développées dans plusieurs laboratoires académiques. Il s'agit pour l'instant d'un preprint sans déploiement commercial annoncé ni partenaire industriel identifié ; la page projet associée (lago-policy.github.io) laisse entendre que des vidéos et du code seront publiés, mais aucune timeline n'est précisée.

RechercheOpinion
1 source
Réorganisation personnalisée d'objets : assistance LLM guidée par l'incertitude avec capacité d'abstention
1063arXiv cs.RO 

Réorganisation personnalisée d'objets : assistance LLM guidée par l'incertitude avec capacité d'abstention

Des chercheurs publient APOLLO, un cadre hybride pour le rangement personnalisé d'objets ménagers par robot, soumis le 17 juin 2026 sur arXiv. Le système couple un modèle d'embedding personnalisé (PEM), léger, entièrement sur CPU, entraîné par paire utilisateur-environnement à partir d'une poignée de démonstrations, à un LLM activé sélectivement uniquement quand le PEM signale une incertitude élevée. APOLLO introduit l'abstention comme comportement de premier ordre : le robot peut décider de ne pas déplacer un objet faute d'information suffisante, une capacité absente de la plupart des approches actuelles. Pour évaluer ce comportement, les auteurs publient également APOR, un dataset synthétique généré par LLM couvrant des environnements multi-meubles, des profils organisationnels variés, des cas d'abstention explicites et des scènes partiellement bruitées. Sur les benchmarks PARSEC et APOR, APOLLO améliore les performances par rapport aux baselines LLM pures tout en réduisant substantiellement le nombre d'appels au modèle. Le code est disponible sur GitHub (PaInt-Lab/APOLLO). Les résultats restent à ce stade préliminaires, les auteurs eux-mêmes parlant de "preuves initiales" en environnement simulé, sans validation sur hardware réel. Ce résultat pointe un angle mort systématique : les méthodes existantes supposent des observations propres et une actionabilité complète, deux hypothèses rarement vérifiées dans un vrai foyer encombré. L'architecture hybride répond aussi à des contraintes de déploiement concret : le PEM sur CPU préserve la vie privée et réduit la latence, le LLM étant réservé aux décisions vraiment ambiguës. C'est une direction pragmatique pour des assistants domestiques embarqués sur du matériel non-spécialisé, où le recours systématique au cloud n'est ni acceptable ni viable à l'échelle. APOLLO s'inscrit dans un effort plus large pour rendre les politiques VLA (Vision-Language-Action) robustes à l'incertitude et aux données partielles, un problème central du déploiement hors environnements contrôlés. Les travaux concurrents de Physical Intelligence (π0), des équipes RT-2 ou OpenVLA s'attaquent à la généralisation en scènes non structurées, mais l'abstention explicite reste rare dans la littérature. Aucun acteur français ou européen n'est directement impliqué dans cette publication. Les prochaines étapes naturelles incluent une validation sur hardware réel et une évaluation avec de vrais utilisateurs sur la pertinence des décisions de non-action.

RecherchePaper
1 source
Imiter ce qui fonctionne : apprentissage de politiques modulaires filtré par simulation depuis des vidéos humaines
1064arXiv cs.RO 

Imiter ce qui fonctionne : apprentissage de politiques modulaires filtré par simulation depuis des vidéos humaines

Des chercheurs publient sur arXiv (2602.13197v2) un cadre d'apprentissage baptisé PSI (Perceive-Simulate-Imitate), conçu pour entraîner un robot à des tâches de manipulation à partir de vidéos humaines, sans aucune donnée robot. La cible est la manipulation préhensile, c'est-à-dire les tâches combinant une phase de saisie d'objet et des mouvements post-saisie (vissage, transfert, assemblage). PSI adopte une architecture modulaire : un générateur de saisies dédiées produit des prises stables, tandis que la composante imitation extrait les trajectoires post-saisie directement depuis les vidéos. Entre les deux s'intercale une étape de filtrage en simulation, qui attribue à chaque saisie candidate un label de compatibilité avec la tâche aval, permettant d'entraîner via apprentissage supervisé un module de saisie orienté vers l'objectif final. Les expériences en conditions réelles confirment des performances significativement plus robustes que l'usage naïf d'un générateur de saisies standard, sans que des métriques chiffrées précises (taux de succès, nombre d'objets testés) ne soient détaillées dans l'abstract. L'enjeu est structurant pour l'industrie : les vidéos humaines représentent un gisement de données quasi-illimité comparé aux démonstrations téléopérées, coûteuses à collecter à grande échelle. Le problème identifié par les auteurs est que les saisies arbitrairement stables ne sont pas forcément compatibles avec la tâche en aval, un robot peut tenir correctement un outil tout en l'orientant de façon à rendre impossible l'opération suivante. PSI tranche ce nœud en injectant du jugement simulé avant l'imitation, ce qui le distingue des pipelines naïfs de transfert vidéo-vers-robot. Pour un intégrateur ou une équipe R&D souhaitant élargir le catalogue de tâches d'un robot sans multiplier les sessions de téléopération, la proposition est directement lisible. Ce travail s'inscrit dans le courant de l'imitation depuis des vidéos in-the-wild (dans la lignée de Vid2Robot, DIME ou des travaux récents sur les Visual Language Actions), qui cherche à contourner le goulot d'étranglement de la collecte de données robotiques. La spécificité de PSI tient à son découplage explicite entre qualité de saisie et qualité de trajectoire, médiatisé par la simulation. Côté concurrent, des approches comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) misent davantage sur des architectures unifiées entraînées sur des corpus massifs mixtes. Aucun partenaire industriel ni déploiement n'est annoncé : il s'agit d'un résultat académique dont la généralisation à un large éventail d'objets et de morphologies de mains reste à démontrer.

IA physiquePaper
1 source
Repenser la représentation spatiale implicite dans l'apprentissage des politiques visuomotrices
1065arXiv cs.RO 

Repenser la représentation spatiale implicite dans l'apprentissage des politiques visuomotrices

Une équipe de chercheurs a publié en juin 2026 un préprint arXiv (2606.15232) proposant PRISM, un encodeur visuel destiné aux politiques visuomotrices pour la manipulation robotique. Le travail repart d'une brique très répandue dans ce domaine : le pooling spatial softmax, qui transforme les cartes de caractéristiques d'un réseau de neurones en un ensemble compact de coordonnées 2D représentant les points saillants d'une scène. Les auteurs montrent, par une série d'expériences comparatives, que cette représentation implicite produit des features plus stables et plus compactes que les représentations feature-value classiques, même avec un espace dimensionnel nettement réduit. Cependant, ils identifient un goulot d'étranglement : les opérations successives de sous-échantillonnage dans les encodeurs visuels courants dégradent l'information spatiale fine avant qu'elle ne parvienne au module générateur d'actions, problème particulièrement aigu en basse résolution. PRISM répond à ce déficit en fusionnant des représentations multiscalaires via une attention croisée top-down. Sur la tâche ToolHang, référence de précision en basse résolution, le taux de succès moyen passe de 5,0 % à 13,4 %, pour seulement 15,4 % de paramètres supplémentaires. Ce résultat a une portée directe pour les intégrateurs qui déploient des politiques d'imitation générative (Diffusion Policy, ACT, et dérivés) sur des robots industriels équipés de caméras embarquées à résolution modeste. Il confirme que le "sim-to-real gap" n'est pas uniquement lié aux données ou aux architectures d'action, mais aussi à la qualité des représentations visuelles intermédiaires. La démonstration que des gains substantiels sont atteignables sans revoir l'architecture d'action ni exploser le coût computationnel est un signal utile pour les équipes qui cherchent à améliorer la robustesse de leurs pipelines sans refonte complète. Ce travail s'inscrit dans la vague actuelle d'apprentissage par imitation basé sur des modèles génératifs, popularisée par Chi et al. (Diffusion Policy, 2023) et les travaux de Physical Intelligence (pi0) ou de Google DeepMind. Il n'implique pas d'acteur français ou européen identifiable. Le papier est un préprint, non encore évalué par les pairs, et les benchmarks restent limités à des tâches de table-top manipulation simulées et réelles ; une validation sur plateformes humanoïdes ou en environnement industriel reste à venir. Les prochaines étapes naturelles seraient une intégration dans des pipelines VLA (Vision-Language-Action) à grande échelle, où la précision spatiale est également un point de friction documenté.

IA physiquePaper
1 source
Un cadre de téléopération bilatérale pour la manipulation dextérique
1066arXiv cs.RO 

Un cadre de téléopération bilatérale pour la manipulation dextérique

Une équipe de chercheurs publie, dans un preprint arXiv déposé en juin 2026 (arXiv:2606.15434), un système modulaire de téleopération bilatérale conçu pour la manipulation dextre en environnements réels à fort contact. L'architecture proposée couple une interface côté opérateur à un bras robotique compliant et à une main mécanique dextre côté robot, dans une boucle de contrôle unifiée. Quatre fonctionnalités centrales sont documentées : le retargeting de posture de main par positions (adaptation des commandes d'une main humaine vers une main robotique de morphologie différente), la commande différentielle du bras, le retour haptique multi-échelle, et un mécanisme de contrôle partagé pour stabiliser les phases de manipulation en contact. Le framework est validé sur une tâche réelle de manipulation dextre, sans que les métriques de performance - latence, temps de cycle, taux de succès - ne soient communiquées dans le résumé public disponible. L'intérêt principal de ce travail pour les équipes de recherche et les intégrateurs ne réside pas dans les performances brutes du système de téleopération lui-même, mais dans sa vocation déclarée de plateforme de collecte de démonstrations haute qualité pour l'apprentissage par imitation (learning from demonstration). À l'heure où les architectures VLA (Vision-Language-Action) - comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA - exigent des datasets massifs de trajectoires expertes en manipulation fine, la qualité du pipeline de collecte devient un goulot d'étranglement critique. Les auteurs identifient aussi trois problèmes de conception restant ouverts : le mismatch cross-embodiment (écart morphologique entre la main de l'opérateur et celle du robot), la granularité du retour haptique, et le dosage optimal du contrôle partagé. Ce framework s'inscrit dans une tendance de fond visant à standardiser l'infrastructure de collecte de données téléopérées, dans la lignée du système ALOHA de Stanford ou de la plateforme UMI. Les acteurs européens comme Enchanted Tools (France) ou les équipes robotique de l'INRIA travaillent sur des problématiques similaires de couplage haptique et de retargeting pour la manipulation fine. Ce preprint ne présente pas de chiffres de déploiement ni de partenariats industriels annoncés : il s'agit d'une contribution académique amont, dont la suite logique serait la publication d'un dataset de démonstrations et de benchmarks comparatifs sur des tâches de manipulation standardisées.

UELes équipes françaises (Enchanted Tools, INRIA) travaillent sur des problématiques similaires de couplage haptique et de retargeting, ce framework pourrait alimenter leurs pipelines de collecte de démonstrations pour entraîner des modèles VLA.

RecherchePaper
1 source
Y-BotFrame : un cadre extensible d'agents incarnés pour robots quadrupèdes assistants
1067arXiv cs.RO 

Y-BotFrame : un cadre extensible d'agents incarnés pour robots quadrupèdes assistants

Des chercheurs du groupe XDEI ont publié en juin 2026, via arXiv (2606.13049), les spécifications de Y-BotFrame, un framework open-source conçu pour transformer un robot quadrupède générique en assistant mobile autonome piloté par le langage naturel. L'architecture intègre trois modalités de perception en parallèle, microphone (commandes vocales), caméra RGB-D (vision) et LiDAR (cartographie 3D), et repose sur un grand modèle de langage (LLM) comme noyau cognitif central. Ce LLM prend en charge la compréhension de l'environnement, le raisonnement contextuel et la planification de tâches, puis convertit les instructions en langage naturel en unités d'action exécutables par le robot. Le système supprime le besoin d'une télécommande physique, remplacée par une interface voix et un retour visuel temps réel. Il s'agit pour l'instant d'une annonce académique accompagnée d'une vidéo de démonstration, pas d'un produit commercialisé. L'intérêt industriel de Y-BotFrame réside dans son architecture modulaire dite "plug-and-play" : chaque sous-système (navigation, perception, interaction) peut être remplacé ou mis à niveau indépendamment, ce qui abaisse le coût d'intégration pour des déploiements sectoriels spécifiques (inspection, logistique d'entrepôt, assistance en environnement structuré). La chaîne voix-vers-action sans contrôleur dédié réduit la barrière de qualification opérateur, un argument concret pour les déployeurs B2B. Reste que les métriques de performance concrètes, latence de la boucle LLM, robustesse en conditions dégradées, autonomie, sont absentes du résumé publié, ce qui est typique des papiers arXiv en phase préliminaire. Les robots quadrupèdes à LLM embarqué forment un segment en effervescence : Unitree (Go2, H1) et Boston Dynamics (Spot) dominent le hardware, tandis que des frameworks comme LeRobot (HuggingFace), Open-X Embodiment ou π₀ (Physical Intelligence) se disputent la couche logicielle d'apprentissage généraliste. Y-BotFrame se positionne non pas comme un modèle VLA entraîné, mais comme une couche d'orchestration système, plus proche de ROS 2 avec un LLM que d'un modèle de politique end-to-end. La prochaine étape logique pour l'équipe XDEI sera de publier des benchmarks sur un hardware cible identifié et des résultats de déploiement réel hors laboratoire.

RecherchePaper
1 source
Le robot humanoïde chinois Z01 maîtrise le tai-chi avec un équilibre et un contrôle dignes d'un humain
1068Interesting Engineering 

Le robot humanoïde chinois Z01 maîtrise le tai-chi avec un équilibre et un contrôle dignes d'un humain

Zoomlion, géant chinois de l'équipement de construction coté à Shenzhen et Hong Kong, a présenté son robot humanoïde bipède Z01 au salon KOMATEK 2026 à Istanbul, où l'engin a exécuté une séquence de Tai Chi devant les visiteurs. La performance, diffusée par l'entreprise, illustre les capacités de contrôle dynamique et d'équilibre du robot : transitions fluides entre postures, coordination corps entier, adaptation posturale en temps réel. Côté spécifications, Zoomlion reste délibérément vague : Z01 disposerait d'une réponse motrice à l'échelle de la milliseconde, d'une architecture haute-DOF (degré de liberté, sans chiffre précis communiqué), d'un système d'exploitation embarqué censé réduire de trois à cinq fois la complexité de développement robotique, et d'une « puissance de calcul IA embarquée » non quantifiée. Aucun prix, ni date de commercialisation, ni volume de déploiement n'ont été annoncés. En janvier 2026, l'entreprise avait présenté un système IA « full-chain » couvrant machines, fabrication, management et robotique. Fin 2025, Zoomlion comptait huit prototypes de robots à intelligence incarnée répartis en quatre catégories (humanoïdes et plateformes à roues), testés en environnements industriels réels pour des tâches de logistique, d'inspection, de chargement et de contrôle qualité. La démonstration de Tai Chi est un classique du marketing robotique chinois et dit peu sur la capacité du Z01 à opérer en production réelle, mais elle dit beaucoup sur la maturité du contrôle dynamique. Maintenir l'équilibre bipède lors de séquences lentes et continues exige une gestion fine du centre de masse et une réponse proprioceptive rapide, deux verrous qui limitent encore de nombreux humanoïdes hors démos contrôlées. Ce qui est plus intéressant pour les décideurs industriels, c'est le positionnement de Zoomlion sur la pile technologique complète : hardware robotique, composants core, algorithmes de contrôle moteur, moteurs de décision IA et écosystème logiciel intégrés dans un framework unifié. La plateforme Robot Ops, présentée à Hannover Messe 2026, vise la coordination multi-robots et le déploiement industriel à l'échelle. Si cette intégration verticale tient ses promesses, elle réduit la dépendance des intégrateurs aux assemblages multi-fournisseurs, un point critique en B2B. En revanche, les métriques restent non vérifiables : aucune donnée indépendante sur le cycle time, le payload réel, ou la durée de session en conditions industrielles. Zoomlion a amorcé son pivot vers la robotique incarnée en 2024, s'appuyant sur Zvalley, sa plateforme IoT industrielle, et une équipe de près de 1 300 ingénieurs R&D. Le Z01 s'inscrit dans ce que l'entreprise appelle sa « troisième courbe de croissance », après les grues et les équipements agricoles. Sur le marché des humanoïdes, Zoomlion entre dans un espace déjà dense : côté occidental, Figure (Figure 03 en déploiement chez BMW), Agility Robotics (Digit chez Amazon), Tesla (Optimus Gen 3) et Physical Intelligence (Pi-0) sont en production ou en pilote avancé ; côté chinois, Unitree, UBTECH et Fourier Intelligence sont déjà sur le terrain. Pour crédibiliser ses ambitions, Zoomlion devra dépasser la démo de salon : un pilote industriel annoncé publiquement, des chiffres de cycle time en conditions réelles, ou un partenariat OEM constitueraient les prochaines étapes tangibles. Pour l'instant, Z01 reste un prototype démonstratif prometteur, pas un produit déployé.

Chine/AsieOpinion
1 source
QDepth-VLA : prédiction de profondeur quantifiée comme supervision auxiliaire pour les modèles vision-langage-action (VLA)
1069arXiv cs.RO 

QDepth-VLA : prédiction de profondeur quantifiée comme supervision auxiliaire pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (identifiant 2510.14836, troisième révision) QDepth-VLA, un cadre d'apprentissage qui augmente les modèles Vision-Language-Action (VLA) avec une tâche auxiliaire de prédiction de profondeur. Le principe : un module spécialisé, baptisé "depth expert", apprend à prédire des tokens latents quantifiés de cartes de profondeur, générés par un encodeur VQ-VAE (Vector Quantized Variational Autoencoder). Ces tokens sont intégrés au pipeline VLA comme supervision auxiliaire durant l'entraînement, sans modifier l'architecture de base du modèle. L'approche est validée sur des benchmarks de simulation et sur des tâches réelles de manipulation robotique, avec des résultats décrits par les auteurs comme "compétitifs", formulation prudente qui suggère des gains réels mais pas nécessairement un état de l'art incontestable. L'enjeu fondamental que traite QDepth-VLA est le déficit de perception 3D des VLA actuels. Des modèles comme OpenVLA, Pi-0 ou les variantes de RT-2 traitent les images comme des entrées 2D et peinent à raisonner sur la géométrie de la scène (distance d'un objet, orientation, profondeur d'emprise), ce qui limite leur précision sur des tâches de manipulation fine : assemblage, insertion de connecteurs, saisie d'objets transparents ou réfléchissants. En forçant le modèle à reconstruire une structure de profondeur quantifiée, QDepth-VLA injecte des indices géométriques explicites dans les représentations apprises, sans nécessiter de capteur de profondeur supplémentaire à l'inférence. C'est un argument concret pour les intégrateurs déployant des robots sur des cellules équipées uniquement de caméras RGB standard. QDepth-VLA s'inscrit dans une tendance plus large d'augmentation des VLA par des tâches auxiliaires : prédiction de flux optique chez Physical Intelligence avec Pi-0, estimation de pose 3D dans les travaux Google DeepMind, ou représentations implicites de scène. Les concurrents directs incluent SpatialVLA et plusieurs variantes de RoboVLMs intégrant des indices 3D explicites. Un point de vigilance : les auteurs ne précisent ni le robot utilisé pour les expériences réelles, ni les conditions expérimentales détaillées, ce qui rend difficile la comparaison directe avec d'autres approches. La prochaine étape pour positionner objectivement QDepth-VLA dans le paysage sera une évaluation sur des benchmarks standardisés comme LIBERO ou Open X-Embodiment, qui font aujourd'hui référence dans la communauté VLA.

IA physiqueOpinion
1 source
ProbeAct : récupération des échecs sans entraînement guidée par sonde dans les modèles vision-langage-action
1070arXiv cs.RO 

ProbeAct : récupération des échecs sans entraînement guidée par sonde dans les modèles vision-langage-action

Une équipe de recherche a publié sur arXiv (arXiv:2606.09740) ProbeAct, un framework d'intervention à l'exécution conçu pour détecter et corriger les échecs de saisie et de placement dans les modèles Vision-Language-Action (VLA) pré-entraînés, sans modifier leurs poids ni nécessiter de démonstrations supplémentaires. Le système repose sur trois composants couplés : une sonde légère sur les états cachés du modèle qui prédit les positions 3D des objets pertinents à partir des features intermédiaires du VLA (avec suivi d'identité par algorithme hongrois pour les scènes multi-objets) ; une machine à états cinématiques agnostique à l'objet qui détecte les défaillances de saisie, de transport et de placement via les signaux internes du préhenseur et la cinématique de l'effecteur terminal ; enfin, un filtre hiérarchique par Control Barrier Function (CBF) qui encode les zones d'échecs répétés comme contraintes soft sur l'ensemble de sécurité, corrigeant minimalement les actions du VLA sans altérer son comportement nominal. Évalué sur le benchmark LIBERO-plus, ProbeAct améliore le taux de succès d'OpenVLA-OFT de 69,6 % à 74,1 %. Un gain de 4,5 points de taux de succès peut sembler modeste, mais il intervient sur un problème structurel bien identifié des VLA : leur fragilité hors distribution. Ces modèles échouent régulièrement face à des variations de luminosité, des changements de point de vue caméra, ou de légères variations d'état initial, autant de conditions triviales dans un déploiement industriel réel. L'intérêt de ProbeAct est précisément d'être plug-and-play, orthogonal aux pipelines d'entraînement existants, et applicable aussi bien aux modèles de base qu'aux versions fine-tunées. Pour un intégrateur, cela signifie un filet de sécurité superposable sur n'importe quel VLA sans coût de ré-entraînement, ce qui réduit concrètement le gap entre performance en benchmark et robustesse terrain. Les VLA ont connu une accélération notable depuis 2023 avec des modèles comme RT-2 (Google DeepMind), OpenVLA (UC Berkeley) ou pi-0 (Physical Intelligence), mais leur fragilité aux perturbations reste un frein reconnu à la commercialisation. Les approches existantes pour y remédier passent généralement par de l'augmentation de données ou du fine-tuning ciblé, coûteux en temps et en annotations. ProbeAct s'inscrit dans une alternative émergente : la correction à l'inférence, sans toucher au modèle. Il s'agit pour l'instant d'un preprint arXiv, sans déploiement annoncé ni partenaire industriel mentionné ; les prochaines étapes naturelles seraient une validation sur hardware réel hors benchmark simulé.

RechercheOpinion
1 source
Planification neuro-symbolique à base d'agents et mise en service pour la robotique industrielle avec humain dans la boucle et jumeaux numériques
1071arXiv cs.RO 

Planification neuro-symbolique à base d'agents et mise en service pour la robotique industrielle avec humain dans la boucle et jumeaux numériques

Une équipe de chercheurs publie sur arXiv (2606.08214) un cadre neuro-symbolique agentique pour la robotique industrielle avec supervision humaine en boucle. Le système hybride confie aux grands modèles de langage (LLM) uniquement les tâches de compréhension du langage naturel et de raisonnement contextuel, tandis que la vérification des contraintes physiques, le séquençage des actions et l'exécution restent entièrement déterministes. L'architecture, baptisée Specifier-Designer-Inspector (SDI), adapte le patron logiciel Planner-Generator-Evaluator (PGE) à la robotique industrielle et s'appuie sur LangGraph pour le routage dynamique en cas d'échec. Un mécanisme de récupération à deux niveaux distingue les échecs structurels (replanification contextuelle) des échecs géométriques à l'exécution (primitives déterministes de correction). Un jumeau numérique sous Unity3D permet à l'opérateur d'inspecter, modifier et valider le plan avant tout déploiement physique. Testé sur des commandes en langage naturel face à dix systèmes de référence, le framework SDI obtient le meilleur taux de réussite sur l'ensemble des niveaux de difficulté évalués. L'intérêt industriel de cette approche tient à son pragmatisme architectural : plutôt que de confier aux LLM la garantie de faisabilité physique d'une trajectoire, le système délègue cette responsabilité à des composants symboliques vérifiables et auditables. C'est une réponse directe au "demo-to-reality gap" qui fragilise de nombreux projets fondés sur des VLA (Vision-Language-Action models) ou des politiques neurales pures. Pour les intégrateurs et les COO industriels, la présence du jumeau numérique comme étape obligatoire de validation avant exécution réduit concrètement le risque opérationnel lors du commissionnement de nouvelles cellules robotiques, en donnant à l'opérateur un droit de regard explicite sur chaque plan généré. Ce travail prolonge une tradition de planification neuro-symbolique héritée de STRIPS et des HTN (Hierarchical Task Networks), en y intégrant les LLM pour l'interprétation des intentions opérateur. Il se positionne en contrepied des approches end-to-end actuellement dominantes, notamment pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, ou Helix de Figure AI, qui misent sur des politiques entraînées en imitation ou en renforcement sans couche symbolique intermédiaire. La publication reste un preprint non encore évalué par les pairs, ce qui invite à la prudence sur les benchmarks annoncés : aucune métrique de temps de cycle en conditions industrielles réelles n'est fournie, et les commandes testées restent dans un cadre expérimental contrôlé. Aucun déploiement commercial ni partenariat industriel n'est annoncé à ce stade.

RecherchePaper
1 source
GraspFoM : vers une préhension robotique guidée par la reconstruction et les modèles fondation 3D
1072arXiv cs.RO 

GraspFoM : vers une préhension robotique guidée par la reconstruction et les modèles fondation 3D

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (référence 2606.08440) GraspFoM, un framework unifié de saisie robotique qui exploite des fondations 3D pré-entraînées, plus précisément SAM3D, pour construire une représentation latente 3D partagée entre deux tâches simultanées : la reconstruction géométrique de l'objet et la prédiction de poses de préhension. L'architecture centrale repose sur un diffuseur de raisonnement de pose tronqué à initialisation par ancres, qui génère des poses continues et multimodales sans dépendre de candidats discrets préétablis, une distinction technique importante par rapport aux pipelines classiques. GraspFoM produit en sortie à la fois des poses de saisie et des reconstructions 3D haute fidélité au format maillage polygonal et 3D Gaussian Splatting (3DGS). Les auteurs rapportent des résultats de pointe sur les benchmarks de reconstruction et de saisie, avec un surcoût en paramètres entraînables qualifié de "limité" mais sans chiffre précis publié. Ce travail adresse un verrou réel dans la manipulation robotique : la saisie sous observation partielle, c'est-à-dire quand la caméra ne voit qu'une fraction de l'objet. Les approches existantes utilisent la géométrie 3D comme étape intermédiaire jetable, sans la capitaliser comme prior réutilisable. GraspFoM rompt avec cette logique en faisant co-évoluer reconstruction et grasping dans un espace latent commun : la reconstruction ancre la géométrie, la supervision de saisie affine ce latent vers les zones de prise pertinentes. Le scorer reconstruction-aware et le residual latent updater formalisent cette rétroaction mutuelle. Pour les intégrateurs en manipulation industrielle ou logistique, cela suggère une meilleure robustesse sur des objets partiellement occultés, sans multiplication des modules ou des paramètres, ce qui est un argument d'efficacité réelle si les expériences réelles confirment les benchmarks. Les fondations 3D comme SAM3D s'inscrivent dans une vague de transferts de connaissances entre vision 2D et représentations 3D, parallèle à l'essor des VLA (Vision-Language-Action models) pour la manipulation généraliste. GraspFoM se positionne différemment des approches purement end-to-end comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA : il mise sur la reconstruction explicite plutôt que sur l'imitation à grande échelle. Les concurrents académiques proches incluent GraspNeRF, Contact-GraspNet et des travaux récents combinant diffusion et géométrie 3D. À ce stade, GraspFoM reste un preprint non validé en conditions réelles, les expériences rapportées étant réalisées sur simulateur ou bancs de test contrôlés. Aucun partenaire industriel ni déploiement pilote n'est mentionné, et aucune timeline de commercialisation n'est communiquée.

RecherchePaper
1 source
IA incarnée : traduire les actions en images de mouvement et de contact pour les modèles du monde
1073arXiv cs.RO 

IA incarnée : traduire les actions en images de mouvement et de contact pour les modèles du monde

Des chercheurs proposent iMaC (Image as Action Control), un paradigme de contrôle robotique publié en juin 2026 sur arXiv (2606.09813), qui substitue aux vecteurs d'action structurés de faible dimension - angles articulaires et poses d'effecteur terminal - des images visuelles brutes comme représentation native des actions dans les modèles de monde incarnés. L'architecture comprend deux branches : un encodeur image-action qui compresse des images cibles en embeddings d'action compacts, et un prédicteur de monde dynamique conditionné sur ces tokens visuels pour prédire les états futurs et assurer le contrôle en boucle fermée. Des expériences sur des benchmarks publics de manipulation incarnée et des scénarios réels montrent qu'iMaC dépasse les baselines vectorielles en précision de prédiction, taux de succès et généralisation inter-scènes. L'enjeu central est la généralisation inter-embodiment, l'un des verrous majeurs de la robotique incarnée. Les approches conventionnelles encodent des espaces d'action définis manuellement - cinématique propre à chaque plateforme - ce qui bride la portabilité entre bras industriels, manipulateurs mobiles et humanoïdes. En traitant l'image comme token d'action, iMaC encapsule implicitement les intentions de mouvement spatial, les contraintes géométriques et les dynamiques physiques, sans redéfinir l'espace d'action pour chaque robot. Pour les intégrateurs et les équipes R&D, cela ouvre la perspective d'un contrôleur unique déployable sur des flottes hétérogènes - bras Franka, UR, humanoïdes - sans reconfiguration. Nuance importante : l'article valide la méthode sur des "real-world robotic scenarios" sans préciser les plateformes ni les métriques de déploiement, ce qui invite à une lecture prudente des gains annoncés. iMaC s'inscrit dans la vague des modèles de monde incarnés et des architectures VLA (Vision-Language-Action) qui structurent la recherche robotique depuis 2023-2024, aux côtés de pi0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). Sa singularité tient à l'abandon des encodages cinématiques explicites au profit d'une représentation visuelle continue, une piste explorée différemment via les action-chunking transformers dans des travaux académiques récents. À ce stade, iMaC demeure une préimpression arXiv, sans déploiement industriel ni partenariat avec un constructeur de robots. Les prochaines étapes naturelles passeraient par une validation sur des plateformes standardisées comme ALOHA ou BridgeData V2, et une confrontation sur les benchmarks RLBench ou MetaWorld pour objectiver les gains de généralisation revendiqués.

RechercheOpinion
1 source
Assistance robotique proactive et personnalisée par raisonnement LLM guidé par l'incertitude
1074arXiv cs.RO 

Assistance robotique proactive et personnalisée par raisonnement LLM guidé par l'incertitude

Des chercheurs ont publié le 9 juin 2026 sur arXiv (2606.08458) GLOBE, un framework léger pour l'assistance robotique proactive en environnement domestique. Le principe : combiner des modèles de Markov n-grammes, qui capturent les patterns comportementaux temporels d'un utilisateur, avec un raisonnement par grand modèle de langage (LLM) déclenché uniquement lorsque la confiance du modèle prédictif passe sous un seuil. Ce mécanisme d'invocation sélective réduit la charge computationnelle par rapport aux architectures spatio-temporelles classiques. L'équipe introduit également HOMER-Noise, une extension bruitée du dataset HOMER+, qui simule des perturbations structurées réalistes : déplacements d'objets causés par des humains, des animaux domestiques ou des jeunes enfants. Le framework est validé en preuve de concept sur un manipulateur mobile Stretch 3 de Hello Robot, dans des scénarios d'interaction humain-robot à domicile. L'intérêt principal de GLOBE réside dans son positionnement hybride : plutôt que de faire tourner un LLM en continu sur chaque prédiction d'activité, le système n'y fait appel que sur les cas ambigus, ce qui le rend potentiellement déployable sur du matériel embarqué à ressources limitées. Les résultats annoncés montrent des performances compétitives face aux méthodes état de l'art, y compris en conditions bruitées, là où les approches purement neuronales se dégradent. Cette robustesse aux perturbations environnementales non contrôlées est un verrou connu pour le déploiement domestique réel. Il faut toutefois noter qu'il s'agit d'un preprint arXiv sans peer review, et que la validation sur Stretch 3 reste au stade de démonstration de concept, pas d'un déploiement opérationnel. GLOBE s'inscrit dans un courant de recherche qui cherche à réconcilier les LLMs, puissants mais coûteux, avec les contraintes temps réel de la robotique embarquée. Des approches similaires existent chez des équipes travaillant sur les VLAs (Vision-Language-Action models), comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, mais celles-ci ciblent surtout la manipulation industrielle plutôt que l'assistance cognitive à domicile. Le dataset HOMER-Noise comble un manque réel dans l'évaluation de la robustesse des systèmes d'anticipation d'activités. Les prochaines étapes logiques seraient une évaluation sur des déploiements multi-utilisateurs prolongés et une comparaison directe avec des baselines LLM-only pour quantifier précisément le gain computationnel revendiqué.

RecherchePaper
1 source
Affordance2Action : ancrage des affordances guidé par la tâche pour la manipulation en temps réel
1075arXiv cs.RO 

Affordance2Action : ancrage des affordances guidé par la tâche pour la manipulation en temps réel

Une équipe de chercheurs publie sur arXiv (identifiant 2606.04172) le framework Affordance2Action (A2A), centré sur un problème concret de la manipulation robotique : identifier en temps réel quelle partie précise d'un objet est fonctionnellement exploitable pour accomplir une tâche donnée, dans une scène encombrée et ambigüe. Le coeur du travail est A2A-Bench, un benchmark de manipulation couvrant à la fois les correspondances instruction-région unique et multi-région, c'est-à-dire les cas où un seul verbe d'action peut pointer vers une ou plusieurs zones fonctionnelles selon la disposition de la scène. Pour construire ce dataset à grande échelle, les auteurs ont développé A2A-AffordGen, un pipeline assisté par agents qui enchaîne filtrage par modèle de langage, segmentation interactive de parties, raffinement par masquage d'instance, génération d'instructions de raisonnement et vérification humaine. Le code et les datasets seront rendus publics. Ce travail expose une lacune structurelle des benchmarks existants en affordance : la plupart se concentrent sur la préhension d'objet isolé, s'appuient sur des scènes synthétiques, ou supposent une correspondance univoque entre instruction et région. A2A révèle des écarts significatifs dans trois catégories de baseline (segmentation générique, grounding fondé sur des VLMs et distillation d'affordance) sur des scènes réelles et multi-objets. Pour un intégrateur ou un responsable d'automatisation, ce résultat indique que les approches actuelles basées sur des VLMs généralistes (type CLIP ou LLaVA) sous-performent dès que la scène sort des cas standards. La capacité à localiser des régions fonctionnelles ambigües en temps réel reste un verrou non résolu pour le déploiement de bras manipulateurs en environnement non structuré. L'affordance grounding en robotique s'inscrit dans une longue tradition de recherche remontant aux travaux de Gibson sur les affordances écologiques, réinterprétés pour la manipulation depuis les années 2010. Les approches concurrentes incluent des méthodes de grounding fondées sur des modèles de vision-langage (CLIP, SAM couplé à LLM) et des politiques de type VLA (Vision-Language-Action), comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui nécessitent elles aussi une localisation précise des régions d'interaction. A2A se positionne comme un cadre d'évaluation et de supervision plutôt que comme une politique de contrôle complète. La prochaine étape logique serait une validation sur robots physiques à plus grande échelle : le papier démontre des résultats en manipulation conditionnée par les affordances, mais la portée reste expérimentale à ce stade de preprint.

RecherchePaper
1 source
GeoSem-WAM : un modèle du monde intégrant géométrie et sémantique
1076arXiv cs.RO 

GeoSem-WAM : un modèle du monde intégrant géométrie et sémantique

Des chercheurs ont publié le 3 juin 2026 sur arXiv (référence 2606.03188) une nouvelle architecture baptisée GeoSem-WAM, pour "Geometry- and Semantic-Aware World Action Model". L'objectif : améliorer les World Action Models (WAMs), une classe de modèles d'apprentissage utilisés pour la prise de décision en robotique incarnée. La contribution centrale consiste à enrichir la représentation latente apprise par ces modèles en ajoutant deux branches de prédiction auxiliaires, l'une dédiée à la géométrie future de la scène, l'autre à sa sémantique, en complément de la prédiction RGB classique. Le tout est intégré dans un espace latent unifié capturant simultanément la dynamique de la scène, sa structure spatiale et son contenu sémantique. Cruciale est la contrainte d'efficacité conservée : aucun rollout explicite ni génération vidéo n'est effectué à l'inférence, ce qui distingue GeoSem-WAM des approches monde qui consomment de la mémoire et du compute à chaque décision. L'intérêt industriel de ce travail réside dans la question qu'il adresse en filigrane : les WAMs sont-ils efficaces parce qu'ils imaginent explicitement le futur lors de l'inférence, ou simplement parce que l'entraînement prédictif force l'encodeur à apprendre de meilleures représentations ? Les résultats suggèrent que c'est la qualité des représentations latentes qui prime, et que l'imagination à l'inférence est accessoire. Pour les équipes robotiques travaillant sur des agents navigant dans des environnements non structurés, cela signifie qu'enrichir la supervision d'entraînement avec des signaux géométriques et sémantiques peut améliorer la robustesse sans alourdir le temps de cycle à l'exécution. Les auteurs rapportent des gains en précision de prédiction d'action et en robustesse sur des scénarios difficiles, bien que ces résultats restent à ce stade des benchmarks académiques sur simulateur, non validés sur hardware physique. Les WAMs constituent une catégorie en consolidation dans la recherche en robotique, parallèle aux approches VLA (Vision-Language-Action) comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui intègrent aussi des priors de représentation riche. GeoSem-WAM s'inscrit dans un courant visant à combler le sim-to-real gap par une meilleure compréhension structurelle de l'environnement, sans recourir à des architectures de diffusion coûteuses à l'inférence. Aucun partenariat industriel ni déploiement sur robot réel n'est annoncé dans cet article, qui demeure une contribution de recherche fondamentale soumise en preprint et n'ayant pas encore subi de revue par les pairs.

IA physiquePaper
1 source
WALL-WM : modélisation des actions du monde aux points d'articulation d'événements
1077arXiv cs.RO 

WALL-WM : modélisation des actions du monde aux points d'articulation d'événements

Une équipe de chercheurs a publié le 2 juin 2026 sur arXiv (arXiv:2606.01955) les travaux portant sur WALL-WM, un World Action Model (WAM) qui propose de repenser la manière dont les modèles Vision-Language-Action (VLA) sont entraînés pour la robotique généraliste. Là où les approches dominantes, comme celles exploitées par Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2), optimisent des "chunks" d'actions à longueur fixe conditionnés sur l'observation courante, WALL-WM substitue à cette unité temporelle arbitraire l'événement sémantique : une séquence d'actions cohérente du point de vue du sens (attraper un objet, ouvrir un tiroir), extraite automatiquement par des légendes au niveau événementiel et un échantillonnage cluster-balancé. Le modèle expose deux modes d'inférence : un mode "event" qui consomme des descriptions de l'événement suivant et produit des chunks à longueur variable, et un mode "unified" qui applique un mécanisme baptisé Staircase Decoding pour conserver une inférence à longueur fixe tout en maintenant un chemin VLA à gradient continu. Le tout est entraîné à grande échelle via l'optimiseur Muon, et les auteurs revendiquent des performances état de l'art sur une évaluation de généralisation en monde réel à large échelle, sans préciser les benchmarks ni les données de déploiement. L'intérêt de l'approche réside dans le diagnostic qu'elle formule : le désalignement de granularité entre langage (objectifs sémantiques), vision (dynamique de scène continue) et actions (timescales de contrôle) transforme l'entraînement VLA classique en simple fitting de corrélations à court horizon, ce qui explique les difficultés de généralisation observées hors distribution. En traitant l'événement comme unité atomique d'apprentissage, WALL-WM offre une piste sérieuse pour réduire le sim-to-real gap et améliorer le transfer sur des tâches et des scènes non vues, deux verrous majeurs qui bloquent le passage à l'échelle industrielle des robots manipulateurs. Il convient cependant de rester prudent : il s'agit d'un preprint sans revue par les pairs, sans données de déploiement terrain, et sans détail sur les benchmarks précis utilisés pour établir la supériorité annoncée. WALL-WM s'inscrit dans une vague de recherche sur les WAMs qui a pris de l'ampleur depuis 2024, portée notamment par Physical Intelligence avec Pi-0 et Pi-0.5, Google DeepMind avec RT-2 et ses successeurs, et NVIDIA avec GR00T N2 pour les humanoïdes. Ces modèles partagent l'ambition de pré-entraîner des politiques robotiques générales sur des données hétérogènes avant de les affiner par tâche. La contribution de WALL-WM est théoriquement propre et l'infrastructure Muon suggère un effort de calcul significatif, mais l'absence de résultats quantitatifs détaillés dans le résumé limite l'évaluation externe. Les prochaines étapes attendues sont une publication complète avec benchmarks reproduisibles (LIBERO, OpenVLA-OFT, RoboMimic) et, idéalement, des partenariats industriels pour validation en environnement de production.

IA physiqueOpinion
1 source
Téléopération en temps réel d'un bras manipulateur en environnement dynamique via un cadre VR
1078arXiv cs.RO 

Téléopération en temps réel d'un bras manipulateur en environnement dynamique via un cadre VR

Une équipe de chercheurs a publié sur arXiv (preprint 2605.30989, mai 2026) un framework de téléopération en réalité virtuelle pour piloter un bras manipulateur 7-DOF en temps réel dans des environnements dynamiques. Le système intègre un solveur de cinématique inverse (IK) accéléré sur GPU et un module d'optimisation de trajectoires directement dans l'interface VR, générant des commandes articulaires réalisables à chaque cycle de contrôle. Les expériences couvrent trois scénarios : environnement sans obstacle, avec obstacles statiques, et avec obstacles en mouvement. Dans les trois cas, le système maintient une trajectoire conforme aux intentions de l'opérateur tout en produisant des déviations sécurisées lorsqu'un obstacle interfère avec le chemin commandé. L'intérêt de cette approche réside dans l'adresse d'une lacune connue : la majorité des systèmes de téléopération VR existants ont été conçus comme outils de collecte de données pour l'apprentissage par imitation, sans traiter explicitement les risques de collision ni les erreurs d'opérateurs novices. Ce framework cible un déploiement opérationnel réel dans des environnements à accès difficile ou dangereux (zones irradiées, maintenance industrielle à distance). La capacité à gérer des obstacles mobiles en temps réel, sans interrompre la boucle de contrôle, représente un passage de la démonstration en labo vers une robustesse compatible avec le terrain. Cela dit, les conditions exactes des tests (vitesse des obstacles, latence réseau, durée des séquences) ne sont pas détaillées dans l'abstract, ce qui invite à la prudence sur la généralisation des résultats. La téléopération VR pour la manipulation robotique connaît un regain d'intérêt depuis 2022-2023, portée par des projets comme AnyTeleop, UMI (Universal Manipulation Interface) de Stanford, et les systèmes de collecte de données de Physical Intelligence (pi0). Ces travaux ont majoritairement servi à entraîner des politiques de manipulation, reléguant la sécurité opérationnelle au second plan. En Europe, des acteurs comme Enchanted Tools et des laboratoires comme le LIRMM travaillent sur des problématiques voisines d'interaction humain-robot sécurisée. Ce preprint se positionne comme une brique vers une téléopération déployable plutôt que comme un produit fini, et les prochaines étapes restent à définir : intégration avec des politiques VLA, tests en conditions réelles ou validation en environnement industriel certifié.

UEImpact indirect : le LIRMM et Enchanted Tools travaillent sur des problématiques voisines de téléopération sécurisée, mais ce preprint ne les implique pas et n'est associé à aucun déploiement ou financement européen documenté.

RecherchePaper
1 source
Planification robotique embarquée : éliminer la redondance d'inférence pour une prise de décision efficace
1079arXiv cs.RO 

Planification robotique embarquée : éliminer la redondance d'inférence pour une prise de décision efficace

Des chercheurs ont publié REIS (arXiv:2605.31460), un framework de planification robotique embarquée conçu pour réduire la latence d'inférence des modèles de langage et de vision-langage (LLM/VLM) utilisés comme politiques de contrôle. Le constat central : dans les séquences de tâches robotiques, les observations consécutives produisent fréquemment des actions et sous-objectifs identiques, créant une redondance temporelle massive qui gaspille des ressources de calcul sans apporter d'information supplémentaire. REIS répond à ce problème en combinant trois mécanismes : un filtrage de scène léger (scene gating), un routage d'affordances guidé par les caches clé-valeur (KV-steered affordance routing), et un raisonnement délibératif activé uniquement lorsque la situation l'exige. Les expériences ont été menées sur le benchmark ALFRED, référence pour l'instruction-following en environnement 3D simulé, et sur des tâches robotiques en conditions réelles. Les résultats indiquent une suppression significative de l'overhead de raisonnement avec des performances maintenues sur les métriques standards, sans que des chiffres précis de réduction de latence ne soient communiqués dans le résumé public. La latence d'inférence est l'un des freins principaux à l'adoption des architectures VLA (Vision-Language-Action) en environnement industriel. Un système qui interroge un modèle de plusieurs milliards de paramètres à chaque frame de caméra est difficilement déployable sur un manipulateur en temps réel sans infrastructure cloud dédiée. REIS propose une approche inspirée de la cognition humaine : on ne recalcule pas une décision si le contexte n'a pas changé, économisant les cycles GPU pour les moments où la scène évolue réellement. Pour les intégrateurs et COO industriels, c'est une piste concrète pour rendre les politiques VLM opérables sur matériel embarqué, condition souvent non négociable dans les environnements à contraintes de latence ou de confidentialité des données. La tendance à utiliser des LLM/VLM comme cerveau de planification robotique est portée par des travaux notables : RT-2 et RT-X de Google DeepMind, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, ou encore les récents travaux d'Enchanted Tools (France) sur les architectures hybrides. Le gap entre démonstrations académiques et déploiement réel reste cependant structurel : les modèles de grande taille nécessitent typiquement un GPU dédié, incompatible avec les contraintes d'un robot mobile compact. REIS s'inscrit dans un axe de recherche croissant sur l'efficacité computationnelle des politiques incarnées, aux côtés de la distillation de politique, la quantization, et le token merging. Aucun partenariat industriel ni timeline de commercialisation ne sont mentionnés : il s'agit d'une contribution de recherche académique, sans produit livré ni déploiement annoncé à ce stade.

UELa réduction de latence d'inférence VLA intéresse indirectement les acteurs européens travaillant sur l'embarquement, mais REIS reste une contribution académique sans déploiement ni partenariat industriel annoncé en Europe.

RechercheOpinion
1 source
FLAG : la politique de flux par apprentissage par renforcement MaxEnt avec guidage latent augmenté
1080arXiv cs.RO 

FLAG : la politique de flux par apprentissage par renforcement MaxEnt avec guidage latent augmenté

FLAG (Flow policy with Latent-Augmented Guidance) est un algorithme d'apprentissage par renforcement à entropie maximale (MaxEnt-RL) présenté dans un preprint arXiv (2605.30749) déposé fin mai 2026. L'approche s'attaque à une limitation connue des implémentations actuelles de MaxEnt-RL : la quasi-totalité restreint les politiques à des distributions gaussiennes simples, ce qui bride leur expressivité. Les tentatives récentes d'intégrer des politiques génératives via un apprentissage supervisé pondéré par importance butent sur le phénomène d'effondrement des poids d'importance (importance weight collapse), particulièrement sévère dans les espaces d'action de haute dimension. FLAG contourne ce problème en localisant la région d'échantillonnage : l'espace d'état est augmenté d'une variable latente de flux normalisants, et l'algorithme optimise un objectif proxy MaxEnt-RL dont la cohérence est démontrée formellement, réduisant la dégénérescence sans multiplier le nombre d'échantillons nécessaires. L'importance de FLAG réside dans sa capacité à réconcilier expressivité des politiques et passage à l'échelle. Les politiques gaussiennes standard ne capturent pas les distributions multimodales qui émergent dans les tâches de contrôle complexes -- manipulation dextère, locomotion, planification en espace contraint. Les architectures de diffusion et de flux ont prouvé leur potentiel en robotique (Pi-0 de Physical Intelligence, les VLA de la famille GR00T N2 de NVIDIA), mais leur entraînement par RL restait instable à haute dimension. FLAG démontre empiriquement qu'on peut optimiser ces politiques expressives avec un nombre limité d'échantillons pondérés et atteindre des performances état de l'art sur des benchmarks réputés difficiles -- l'abstract ne précise pas lesquels, ce qui limite la vérifiabilité immédiate de la revendication. MaxEnt-RL est un cadre théorique consolidé, popularisé notamment par les travaux de Sergey Levine et ses co-auteurs sur Soft Actor-Critic (SAC, 2018). Les approches concurrentes à FLAG incluent les politiques de diffusion en RL (DPPO, DIPO) ainsi que les méthodes hybrides flux-RL récentes issues de groupes comme Berkeley, CMU et Shanghai AI Lab. Ce preprint n'a pas encore été soumis à une conférence majeure au moment de l'annonce, et aucun code public n'est encore disponible. La prochaine étape naturelle serait une validation sur robots physiques, domaine où les espaces d'action haute dimension sont omniprésents et où le fossé sim-to-real reste le vrai test de toute méthode de ce type.

RecherchePaper
1 source
RDGen : génération de démonstrations pour l'apprentissage robotique par renforcement
1081arXiv cs.RO 

RDGen : génération de démonstrations pour l'apprentissage robotique par renforcement

Une équipe de chercheurs a publié le 30 mai 2026 sur arXiv (référence 2605.30957) un framework appelé RDGen, pour "Reinforcement Learning Demonstration Generation", destiné à automatiser la collecte de données d'entraînement pour les modèles Vision-Language-Action (VLA). Le système combine trois composants : un module d'analyse de tâches basé sur un modèle de langage visuel (VLM), un localisateur d'objets fondé sur Grounding DINO, et une politique de contrôle entraînée par apprentissage par renforcement (RL) en simulation puis transférée sur un robot réel. Testé sur une tâche de saisie et de dépose, RDGen atteint un taux de succès élevé après transfert sim-to-real, sans que les auteurs ne publient de chiffre précis dans le résumé disponible. Les trajectoires générées sont ensuite réutilisées directement comme données d'entraînement pour affiner des politiques VLA en aval. L'enjeu central est celui du goulot d'étranglement dans la chaîne d'entraînement des robots généralistes : la télé-opération humaine, méthode dominante pour collecter des démonstrations, est lente, coûteuse, et produit des trajectoires variables selon l'opérateur. RDGen propose de substituer cet effort humain par une politique RL, qui génère des trajectoires mécaniquement cohérentes et reproductibles, plus lisses selon les auteurs que ce que produit un opérateur humain, et avec un coût marginal quasi nul en simulation. Cela renforce l'hypothèse que le problème sim-to-real pour des tâches de manipulation simples est largement résolu, et déplace la question vers la scalabilité de la diversité des tâches plutôt que la qualité individuelle des démos. RDGen s'inscrit dans un débat actif sur la meilleure façon d'alimenter les VLA, dont les architectures de référence actuelles incluent pi0 (Physical Intelligence), OpenVLA et les travaux de RT-2/RT-X chez Google DeepMind. La collecte de données reste le principal frein industriel à leur déploiement, ce que tentent aussi d'adresser des approches concurrentes comme la génération vidéo synthétique (ex. travaux UniSim, Genie) ou l'augmentation par world models. La contribution de RDGen est plus modeste et ciblée : un pipeline sim-to-real structuré pour des tâches de manipulation définies, avec réutilisation des rollouts réussis. Il s'agit d'un preprint non encore peer-reviewed ; les expériences restent limitées à pick-and-place, et l'absence de métriques quantitatives précises dans le résumé invite à attendre la version complète avant d'en tirer des conclusions générales sur la scalabilité.

RechercheOpinion
1 source
Optimisation par entropie croisée de plans de tâches et de mouvements à ancrage physique
1082arXiv cs.RO 

Optimisation par entropie croisée de plans de tâches et de mouvements à ancrage physique

Une équipe de recherche a publié sur arXiv (réf. 2512.11571) une méthode de planification de tâches et de mouvements (TAMP) qui intègre un simulateur physique parallélisé sur GPU et une optimisation par entropie croisée. Le système planifie simultanément les actions discrètes à haut niveau et les trajectoires continues à bas niveau, en tenant compte explicitement des dynamiques physiques et des contacts avec l'environnement. Les paramètres des contrôleurs sont échantillonnés par entropie croisée dans le simulateur, puis transférés directement au robot réel, les contrôleurs simulés et physiques étant identiques. Les démonstrations portent sur des tâches de manipulation où le robot exploite la géométrie de l'environnement pour déplacer des objets, avec code et vidéos disponibles sur le site du premier auteur, Andreu Matoses. L'écart entre planification symbolique et exécution physique reste l'un des obstacles majeurs de la robotique de manipulation : les algorithmes TAMP classiques comme PDDLStream ou STRIPStream produisent des plans logiquement valides mais physiquement irréalisables, car ils ignorent frottements, dynamiques d'actionneurs et contacts réels. En rendant le simulateur physique central à l'optimisation, cette approche contourne les abstractions géométriques simplificatrices qui créent cet écart. L'identité entre contrôleurs simulés et réels réduit mécaniquement le sim-to-real gap, facteur d'échec récurrent lors du déploiement de politiques apprises en simulation vers des robots physiques. La planification TAMP est portée depuis plus de vingt ans par des travaux fondateurs comme ceux de Kaelbling et Lozano-Pérez au MIT CSAIL. La tendance récente privilégie l'intégration de modèles de fondation visuels (VLA), dont pi-zero de Physical Intelligence ou GR00T N2 de NVIDIA, pour opérer dans des environnements ouverts et non structurés. L'approche par entropie croisée et simulation physique constitue une alternative plus classique et interprétable, proche des méthodes MPPI ou MuJoCo MPC. Ce travail reste une démonstration académique sur des tâches de manipulation contrôlées : aucun déploiement industriel ni partenariat commercial n'est annoncé.

RecherchePaper
1 source
Politique de contrainte de surface pour l'apprentissage de compétences robotiques contraintes et dynamiquement réalisables
1083arXiv cs.RO 

Politique de contrainte de surface pour l'apprentissage de compétences robotiques contraintes et dynamiquement réalisables

Des chercheurs ont déposé en mai 2026 sur arXiv (identifiant 2605.31321) un article présentant la Surface Constraint Policy (SCP), une méthode destinée à améliorer la fiabilité des robots dans des tâches de manipulation dextre impliquant des contraintes de surface complexes et de forme libre. L'approche encode la géométrie de surface à partir de démonstrations humaines via une fonction noyau gaussien pondérée en deux dimensions. Sur cette base, une politique de diffusion infère des intentions d'action à partir d'entrées multimodales (observations visuelles et retour d'état du robot), qui sont ensuite transformées en primitives de mouvement dynamique contraintes à la surface (DMPs, Dynamic Movement Primitives) via une méthode de mapping par similarité. Ce pipeline produit des trajectoires à la fois géométriquement admissibles et dynamiquement réalisables. Les auteurs font état de taux de succès et d'une stabilité de contact supérieurs aux méthodes comparées, sans que le résumé ne détaille les métriques précises ni les benchmarks utilisés. Ce travail pointe un angle mort persistant des approches actuelles d'apprentissage par imitation à base de diffusion : les politiques classiques génèrent des actions de manière stochastique, sans modéliser explicitement la géométrie de la surface de contact. En pratique, cela se traduit par des glissements, des décrochages ou des trajectoires physiquement inadmissibles, problèmes rédhibitoires pour des applications industrielles comme le polissage, l'assemblage surfacique ou le soudage. L'originalité de SCP tient à l'intégration des contraintes géométriques dès la génération d'action, couplée à des DMPs qui garantissent la faisabilité dynamique. Pour les intégrateurs et les équipes R&D, cette approche représente un pas concret vers la répétabilité requise en production, là où la stabilité du contact prime sur la généralisation toutes-tâches. Ce travail s'inscrit dans une vague de recherche intense autour des politiques de diffusion pour la manipulation robotique, initiée par Diffusion Policy (Chi et al., 2023, Columbia University) et accélérée par des acteurs comme Physical Intelligence avec pi0, Google DeepMind avec RT-2, ou encore ACT de Stanford. Les primitives de mouvement dynamique mobilisées ici sont un outil classique de la robotique depuis les travaux de Schaal dans les années 2000, mais leur couplage avec un pipeline de diffusion moderne pour gérer des contraintes surfaciques constitue l'apport original de la méthode. Les limitations pointées par les auteurs sont partagées par la plupart des architectures VLA actuelles, ce qui signale un axe de recherche pertinent pour quiconque vise le déploiement industriel. Les prochaines étapes naturelles incluraient une validation sur des surfaces déformables ou en mouvement, ainsi qu'un test de passage à l'échelle avec une plus grande diversité de tâches et de morphologies robotiques.

RecherchePaper
1 source
Sélection et planification simultanées des contacts pour la manipulation riche en contacts par optimisation en cascade
1084arXiv cs.RO 

Sélection et planification simultanées des contacts pour la manipulation riche en contacts par optimisation en cascade

Des chercheurs ont publié sur arXiv (référence 2605.27972) un cadre d'optimisation en cascade baptisé SCSP, pour Simultaneous Contact Selection and Planning, dédié à la manipulation robotique en contact riche. Ce type de manipulation regroupe les tâches où le bras doit gérer plusieurs points de contact dynamiques : pivotement d'objet, manipulation en main, assemblage serré. Le système repose sur deux modules séquentiels : CSO (Contact Selection Optimization), qui détermine automatiquement les localisations de contact optimales sur l'objet cible, et CPO (Contact Planning Optimization), qui génère ensuite les trajectoires de manipulation correspondantes en temps réel pour des bras redondants à sept degrés de liberté ou plus. Les auteurs valident l'approche en simulation et sur robot physique, sur des tâches décrites comme complexes, sans que l'abstract ne fournisse de métriques de temps de cycle ou de taux de succès chiffrés. Le verrou que SCSP prétend lever est structurant pour la manipulation autonome : la quasi-totalité des méthodes contact-implicit existantes suppose que la séquence de points de contact est définie à l'avance par l'opérateur. Le robot optimise la trajectoire, pas l'endroit où il entre en contact. CSO contourne les deux obstacles qui rendaient la sélection active difficile, à savoir la complémentarité dans la dynamique de contact et les gradients parcimonieux, en substituant un modèle de contact approché et différentiable au modèle physique discontinu, couplé à une optimisation discrète-continue. CPO exploite ensuite ces localisations comme prior pour planifier en temps réel. Si le comportement se généralise hors simulation, le framework permettrait d'aborder des tâches de manipulation substantiellement plus complexes sans paramétrage manuel des modes de contact, ce qui est aujourd'hui l'un des goulots d'étranglement principaux en intégration industrielle. Le champ de la manipulation en contact riche est partagé entre deux grandes familles : l'optimisation classique (contact-implicit trajectory optimization, MPC) et l'apprentissage (VLA, diffusion policies), portées notamment par Physical Intelligence avec Pi-0, Covariant et Figure AI. SCSP s'inscrit dans la ligne optimisation, plus interprétable et potentiellement plus robuste hors distribution que les approches end-to-end. L'identité institutionnelle des auteurs n'apparaît pas dans l'abstract arXiv, ce qui complique l'évaluation de la maturité et du soutien financier derrière le travail. Les démonstrations vidéo disponibles sur le site projet constitueront le vrai test de crédibilité avant tout positionnement industriel.

RecherchePaper
1 source
Retargeting dynamique direct pour l'apprentissage par imitation des humanoïdes à partir de vidéos
1085arXiv cs.RO 

Retargeting dynamique direct pour l'apprentissage par imitation des humanoïdes à partir de vidéos

Une nouvelle méthode d'apprentissage par imitation pour robots humanoïdes vient d'être publiée sur arXiv (2605.23762, mai 2026), proposant un cadre à étape unique baptisé Direct Dynamic Retargeting (DDR). L'objectif est d'apprendre des comportements moteurs complexes à partir de simples vidéos monoculaires de démonstration humaine, sans capteurs de mouvement ni combinaisons de capture. Le défi central est morphologique : un humain et un robot humanoïde ne partagent ni les mêmes proportions, ni les mêmes centres de masse, ni les mêmes contraintes articulaires, ce qui rend la transposition directe des trajectoires impossible. Les approches standards, dites Geometric Retargeting ou Indirect Dynamic Retargeting, projettent d'abord le mouvement humain dans un espace cinématique intermédiaire avant de générer les commandes robot, introduisant ce que les auteurs appellent un biais géométrique qui restreint l'espace de solutions et produit des comportements sous-optimaux. DDR supprime cette étape intermédiaire en formulant le problème directement dans l'espace des tâches (task space), couplé à un solveur de contrôle prédictif par modèle (Model Predictive Control, MPC) à base d'échantillonnage, exécuté au sein d'un simulateur physique. Ce couplage permet au système d'optimiser nativement les séquences de contact sol-pied tout en limitant la dérive des entrées, garantissant la faisabilité dynamique des trajectoires générées. Les expériences montrent que DDR surpasse les méthodes de référence en précision de suivi des démonstrations. Plus significatif pour les praticiens : fournir ces références physiquement viables à un agent d'apprentissage par renforcement accélère la convergence de l'entraînement et améliore l'exécution finale de comportements agiles et d'équilibrage dynamique. L'apprentissage par imitation à partir de vidéo est devenu un axe majeur de la robotique humanoïde, porté par des travaux comme Pi-0 de Physical Intelligence ou les pipelines de données de téléopération développés chez Figure AI et Agility Robotics. Ces approches cherchent à exploiter l'immense corpus de vidéos de mouvements humains disponibles en ligne pour réduire le coût prohibitif de la collecte de données sur robot. DDR s'inscrit dans cette tendance mais attaque le problème par la dynamique plutôt que par la géométrie, un pari prometteur qui reste à valider en conditions réelles : aucun résultat physique sur robot n'est présenté dans cet article, uniquement des évaluations en simulation. Le code source sera rendu public, ce qui permettra à la communauté de reproduire et d'étendre ces résultats.

RecherchePaper
1 source
Les robots humanoïdes commerciaux en Chine pourraient bientôt faire la lessive, faire les lits et s'occuper des personnes âgées
1086SCMP Tech 

Les robots humanoïdes commerciaux en Chine pourraient bientôt faire la lessive, faire les lits et s'occuper des personnes âgées

GigaAI a présenté mercredi le SeeLight S1, annoncé comme le premier robot humanoïde domestique à usage général conçu pour le marché résidentiel chinois. Développé en partenariat avec le Hubei Humanoid Robot Innovation Centre et le Hubei Humanoid Robotics Industry Alliance, l'appareil est destiné à des tâches ménagères non structurées : lessive, préparation des lits, assistance aux personnes âgées. GigaAI lance un programme de test gratuit auprès de familles à Wuhan, capitale du Hubei, sans communiquer à ce stade de prix public ni de métriques techniques précises (charge utile, degrés de liberté, temps de cycle). Cette annonce illustre un pivot stratégique majeur dans le secteur des humanoïdes chinois : après avoir ciblé les environnements industriels et manufacturiers, les constructeurs s'attaquent à l'environnement domestique, structurellement beaucoup plus difficile à maîtriser. Les tâches ménagères impliquent une variabilité quasi infinie des objets, dispositions et comportements humains, là où une ligne d'assemblage reste prévisible. Passer de la démo convaincante au déploiement réel dans des foyers reste le défi central du secteur, et ce programme de test en conditions réelles constitue une étape méthodologique pertinente, à condition que GigaAI publie des résultats chiffrés. Le projet s'inscrit dans une dynamique nationale soutenue par Pékin, qui a identifié les humanoïdes comme secteur stratégique prioritaire. En parallèle, UnitTree, Fourier Intelligence et UBTECH accélèrent leurs propres développements, tandis qu'à l'international Figure (Figure 03), Tesla (Optimus Gen 3) et Physical Intelligence (Pi-0) restent les références concurrentes. Le programme de Wuhan est un pilote terrain : son issue déterminera si GigaAI peut réellement combler l'écart entre démonstration et usage quotidien.

Chine/AsieOpinion
1 source
Entraînement hybride pour les modèles vision-langage-action (VLA)
1087arXiv cs.RO 

Entraînement hybride pour les modèles vision-langage-action (VLA)

Une équipe de chercheurs a publié sur arXiv (identifiant 2510.00600, version 2) un framework nommé Hybrid Training (HyT), conçu pour les modèles Vision-Language-Action (VLA) utilisés en robotique de manipulation. Le problème central est le suivant : le raisonnement par chaîne de pensée (Chain-of-Thought, CoT), qui consiste à générer des "pensées" intermédiaires avant chaque action, améliore les performances des VLA mais allonge mécaniquement le temps d'inférence. Dans des tâches requérant de longues séquences d'actions successives, ce délai compromet l'utilisabilité réelle du système. HyT découple la phase d'apprentissage de la phase d'exécution : le modèle s'entraîne en intégrant les pensées intermédiaires, acquiert les gains de performance associés, puis peut les omettre entièrement lors du déploiement. Le framework supporte trois modes à l'inférence selon le contexte : prédiction directe d'actions, génération CoT complète, ou suivi d'instructions. Les auteurs ont validé l'approche sur plusieurs benchmarks simulés et sur des expériences en conditions réelles. Ce découplage entraînement/inférence répond à l'une des tensions fondamentales dans le déploiement industriel des VLA : les techniques qui améliorent la fiabilité dégradent souvent la réactivité. Pour un intégrateur ou un COO industriel, un système qui "réfléchit" trop longtemps avant d'agir est difficilement intégrable sur une ligne de production cadencée. HyT avance que les bénéfices du raisonnement explicite peuvent être distillés dans les poids du modèle et activés implicitement, sans générer de tokens supplémentaires au runtime. Si ce résultat se confirme à plus grande échelle, il simplifierait le compromis latence/performance qui freine aujourd'hui le déploiement de bras manipulateurs VLA en environnement non structuré. C'est également une réponse indirecte au "demo gap" fréquemment reproché à ces modèles : de bonnes performances en simulation ne garantissent pas une vitesse d'exécution acceptable sur le terrain. L'essor des VLA s'est accéléré depuis 2023 avec RT-2 (Google DeepMind), OpenVLA (UC Berkeley), Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA), qui combinent vision, langage et prédiction d'actions dans un seul réseau. L'application du CoT à la robotique prolonge les travaux fondateurs sur les LLMs, mais se heurte aux contraintes temps-réel absentes du traitement de texte. HyT s'inscrit dans un courant de recherche orienté déployabilité, aux côtés de la distillation de politiques et des architectures à flux de tokens réduit. La publication est une preprint arXiv non peer-reviewed, et les résultats en conditions réelles restent à confirmer à plus grande échelle industrielle. Aucun acteur européen n'est impliqué dans ces travaux ; les laboratoires cités opèrent principalement depuis les États-Unis.

RechercheOpinion
1 source
LACE : représentation visuelle latente pour l'apprentissage multi-robots
1088arXiv cs.RO 

LACE : représentation visuelle latente pour l'apprentissage multi-robots

Une équipe de chercheurs a publié en mai 2026 sur arXiv (référence 2605.16743) un cadre d'apprentissage appelé LACE (Latent Visual Representation for Cross-Embodiment Learning), conçu pour réduire le fossé visuel entre démonstrations humaines et politiques robotiques. Les backbones d'apprentissage auto-supervisé (SSL) comme DINOv2 encodent une riche sémantique d'objets généraux, mais échouent à établir des correspondances spatiales entre mains humaines et mains robotiques. LACE aligne les représentations visuelles des deux embodiments dans l'espace latent de ces backbones, en utilisant comme supervision clairsemée les correspondances entre parties corporelles partagées, obtenues automatiquement par cinématique directe (forward kinematics). Une seule démonstration robot suffit à entraîner le modèle. L'évaluation rapporte un gain de 65 % en transfert zéro-shot pour LACE-DINO face à DINO seul, avec des améliorations consistantes en régimes de faibles données et en environnements hors-distribution. Ce résultat touche l'un des goulets d'étranglement les plus concrets du déploiement robotique: la pénurie de démonstrations robot. Collecter des trajectoires téléopérées coûte cher et ralentit l'itération. Si l'alignement inter-embodiment de LACE tient à l'échelle, les intégrateurs pourraient tirer parti de corpus vidéo humains existants (YouTube, Ego4D, etc.) pour initialiser des politiques sans investissement lourd en données robot. Le gain annoncé de 65 % mérite toutefois d'être contextualisé: le preprint ne détaille pas le nombre de tâches évaluées ni la complexité des scènes, deux facteurs déterminants pour juger de la généralisabilité réelle. LACE s'inscrit dans une vague de travaux sur le transfert cross-embodiment qui a pris de l'ampleur depuis 2023 avec des méthodes comme AnyPoint et les politiques de Physical Intelligence (Pi-0). L'approche dominante consiste à entraîner des VLA (Vision-Language-Action models) à grande échelle sur des données mixtes humain-robot, stratégie portée par DeepMind, Stanford (ALOHA/ACT) et Berkeley (OpenVLA). LACE propose une alternative plus frugale, centrée sur l'alignement de représentations plutôt que sur le volume de données. Aucun pilote industriel ni calendrier de déploiement n'est mentionné; l'article reste au stade de preprint non soumis à révision par les pairs.

RecherchePaper
1 source
Génération automatique d'arbres de comportement par VLM pour le transfert réel-vers-simulation via perception active
1089arXiv cs.RO 

Génération automatique d'arbres de comportement par VLM pour le transfert réel-vers-simulation via perception active

Une équipe de chercheurs propose dans un article arXiv (2601.08454) un pipeline Real2Sim piloté par l'intention, qui automatise la construction d'environnements de simulation physiquement précis à partir d'une instruction en langage naturel. Un modèle vision-langage (VLM) analyse une observation visuelle et une description de simulation incomplète pour identifier le sous-ensemble minimal de paramètres physiques manquants (masse des objets, géométrie de surface, friction), puis génère automatiquement un arbre de comportement (Behavior Tree, BT) composé de primitives motrices et sensorielles atomiques pour les acquérir par interaction physique avec l'environnement. Les expériences ont été conduites sur un bras Franka Emika Panda à contrôle en couple (7 DOF), manipulateur standard en recherche robotique. Les résultats indiquent des gains d'efficacité opérationnelle significatifs par rapport aux méthodes d'exploration exhaustive, validés par des études d'ablation sur plusieurs VLMs de référence, mais les chiffres précis de performance ne sont pas fournis dans l'abstract, ce qui limite la comparabilité externe. L'apport principal est le remplacement de pipelines d'identification système manuels par une stratégie sémantique : au lieu d'explorer exhaustivement l'environnement, le système ne collecte que les données pertinentes pour la tâche demandée, réduisant les interactions redondantes. Pour les équipes travaillant sur des jumeaux numériques industriels, cela représente un gain potentiel en temps de calibration avant déploiement. Le BT joue également un rôle de filtre de sécurité déterministe : sa hiérarchie réactive intercepte les hallucinations du VLM et prévient les anomalies physiques dangereuses, ce qui est non-négligeable pour une application en conditions réelles. Cette combinaison, intelligence sémantique du VLM associée à la robustesse déterministe du BT, constitue l'aspect architectural le plus notable du travail. La construction de simulations fidèles au réel est un verrou classique du déploiement robotique : un jumeau numérique mal calibré amplifie le sim-to-real gap qui dégrade les politiques apprises en simulation, problème central pour les VLA (Vision-Language-Action) actuels. Côté concurrence, Physical Intelligence (pi0), Google DeepMind (successeurs de RT-2) et des projets open-source comme LeRobot de Hugging Face investissent tous dans des pipelines sim-to-real plus robustes. L'utilisation des BT comme couche d'interprétabilité face aux modèles génératifs s'inscrit dans une tendance plus large visant à rendre les LLM/VLM compatibles avec des contraintes de sécurité industrielle. Les prochaines étapes logiques seraient d'étendre le pipeline à des robots mobiles ou des plateformes humanoïdes, et de publier des benchmarks complets permettant une comparaison rigoureuse avec les méthodes d'identification système existantes.

RecherchePaper
1 source
Robo-Cortex : un agent à base d'IA incarnée auto-évolutif grâce à la mémoire cognitive à double granularité et l'induction autonome de connaissances
1090arXiv cs.RO 

Robo-Cortex : un agent à base d'IA incarnée auto-évolutif grâce à la mémoire cognitive à double granularité et l'induction autonome de connaissances

Publié mi-mai 2026 sur arXiv (2605.18729), Robo-Cortex est un framework d'agent incarné à auto-évolution conçu pour la navigation robotique en environnements inconnus. L'architecture combine trois briques : un mécanisme d'Induction Autonome de Connaissances (AKI) distillant trajectoires et expériences en heuristiques formulées en langage naturel ; une Mémoire Cognitive à Double Grain, avec mémoire réflexive à court terme (SRM) pour l'analyse locale en temps réel et mémoire de principes à long terme (LPM) pour les règles réutilisables ; et une boucle "Imaginer-puis-Vérifier" où un modèle du monde simule les résultats potentiels avant qu'un évaluateur VLM valide chaque plan d'action. Sur les benchmarks IGNav, AR et AEQA, le système surpasse les meilleures méthodes existantes de +4,16% de SPL (Success weighted by Path Length) et de +15,30% de SPL en scénario de transfert de heuristiques vers des environnements totalement inédits. L'enjeu central adressé est l'"amnésie expérientielle" : les agents actuels, pilotés par imitation-learning ou politiques réactives, échouent à capitaliser sur leurs interactions passées pour construire des stratégies généralisables. La mémoire LPM/SRM de Robo-Cortex n'est pas un replay-buffer de données brutes mais une base de connaissances symboliques et linguistiques : un robot déployé dans un nouvel entrepôt pourrait potentiellement améliorer ses performances de navigation de façon autonome, sans nouveau cycle d'annotation ni fine-tuning, en rupture avec les pipelines sim-to-real classiques. Des expériences préliminaires en environnement physique réel sont mentionnées, mais restent peu détaillées dans la publication. Ce travail s'inscrit dans la concurrence directe avec les approches VLA comme Pi-0 de Physical Intelligence ou les architectures à mémoire développées chez DeepMind et Carnegie Mellon, avec une distinction clé : l'accent mis sur la réflexion post-hoc et l'induction de règles symboliques plutôt que sur l'apprentissage end-to-end. La publication reste un preprint non revu par les pairs, et les performances annoncées sont à reproduire indépendamment avant toute conclusion industrielle. Les prochaines étapes naturelles seraient une validation sur des benchmarks physiques standardisés comme RoboCasa ou Open-X Embodiment, et une soumission à une conférence majeure de type ICRA ou CoRL.

RechercheOpinion
1 source
AffordVLA : intégration de représentations d'affordance dans les modèles vision-langage-action (VLA) par alignement implicite de caractéristiques
1091arXiv cs.RO 

AffordVLA : intégration de représentations d'affordance dans les modèles vision-langage-action (VLA) par alignement implicite de caractéristiques

Des chercheurs ont déposé en mai 2026 sur arXiv (arXiv:2605.17517) un papier présentant AffordVLA, un framework qui améliore la précision des modèles Vision-Langage-Action (VLA) en robotique de manipulation. Le problème central: les VLA actuels encodent l'apparence globale des objets mais peinent à localiser les zones d'interaction fonctionnelle, les affordances, telles que le point de préhension ou la surface de contact optimale. AffordVLA injecte ces représentations d'affordance directement dans les couches visuelles intermédiaires du VLA via un alignement implicite, sans annotation supplémentaire ni module de perception externe. Un "teacher" d'affordance zero-shot extrait des cartes fonctionnelles conditionnées par l'instruction en langage naturel, puis les aligne avec les représentations internes du modèle pendant l'entraînement. Les expériences en simulation et en environnement réel rapportent des performances supérieures aux baselines, avec un taux de succès en manipulation amélioré, sans que l'abstract ne publie de métriques absolues chiffrées. Ce gap entre apparence globale et localisation fonctionnelle est l'un des facteurs limitants du sim-to-real gap en manipulation non structurée: les systèmes réussissent en laboratoire contrôlé mais échouent dès que l'éclairage, le fond ou la pose de l'objet varient. En internalisant la perception d'affordance dans le VLA lui-même, AffordVLA évite les erreurs en cascade des architectures hybrides couplant un VLA à un module de segmentation externe, et n'alourdit pas le temps d'inférence, un critère déterminant pour les déploiements industriels en temps réel. La suppression de la dépendance aux masques annotés réduit également le coût de mise en données pour les intégrateurs, ce qui élargit la portée pratique de l'approche. AffordVLA s'inscrit dans l'accélération des travaux académiques autour des VLA depuis RT-2 (Google DeepMind, 2023), dans un secteur aujourd'hui dominé par des systèmes propriétaires comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et Helix (Figure AI). Ce courant cherche à améliorer le grounding spatial sans refonte architecturale complète, une approche plus accessible pour les laboratoires sans les moyens de Physical Intelligence ou de Figure. Le papier reste un preprint non peer-reviewed; aucun partenariat industriel ni déploiement terrain n'est mentionné. La suite logique serait une validation sur des benchmarks standardisés comme BridgeV2 ou OpenX-Embodiment, et une intégration dans des pipelines open-source comme LeRobot ou OpenVLA.

RechercheOpinion
1 source
FocalPolicy : découpage fréquentiel et flow matching ancré localement pour une politique visuomotrice cohérente
1092arXiv cs.RO 

FocalPolicy : découpage fréquentiel et flow matching ancré localement pour une politique visuomotrice cohérente

Une équipe de chercheurs a déposé en mai 2026 sur arXiv (référence 2605.15944) FocalPolicy, une nouvelle architecture de politique visuomotrice pour la manipulation robotique apprise par démonstration. Le problème ciblé est celui des discontinuités inter-chunks : les politiques actuelles découpent les séquences d'action en segments successifs (chunks), et les raccords entre ces segments génèrent des saccades qui perturbent l'apprentissage de tâches longues. FocalPolicy propose deux contributions principales : le Frequency-Optimized Chunking, qui régularise la structure des actions dans le domaine fréquentiel sur plusieurs chunks futurs, et le Locally Anchored flow matching, qui améliore la propagation du signal lors de l'entraînement par consistency flow matching. Un objectif composite dit de "foresight" supervise simultanément l'alignement temporel des actions proximales et la cohérence fréquentielle à plus long horizon. Les auteurs déclarent surpasser les approches existantes sur des benchmarks de manipulation, sans détailler les marges d'amélioration dans l'abstract. Pour les équipes travaillant sur la manipulation dextère, cette contribution s'attaque à un problème concret : les politiques issues de Diffusion Policy ou de Pi-0 (Physical Intelligence) produisent des trajectoires localement précises mais saccadées sur des horizons longs, comme l'assemblage multi-étapes ou la manipulation d'objets souples. La contrainte fréquentielle proposée impose une régularité globale sans augmenter la fenêtre de contexte ni le coût d'inférence, avantage réel pour les systèmes embarqués. La généralisation annoncée à d'autres architectures de base ouvre la porte à une intégration dans des pipelines existants, à condition que les gains tiennent sur hardware réel : les expériences publiées restent sur bancs standardisés, sans déploiement industriel déclaré. Le problème de cohérence inter-chunks a émergé avec ACT (Action Chunking with Transformers, Zhao et al. 2023), architecture phare des robots bimanuel ALOHA, avant que Diffusion Policy (Chi et al. 2023) et Physical Intelligence, avec Pi-0 puis Pi-0.5, n'adoptent les modèles génératifs pour distribuer des actions complexes. FocalPolicy s'inscrit dans cette lignée comme une amélioration structurelle ciblée, sans proposer de changement de paradigme. Le code et des démos sont annoncés sur focalpolicy.github.io, mais aucune timeline de mise à disposition ni partenariat industriel ne figure dans le preprint.

IA physiqueOpinion
1 source
De la réaction à l'anticipation : un graphe de tâches à base d'agents pour la reprise proactive en manipulation robotique
1093arXiv cs.RO 

De la réaction à l'anticipation : un graphe de tâches à base d'agents pour la reprise proactive en manipulation robotique

Une équipe de recherche a publié en mai 2025 sur arXiv (identifiant 2605.11951) AgentChord, un système multi-agents qui anticipe les pannes de manipulation robotique avant l'exécution plutôt qu'en les traitant de manière réactive. L'architecture repose sur un graphe de tâches dirigé enrichi, en amont de toute exécution, de branches de récupération pré-compilées et contextualisées selon chaque étape critique. Trois agents spécialisés structurent ce pipeline : un "composer" modélise la tâche nominale, un "arranger" greffe les branches de récupération anticipées, et un "conductor" orchestre les transitions via des moniteurs à faible latence. Les expériences portent sur des tâches de manipulation bimanuelle à horizon long ; les auteurs rapportent une amélioration "substantielle" des taux de succès sans publier de métriques chiffrées précises dans l'abstract disponible. Le principal apport est d'éliminer la latence inhérente au pipeline classique "détecter-raisonner-récupérer", dans lequel chaque échec déclenche un nouvel appel à un LLM ou à un planificateur symbolique. En pré-compilant les correctifs avant le début de la tâche, AgentChord permet une réponse immédiate sans re-planification dès qu'un moniteur détecte une déviation. Pour les intégrateurs industriels qui automatisent des opérations en cellule non structurée, cette architecture de graphe anticipatif pourrait réduire les arrêts imprévus liés aux échecs de manipulation. L'approche présente néanmoins une limite structurelle : les branches pré-compilées ne couvrent que les pannes anticipées, non les défaillances inédites ou hors-modèle. La robustesse de la manipulation en conditions réelles reste l'un des goulots d'étranglement centraux de la robotique commerciale, que ce soit pour les bras industriels ou les humanoïdes en phase de déploiement comme Optimus de Tesla ou les robots de Figure AI. AgentChord s'inscrit dans un courant qui exploite les LLMs comme orchestrateurs de logique de haut niveau, en complément de politiques d'action de bas niveau. Des approches concurrentes comme les VLA Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA intègrent la récupération de manière implicite dans le réseau de politique, là où AgentChord opte pour une représentation explicite en graphe, plus transparente mais potentiellement moins générique face à la variabilité du monde réel. La page projet est accessible sur shengxu.net/AgentChord ; la validation hors banc de test académique reste la prochaine frontière.

RecherchePaper
1 source
Système de collecte de données visuo-tactiles avec retour haptique pour l'apprentissage par imitation du grossier au précis
1094arXiv cs.RO 

Système de collecte de données visuo-tactiles avec retour haptique pour l'apprentissage par imitation du grossier au précis

Des chercheurs ont publié sur arXiv (référence 2605.08757) un système de collecte de données visuo-tactile conçu pour générer des démonstrations de manipulation riches en contacts, destinées à l'apprentissage par imitation. Le dispositif repose sur une pince à entraînement direct que l'opérateur actionne directement avec ses doigts, préservant ainsi le retour haptique naturel pendant l'exécution des tâches. Des capteurs visuels embarqués et des réseaux de capteurs tactiles personnalisés capturent simultanément des flux d'images et la géométrie des contacts. Un bouton-poussoir monté sur la poignée permet à l'opérateur d'annoter en temps réel la structure temporelle de la tâche, en marquant les phases critiques au moment même où elles se produisent. L'ensemble produit des jeux de données multimodaux structurés temporellement, exploitables par des algorithmes d'apprentissage "coarse-to-fine" (du grossier au fin). L'apport principal est d'ordre méthodologique : les systèmes de téleopération conventionnels dissocient l'opérateur des forces de contact, ce qui empêche de démontrer les modulations fines de force nécessaires à des manipulations précises, serrage d'une pièce fragile, insertion avec ajustement, assemblage à faible jeu. En couplant la perception des forces en main avec une annotation temporelle in situ, le système permet de produire des politiques de manipulation de meilleure qualité sans augmenter le volume de données collectées. Pour les intégrateurs qui cherchent à déployer des robots sur des tâches de contact (assemblage, tri délicat, industrie pharmaceutique), c'est une piste sérieuse pour réduire le "demo gap" entre les démonstrations humaines et ce que le robot reproduit réellement. Ce travail s'inscrit dans une dynamique intense autour de la collecte de données de haute qualité pour le robot learning. Les architectures de référence actuelles, ALOHA et ACT de Stanford, UMI de Columbia, ou encore les systèmes de Physical Intelligence derrière pi-0, ont montré que la qualité des démonstrations prime souvent sur leur quantité. Là où ALOHA mise sur la téleopération bimanuelle et UMI sur la portabilité via poignée universelle, ce système parie sur la boucle haptique fermée et l'annotation sémantique embarquée. Aucun déploiement industriel ni partenaire commercial n'est mentionné à ce stade : il s'agit d'une contribution de recherche, sans timeline de productisation annoncée.

IA physiquePaper
1 source
Manipulation dextérique multi-doigts guidée par le langage grâce à la compliance physique et la commutation de contrôleurs
1095arXiv cs.RO 

Manipulation dextérique multi-doigts guidée par le langage grâce à la compliance physique et la commutation de contrôleurs

Une équipe de chercheurs a publié sur arXiv (référence 2410.14022v2) une architecture de contrôle combinant des modèles Vision-Langage-Action (VLA) à grande échelle avec des politiques d'imitation légères pour la manipulation dextère multi-doigts. Le système repose sur une main robotique anthropomorphique propriétaire à 13 degrés de liberté (DOF), dotée d'une compliance mécanique modulable au niveau des doigts. Le cœur de l'approche est un contrôleur à commutation piloté par événements : le VLA assure la planification de haut niveau à partir d'instructions en langage naturel, tandis que des politiques dextères légères, entraînées par imitation sur des sous-tâches spécifiques, prennent le relais pour l'exécution précise. Les transitions entre les deux niveaux sont déclenchées par des signaux d'événement que le VLA apprend à prédire lui-même après fine-tuning sur un volume minimal de démonstrations. Ce travail s'attaque à un verrou bien identifié du secteur : les VLA (Pi-0, OpenVLA, GR00T N2) excellent en planification multi-tâches mais opèrent typiquement avec des préhenseurs pince à 2 DOF, insuffisants pour la manipulation fine. À l'inverse, les politiques d'imitation pour mains multi-doigts restent cantonnées à des tâches étroitement définies, sans généralisation par langage. En montrant que la compliance matérielle, soit la capacité d'une main à absorber passivement les perturbations de contact, améliore la stabilité sans complexifier le contrôle logiciel, les auteurs fournissent un argument concret en faveur de la co-conception hardware-software, encore trop souvent négligée dans la course au sim-to-real. La modularité revendiquée, à savoir l'ajout de nouvelles compétences ou le changement de main sans réentraîner le VLA, constitue une propriété potentiellement intéressante pour les intégrateurs industriels, même si les conditions d'évaluation restent strictement laboratoire. L'approche s'inspire de la "two-channel hypothesis" du contrôle moteur humain, qui distingue la planification corticale des réflexes spinaux. Sur le plan concurrentiel, elle se positionne face aux travaux de Physical Intelligence (Pi-0), de Google DeepMind sur la manipulation dextère, et aux architectures ACT ou Diffusion Policy appliquées à des mains haute-DOF. Ni institution d'appartenance ni métriques de performance chiffrées ne figurent dans l'abstract disponible, ce qui limite toute évaluation externe sérieuse de la contribution. La prochaine étape crédible serait une validation sur des benchmarks standardisés comme YCB et une comparaison directe avec des mains tierces commerciales, pour confirmer que la cross-embodiment claim tient hors du cadre contrôlé des auteurs.

IA physiqueOpinion
1 source
PhySPRING : réduction préservant la structure des jumeaux numériques physiques via GNN
1096arXiv cs.RO 

PhySPRING : réduction préservant la structure des jumeaux numériques physiques via GNN

Une équipe de recherche a publié sur arXiv (arXiv:2505.07687, mai 2026) PhySPRING, une méthode entièrement différentiable basée sur des réseaux de neurones sur graphes (GNN) pour réduire la complexité des jumeaux numériques physiques de type masse-ressort. L'approche apprend conjointement une hiérarchie de topologies de graphes allégées et leurs paramètres mécaniques à partir d'observations, en fusionnant les noeuds dont les réponses dynamiques apprises sont similaires. Sur le benchmark PhysTwin, PhySPRING améliore à la fois la précision de reconstruction dense et la qualité de prédiction dynamique par rapport à la méthode PhysTwin originale, tout en atteignant un facteur d'accélération allant jusqu'à 2,30x pour les simulations en avant. Les modèles réduits ont ensuite été substitués sans ré-entraînement (zero-shot) dans des pipelines de politique robotique basés sur ACT et pi-zero (pi-0, Physical Intelligence), avec des taux de succès en manipulation comparables à travers les niveaux de sous-échantillonnage. Le problème que PhySPRING adresse est structurel : les jumeaux numériques physiques courants héritent de la résolution visuelle de la reconstruction 3D plutôt que de la complexité mécanique réellement nécessaire pour reproduire la dynamique pertinente pour la tâche. Ce désalignement génère une topologie redondante qui rend les rollouts de dynamique en avant coûteux, pénalisant directement les pipelines real-to-sim-to-real utilisés pour évaluer ou entraîner des politiques de manipulation. La capacité à transférer zero-shot vers des politiques existantes (ACT, pi-0) sans dégradation mesurable du taux de succès est un résultat notable, car elle suggère que la réduction de modèle structure-preserving peut s'insérer directement dans des chaînes d'évaluation existantes sans refactoring. PhySPRING s'inscrit dans un corpus actif autour des jumeaux numériques déformables pour la robotique, en compétition directe avec des approches basées sur Gaussian Splatting ou NeRF couplées à des simulateurs comme MuJoCo ou Isaac. La méthode PhysTwin, sur laquelle PhySPRING s'appuie et qu'elle surpasse, constituait jusqu'ici le référentiel de l'état de l'art pour ce type de modélisation explicite. Les GNNs différentiables pour la simulation physique constituent un axe de recherche en croissance rapide, avec des acteurs comme DeepMind (Graph Networks for Simulating Physics, GNS) et plusieurs groupes académiques. Les prochaines étapes naturelles incluent la validation sur des objets déformables variés hors benchmark contrôlé, et l'intégration dans des plateformes d'évaluation de politique à plus grande échelle.

RecherchePaper
1 source
SlotVLA : vers la modélisation des représentations objet-relation pour la manipulation robotique
1097arXiv cs.RO 

SlotVLA : vers la modélisation des représentations objet-relation pour la manipulation robotique

Des chercheurs présentent dans un preprint arXiv (2511.06754v3, troisième révision, mai 2026) SlotVLA, un framework de manipulation robotique multitatches qui repose sur des représentations centrées sur les objets et leurs relations plutôt que sur les plongements denses utilisés par la majorité des modèles VLA actuels. L'architecture combine trois composants : un tokeniseur visuel à slots qui maintient des représentations temporellement cohérentes pour chaque objet détecté dans la scène, un décodeur centré sur les relations entre objets pour produire des embeddings pertinents à la tâche, et un module LLM qui traduit ces embeddings en séquences d'actions exécutables. En parallèle, les auteurs publient LIBERO+, un benchmark de manipulation dérivé du jeu de données LIBERO existant, enrichi d'annotations objet-centriques au niveau des boîtes englobantes et des masques de segmentation, ainsi qu'un suivi temporel des instances entre frames. Les expériences conduites sur LIBERO+ montrent que les représentations à slots réduisent significativement le nombre de tokens visuels nécessaires tout en conservant des performances de généralisation comparables aux baselines denses. L'intérêt principal de cette approche réside dans la tension qu'elle adresse directement : les VLAs déployés à ce jour (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure) s'appuient sur des encodeurs visuels qui traitent la scène comme un champ dense, sans distinction explicite entre objets manipulables et arrière-plan. Cette architecture entraîne une redondance computationnelle et rend difficile l'audit du raisonnement du modèle, ce qui freine l'adoption industrielle dans des contextes certifiables. SlotVLA propose que des représentations structurées, inspirées de la cognition humaine sur les objets discrets, puissent constituer une base plus efficace et interprétable pour le contrôle visuomoteur. La réduction du nombre de tokens visuels est un levier concret de coût d'inférence pour des systèmes embarqués ou des flottes de robots. Il convient toutefois de noter que les résultats présentés restent confinés à l'environnement simulé LIBERO+ : aucune validation physique sur robot réel n'est rapportée dans ce preprint, ce qui laisse ouverte la question du sim-to-real gap pour ce type de représentation. Cette publication s'inscrit dans un courant actif de recherche sur les architectures objet-centriques pour la robotique, dont les travaux fondateurs incluent les modèles de slot attention de Locatello et al. (2020) et les approches OCRL. LIBERO avait déjà été introduit comme benchmark multitatches pour la manipulation, mais sans annotations objet-centriques fines : LIBERO+ vient combler ce manque pour faciliter l'évaluation comparative de ce type de représentation. Sur le plan concurrentiel, les laboratoires académiques (notamment ceux liés à CMU, Berkeley, Stanford) et industriels travaillent en parallèle sur des architectures plus interprétables pour répondre aux demandes croissantes de traçabilité dans l'automatisation industrielle. Les prochaines étapes naturelles seront la validation sim-to-real sur des plateformes physiques standard (Franka, UR, ou humanoïdes) et l'intégration dans des pipelines de fine-tuning avec des modèles fondateurs publics.

IA physiqueOpinion
1 source
Combler le fossé entre les corps : édition vidéo inter-embodiment disentangled
1098arXiv cs.RO 

Combler le fossé entre les corps : édition vidéo inter-embodiment disentangled

Une équipe de chercheurs a publié le 6 mai 2026 sur arXiv (réf. 2605.03637) un framework génératif pour convertir des vidéos de démonstration humaine en séquences d'exécution robotique plausibles, sans données appariées humain-robot. La méthode décompose la vidéo source en deux espaces latents orthogonaux: l'un encodant la tâche accomplie, l'autre la morphologie du corps en mouvement. Un double objectif contrastif impose cette séparation en minimisant l'information mutuelle entre les deux espaces pour garantir leur indépendance, tout en maximisant la cohérence intra-espace pour stabiliser les représentations. Un adaptateur à faible coût paramétrique injecte ces codes latents dans un modèle de diffusion vidéo figé, produisant des démonstrations robotiques morphologiquement précises et cohérentes dans le temps à partir d'une seule séquence humaine. L'enjeu est critique: les approches existantes génèrent des représentations enchevêtrées où l'information de tâche reste couplée à la cinématique humaine spécifique, ce qui bloque le transfert vers d'autres morphologies. En découplant explicitement ces deux dimensions, la méthode ouvre la voie à l'exploitation des vastes corpus de vidéos humaines disponibles sur internet pour entraîner des politiques de manipulation robotique, sans collecte de démonstrations robot coûteuse par télé-opération. Les expériences rapportent des vidéos générées temporellement consistantes et morphologiquement fidèles, bien que l'abstract ne fournisse pas de métriques quantitatives comparatives avec les baselines; les résultats visuels restent la principale validation. Pour un intégrateur ou un décideur industriel, la promesse est de réduire significativement le coût de labeling nécessaire à l'apprentissage de nouveaux comportements de manipulation. Cette publication s'inscrit dans une compétition intense autour des politiques de manipulation généralisables: Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA (UC Berkeley) cherchent tous à réduire la dépendance aux démonstrations robot propriétaires. L'approche par édition vidéo emprunte un chemin différent des VLA classiques: plutôt qu'apprendre une politique directement depuis des vidéos humaines, elle synthétise d'abord une démonstration robot plausible exploitable par les pipelines d'imitation learning standards. Il s'agit à ce stade d'un preprint préliminaire, sans déploiement industriel ni partenariat annoncé. Le cadre latent disentangled proposé pourrait néanmoins rapidement intéresser des acteurs comme 1X Technologies ou Apptronik, et côté européen, des équipes travaillant sur l'imitation learning comme certains labs INRIA ou des spin-offs de manipulation comme Enchanted Tools.

UEDes équipes INRIA et des spin-offs de manipulation comme Enchanted Tools pourraient bénéficier de cette approche pour réduire le coût de collecte de démonstrations robotiques, mais aucun partenariat ou déploiement européen n'est impliqué à ce stade.

IA physiqueOpinion
1 source
Anticipation-VLA : résolution de tâches incarnées à long horizon par génération de sous-objectifs
1099arXiv cs.RO 

Anticipation-VLA : résolution de tâches incarnées à long horizon par génération de sous-objectifs

Une équipe de chercheurs a publié le 5 mai 2026 sur arXiv (référence 2605.01772) un modèle de contrôle robotique baptisé Anticipation-VLA, conçu pour résoudre les tâches à long horizon en robotique incarnée. Le système repose sur un composant appelé Anticipation Model, qui génère de manière adaptive et récursive des sous-objectifs intermédiaires au fil de l'exécution d'une tâche. L'architecture est hiérarchique : un Unified Multimodal Model (UMM) affiné gère la planification de haut niveau en produisant ces sous-objectifs, tandis qu'une politique VLA (Vision-Language-Action) conditionnée sur ces cibles pilote l'exécution motrice à bas niveau. Les expériences couvrent des environnements simulés et des tâches robotiques réelles. Les auteurs affirment des gains de robustesse significatifs par rapport aux approches antérieures, sans toutefois publier de métriques quantitatives précises dans l'abstract, ce qui limite la comparaison directe avec l'état de l'art. Le problème adressé est central dans la robotique d'apprentissage : les modèles VLA accumulent des erreurs sur les tâches longues, chaque décision imparfaite amplifiant les erreurs suivantes. Les approches existantes décomposent les tâches en sous-tâches de granularité fixe, ce qui les rend rigides face aux variations de complexité des états d'exécution. La contribution clé d'Anticipation-VLA est d'ajuster dynamiquement les sous-objectifs en fonction de l'évolution réelle de la situation, une avancée dans le contrôle hiérarchique adaptatif. Pour les intégrateurs et décideurs B2B, ce type de système ouvre la voie à des robots capables d'exécuter des séquences complexes en environnement industriel sans supervision constante, un verrou majeur dans le déploiement à grande échelle des bras manipulateurs. Le domaine des VLA est en pleine effervescence depuis la publication de RT-2 (Google DeepMind, 2023), puis d'OpenVLA, Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA). La recherche sur la planification hiérarchique se heurte systématiquement au "demo-reality gap" : les résultats en simulation ne se transfèrent pas toujours au monde réel. Anticipation-VLA revendique une validation sur tâches réelles, signal positif, bien que l'absence de benchmarks standardisés tels que RLBench ou LIBERO dans la publication rende difficile le positionnement précis face à la concurrence. Les prochaines étapes probables incluent des évaluations comparatives sur ces benchmarks et une extension vers des plateformes mobiles manipulatrices, segment où des acteurs comme Physical Intelligence et Boston Dynamics intensifient leurs travaux.

RechercheOpinion
1 source
Attention spatiale stéréo multi-étapes pour manipulation mobile en temps réel sous variations d'échelle et perturbations
1100arXiv cs.RO 

Attention spatiale stéréo multi-étapes pour manipulation mobile en temps réel sous variations d'échelle et perturbations

Des chercheurs ont publié en mai 2026 un préprint (arXiv:2605.00471) présentant une méthode d'apprentissage prédictif profond basée sur une attention spatiale stéréo multi-étapes pour la manipulation mobile en temps réel. L'approche extrait des points d'attention spatiale pertinents à partir d'images stéréo, les intègre avec les états du robot via une architecture récurrente hiérarchique, et génère des actions en boucle fermée. Le système a été évalué sur quatre tâches de manipulation mobile en conditions réelles avec un manipulateur mobile : placement d'objets rigides, manipulation d'objets articulés, et interaction avec des objets déformables. Les expériences se sont déroulées sous positions initiales aléatoires et perturbations visuelles contrôlées. Les auteurs rapportent des taux de succès et une robustesse supérieurs aux baselines d'imitation learning et aux modèles vision-langage-action (VLA) dans des conditions de contrôle identiques. À noter : l'abstract ne fournit pas de chiffres quantitatifs précis (taux de succès, fréquence de contrôle, payload), ce qui limite l'évaluation indépendante des gains annoncés. Le problème central adressé est rarement traité explicitement dans la littérature VLA : quand un robot se déplace de manière autonome, les changements continus de point de vue caméra provoquent des variations d'échelle visuelle significatives sur les objets cibles, ce qui dégrade la génération de mouvements fondée sur la vision. Les modèles VLA actuels, entraînés sur des données à échelle fixe ou simulées, peinent à compenser ce phénomène en déploiement réel. L'architecture proposée, en combinant attention stéréo structurée et modélisation temporelle prédictive, offre une piste crédible pour combler ce fossé sim-to-real sur des plateformes mobiles, une classe de robots particulièrement exposée à ce problème par rapport aux bras fixes. Ce travail s'inscrit dans un contexte de forte compétition sur la manipulation généraliste : Boston Dynamics, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, et Figure avec ses plateformes humanoïdes investissent massivement dans des politiques VLA robustes au monde réel. La manipulation mobile reste un défi distinct de la manipulation fixe, car elle cumule les difficultés de navigation et de préhension dans des environnements non structurés. En l'absence d'affiliation institutionnelle dans le préprint et de code ou de vidéos publiés, il est prématuré d'évaluer la reproductibilité de l'approche. Les prochaines étapes naturelles seraient une publication sur benchmark standardisé (Open-X Embodiment, LIBERO) et un test sur plateformes commerciales comme les AMR équipés de bras (MiR, Clearpath, ou des acteurs européens comme Niryo ou Wandercraft sur des variantes mobiles).

RechercheOpinion
1 source