Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel

Dossier IA physique & VLA — page 8

904 articles · page 8 sur 19

L'IA physique : modèles vision-langage-action qui contrôlent des corps robotisés. État de l'art académique (CoRL, RSS) et premières productions industrielles.

351SCMP Tech Chine/AsieActu

BrainCo dévoile une plateforme robotique "contrôlée par la pensée" à la Conférence mondiale sur l'IA en Chine

BrainCo, licorne technologique chinoise spécialisée dans les interfaces cerveau-machine, a dévoilé vendredi à Shanghai sa "Brain-Controlled Robot AI Platform", présentée par l'entreprise comme la première plateforme intégrée permettant de piloter un robot par la pensée, sans le moindre mouvement musculaire. L'annonce a eu lieu lors de la World Artificial Intelligence Conference (WAIC), le rendez-vous phare de l'IA en Chine. Le communiqué de BrainCo revendique un système de contrôle cerveau-vers-robot inédit, mais aucune donnée technique précise (latence de commande, nombre de commandes reconnues, plateforme robotique associée, taux de fiabilité) n'a été communiquée à ce stade, ce qui invite à traiter la démonstration comme une vitrine plutôt qu'un produit validé en conditions réelles. Pour l'industrie robotique, cette annonce s'inscrit dans la course mondiale à l'IA incarnée (embodied AI), où les grands acteurs cherchent à coupler perception, cognition et contrôle moteur dans des systèmes de plus en plus autonomes. Une interface cerveau-machine capable de piloter un robot ouvrirait des usages potentiels en assistance aux personnes à mobilité réduite, en téléopération industrielle ou en environnements dangereux, mais l'écart entre une démonstration de conférence et un déploiement commercial fiable reste généralement important dans ce secteur, notamment sur les questions de robustesse du signal neuronal et de généralisation hors laboratoire. BrainCo s'est bâtie ces dernières années sur les technologies de casques et prothèses à interface cerveau-ordinateur, avant d'élargir son positionnement vers la robotique incarnée, un mouvement suivi par plusieurs laboratoires chinois et américains investissant dans les modèles vision-langage-action (VLA) et le contrôle neuronal. La WAIC de Shanghai, vitrine annuelle des ambitions chinoises en IA, sert régulièrement de tremplin à ce type d'annonce ; les prochaines étapes attendues concernent la publication de spécifications techniques et d'éventuels partenariats industriels pour valider la plateforme au-delà de la démonstration.

1 source
352arXiv cs.RO 

RxBrain : modèle fondation d'IA incarnée avec raisonnement langage-vision conjoint et imagination

Un nouveau modèle de fondation pour la cognition incarnée, baptisé RxBrain (nom complet Hy-Embodied-RxBrain), vient d'être détaillé dans un article publié sur arXiv (2607.14187, cross-listé). Contrairement aux modèles vision-langage classiques qui se contentent de comprendre une scène et de produire une décision textuelle, ou aux modèles de monde génératifs qui se limitent à prédire des images futures, RxBrain fusionne les deux approches dans une seule séquence de planification. Le langage y porte la structure abstraite du plan (décomposition des tâches, primitives, contraintes, ordre temporel, logique de décision), tandis que l'imagination visuelle ancre cette structure en prédisant les états du monde intermédiaires et finaux associés à chaque sous-objectif. L'architecture repose sur un Mixture-of-Transformers multimodal unifié, capable de comprendre et générer à la fois du texte, des images et de la vidéo au sein d'un seul modèle. Pour l'entraîner, les auteurs ont construit un pipeline automatique qui découpe des vidéos de tâches incarnées en étapes de planification alignées avec les transitions d'état visuelles, et ont introduit un nouveau benchmark, RxBrain-Bench, pour évaluer si un modèle représente vraiment un plan de façon jointe plutôt que via des modules séparés de compréhension et de génération. Cette approche s'attaque directement à un problème central des modèles vision-langage-action (VLA) actuels: la difficulté à faire tenir ensemble raisonnement abstrait et prédiction physique cohérente à l'échelle. En montrant des résultats préliminaires sur robot réel sans pré-entraînement massif sur des données d'actions, RxBrain suggère qu'un raisonnement conjoint texte-image peut réduire la dépendance aux immenses jeux de données d'actions collectés en téléopération, un goulot d'étranglement connu pour des systèmes comme Pi-0, GR00T N2 ou Helix. Le travail s'inscrit dans la lignée des recherches sur les modèles de monde et les VLA génératifs, en tentant de dépasser leur séparation habituelle entre compréhension et génération. Les auteurs présentent ces résultats comme une première étape, sans annoncer de déploiement industriel ni de partenariat robotique: il s'agit pour l'instant d'un travail de recherche fondamentale, à confirmer sur des tâches et plateformes plus variées.

RechercheActu
1 source
353arXiv cs.RO 

GigaWorld-Policy-0.5 : un WAM plus rapide et puissant grâce à AutoResearch

GigaWorld-Policy-0.5, développé par une équipe de recherche chinoise, s'attaque à un problème concret des World Action Models (WAM), ces architectures qui améliorent l'apprentissage de politiques robotiques en modélisant conjointement les actions et l'évolution future de la scène visuelle. Le défaut des WAM existants est de générer explicitement des vidéos futures au moment de l'inférence, ce qui alourdit fortement le calcul et empêche un déploiement en boucle fermée temps réel. GigaWorld-Policy-0.5 conserve la dynamique visuelle future comme signal d'entraînement mais bascule à l'inférence vers un décodage uniquement orienté action. Le modèle combine un entraînement mixte Action-Conditioned World Modeling (AC-WM) et WAM classique, renforçant le couplage entre dynamique visuelle et actions robotiques. Côté architecture, une Mixture-of-Transformers sépare les experts dédiés à la modélisation visuelle de ceux dédiés à la génération d'actions, réduisant le calcul actif lors de l'inférence pure. Résultat annoncé : 85 millisecondes de latence d'inférence sur une configuration locale RTX 4090. Les auteurs ajoutent un pipeline agentique baptisé AutoResearch pour rechercher automatiquement les configurations d'entraînement optimales, réduisant le temps et l'intervention manuelle nécessaires au réglage des hyperparamètres. Cette approche répond à une tension centrale du secteur robotique : les modèles vision-langage-action (VLA) les plus performants s'appuient souvent sur une prédiction vidéo coûteuse pour ancrer physiquement leurs décisions, ce qui les rend inadaptés à un contrôle en temps réel sur du matériel embarqué. En démontrant qu'il est possible de conserver les bénéfices d'entraînement liés à la dynamique visuelle future tout en s'affranchissant de sa génération explicite à l'inférence, GigaWorld-Policy-0.5 offre une piste concrète pour rapprocher les WAM d'un usage industriel réel, sur des GPU consumer plutôt que des clusters dédiés. Pour les intégrateurs et décideurs B2B, la latence de 85 ms mesurée sur une RTX 4090 reste un chiffre en environnement contrôlé, sans précision sur la tâche exécutée ni sur la charge du système complet (perception, planification), ce qui invite à la prudence avant d'en déduire une performance transposable telle quelle en production. GigaWorld-Policy-0.5 s'inscrit dans la lignée des World Action Models qui ont émergé pour pallier les limites des VLA purement réactifs, en s'inspirant des travaux sur les modèles du monde utilisés en simulation avant d'être transposés au contrôle robotique réel. Le papier ne détaille pas de comparaison chiffrée directe avec des systèmes concurrents comme Pi-0, GR00T N2 ou Helix, ce qui limite l'évaluation de son positionnement compétitif réel. L'apport revendiqué de la version 0.5 tient surtout à l'architecture Mixture-of-Transformers et au pipeline AutoResearch, présentés comme des briques permettant d'itérer plus vite sur les configurations d'entraînement. Le document, publié sur arXiv (2607.13960v1), reste à ce stade une contribution de recherche sans mention de déploiement industriel, de partenariat ou de calendrier de commercialisation.

RechercheOpinion
1 source
354arXiv cs.RO 

ChunkFlow : vers un apprentissage de politique par segments cohérents en continuité

Les tetes d'action par blocs ("chunks") sont devenues un standard pour les modeles vision-langage-action (VLA) qui doivent respecter des contraintes temps reel, mais elles souffrent d'un defaut connu: le "boundary jitter", des predictions incoherentes dans les zones de chevauchement entre deux chunks consecutifs, ce qui degrade la fluidite des mouvements et le taux de reussite des taches. Un article publie sur arXiv (2607.12992) presente ChunkFlow, un framework d'entrainement et d'execution qui s'attaque directement a ce probleme. La methode decoupe chaque chunk en trois zones, gelee, editable et future, applique un melange deterministe des chevauchements au moment de l'execution, et entraine les predictions brutes avec des fonctions de perte de continuite de premier et second ordre, plus une perte specifique de "couture" entre segments. Une corruption controlee de l'historique et un echantillonnage programme renforcent la robustesse face aux erreurs deja executees, et une phase de fine-tuning par AWAC adapte ensuite la politique sans effacer ces contraintes structurelles. Les auteurs montrent, sous hypotheses de regularite, que l'ecart de couture avant melange decroit mathematiquement quand le chevauchement augmente. Pour les integrateurs et ingenieurs travaillant sur des politiques robotiques, ce travail cible un angle mort frequent des VLA a chunks: les methodes existantes de melange a l'inference se contentent de reponderer des propositions divergentes sans corriger l'erreur sous-jacente, ce qui accumule le bruit au fil de l'execution. Si les resultats se confirment au-dela des benchmarks academiques, ChunkFlow offrirait un moyen de gagner en stabilite temporelle sans sacrifier la latence, un compromis central pour tout deploiement en boucle fermee sur du materiel reel. L'evaluation reste toutefois principalement academique: elle s'appuie sur les benchmarks simules CALVIN et LIBERO, completes par des tests sur robots reels dont l'ampleur n'est pas precisee dans le resume. Aucune entreprise commerciale n'est nommee, la page projet est hebergee sous un compte "cytoderm-ai" sans affiliation explicite. La problematique rejoint neanmoins les enjeux des architectures a chunks deja deployees par des acteurs comme Pi-0, GR00T N2 ou Helix, qui devront a terme arbitrer entre reactivite temps reel et coherence des trajectoires.

RechercheActu
1 source
355arXiv cs.RO 

Un vocabulaire d'états comportementaux dans le R-CODE de la Sony ERS-111

Une étude publiée sur arXiv (2607.12115) propose une analyse à l'échelle d'un corpus complet de diagrammes comportementaux générés à partir de la distribution d'exemples R-CODE de Sony, le langage de programmation conçu pour le robot chien AIBO ERS-111. Plutôt que d'examiner chaque script isolément, les auteurs comparent les états nommés à travers l'ensemble des routines fournies par Sony pour en extraire le vocabulaire de contrôle récurrent. Le résultat principal montre que des comportements apparemment très différents s'appuient en réalité sur une grammaire embarquée compacte, structurée autour de cinq briques : initialisation, détection sensorielle, action itérative, synchronisation et récupération d'erreur. L'intérêt de ce travail dépasse l'archéologie logicielle. Les auteurs défendent l'idée que cette abstraction par machine à états peut servir de représentation intermédiaire pour construire de nouvelles routines comportementales encapsulées, en particulier sur des systèmes robotiques natifs à ressources contraintes, là où un contrôle déterministe, un accès direct au matériel et une composition modulaire des comportements restent prioritaires. Ce positionnement tranche avec la tendance actuelle de la robotique humanoïde et mobile, dominée par les modèles vision-langage-action (VLA) gourmands en calcul comme Pi-0, GR00T N2 ou Helix : l'étude rappelle qu'une approche par états explicites, héritée des systèmes embarqués des années 2000, garde une pertinence pratique pour le contrôle bas niveau sur du matériel limité. Sorti en 1999 puis décliné jusqu'à l'ERS-7, l'AIBO a été l'un des premiers robots grand public programmables, avec R-CODE comme environnement de script accessible aux amateurs et chercheurs. Ce papier s'inscrit dans une démarche rétrospective : il ne s'agit ni d'une annonce produit ni d'un déploiement, mais d'une analyse historique et méthodologique d'un corpus ancien, destinée à en tirer des principes de conception réutilisables. Les auteurs ne mentionnent pas de suite industrielle directe, mais suggèrent que ce type de vocabulaire comportemental structuré pourrait inspirer des architectures de contrôle modulaires pour la prochaine génération de robots embarqués à ressources limitées.

RecherchePaper
1 source
356Interesting Engineering 

Vidéo : le nouveau robot humanoïde chinois combine contrôle corps entier et puce Nvidia Thor

Booster Robotics, start-up chinoise de robotique, a dévoilé le Booster T2, une nouvelle plateforme humanoïde destinée à la fois à la recherche en IA incarnée et à des applications industrielles réelles. La version T2 Pro embarque la puce Nvidia Thor T5000, annoncée jusqu'à 2 070 TFLOPS de calcul embarqué pour la perception, la planification et le contrôle en temps réel. Le robot mesure environ 1,4 mètre et pèse entre 43 et 94,7 livres selon la configuration matérielle, avec 31 degrés de liberté répartis en six articulations par jambe, sept par bras, trois au niveau du bassin et deux à la tête. Il peut porter jusqu'à 10 kg à deux bras, avec un couple articulaire maximal de 140 Nm, et existe en trois configurations : effecteur optionnel, pince standard, ou main dextre à 6 degrés de liberté pour des tâches de manipulation avancées. Côté perception, le T2 embarque des caméras binoculaires à la tête et à la taille, complétées par des caméras de poignet sur les versions haut de gamme, un réseau de microphones, des haut-parleurs et un LiDAR optionnel. Sa batterie de 48V/10Ah offre jusqu'à deux heures de marche continue à une vitesse maximale de 2 m/s. Parallèlement, Booster Robotics lance Booster Studio, une plateforme logicielle ouverte couvrant simulation, entraînement de politiques et déploiement sur robot réel, avec un support pour les modèles vision-langage-action (VLA), l'apprentissage par renforcement et l'apprentissage par imitation. L'enjeu principal tient au calcul embarqué : en réduisant la dépendance à une puissance de calcul externe, Booster mise sur une boucle perception-décision-action autonome, un point de friction classique pour les intégrateurs qui cherchent des robots déployables hors laboratoire. Booster Studio répond quant à lui directement au problème du "sim-to-real", souvent cité comme l'un des principaux goulots d'étranglement de la robotique incarnée actuelle. La vidéo de démonstration montrant chutes récupérées, sauts et coordination dynamique doit toutefois être lue avec prudence : ce type de séquence est généralement sélectionné et ne garantit pas une fiabilité en conditions réelles non contrôlées. Un signal plus solide vient du terrain de compétition : l'équipe THU Huoshen de l'université Tsinghua a conservé son titre à la RoboCup 2026 Humanoid League en Corée du Sud avec le précédent modèle Booster T1, confirmant une certaine maturité de la plateforme dans des contextes dynamiques non scénarisés. Booster T1 s'était déjà imposé comme référence académique low-cost dans les cercles de recherche et de compétition robotique. Le T2 vise à élargir cette base vers des usages commerciaux et industriels, en misant sur une approche ouverte et modulaire plutôt que sur un produit intégré verticalement, à la différence d'acteurs comme Tesla (Optimus) ou Figure. Il vient également se positionner face à Unitree, autre constructeur chinois disputant le même segment des plateformes humanoïdes accessibles aux développeurs. Aucun acteur français ou européen n'est mentionné dans cette annonce.

Chine/AsieActu
1 source
357arXiv cs.RO 

RoboNav-Arm : navigation à base d'agents et évitement d'obstacles pour bras robotique en environnement encombré

Une équipe de chercheurs propose RoboNav-Arm, un framework d'intelligence artificielle agentique destiné à la navigation et à l'évitement d'obstacles pour bras manipulateurs robotiques évoluant en environnement encombré, selon un article publié sur arXiv (arXiv:2607.09716v1). Le système repose sur un module de perception qui détecte les obstacles en temps réel, les localise en 3D et estime la géométrie de la surface au sol, avant de produire un rapport sémantique structuré précisant la position et la forme des objets ainsi que leur situation par rapport aux zones d'interaction critiques du bras. Un module de coordination central orchestre l'ensemble : il invoque des outils comme la mise à jour de la mémoire et de la scène de collision MoveIt, fait communiquer les différents modules entre eux et surveille en continu la progression de la tâche jusqu'à son achèvement. Un troisième module de planification choisit dynamiquement l'algorithme de mouvement le plus adapté, RRTConnect, RRT* ou BiTRRT, selon la configuration de l'environnement et l'objectif visé, avant qu'une étape de raffinement ne sécurise la trajectoire finale. Le tout a été testé dans le simulateur Gazebo Classic, avec des résultats jugés robustes face à des scénarios dynamiques. L'enjeu dépasse la simple démonstration académique : la manipulation robotique en environnement non structuré reste l'un des points durs de l'industrie, les pipelines de perception classiques étant figés et peu capables de s'adapter à des obstacles imprévus. En confiant la décision de planification à une architecture agentique capable de choisir l'algorithme et d'ajuster la trajectoire en fonction du contexte plutôt que de dépendre d'une connaissance préalable de la scène, cette approche s'inscrit dans une tendance plus large qui traverse la robotique industrielle et logistique, celle de systèmes de contrôle pilotés par des modèles capables de raisonner sur l'environnement plutôt que d'exécuter des règles fixes. Reste que la validation se limite à Gazebo Classic, un environnement simulé, sans transfert vers un bras réel ni comparaison chiffrée avec les méthodes de planification classiques. Le travail s'inscrit dans la lignée des recherches sur les architectures agentiques appliquées à la robotique, un domaine dynamisé ces derniers mois par des modèles vision-langage-action comme GR00T N2 ou Pi-0, qui cherchent eux aussi à combiner perception, raisonnement et contrôle moteur. Contrairement à ces VLA entraînés de bout en bout, RoboNav-Arm mise sur une architecture modulaire orchestrée par un agent central s'appuyant sur des outils de planification de mouvement existants comme MoveIt. Les auteurs ne précisent pas de calendrier pour un passage à un bras robotique physique, étape généralement nécessaire pour confirmer la robustesse observée en simulation.

RecherchePaper
1 source
358arXiv cs.RO 

Vers un apprentissage robotique prédictif, aligné et à grande échelle

Le papier arXiv 2607.11270, publié le 14 juillet 2026, présente Lumo-2, un modèle latent monde-action développé pour la robotique conçu pour générer des actions en raisonnant sur la dynamique du monde dans un espace latent plutôt qu'en clonant du comportement observé. L'idée centrale est que la qualité de génération d'actions dépend de la géométrie de cet espace latent : les auteurs montrent que les objectifs classiques de tokenisation d'actions basés sur la reconstruction biaisent les représentations vers la fidélité du signal brut, ce qui désaligne la qualité de reconstruction et la performance de contrôle réelle. Pour corriger cela, ils proposent un alignement multi-étapes des modalités, où les représentations d'actions sont progressivement rapprochées de la dynamique du monde latente, de la vision et du langage. Le papier revendique des gains sur des tâches réelles de manipulation dexterous et à long horizon face à des modèles vision-langage-action (VLA) et monde-action (WAM) de référence, sans toutefois publier de chiffres précis de taux de réussite, de temps de cycle ou de comparaison nommée dans le résumé disponible : à ce stade, il s'agit d'une annonce de recherche, pas d'un produit déployé ni de résultats benchmarkés vérifiables publiquement. Si les résultats se confirment à l'échelle et hors distribution, cela renforcerait l'hypothèse selon laquelle le raisonnement prédictif structuré, et non la seule imitation de trajectoires, est la voie vers des politiques robotiques généralisables, un sujet clé alors que des labs et startups (Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix) cherchent tous à faire tenir leurs VLA face à des environnements réels imprévisibles plutôt qu'à des démonstrations scénarisées. Ce travail s'inscrit dans la lignée des modèles monde-action apparus depuis 2024-2025, qui tentent de combiner la prédiction vidéo façon world models avec la génération de commandes motrices. Aucun acteur français ou européen n'est cité dans cette publication, et aucune date de suivi, de code ouvert ou de déploiement industriel n'est mentionnée à ce stade.

RechercheActu
1 source
359Pandaily 

PHANES AI intègre le toucher aux modèles fondation de robots : TouchWorld, un modèle tactile pour la manipulation dextérique

PHANES AI, start-up fondée par Yang Shuo, professeur à l'Institut de technologie de Harbin (campus de Shenzhen), a publié un nouveau modèle de fondation tactile baptisé TouchWorld, conçu pour la manipulation dextre en robotique. L'objectif est de combler une faille des modèles vision-langage-action (VLA) actuels: ceux-ci peuvent voir qu'un doigt robotique touche un bouton, mais ne peuvent pas savoir s'il a réellement été enfoncé. TouchWorld attribue au toucher un double rôle. En mode prédictif, avant d'exécuter une action, le modèle anticipe non seulement l'image visuelle attendue en fin de sous-tâche, mais aussi une carte tactile précisant quel doigt devrait ressentir une pression, à quel endroit et avec quelle intensité, une référence physique que la vision seule ne peut fournir. En mode réactif, une fois le contact établi, le modèle lit en continu les signaux tactiles et l'état des articulations pour appliquer des micro-corrections de position, de force de préhension et d'angle du poignet, sans nécessiter une replanification par la politique de haut niveau. Sur six tâches réelles (arrosage de plantes, nettoyage de table, insertion de prise, insertion de tasse, récurage de poêle, prise de mouchoir), TouchWorld atteint 65,0% de réussite en conditions normales et 57,2% en présence de perturbations comme le déplacement de la cible ou une interférence de préhension, soit 15,7 et 16,0 points de plus que la meilleure référence testée. Chaque tâche a été entraînée sur 200 trajectoires de téléopération et évaluée sur 100 essais robotiques réels. Cette approche répond à un problème concret pour l'industrie: les modèles VLA actuels échouent souvent en silence lorsqu'un contact physique ne se passe pas comme prévu, un angle mort critique pour des applications comme l'assemblage de précision ou la manipulation d'objets fragiles. En traitant le signal tactile comme un flux séparé plutôt que comme une modalité fondue dans le pipeline visuel, PHANES AI défend l'idée que la densité d'information et la vitesse de traitement du toucher sont trop différentes de celles de la vision pour partager une même architecture sans que le signal tactile ne soit noyé. Si les résultats se confirment à plus grande échelle, ce découplage pourrait devenir un standard pour les robots humanoïdes ou les bras industriels appelés à manipuler des objets déformables ou mal positionnés, un domaine où la démonstration en laboratoire peine souvent à se traduire en fiabilité réelle. Yang Shuo, né en 1998, est déjà professeur titulaire et directeur de thèse à HIT Shenzhen, l'un des plus jeunes professeurs titulaires de Chine. Lauréat de la bourse doctorale Google (un des neuf récipiendaires mondiaux) et finaliste du prix du meilleur article à ICLR, il est rentré en Chine à 26 ans pour fonder PHANES AI, qui réunit désormais une équipe couvrant les données, la modélisation, le contrôle robotique et le matériel. L'entreprise s'inscrit dans une compétition mondiale sur les modèles de fondation pour la manipulation dextre, aux côtés d'acteurs comme les équipes derrière Pi-0 ou GR00T N2, avec pour différenciation affichée le traitement natif du signal tactile plutôt qu'un simple ajout de capteurs.

IA physiqueActu
1 source
360Pandaily 

Dexmal veut booster la productivité de l'IA incarnée avec le modèle DM0.5, DexOS et une stratégie MaaS en trois étapes

Dexmal, entreprise chinoise spécialisée en IA incarnée, a dévoilé une gamme complète de produits robotiques articulée autour du modèle fondation DM0.5, du robot universel Apex et de trois plateformes de support : le système d'exploitation DexOS, la plateforme de services MaaS et le framework d'apprentissage par renforcement DFOL 2.0. La stratégie suit un modèle en trois étages : d'abord un modèle fondation généraliste, puis des outils pour développeurs (post-entraînement, MaaS, OS), enfin des solutions sectorielles complètes. DM0.5 compte 4 milliards de paramètres entraînés sur 150 000 heures de données multi-sources, soit quatre fois plus de données et deux fois plus de paramètres que DM0, son prédécesseur. Il affiche une latence d'inférence de 50 ms, une efficacité d'inférence améliorée de 25 %, et un taux de réussite de 42 % sur le benchmark RoboChallenge Table30 V2, où il se classe premier avec un score total de 60,1. Sur l'évaluation LIBERO, il atteint 99,1 % de performance globale. Par rapport à DM0, la réussite en navigation zero-shot progresse de 31 %, en few-shot de 45 %, et après fine-tuning de 20 %, pour un coût de fine-tuning réduit de 60 %, permettant un déploiement de niveau expert sur une seule carte RTX 4090 grand public en 18 heures. Le robot Apex propose des effecteurs terminaux interchangeables en moins de 60 secondes, une perception à 360 degrés via double LiDAR, une charge utile de 3 kg par bras, une précision millimétrique et un remplacement de batterie à chaud en 30 secondes, avec un MTBF ciblé au-delà de 1 000 heures. Cette annonce illustre la tentative de Dexmal de combler l'écart, souvent négligé par les démonstrations spectaculaires, entre la capacité d'un modèle et son déploiement industriel réel. DexOS, présenté comme le premier système d'exploitation générique pour l'IA incarnée, découple les modèles du matériel afin que les intégrateurs puissent piloter des robots de marques différentes avec quelques lignes de Python, une approche qui rappelle la logique d'abstraction matérielle déjà tentée par d'autres acteurs de la robotique humanoïde. DFOL 2.0, qui s'appuie sur le modèle du monde DW0.5 comme simulateur haute fidélité, réduirait de 60 % les besoins en données réelles et de 40 % le coût global d'entraînement, un argument central pour les intégrateurs cherchant à limiter le temps de collecte de données sur robot physique. Les chiffres avancés, notamment le classement sur RoboChallenge et les gains de généralisation, restent des métriques internes à confirmer par des tests indépendants. Dexmal s'inscrit dans un écosystème chinois de l'IA incarnée en pleine consolidation, en partenariat avec des fabricants de corps robotiques comme Tiangong, Huaqin et Shihe, ainsi qu'avec les fondeurs de puces Pingtouge (Alibaba), Moore Threads et Cambricon. Le PDG Tang Wenbin a présenté ce lancement comme le franchissement du "dernier kilomètre" séparant les lois d'échelle des modèles d'une productivité réelle, un positionnement qui fait écho aux ambitions affichées par des concurrents comme Physical Intelligence avec Pi-0, ou NVIDIA avec GR00T N2, dans la course à des modèles vision-langage-action généralistes et déployables à grande échelle.

IA physiqueActu
1 source
Adaptation de la planification avec pensées vision-langage entrelacées
361arXiv cs.RO 

Adaptation de la planification avec pensées vision-langage entrelacées

Une équipe de recherche présente APIVOT (Adaptive Planning with Interleaved Vision-Language Thoughts), un planificateur pour robots basé sur un modèle vision-langage (VLM), détaillé dans un article publié sur arXiv le 8 juillet 2026 (référence 2607.08024v1). Le système cible la planification à long horizon, c'est-à-dire des tâches robotiques composées de plusieurs étapes successives, comme des scénarios de cuisine impliquant la manipulation d'objets dans un espace contraint. Sa particularité est d'alterner de façon adaptative entre deux types de raisonnement: du texte pour décomposer les objectifs, sélectionner les objets pertinents et séquencer les actions, et des représentations visuelles générées pour imaginer les états futurs de la scène et vérifier en interne si un plan est géométriquement réalisable, notamment en cas d'espace libre limité ou de risque de collision entre objets. Sur des tâches de cuisine à long horizon, APIVOT surpasse à la fois des VLM généralistes et les frameworks de planification existants, avec l'écart de performance le plus marqué dans les environnements les plus contraints spatialement. Ce résultat s'inscrit dans un débat central pour l'industrie robotique: les modèles vision-langage-action (VLA) et les grands VLM généralistes savent-ils vraiment raisonner sur la géométrie d'une scène, ou se contentent-ils d'un raisonnement sémantique de surface qui échoue dès que l'espace se complique. En montrant qu'un module de vérification visuelle interne améliore concrètement le taux de succès et l'efficacité du raisonnement, APIVOT apporte un argument en faveur d'architectures hybrides plutôt que de VLM purement textuels pour la planification robotique, un enjeu direct pour les intégrateurs qui déploient des bras ou robots mobiles autonomes dans des environnements encombrés. L'article se positionne explicitement par rapport aux VLM généralistes et aux frameworks de planification antérieurs, utilisés comme lignes de base de comparaison, sans toutefois nommer de plateforme robotique commerciale précise ni d'acteur industriel. Il s'agit à ce stade d'une contribution de recherche évaluée en simulation ou en environnement contrôlé de cuisine, sans indication de déploiement produit ni de partenariat industriel annoncé; les auteurs présentent le "modality selection" adaptatif comme la piste principale à explorer pour les futurs systèmes de planification robotique.

RecherchePaper
1 source
Politique de non-fabrication : je ne dois pas inventer de traduction pour un titre d'article sans contexte vérifiable au-delà de ce qui est donné, mais ici la tâche est simplement de traduire le titre fourni, donc je peux procéder
362arXiv cs.RO 

Politique de non-fabrication : je ne dois pas inventer de traduction pour un titre d'article sans contexte vérifiable au-delà de ce qui est donné, mais ici la tâche est simplement de traduire le titre fourni, donc je peux procéder

Des chercheurs publient sur arXiv (2607.08283) une nouvelle architecture baptisée TFP (Temporally Conditioned Memory-Fusion Policies), conçue pour améliorer les politiques vision-langage-action (VLA) comme π0.5 ou OpenVLA, aujourd'hui limitées par leur caractère réactif : l'action suivante est prédite uniquement à partir de l'observation courante, sans mémoire de la progression de la tâche. TFP ajoute une croyance locale à l'épisode, mise à jour via une dynamique de type Liquid Time-Constant, injectée directement dans le décodeur d'action par flow-matching. Avec un modèle de 3,3 milliards de paramètres, le taux de succès moyen passe de 96,9% à 98,75% sur le benchmark LIBERO et de 91,4% à 93,77% sur LIBERO-plus. Sur le diagnostic MIKASA ShellGameTouch, spécifiquement conçu pour tester la mémoire, TFP atteint jusqu'à 75% de réussite. Les auteurs montrent aussi que les variations du gain d'écriture de la mémoire sont environ six fois plus fortes près des événements de manipulation (contact, relâchement, sous-objectif) que dans les phases stables. Pour l'industrie robotique, ce travail cible un angle mort connu des VLA actuels : la gestion des tâches à étapes, où deux états visuellement identiques nécessitent des actions différentes selon l'historique des interactions, par exemple lors d'occlusions temporaires ou de sous-tâches séquentielles. Un module de mémoire événementielle, plutôt qu'un simple historique passif, pourrait réduire les échecs sur des manipulations complexes en usine ou en logistique, sans nécessiter de refonte complète des backbones VLA existants. Le papier s'inscrit dans la lignée des travaux sur les politiques génératives par flow-matching, après RT-2, OpenVLA et la famille π0 de Physical Intelligence, ainsi que GR00T N2 de NVIDIA. Il s'agit ici d'une contribution de recherche académique évaluée sur des benchmarks de simulation (LIBERO, MIKASA), sans déploiement réel ni intégration annoncée sur un robot commercial. Les auteurs présentent TFP comme un module greffable sur des backbones VLA existants, une piste à confirmer sur des tâches physiques réelles plutôt qu'en simulation.

RechercheActu
1 source
Immersion sociale en réalité virtuelle avec des humanoïdes assistés par LLM
363arXiv cs.RO 

Immersion sociale en réalité virtuelle avec des humanoïdes assistés par LLM

Des chercheurs présentent un système de téléopération immersive pour robots humanoïdes combinant casque Apple Vision Pro et modèle de langage, testé sur un robot Unitree H1 équipé de mains dextres. L'opérateur reçoit un flux vidéo à la première personne directement depuis les caméras du robot, pilote ses déplacements par commandes vocales en langage naturel converties en instructions de haut niveau par un module LLM, et contrôle les bras et les doigts du robot par suivi du poignet et des mains, retranscrit via cinématique inverse et régulation PD. Le système enregistre en parallèle des données multimodales : images RGB égocentriques, commandes vocales et texte, états articulaires, mouvements des mains et signaux de regard, en vue d'un futur entraînement par apprentissage par imitation. Les auteurs rapportent que des utilisateurs novices, après une brève familiarisation, atteignent 80% de réussite sur des tâches de manipulation d'objets et 70% sur une tâche d'interaction sociale consistant à se faire passer un cube avec le robot. L'intérêt de ces travaux tient moins à la performance brute qu'à la démonstration d'une interface de téléopération accessible à des non-experts, sans entraînement lourd ni contrôle bas niveau exigeant. C'est un signal pertinent pour le secteur : la plupart des démonstrations de téléopération humanoïde restent réservées à des opérateurs entraînés maniant des contrôleurs spécialisés, ce qui freine leur adoption pour l'assistance à distance ou la collecte de données d'entraînement à grande échelle. En couplant retour visuel immersif, langage naturel et capture de mouvement fine, cette approche illustre une piste concrète pour réduire la charge cognitive et physique de l'opérateur, un frein connu au déploiement commercial des humanoïdes téléopérés. Il faut toutefois noter que les taux de réussite annoncés, 70 à 80%, restent modestes face aux standards industriels et proviennent d'un nombre d'essais limité en laboratoire, loin d'un déploiement réel. Ce travail s'inscrit dans la lignée des systèmes de téléopération immersive qui se sont multipliés avec l'essor des VLA (modèles vision-langage-action) comme Pi-0 ou GR00T N2, où la collecte de démonstrations humaines de haute qualité est un goulot d'étranglement majeur pour l'apprentissage. Le choix du Vision Pro comme interface, plutôt que des combinaisons de capture de mouvement traditionnelles, reflète une tendance plus large du secteur à exploiter le matériel grand public pour réduire les coûts de téléopération, une direction également explorée par plusieurs laboratoires américains et chinois. Il s'agit ici d'une publication de recherche académique arXiv, sans partenaire industriel ni calendrier de commercialisation annoncé : les prochaines étapes attendues porteraient sur l'exploitation des données multimodales collectées pour entraîner des politiques autonomes, transformant à terme cette téléopération assistée en un système capable d'agir de façon plus indépendante.

RecherchePaper
1 source
TouchWorld : un modèle fondation tactile, prédictif et réactif, pour la manipulation dextérique
364arXiv cs.RO 

TouchWorld : un modèle fondation tactile, prédictif et réactif, pour la manipulation dextérique

Une équipe de recherche présente TouchWorld, un modèle fondationnel tactile conçu pour la manipulation dextre, dans un article publié sur arXiv (2607.07287v1) début juillet 2026. Le système repose sur une politique hiérarchique en trois couches : une couche de planification vision-langage qui découpe la tâche en sous-objectifs et prédit des sous-buts tactiles, une politique visuo-tactile conditionnée par objectif qui génère des séquences d'actions nominales, et une politique de raffinement conditionnée par le toucher qui corrige en temps réel à partir du retour tactile et proprioceptif haute fréquence. Évalué sur six tâches de manipulation dextre longues et riches en contacts, TouchWorld atteint 65,0% de réussite en conditions propres et 53,7% sous perturbations humaines, soit 15,7 et 18,5 points de plus que la meilleure référence testée. L'apport principal tient à la séparation des échelles de temps : la plupart des politiques existantes traitent le toucher comme un simple flux d'observation basse fréquence, mélangé dans la même boucle que le raisonnement de tâche et la génération d'action. TouchWorld découple ce retour rapide (glissement, désalignement, force, stabilité de prise) du raisonnement sémantique lent porté par la vision et le langage. Pour les intégrateurs et chercheurs en robotique, cela répond directement à une limite connue des architectures vision-langage-action : leur capacité de généralisation sémantique ne suffit pas à gérer les micro-corrections de contact nécessaires en manipulation fine, un écart souvent cité entre démonstrations impressionnantes et robustesse réelle en conditions perturbées. L'article s'inscrit dans la lignée des travaux récents sur les modèles de fondation tactiles et les politiques visuo-tactiles pour la robotique, un axe de recherche encore jeune comparé aux modèles vision-langage-action purement visuels. Les auteurs ne précisent pas d'affiliation ni de calendrier de déploiement dans le résumé ; il s'agit à ce stade d'un travail de recherche évalué en environnement contrôlé, sans indication de transfert vers un produit ou un déploiement industriel.

RecherchePaper
1 source
RoboSnap : génération de scènes réel-vers-simulation en un seul essai pour l'apprentissage et l'évaluation généralisables de robots
365arXiv cs.RO 

RoboSnap : génération de scènes réel-vers-simulation en un seul essai pour l'apprentissage et l'évaluation généralisables de robots

RoboSnap transforme une simple image RGB en environnement de simulation prêt pour l'entraînement robotique, selon un article publié sur arXiv (2607.06699v1). L'équipe de recherche propose une architecture en couches qui sépare la zone d'interaction physique de l'arrière-plan visuel : les objets au premier plan, ceux avec lesquels le robot interagit, sont reconstruits avec une attention particulière à la stabilité de collision, tandis que le fond est restitué par Gaussian splatting 3D pour préserver un rendu fidèle sous des angles de vue inédits. Les tests ont porté sur des scènes issues du jeu de données DROID ainsi que sur des tâches robotiques réelles, montrant une reproduction fiable des trajectoires dans les scènes recréées. Pour accompagner ces travaux, les auteurs publient DROID-Sim, un jeu de données compagnon construit à partir de 564 scènes réelles extraites de DROID. L'enjeu dépasse la simple reconstruction visuelle. Le passage du réel à la simulation ("real-to-sim") est un goulot d'étranglement connu pour l'entraînement des politiques robotiques par apprentissage : générer des environnements à la fois physiquement stables et visuellement réalistes reste coûteux en temps et en ingénierie. RoboSnap promet de générer une scène simulable à partir d'une seule photo, ce qui pourrait accélérer la production de données synthétiques d'entraînement et faciliter l'évaluation reproductible de politiques, un point sensible dans un secteur où les benchmarks physiques réels sont difficiles à standardiser. Les auteurs revendiquent une corrélation significative entre performances en simulation et en conditions réelles, un indicateur clé pour juger si un tel pipeline peut réellement remplacer des tests physiques répétés. Ce travail s'inscrit dans une vague plus large de recherches sur le "real-to-sim" et les architectures vision-langage-action (VLA), où des approches comme Gaussian splatting gagnent du terrain face aux méthodes de reconstruction 3D classiques, jugées plus lentes ou moins fidèles visuellement. L'article, encore au stade de prépublication non revue par les pairs, ne précise pas de calendrier de mise à disposition du code ou du jeu de données DROID-Sim, ni de partenariat industriel. Les prochaines étapes attendues concernent l'extension à des scènes plus complexes et la validation sur davantage de plateformes robotiques.

RecherchePaper
1 source
DexTele : un système de téléopération dextre à double bras basé sur le reciblage de mouvement et le contrôle de force adaptatif
366arXiv cs.RO 

DexTele : un système de téléopération dextre à double bras basé sur le reciblage de mouvement et le contrôle de force adaptatif

Des chercheurs viennent de publier sur arXiv (arXiv:2607.05883v1) une nouvelle architecture de télé-opération bimanuelle baptisée DexTele, conçue pour reproduire des gestes humains dextres sur des bras robotiques hétérogènes. Le système repose sur deux briques. La première est un module de retargeting de mouvement basé sur la vision, qui transforme des images humaines en trajectoires robotiques préliminaires grâce à un encodeur de graphe de mouvement et une optimisation dans l'espace latent, pensé pour fonctionner sur plusieurs plateformes robotiques sans reconception spécifique. La seconde est un module de préhension adaptative qui combine un modèle vision-langage (VLM) avec du contrôle prédictif (MPC) : le VLM estime la force de serrage nécessaire pour un objet cible, puis une optimisation en ligne par gradient ajuste cette force en temps réel. Les auteurs rapportent des expériences étendues montrant un retargeting précis et une préhension compliante généralisables à plusieurs plateformes robotiques, sans toutefois publier de chiffres de taux de réussite ou de comparaisons avec des systèmes existants dans le résumé. L'enjeu pour l'industrie est double. D'abord, l'hétérogénéité des bras et mains robotiques (nombre de degrés de liberté, cinématique, actionneurs) reste un frein majeur à la réutilisation de données de télé-opération d'une plateforme à l'autre, un problème critique pour les équipes qui collectent des démonstrations humaines afin d'entraîner des modèles vision-langage-action. Ensuite, la préhension compliante par force adaptative, plutôt que par simple asservissement en position, s'attaque directement au problème du sim-to-real et de la manipulation d'objets de forme ou de rigidité variable, un point où beaucoup de démonstrations actuelles échouent en conditions réelles. DexTele s'inscrit dans une vague de systèmes de télé-opération (type ALOHA, Mobile ALOHA, GELLO, Open-TeleVision) développés ces deux dernières années pour alimenter en données des modèles comme GR00T, Pi-0 ou Helix. Ce papier, encore au stade de prépublication sans code ni plateforme matérielle précisée, devra être confirmé par une validation indépendante et des comparaisons chiffrées face à ces solutions existantes avant toute adoption industrielle.

RecherchePaper
1 source
Lumos Robotics domine un test de référence mondial pour l'IA incarnée en zero-shot
367Robotics & Automation News 

Lumos Robotics domine un test de référence mondial pour l'IA incarnée en zero-shot

Lumos Robotics, société chinoise de robotique, affirme que son modèle d'IA incarnée industrielle Prime R0 a obtenu le meilleur score global du classement MolmoSpaces, devançant des modèles bien plus volumineux signés Nvidia et plusieurs équipes de recherche américaines. Avec seulement 2,8 milliards de paramètres, un format compact au regard des standards du secteur, Prime R0 se classe premier à la fois sur les tâches de manipulation fine à un bras et sur les tâches de collaboration coordonnée à deux bras, deux catégories jugées parmi les plus exigeantes pour évaluer la capacité d'un modèle "zero-shot" à généraliser sans réentraînement spécifique. Ce résultat, s'il se confirme, va à contre-courant de l'hypothèse dominante selon laquelle la performance en manipulation robotique nécessite des modèles massifs et coûteux à faire tourner en embarqué. Un modèle de moins de 3 milliards de paramètres capable de rivaliser avec des architectures plus lourdes intéresserait directement les intégrateurs industriels, pour qui le coût de calcul et la latence d'inférence sur site conditionnent la viabilité économique d'un déploiement. Reste que le classement provient d'un benchmark tiers dont la méthodologie et l'indépendance vis-à-vis des fournisseurs testés ne sont pas détaillées ici, ce qui invite à la prudence avant de valider la portée réelle de l'annonce. Lumos Robotics s'inscrit dans une compétition chinoise de plus en plus dense sur l'IA incarnée industrielle, où plusieurs acteurs cherchent à concurrencer Nvidia et les laboratoires américains sur le terrain des modèles vision-langage-action (VLA) appliqués à la manipulation. L'entreprise n'a pour l'instant pas communiqué de calendrier de déploiement industriel ni de partenariats concrets associés à Prime R0, l'annonce restant à ce stade centrée sur la performance benchmark plutôt que sur une mise en production vérifiable.

IA physiqueActu
1 source
Baisse des collisions contre le verre ? La division IA incarnée d'Ant Group revendique une avancée en perception robotique
368SCMP Tech 

Baisse des collisions contre le verre ? La division IA incarnée d'Ant Group revendique une avancée en perception robotique

Ant Group a présenté mardi, via sa filiale d'IA incarnée Robbyant, basée à Hangzhou, deux nouveaux modèles de perception visuelle pour robots : LingBot-Depth 2.0, un modèle de perception spatiale de nouvelle génération, et LingBot-Vision, un modèle visuel fondationnel. L'entreprise affirme que ces modèles permettent de résoudre un problème persistant en robotique : la détection fiable du verre, des miroirs et des objets transparents, des surfaces qui perturbent traditionnellement les capteurs de profondeur (LiDAR, stéréovision, temps de vol). Aucune métrique de précision, benchmark ou comparaison chiffrée n'a toutefois été communiquée dans l'annonce, ce qui invite à la prudence sur l'ampleur réelle de l'avancée revendiquée. La perception des matériaux transparents et réfléchissants reste un angle mort connu des systèmes de navigation robotique : portes vitrées, baies, miroirs faussent les mesures de distance et provoquent collisions ou arrêts d'urgence intempestifs. Un progrès réel sur ce point intéresserait directement les opérateurs d'AMR en entrepôt comme les concepteurs de robots humanoïdes destinés à évoluer en environnement de bureau, hôpital ou magasin. L'annonce confirme surtout l'entrée d'un nouvel acteur chinois, non spécialisé matériel, sur la brique logicielle de perception de la pile robotique, aux côtés d'entreprises déjà positionnées comme Unitree ou UBTech. Ant Group, connu pour Alipay et ses activités fintech, diversifie ainsi son portefeuille IA vers la robotique incarnée, dans la continuité du mouvement engagé par plusieurs géants technologiques chinois depuis 2024-2025. À l'international, la course reste dominée par des modèles vision-langage-action comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia, ou les plateformes propriétaires de Figure AI (Figure 03) et Tesla (Optimus Gen 3). Robbyant n'a pas précisé si LingBot-Depth 2.0 et LingBot-Vision seront ouverts, licenciés à des fabricants tiers, ou réservés à des projets internes, ni communiqué de calendrier de déploiement.

UEAucun acteur ou reglementation europeenne n'est concerne directement, mais une percee reelle sur la detection du verre et des surfaces reflechissantes interesserait indirectement les operateurs europeens d'AMR en entrepot et les concepteurs de robots humanoides destines aux environnements de bureau ou de sante.

Chine/AsieActu
1 source
DynaWM : un modèle du monde guidé par un VLA de base pour la manipulation d'objets en mouvement
369arXiv cs.RO 

DynaWM : un modèle du monde guidé par un VLA de base pour la manipulation d'objets en mouvement

DynaWM, un nouveau modèle du monde ("world foundation model") piloté par des architectures vision-langage-action (VLA), vient d'être présenté dans un preprint publié sur arXiv début juillet 2026. Le système cible un point faible connu des modèles VLA actuels : la manipulation d'objets en mouvement. Techniquement, DynaWM combine trois briques, un encodeur d'actions basé sur Mamba-3 qui traite les séquences d'actions produites par le modèle VLA de base, un encodeur visuel V-JEPA 2.1 qui exploite l'historique d'observations multi-vues, et un encodeur d'état proprioceptif du bras robotique, le tout conditionnant un transformeur à diffusion par flow-matching qui régénère des trajectoires d'action adaptées au mouvement de l'objet. Les auteurs ont aussi construit deux jeux de données : le benchmark DynaGrasp-32, qui couvre six catégories de tâches (variation de vitesse, de trajectoire, manipulation multi-objets), et DynaGrasp-1600, soit 32 scénarios, 1 600 démonstrations et environ 1,53 million d'images. Sur des checkpoints VLA finement réglés, DynaWM améliore les taux de réussite de 7,19 à 45,31 points de pourcentage selon le modèle de base (SmolVLA, X-VLA, Pi-0, Pi-0.5) ; sur des checkpoints seulement grossièrement réglés, les gains grimpent à 26 voire 44 points. L'enjeu dépasse la simple performance chiffrée : la plupart des modèles du monde existants sont fine-tunés directement dans l'architecture VLA, ce qui dégrade souvent les capacités du modèle pré-entraîné. En gardant le VLA de base intact et en ajoutant un module de guidage séparé, DynaWM évite ce compromis, un argument qui parle directement aux équipes de recherche en robotique confrontées à la fragilité des VLA lors du fine-tuning. Pour les intégrateurs, cela touche un cas d'usage concret : le tri ou la préhension d'objets sur convoyeur, en environnement non statique, un scénario encore largement absent des démonstrations spectaculaires de préhension immobile. Le travail s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0, Pi-0.5, SmolVLA ou X-VLA, utilisés ici comme bases de comparaison, ainsi que des travaux sur les modèles du monde en robotique et sur l'encodeur visuel auto-supervisé V-JEPA de Meta. À ce stade, il s'agit d'un résultat de recherche académique évalué sur benchmark simulé et jeu de données maison, sans déploiement industriel annoncé ; la suite logique serait une validation sur bras robotiques réels et une comparaison avec d'autres approches de manipulation dynamique comme GR00T N2 ou Helix.

RechercheActu
1 source
PRISM : génération de données robotiques personnalisées par synthèse d'images de scènes et de mouvements
370arXiv cs.RO 

PRISM : génération de données robotiques personnalisées par synthèse d'images de scènes et de mouvements

Il n'y a pas de nom d'entreprise, de labo ou de deploiement commercial cité dans cet abstract (c'est un papier de recherche arXiv), donc l'article reste focalisé sur la méthode et ses résultats mesurés, sans inventer de contexte industriel absent du texte source. Des chercheurs présentent PRISM, un pipeline qui génère des jeux de données robotiques personnalisés à partir d'une seule image et d'une instruction en langage naturel, sans téléopération humaine. Le système construit des scènes dites "digital cousins" : des environnements synthétiques alignés sémantiquement et géométriquement avec l'environnement cible de l'utilisateur, mais suffisamment variés au niveau des instances (objets, agencements) pour éviter le surapprentissage. PRISM synthétise ensuite des démonstrations exécutables directement utilisables pour entraîner une politique robotique. Sur les benchmarks LIBERO et LIBERO-Plus, les politiques entraînées sur les données générées par PRISM surpassent celles entraînées sur des jeux de données de référence, et atteignent jusqu'à 100 % de taux de réussite sur trois tâches de manipulation réelles, avec une meilleure robustesse lorsque l'environnement de test diffère de celui vu à l'entraînement. L'enjeu ici est la collecte de données, principal goulot d'étranglement pour déployer des modèles vision-langage-action (VLA) au-delà des laboratoires. La téléopération produit des données bien alignées avec la tâche mais coûte cher et ne passe pas à l'échelle ; la simulation pure passe à l'échelle mais peine à ressembler à l'environnement réel de l'utilisateur final. PRISM tente de concilier les deux, ce qui intéresse directement les intégrateurs et décideurs B2B confrontés au coût de personnalisation d'un robot pour un site spécifique (usine, entrepôt, domicile) : si la génération de données synthétiques personnalisées tient ses promesses hors laboratoire, elle réduit un frein économique majeur à l'adoption des politiques génératives en robotique. Ce travail s'inscrit dans la vague plus large des modèles fondation VLA (dans la lignée de Pi-0, GR00T N2 ou Helix) qui cherchent à généraliser au-delà des tâches et environnements d'entraînement, un problème encore mal résolu malgré les démonstrations impressionnantes de ces modèles. Il fait aussi écho à la tendance du "sim-to-real" et à l'usage de scènes synthétiques proches mais non identiques à la réalité pour diversifier les données d'entraînement sans reproduire du réel coûteux. Les auteurs positionnent PRISM face à deux approches concurrentes existantes, la téléopération manuelle et la simulation générique, en montrant un gain de performance sur des benchmarks standards ainsi que sur des tâches de manipulation réelles. L'abstract ne précise pas de calendrier de déploiement ou de partenariat industriel : à ce stade, il s'agit d'un résultat de recherche à valider sur un périmètre de tâches plus large.

RechercheActu
1 source
Ancrage des affordances par tokens avec de grands modèles vision-langage
371arXiv cs.RO 

Ancrage des affordances par tokens avec de grands modèles vision-langage

Le papier arXiv 2607.03595, publié cette semaine, présente TokAG, une méthode "zero-shot" de localisation d'affordances dans les images, c'est-à-dire l'identification des zones précises qui permettent une action donnée sur un objet (attraper une poignée, s'asseoir sur une chaise, etc.). Contrairement aux approches précédentes qui s'appuyaient sur un apprentissage faiblement supervisé à partir d'étiquettes d'action sur des images à la première personne extérieure (exocentriques), TokAG n'utilise aucune annotation externe. La méthode exploite les cartes d'attention associées aux différents tokens générés par un grand modèle vision-langage (LVLM) : les auteurs montrent que ces cartes varient fortement selon le token choisi, certains pointant vers l'arrière-plan plutôt que vers l'objet ciblé. Un mécanisme de sélection spatiale identifie automatiquement le token dont l'attention se concentre le mieux sur l'objet pertinent, et cette carte est ensuite convertie en carte de chaleur d'affordance. Sur les benchmarks de référence, TokAG améliore le score NSS de 10,7% sur le split "invisible" d'AGD20K et de 29,7% sur HICO-IIF par rapport aux meilleures méthodes faiblement supervisées existantes. L'enjeu dépasse la seule métrique académique : la localisation d'affordances est une brique centrale pour la perception incarnée et l'intelligence physique, notamment en robotique de manipulation, où un système doit repérer où et comment saisir un objet sans supervision spécifique à chaque action. Le problème que ciblent les auteurs est concret : les méthodes précédentes confondaient des actions sémantiquement proches car elles s'appuyaient sur de courtes étiquettes textuelles pauvres en détails, et échouaient sur des images ambiguës où plusieurs actions cohabitent. Montrer qu'un LVLM déjà entraîné encode implicitement assez de signal spatial pour s'en passer va dans le sens d'une tendance plus large : réutiliser les modèles vision-langage-action existants plutôt que ré-entraîner des détecteurs dédiés à chaque tâche. Le travail s'inscrit dans la lignée des recherches sur l'extraction de signaux spatiaux depuis des modèles figés, sans fine-tuning supplémentaire. Les auteurs annoncent la publication future du code et des modèles, ce qui reste à vérifier puisque rien n'est encore disponible au moment de la parution du preprint ; les gains restent donc validés uniquement sur benchmarks internes (AGD20K, HICO-IIF), pas encore testés en conditions réelles de manipulation robotique.

RecherchePaper
1 source
AmpAttention, une attention inspirée des amplificateurs différentiels pour la manipulation robotique multi-vue
372arXiv cs.RO 

AmpAttention, une attention inspirée des amplificateurs différentiels pour la manipulation robotique multi-vue

Une équipe de chercheurs anonymes, dans une soumission actuellement en évaluation par les pairs sur arXiv (2607.02845), propose AmpAttention, un mécanisme d'attention pour la manipulation robotique multi-vues inspiré des amplificateurs différentiels utilisés en électronique analogique. Intégré dans un modèle baptisé RVAF, ce mécanisme combine attention intra-vue et inter-vue guidée par la tâche pour filtrer le bruit visuel issu des occlusions, de la redondance entre caméras et de la dépendance au point de vue. Sur le benchmark de simulation RLBench, qui couvre 18 tâches et 249 variations, RVAF affiche le meilleur taux de réussite moyen parmi les méthodes comparées, tout en réduisant le temps d'entraînement de 33,3%. En conditions réelles, le système a démontré une précision suffisante pour saisir une fléchette et l'insérer au centre d'une cible de dart, une tâche qui exige un alignement fin entre perception et contrôle moteur. Une variante étendue, RVAF++, intègre l'encodeur d'images SAM2, développé par Meta, et atteint un taux de réussite de 91% sur la tâche d'insertion de goupille, l'une des plus exigeantes en précision du benchmark. L'enjeu dépasse la simple performance sur un benchmark académique. Les approches de manipulation multi-vues par attention souffrent d'un problème connu de dérive attentionnelle: le modèle se laisse distraire par des signaux visuels redondants ou occultés selon l'angle de caméra, ce qui dégrade la fiabilité en conditions réelles, précisément là où les démonstrations en laboratoire échouent souvent à se traduire en performance industrielle. En empruntant le principe du rejet de bruit en mode commun des amplificateurs différentiels, plutôt qu'en ajoutant des couches d'attention supplémentaires, AmpAttention propose une piste architecturale peu coûteuse en calcul pour améliorer le rapport signal/bruit perceptif, un facteur clé pour les intégrateurs qui cherchent à fiabiliser des tâches de précision comme l'insertion ou l'assemblage sans multiplier les capteurs ou le temps d'entraînement. RVAF s'inscrit dans la lignée des modèles vision-langage-action et des architectures de manipulation basées sur l'attention qui ont rapidement progressé ces deux dernières années, aux côtés de travaux comme GR00T N2 ou Helix. La comparaison directe avec SAM2, encodeur d'images publié par Meta et intégré dans RVAF++, illustre comment les briques de vision généraliste des grands laboratoires irriguent désormais la recherche en robotique spécialisée. Publié anonymement dans le cadre d'une évaluation par les pairs, avec du matériel qualitatif complémentaire disponible sur un site de projet temporaire, l'article ne précise ni application industrielle concrète ni calendrier de transfert vers des plateformes commerciales. Il s'ajoute néanmoins à une liste croissante de travaux qui cherchent à résoudre le problème du transfert simulation-vers-réel sur des tâches de haute précision.

RecherchePaper
1 source
ManipArena : évaluation exhaustive en conditions réelles de la manipulation robotique généraliste orientée raisonnement
373arXiv cs.RO 

ManipArena : évaluation exhaustive en conditions réelles de la manipulation robotique généraliste orientée raisonnement

Le laboratoire à l'origine de ce papier arXiv (identifiant 2603.28545, version 2, soumission de type remplacement) présente ManipArena, un cadre d'évaluation standardisé pour la manipulation robotique en conditions réelles. Le benchmark couvre 20 tâches distinctes, s'appuie sur 10 812 trajectoires expertes et 13,5 millions d'images, pour un total d'environ 188 heures de fonctionnement robotique cumulées sur des scénarios de manipulation de table et de manipulation mobile. Le protocole combine variation de tâches définie par schéma, essais stratifiés en distribution, en décalage visuel et hors distribution sémantique, notation par crédit partiel au niveau des sous-tâches, annotations linguistiques à trois niveaux de granularité, signaux moteurs bas niveau, et environnements simulés jumeaux reconstruits à partir de scènes physiques réelles. Les chercheurs ont utilisé ce dispositif pour évaluer sept configurations de manipulation de table, couvrant à la fois des modèles vision-langage-action (VLA) et des modèles dits world-action. L'enjeu dépasse la simple création d'un nouveau jeu de tests. Les benchmarks en simulateur, bien que reproductibles et faciles à mettre à l'échelle, ne capturent pas fidèlement l'écart entre simulation et réel, ce dernier étant causé par le bruit de perception, la dynamique de contact, la latence et les erreurs de calibration. À l'inverse, les évaluations sur robots physiques existantes sont dispersées entre plateformes, scènes et règles de notation différentes, ce qui rend toute comparaison rigoureuse quasi impossible. Résultat clé de l'étude: les performances mesurées sur robot réel ne dépendent pas seulement de l'architecture du modèle, mais aussi de sa provenance, du régime de fine-tuning, de l'échantillonnage des données d'entraînement et de la granularité des annotations. Pour les intégrateurs et décideurs industriels, ce constat invite à relativiser fortement les annonces de performance basées uniquement sur des démonstrations vidéo ou des scores en simulation. Ce travail s'inscrit dans la course actuelle autour des modèles généralistes de contrôle robotique (VLA et world-action), un domaine où les affirmations de généralisation restent difficiles à vérifier faute de méthodologie commune. En proposant un référentiel reproductible avec attribution fine des échecs, ManipArena vise à devenir un outil diagnostique de référence pour mesurer les véritables limites de capacité de ces modèles, plutôt qu'un simple classement de plus.

RecherchePaper
1 source
Bridge-WA : prédire où et comment le monde change pour l'action robotique
374arXiv cs.RO 

Bridge-WA : prédire où et comment le monde change pour l'action robotique

Une équipe de chercheurs présente Bridge-WA, un nouveau framework "world-action" léger destiné aux modèles de manipulation robotique vision-langage-action (VLA), décrit dans un article publié sur arXiv (2607.02195v1) début juillet. Plutôt que de s'appuyer sur de lourds modèles génératifs du monde ou des séquences denses d'images futures pour anticiper les changements de scène, coûteux en calcul et souvent focalisés sur des détails visuels peu utiles au contrôle, Bridge-WA distille un "teacher" figé de prédiction des changements futurs en trois représentations compactes : des tokens de résultat visé, des cartes de changement pour identifier les zones d'intervention, et des cartes de flux de mouvement pour la direction locale des transitions. Un module appelé WorldBridge conditionne ensuite le transformer d'action sur ces trois priors via des mémoires d'attention multi-sources et des biais spatio-temporels, tandis que le modèle enseignant est retiré au moment de l'inférence. Les auteurs évaluent leur approche sur les benchmarks VLABench, RoboTwin2.0 et LIBERO-Plus, ainsi que sur des tests en robot réel, avec des gains en taux de réussite, en progression de tâche et en robustesse, particulièrement marqués face à des variations visuelles hors distribution. L'intérêt pour l'industrie robotique tient à la promesse d'un compromis efficacité-robustesse : obtenir les bénéfices d'un raisonnement sur l'évolution future de la scène sans payer le coût de génération d'images denses au déploiement, un frein connu pour l'intégration temps réel des modèles VLA. En filtrant les facteurs de nuisance comme le fond, l'éclairage ou les distracteurs pour se concentrer sur où et comment la scène va changer, l'approche s'attaque directement à l'écart généralisation/robustesse qui limite souvent le passage de la démonstration en labo au déploiement industriel. Le travail s'inscrit dans la lignée des modèles VLA à grande échelle qui cherchent à coupler perception, langage et action, un axe de recherche actif depuis l'essor de modèles génériques de manipulation. Comme il s'agit ici de résultats de recherche publiés par les auteurs eux-mêmes sur leurs propres benchmarks, sans déploiement industriel ni validation tierce à ce stade, la prudence reste de mise sur la portée réelle des gains annoncés. Le code et des visualisations sont mis à disposition sur le site du projet, ouvrant la voie à une reproduction indépendante des résultats.

IA physiqueActu
1 source
Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche
375arXiv cs.RO 

Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche

Des chercheurs ont mis en ligne une nouvelle version (v2) de leur article "Learning Semantic Atomic Skills for Multi-Task Robotic Manipulation" sur arXiv (2512.18368), présentant AtomSkill, un framework d'apprentissage par imitation pour la manipulation robotique multi-tâches. La méthode s'attaque à trois obstacles connus de l'apprentissage par démonstration à grande échelle : démonstrations sous-optimales, multi-modalité des comportements et interférences destructrices entre tâches lorsqu'un même modèle doit apprendre plusieurs compétences simultanément. AtomSkill découpe les démonstrations en compétences atomiques de longueur variable, alignées sémantiquement grâce à un objectif contrastif qui impose à la fois cohérence sémantique et cohérence temporelle, formant une bibliothèque de compétences compacte et réutilisable. La politique apprise prédit à la fois la position finale (keypose) d'une compétence et les actions immédiates, ce qui permet des transitions fluides entre compétences en fonction de la progression. Lors de l'inférence, un échantillonneur par diffusion génère des séquences de compétences plausibles, tandis que les keyposes prédites déclenchent automatiquement l'enchaînement. Les auteurs annoncent des résultats supérieurs aux méthodes de référence en imitation learning et aux approches par compétences existantes, en simulation comme en conditions réelles. L'enjeu dépasse la seule prouesse technique : la plupart des bibliothèques de compétences actuelles sont soit trop dépendantes de la structure du langage utilisé pour les décrire, soit mal alignées sémantiquement d'une tâche à l'autre, ce qui limite leur capacité à généraliser. Résoudre ce compromis conditionne directement la viabilité des politiques multi-tâches pour des applications industrielles comme le picking, l'assemblage ou la manutention, où un même robot doit enchaîner des gestes variés sans réapprentissage complet à chaque nouvelle tâche. C'est aussi un signal dans le débat actuel sur les modèles vision-langage-action (VLA) : la promesse d'une politique unique capable de généraliser à grande échelle reste difficile à tenir, et des architectures hiérarchiques par compétences comme AtomSkill pourraient constituer une alternative plus robuste que les VLA monolithiques. L'article s'inscrit dans une lignée de recherche en concurrence directe avec des approches VLA de bout en bout telles que Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Contrairement à ces annonces industrielles très médiatisées, il s'agit ici d'une publication académique sans chiffres de benchmark détaillés ni précisions sur le matériel utilisé dans l'abstract, et sans affiliation commerciale indiquée. Les auteurs renvoient vers une page de projet (atom-skill.github.io) pour le code et les démonstrations vidéo ; la validation à plus grande échelle sur robots physiques reste, comme souvent à ce stade de publication, la prochaine étape à surveiller.

RecherchePaper
1 source
CoFL-S : champs de flux sectoriels interrogeables spatialement pour la navigation locale conditionnée par le langage
376arXiv cs.RO 

CoFL-S : champs de flux sectoriels interrogeables spatialement pour la navigation locale conditionnée par le langage

La navigation par instructions en langage naturel (Vision-Language Navigation, VLN) a surtout progressé ces dernières années sur le raisonnement de haut niveau : compréhension des consignes, mémoire, cartographie globale, découpage des instructions en sous-tâches. La représentation d'action de bas niveau, elle, restait largement négligée. Une équipe de recherche propose CoFL-S (papier arXiv 2607.02222, publié début juillet 2026), un framework vision-langage-action qui prédit un champ de flux ("flow field") conditionné par le langage sur le secteur local visible du robot, puis génère des trajectoires continues en suivant ce champ. Pour l'entraîner, les chercheurs ont converti les épisodes du jeu de données VLN-CE, initialement des instructions complètes associées à des séquences d'actions, en supervision locale image par image, avec sous-instructions alignées, actions, trajectoires et champs de flux appariés. Ils introduisent aussi un nouveau benchmark Habitat en temps continu, qui isole l'interface d'action de bas niveau du découpage des instructions et fait passer toutes les méthodes par un contrôleur de commande de vitesse partagé, permettant une comparaison en boucle fermée indépendante de la fréquence du planificateur, plutôt que les transitions discrètes fixes (avancer/tourner) de VLN-CE classique. Cette distinction entre haut niveau et bas niveau touche un vrai angle mort du secteur : une bonne compréhension d'instruction ne garantit pas une exécution fluide si la couche de contrôle reste rigide ou dépendante d'une fréquence de planification fixe. En isolant cette couche et en la testant à différentes fréquences, l'équipe évalue si une politique d'action tient réellement la route en conditions variables, un enjeu direct pour tout déploiement réel de robots mobiles guidés par le langage, où la latence de calcul et la fréquence de décision varient selon le matériel. Sous encodeurs et réglages d'entraînement identiques, CoFL-S dépasse de façon constante les méthodes de référence à base de tokens d'action et de blocs d'action ("action-chunk"), quelle que soit la fréquence du planificateur testée. Les auteurs rapportent également un déploiement réel en zero-shot, en boucle fermée, où l'avantage de leur approche se confirme au-delà de la simulation, un point notable puisque le transfert sim-to-real reste l'un des obstacles les plus fréquemment cités dans la littérature VLN.

RecherchePaper
1 source
L'imagination du toucher : manipulation guidée par le toucher via des représentations tactiles imaginées
377arXiv cs.RO 

L'imagination du toucher : manipulation guidée par le toucher via des représentations tactiles imaginées

Des chercheurs présentent TacImag, un framework qui apprend à un robot à « imaginer » le toucher plutôt que de le mesurer physiquement. Le système prédit des signaux tactiles à partir de la vision et de la proprioception seules, en s'entraînant sur des démonstrations où vision et tactile réel sont enregistrés en parallèle. Une fois entraîné, TacImag guide les politiques de manipulation sans capteur tactile au moment du déploiement. L'équipe l'a évalué sur six tâches en simulation et quatre tâches réelles. Les résultats montrent que les champs de force imaginés améliorent les tâches sensibles au contact de 44,4% en moyenne, tandis que les images tactiles imaginées améliorent les tâches sensibles à la texture de 23,3%, un écart qui révèle que l'efficacité de la méthode dépend fortement du type de représentation choisi selon la tâche visée. Article publié sur arXiv (2607.01684v1). L'enjeu pratique est significatif pour l'industrie de la manipulation robotique : les capteurs tactiles restent fragiles, nécessitent un étalonnage régulier et alourdissent la maintenance, ce qui freine leur adoption à grande échelle chez les intégrateurs. En montrant qu'un robot peut bénéficier des avantages du toucher sans embarquer de matériel tactile en production, TacImag ouvre une voie pour réduire coûts et complexité tout en gardant les gains de performance sur les tâches de contact fin, comme l'insertion ou la manipulation d'objets fragiles. Point notable soulevé par les auteurs eux-mêmes : le système ne se contente pas de reconstituer une mesure tactile manquante. Il agit plutôt comme une forme de supervision consciente du contact, qui transforme des indices visuels d'interaction subtils en représentations plus facilement exploitables par les politiques d'apprentissage. Le travail s'inscrit dans la recherche sur la manipulation robotique riche en contacts, un domaine où le tactile est étudié depuis plusieurs années comme complément à la vision pour les gestes fins. Il s'agit ici d'une contribution académique, sans déploiement industriel ni produit commercial associé. Les auteurs suggèrent que la prochaine étape consistera à généraliser l'approche à des scénarios de contact plus divers et à l'intégrer dans des pipelines d'apprentissage de politiques plus larges, notamment les modèles vision-langage-action.

RecherchePaper
1 source
IA incarnée : LIME apprend à percevoir les mouvements de caméra intentionnels à partir de vidéos égocentriques
378arXiv cs.RO 

IA incarnée : LIME apprend à percevoir les mouvements de caméra intentionnels à partir de vidéos égocentriques

Un article de recherche publié sur arXiv (2607.02417) présente LIME, un système qui apprend à un robot autonome où déplacer sa caméra à partir de simples instructions en langage naturel. Le problème posé est précis : à partir d'une image RGB de la scène et d'une intention exprimée en texte libre ("regarde derrière la boîte", "inspecte l'objet"), le modèle doit prédire la pose cible relative de la caméra en SE(3) pour la prochaine observation. Les chercheurs ont construit leur jeu d'entraînement en minant des vidéos égocentriques humaines, associant intentions plausibles et descriptions du gain d'observation à des poses de caméra relatives. L'architecture combine deux briques : une sortie auto-régressive qui décrit ce que la prochaine vue doit révéler, et une tête de pose entraînée par flow-matching continu, capable de représenter plusieurs hypothèses de cible. Ce travail s'attaque à un angle mort du secteur : la navigation vision-langage traduit des instructions en déplacements de base, et les politiques vision-langage-action (VLA) les traduisent en gestes de manipulation, mais le contrôle du regard lui-même, c'est-à-dire où pointer la caméra avant d'agir, reste peu formalisé comme action à part entière. Pour un intégrateur ou un roboticien, cela touche un besoin concret : un robot qui doit inspecter une pièce industrielle, vérifier une zone occluse, ou s'orienter selon une consigne orale a besoin d'une perception active pilotée par le langage, et non d'une caméra fixe ou d'un balayage aveugle. Si les résultats se confirment à plus grande échelle, cela ouvrirait une voie pour entraîner ce type de comportement sans capture de données robotiques coûteuse, en réutilisant de la vidéo humaine ordinaire. Il s'agit à ce stade d'un article de recherche avec expériences et tâches robotiques en aval, pas d'un produit déployé ni d'un système embarqué chez un intégrateur. Le papier se positionne dans la lignée des travaux récents sur les politiques VLA à grande échelle (Pi-0, GR00T N2, Helix) mais en creusant une brique en amont, la perception active intentionnelle, plutôt que la génération d'actions de manipulation elle-même. Les auteurs annoncent des résultats sur des tâches robotiques en aval, mais sans préciser à ce stade de partenaire industriel ni de calendrier de transfert vers un système commercial.

RecherchePaper
1 source
Traduction du monde des demonstrations spatio-temporelles pour systèmes d'Euler-Lagrange inconnus, apprentissage à partir de démonstrations via tubes spatio-temporels
379arXiv cs.RO 

Traduction du monde des demonstrations spatio-temporelles pour systèmes d'Euler-Lagrange inconnus, apprentissage à partir de démonstrations via tubes spatio-temporels

Voici l'article traduit et résumé en français : Des chercheurs présentent STT-LfD, un nouveau cadre d'apprentissage par démonstration (Learning from Demonstration) qui unifie l'apprentissage du mouvement et le contrôle pour des systèmes Euler-Lagrange dont la dynamique reste inconnue, c'est-à-dire la plupart des robots mobiles et manipulateurs industriels réels. Publié sur arXiv (2607.00534) début juillet 2026, l'article décrit une méthode qui s'appuie sur des processus gaussiens hétéroscédastiques pour apprendre des tubes spatio-temporels, une enveloppe qui encode les exigences de précision variables dans le temps d'une tâche démontrée. Un contrôleur en boucle fermée, à forme close, applique ensuite ces contraintes tout en respectant les limites physiques des actionneurs, sans passer par une identification explicite du système. Les auteurs valident l'approche sur deux plateformes matérielles : un robot mobile et un bras manipulateur à 7 degrés de liberté (DOF), et rapportent de meilleures performances que les méthodes de référence en robustesse face aux perturbations et en vitesse de calcul. L'enjeu dépasse la seule prouesse technique. Les approches classiques d'apprentissage par démonstration découplent généralement la planification de mouvement du contrôle : elles apprennent une trajectoire de référence fixe, puis la suivent avec un contrôleur classique, quitte à perdre en robustesse dès qu'une perturbation survient. STT-LfD renverse la logique en traitant la démonstration elle-même comme une spécification de sécurité pilotée par les données, plutôt que comme une cible rigide à reproduire. Pour les intégrateurs industriels, l'intérêt pratique est de pouvoir déployer un contrôleur performant sans phase coûteuse d'identification dynamique du système, un frein courant au déploiement rapide de bras manipulateurs ou de robots mobiles sur des lignes hétérogènes. Cela va dans le sens d'une tendance plus large en robotique : réduire la dépendance à des modèles physiques précis au profit de méthodes data-driven plus rapides à mettre en œuvre. Le travail s'inscrit dans la lignée des recherches sur les tubes de sécurité et le contrôle par barrières (funnel control), déjà explorées pour garantir des performances sous incertitude, mais appliquées ici spécifiquement au cadre de l'apprentissage par démonstration. Il reste à ce stade un résultat de recherche académique, publié en prépublication sans revue par les pairs, testé sur un nombre limité de plateformes matérielles en laboratoire. Les prochaines étapes attendues concernent l'extension à des tâches de manipulation plus complexes et la comparaison directe avec des architectures d'apprentissage de politiques plus récentes, du type transformeurs vision-langage-action, sur des benchmarks communs.

RecherchePaper
1 source
RoboWorld : des simulateurs neuronaux rapides et fiables pour évaluer les politiques robotiques génériques
380arXiv cs.RO 

RoboWorld : des simulateurs neuronaux rapides et fiables pour évaluer les politiques robotiques génériques

Une équipe de recherche a publié sur arXiv (2607.01060) RoboWorld, un pipeline automatisé d'évaluation pour les politiques robotiques génon-généralistes fondé sur des modèles de monde vidéo. Le système combine un modèle de monde vidéo autorégressif rapide avec un scoring assuré par un modèle vision-langage sensible à la progression de la tâche. Pour fiabiliser les simulations sur de longs horizons temporels, les auteurs introduisent une technique baptisée Step Forcing, qui mélange des contextes ancrés et des contextes auto-propagés en un seul pas afin de réduire l'écart entre entraînement et inférence, tout en préservant la cohérence entre actions et observations générées. Résultat annoncé : une corrélation quasi parfaite avec les évaluations réelles de robots physiques, avec un coefficient de Pearson de 0,989 et un coefficient de Spearman de 0,970, mesurés sur plusieurs tâches et environnements. L'enjeu dépasse la seule prouesse technique. Évaluer une politique robotique généraliste sur du matériel réel coûte cher et prend du temps : il faut multiplier les essais physiques, gérer l'usure du matériel et l'imprévisibilité de l'environnement. Les modèles de monde vidéo promettent de contourner cette contrainte en simulant les conséquences des actions d'un robot directement à partir de flux vidéo, sans passeser par un moteur physique classique. Le problème jusqu'ici restait la fiabilité : les erreurs cumulées du modèle de monde rendent les simulations longues peu crédibles, et l'inférence lente limite le nombre d'évaluations possibles à grande échelle. En démontrant une corrélation aussi forte avec la réalité tout en visant la rapidité, RoboWorld s'attaque frontalement à ce goulot d'étranglement, ce qui intéresse directement les laboratoires qui entraînent des politiques de type VLA (vision-langage-action) et cherchent à les valider avant tout déploiement physique coûteux. Ce travail s'inscrit dans une tendance plus large de la recherche en robotique où les modèles de monde vidéo remplacent progressivement les simulateurs physiques traditionnels pour l'évaluation de politiques, notamment à mesure que les modèles génératifs vidéo gagnent en fidélité. La difficulté classique de ces approches, le décalage entre les rollouts générés en entraînement et ceux produits en inférence, est justement ce que vise à corriger la méthode Step Forcing. L'article ne précise pas de partenariat industriel ni de déploiement en conditions réelles : il s'agit à ce stade d'un travail de recherche évalué sur des benchmarks internes, dont la reproductibilité et la généralisation à d'autres familles de robots restent à confirmer par la communauté.

RecherchePaper
1 source
Apprentissage de la manipulation dextérique via guidage par couple de contact issu de démonstrations humaines
381arXiv cs.RO 

Apprentissage de la manipulation dextérique via guidage par couple de contact issu de démonstrations humaines

Wandercraft, Exotec, Pollen et Enchanted Tools ne sont pas mentionnés dans le papier, donc aucune mention forcée. Voici l'article : Une équipe de recherche publie CHORD (Contact Wrench Guidance from Human Demonstration in Robotic Dexterous Manipulation), un framework d'apprentissage par renforcement pour la manipulation dextre à long horizon d'objets rigides et articulés, dans un preprint arXiv daté du 2 juillet 2026 (arXiv:2607.00033v1). L'idée centrale consiste à représenter les mouvements humains et robotiques non pas par des trajectoires articulaires brutes, mais par les forces et couples (wrench) qu'ils induisent sur l'objet manipulé, ce qui permet de comparer directement leur effet plutôt que leur cinématique. Les chercheurs ont construit un benchmark de simulation de 4 739 tâches de manipulation bimanuelle dextre, issu de jeux de données de capture de mouvement et de vidéos reconstruites en interne. Sur 1 831 tâches évaluées, CHORD atteint un taux de réussite moyen de 82,12 %. La méthode se généralise aussi à la manipulation corps entier à partir de démonstrations limitées aux mains ou filmées à la troisième personne, avec 90,77 % de réussite, et les politiques apprises se transfèrent vers le réel en boucle ouverte comme en boucle fermée. L'enjeu dépasse la simple prouesse académique : l'apprentissage par renforcement pour la manipulation riche en contacts est réputé difficile à faire passer à l'échelle, car les démonstrations humaines se transposent mal aux mains robotiques dont la cinématique diffère. En ancrant le signal de guidage dans la physique des forces plutôt que dans les gestes eux-mêmes, CHORD contourne en partie ce fossé d'incarnation. Un benchmark de près de 5 000 tâches, avec transfert vérifié sur robot réel et non seulement en simulation, constitue un test de scalabilité plus rigoureux que la plupart des démonstrations ponctuelles habituelles du secteur. Ce travail s'inscrit dans une tendance plus large exploitant la capture de mouvement et la vidéo humaine pour entraîner des politiques robotiques, en parallèle des approches par imitation ou des modèles vision-langage-action comme Pi-0 ou GR00T N2. Étant un preprint, il reste à valider par relecture par les pairs, avec une portée réelle encore limitée aux conditions de laboratoire décrites.

RecherchePaper
1 source
« RoboTacDex : un jeu de données visuo-tactile-action dextérique pour la manipulation humanoïde »
382arXiv cs.RO 

« RoboTacDex : un jeu de données visuo-tactile-action dextérique pour la manipulation humanoïde »

Voici l'article traduit et résumé selon les consignes éditoriales : Une équipe de chercheurs en robot learning publie RoboTacDex, un jeu de données de manipulation dextre construit sur le robot humanoïde Unitree G1, accessible publiquement. L'ensemble comprend 6 000 trajectoires couvrant 19 tâches, 23 compétences distinctes et des interactions avec 22 objets différents. Chaque trajectoire embarque des flux RGB et de profondeur multi-vues, un retour tactile et des annotations sémantiques détaillées. Pour garantir la qualité de la collecte, les auteurs ont développé un système de synchronisation multi-caméras capable d'aligner les différentes modalités à la milliseconde près. Le jeu de données cible volontairement des tâches complexes, réalisables uniquement avec deux bras et des mains dextres, pour se rapprocher de la logique opérationnelle humaine. Trois modèles d'apprentissage par imitation ont été testés dessus, avec des résultats jugés positifs et une capacité de généralisation modérée sur l'ensemble des tâches. Le dataset sera open-source prochainement. L'enjeu dépasse la simple publication académique : l'apprentissage par imitation pour la manipulation bimanuelle dextre souffre d'un manque chronique de démonstrations diversifiées et multimodales, la plupart des jeux de données existants se limitant à la vision RGB seule. L'ajout systématique du tactile et d'une synchronisation précise entre capteurs comble un vide identifié par plusieurs laboratoires travaillant sur des modèles vision-langage-action (VLA). Pour les équipes qui entraînent ce type de modèles, disposer de données ouvertes et denses sur une plateforme humanoïde standardisée réduit la dépendance aux jeux de données propriétaires des grands acteurs américains. Le choix du Unitree G1, plateforme humanoïde relativement abordable et largement diffusée dans les laboratoires de recherche, s'inscrit dans une dynamique d'ouverture des données robotiques comparable à des initiatives comme Open X-Embodiment. Ce positionnement contraste avec les approches propriétaires de Physical Intelligence (Pi-0) ou NVIDIA (GR00T), qui restreignent l'accès à leurs corpus d'entraînement. La mise en open source, annoncée mais pas encore effective à la date de publication du prépublication arXiv, déterminera l'impact réel de RoboTacDex sur la communauté.

RecherchePaper
1 source
HABIT : jeu de données pour l'entraînement de la manipulation robotique sensible aux comportements humains
383arXiv cs.RO 

HABIT : jeu de données pour l'entraînement de la manipulation robotique sensible aux comportements humains

Des chercheurs publient HABIT (Human-Aware Behavior and Interaction Training), un jeu de données de démonstration pour l'apprentissage de politiques de manipulation robotique en présence humaine, décrit dans un article déposé sur arXiv (identifiant 2606.31682, juin 2026). Le corpus rassemble plus de 10 000 épisodes et 160 heures d'enregistrements couvrant 60 tâches, organisées selon trois rôles d'interaction homme-robot : « Collaborateur », où humain et robot accomplissent une tâche ensemble, « Collègue », où ils opèrent des tâches séparées dans un espace partagé, et « Superviseur », où l'humain dirige le robot par instructions. Contrairement aux jeux de données existants pour les politiques robotiques généralistes, collectés sans présence humaine dans la scène, HABIT introduit explicitement des humains dans les démonstrations. L'enjeu est la capacité des robots à adopter des comportements conscients de la présence humaine, un angle mort des grands corpus qui alimentent aujourd'hui les politiques VLA (vision-langage-action). Les expériences montrent que l'entraînement sur données incluant des humains fait émerger des comportements que les données robot seul ne produisent pas : synchronisation spatio-temporelle dans les tâches de collaboration, cession de passage dans les tâches de coexistence, et ancrage gestuel pour interpréter les instructions du superviseur. Les auteurs indiquent aussi que l'entraînement sur HABIT accélère l'adaptation à de nouvelles tâches d'interaction homme-robot. Pour les intégrateurs qui déploient des robots en usine ou en entrepôt aux côtés d'opérateurs, c'est un signal que la cohabitation sûre et fluide dépend moins du matériel que de la composition des données d'entraînement, un manque que la course aux modèles fondation robotiques a largement laissé de côté. HABIT s'inscrit dans la lignée des grands corpus type Open X-Embodiment ou DROID, qui ont permis l'essor des politiques généralistes telles que Pi-0 ou GR00T N2 mais restent tournés vers des scènes sans humains, un manque que plusieurs équipes académiques cherchent désormais à combler à mesure que les humanoïdes et bras collaboratifs sortent des lignes de démonstration pour entrer dans des ateliers occupés. À ce stade, HABIT reste une publication de recherche accompagnée d'un jeu de données, sans annonce de produit ni de partenariat industriel ; sa portée dépendra de son adoption par d'autres laboratoires pour entraîner et comparer leurs politiques sur des tâches de collaboration homme-robot.

RecherchePaper
1 source
ELASTIC : passage à l'échelle adaptatif du calcul en temps de test pour l'apprentissage efficace de politiques de contrôle génératives
384arXiv cs.RO 

ELASTIC : passage à l'échelle adaptatif du calcul en temps de test pour l'apprentissage efficace de politiques de contrôle génératives

Un nouvel article de recherche publié sur arXiv (identifiant 2606.31132) présente ELASTIC, un algorithme conçu pour optimiser le calcul mobilisé au moment de l'exécution par les politiques de contrôle génératives, notamment les diffusion policies et les modèles vision-langage-action (VLA) de type flow-based. Ces politiques peuvent allouer davantage de ressources selon deux axes : la mise à l'échelle séquentielle, qui augmente le nombre d'étapes de débruitage pour affiner une action, et la mise à l'échelle parallèle, qui échantillonne plusieurs actions candidates pour explorer différents modes de la distribution. ELASTIC formule ce choix comme un meta-processus de décision markovien : une meta-politique observe l'état du robot et décide, à chaque itération de débruitage, combien d'étapes séquentielles et d'échantillons parallèles allouer, entraînée par apprentissage par renforcement sans accès aux données d'entraînement de la politique de base. Sur des benchmarks de manipulation simulés avec des diffusion policies, ELASTIC domine au sens de Pareto les approches à budget fixe ou à échelle unique. En conditions réelles, avec le modèle VLA pi-0.5, la méthode égale les performances d'un "best-of-10" (dix tentatives échantillonnées) tout en réduisant la latence de 34%. L'enjeu dépasse la seule performance de laboratoire : l'allocation de calcul test-time reste aujourd'hui largement empirique, fixée à la main selon la tâche. Un mécanisme qui adapte automatiquement l'effort de calcul, par exemple en explorant davantage lors d'une phase de saisie éloignée de l'objet puis en resserrant la précision près du contact, s'attaque directement au compromis latence/fiabilité qui freine le déploiement industriel des VLA. Pour les intégrateurs, cela ouvre la voie à des politiques capables de s'exécuter plus vite sans sacrifier le taux de réussite, un point critique pour des cycles de production. Le travail s'inscrit dans la lignée des recherches sur le test-time scaling, déjà popularisé en robotique par les diffusion policies et par des modèles comme GR00T N2 ou Pi-0 de Physical Intelligence, dont pi-0.5 sert justement de base expérimentale ici. Les auteurs ne précisent pas de calendrier de déploiement industriel ; il s'agit pour l'instant d'un résultat de recherche destiné à orienter la conception des futures architectures VLA plutôt qu'un produit prêt à intégrer.

IA physiquePaper
1 source
Multi-apprentissage continu : adapter des politiques visuomotrices préentraînées à la force
385arXiv cs.RO 

Multi-apprentissage continu : adapter des politiques visuomotrices préentraînées à la force

Voici l'article en français : Des chercheurs ont présenté MuSe (Multisensory Continual Learning), une méthode permettant d'adapter une politique de manipulation robotique pré-entraînée sur la seule vision à de nouvelles modalités sensorielles, sans dégrader ses performances initiales. Publiée sur arXiv (2606.30988v1) le 30 juin 2026, l'étude part d'un constat pratique : les capteurs de force, de toucher ou audio sont souvent spécifiques à un matériel ou une tâche donnée, et les jeux de données robotiques multisensoriels à grande échelle restent rares. Il est donc impossible de pré-entraîner une politique avec tous les capteurs qu'elle pourrait rencontrer en production. MuSe résout ce problème via trois mécanismes combinés : une fusion multi-étages des signaux, une prédiction future multisensorielle, et un rejeu d'expérience (experience replay) sur les données de pré-entraînement d'origine. Les chercheurs ont testé l'approche en ajoutant un capteur de force-couple à une politique vision-seule existante, sur des tâches de manipulation réelles impliquant du contact physique. Cette méthode répond à un problème central pour l'industrie des politiques vision-langage-action (VLA) de type Pi-0, GR00T N2 ou RT-2/OpenVLA : ces modèles, entraînés quasi exclusivement sur des flux vidéo, échouent souvent sur les tâches à contact riche (insertion de pièces, assemblage, préhension d'objets déformables) où la seule vision ne suffit pas à détecter un glissement ou une collision. Pour les intégrateurs industriels, l'enjeu est d'ajouter un capteur de force sans devoir ré-entraîner un modèle depuis zéro ni perdre les compétences déjà acquises, un phénomène classique d'oubli catastrophique. Les résultats montrent que MuSe améliore les performances sur les tâches de contact tout en préservant, voire en améliorant légèrement, les performances sur les tâches de pré-entraînement d'origine, ce qui suggère qu'un jeu de données multisensoriel modeste suffit à étendre les capacités générales d'un robot au-delà de sa distribution initiale d'entraînement. Le travail s'inscrit dans la tendance actuelle du secteur à généraliser des politiques robotiques pré-entraînées à grande échelle (à l'image des fondations VLA déployées par les principaux laboratoires de robotique humanoïde), plutôt qu'à ré-entraîner des modèles spécialisés par tâche. La rareté des données tactiles et de force reste un frein reconnu du secteur, contrairement à l'abondance de données vidéo. Le site du projet (jadenvc.github.io/multisensory-continual-learning) propose des démonstrations complémentaires ; les prochaines étapes annoncées concernent l'extension à d'autres modalités, comme le tactile ou l'audio, selon la même approche de fusion incrémentale.

RecherchePaper
1 source
3D HAMSTER : relier planification et contrôle dans les modèles VLA hiérarchiques grâce au guidage par trajectoire 3D
386arXiv cs.RO 

3D HAMSTER : relier planification et contrôle dans les modèles VLA hiérarchiques grâce au guidage par trajectoire 3D

Papier académique en robotique (VLA hiérarchique), pas de named companies commerciales ni d'acteur FR/EU à mettre en avant ici. Je rédige directement l'article. Des chercheurs du laboratoire DAVIAN Robotics présentent 3D HAMSTER, un nouveau framework pour les modèles Vision-Langage-Action (VLA) hiérarchiques utilisés en manipulation robotique, détaillé dans un preprint arXiv (2606.31329v1). Ces architectures séparent la planification de haut niveau, confiée à un modèle vision-langage (VLM), du contrôle bas niveau exécuté par une politique dédiée. Les approches récentes font produire au VLM des trajectoires 2D de l'effecteur terminal pour guider cette politique, mais les politiques de pointe travaillent en réalité dans un espace métrique 3D à partir de nuages de points. Faute de profondeur, chaque point de la trajectoire 2D doit hériter de la profondeur de la surface visible sous lui dans la scène, ce qui déforme géométriquement le chemin prédit. 3D HAMSTER corrige ce défaut en dotant le VLM d'un encodeur de profondeur dédié et d'un objectif de reconstruction dense de la profondeur, afin qu'il prédise directement des séquences de points de passage en 3D, ensuite injectées dans une politique bas niveau opérant sur nuages de points. Cette correction cible un goulot d'étranglement précis de la génération actuelle de VLA hiérarchiques: la conversion 2D vers 3D introduisait un bruit géométrique qui limitait la fiabilité des gestes de manipulation, en particulier lors de changements d'apparence de la scène ou de conditions inédites (langage, position spatiale, visuel). Sur les trois bancs d'essai testés (prédiction de trajectoire 3D, simulation, manipulation réelle), 3D HAMSTER dépasse à la fois des VLM propriétaires état de l'art et les méthodes concurrentes guidées en 2D, avec les écarts les plus marqués justement sur ces conditions de généralisation difficile. Ce résultat va dans le sens d'une hypothèse clé du secteur: une bonne partie de l'écart entre démonstrations en laboratoire et déploiement réel des robots manipulateurs tient moins à la politique de contrôle elle-même qu'à la qualité du signal de planification qui la guide. Le travail s'inscrit dans la lignée des architectures VLA hiérarchiques qui ont émergé ces deux dernières années pour améliorer la généralisation des robots manipulateurs, en s'appuyant sur des politiques bas niveau désormais matures en perception 3D par nuages de points. En comparant directement sa méthode à des VLM propriétaires non nommés publiquement dans le résumé, l'équipe positionne 3D HAMSTER comme une alternative open, avec une page projet dédiée (davian-robotics.github.io/3D_HAMSTER) où code et données devraient être publiés pour permettre une reproduction indépendante des résultats.

RechercheActu
1 source
IA incarnée : DVG-WM génère des vidéos découplées pour un modèle du monde efficace en manipulation robotique
387arXiv cs.RO 

IA incarnée : DVG-WM génère des vidéos découplées pour un modèle du monde efficace en manipulation robotique

Le laboratoire à l'origine de ces travaux (non précisé dans le résumé, arXiv:2506.32028) présente DVG-WM (Disentangled Video Generation World Model), un modèle du monde vidéo destiné à la manipulation robotique. Le problème ciblé est un compromis connu dans les "world models" embodied: modéliser précisément la dynamique physique nécessite un raisonnement temporel fin image par image, alors que produire des vidéos haute résolution exige une synthèse visuelle coûteuse pilotée par la sémantique globale. Jusqu'ici, les deux étaient entremêlés dans un seul réseau, forçant un choix entre inférence rapide et prédictions grossières, ou rendu détaillé mais trop lent pour de la planification itérative. DVG-WM sépare explicitement les deux tâches: à partir d'une observation initiale et d'une instruction en langage naturel, le modèle génère d'abord une séquence d'états visuels intermédiaires prévisualisant l'interaction physique, puis les raffine en vidéos haute fidélité. Le mécanisme clé est un cascading efficace où le flow matching relie directement la dynamique aux latents vidéo, complété par un mécanisme de dégradation latente qui régénère les détails riches en contacts (préhension, collisions). Testé sur le benchmark LIBERO et sur plateformes réelles, DVG-WM améliore la qualité vidéo tout en accélérant l'inférence jusqu'à 3,97 fois. Pour l'industrie robotique, ce résultat s'attaque directement à un goulot d'étranglement connu des architectures VLA (vision-langage-action) basées sur la prédiction vidéo: la latence d'inférence, rédhibitoire pour du contrôle en boucle fermée temps réel. Un gain de facteur 4 sur la vitesse, sans sacrifier la précision des interactions de contact, rapproche ces world models vidéo d'un usage réellement embarqué plutôt que d'une simple démonstration hors ligne, un point sensible pour les intégrateurs qui évaluent la viabilité de ces approches face aux politiques d'action plus directes. Ce travail s'inscrit dans la lignée des world models vidéo pour la robotique (dans la continuité d'approches type UniPi, iVideoGPT ou GR00T-Dreams), dont la promesse est d'apprendre la physique à partir de vidéo brute plutôt que de simulateurs coûteux à construire. La contribution spécifique de DVG-WM, la désentanglement dynamique/synthèse, ouvre la voie à des variantes combinant d'autres backbones de génération vidéo ou à une extension vers des tâches multi-étapes plus longues, une direction que les auteurs identifient comme suite naturelle de ces travaux.

RecherchePaper
1 source
Gouvernance de mission agentique vérifiée pour systèmes industriels multi-robots intelligents
388arXiv cs.RO 

Gouvernance de mission agentique vérifiée pour systèmes industriels multi-robots intelligents

Une équipe de recherche propose dans un article publié sur arXiv (2606.31339) un cadre de gouvernance baptisé « verification-gated agentic mission-state governance », conçu pour encadrer les systèmes multi-robots industriels pilotés par de l'IA agentique. Le framework repose sur deux structures d'état synchronisées : une forêt de tâches évolutive qui conserve la hiérarchie des missions, le rattachement différé des sous-tâches et les branches réparables, et un tableau noir (blackboard) gouverné qui centralise en temps réel les traces des robots, les verrous de ressources, les croyances sur l'environnement, les propositions d'action et les enregistrements de vérification. À partir de chaque instantané combiné de ces deux structures, le système extrait une topologie de couplage d'exécution qui révèle les dépendances entre branches de tâches, permettant de vérifier les propositions, d'autoriser des validations parallèles et de borner les réparations. Les auteurs ont testé leur approche sur un scénario d'usine intérieure multi-robots, des benchmarks de stress sur chantier de construction à distance avec 30 graines aléatoires, des ablations structurelles et des tests de montée en charge, avec des résultats montrant moins d'engagements invalides, de conflits de verrous, d'affectations dupliquées, de nœuds abandonnés et de réparations perturbatrices. L'enjeu dépasse la simple prouesse académique : à mesure que les modules agentiques (heuristiques, optimisation ou raisonnement par LLM) génèrent des plans d'action pour des flottes de robots industriels, rien ne garantit par défaut que ces propositions respectent les dépendances de tâches, la propriété des ressources ou les consignes de sécurité sur des missions de longue durée. Pour les intégrateurs et décideurs B2B qui envisagent de déployer des couches de planification agentique dans des entrepôts ou usines multi-robots, ce travail répond directement à une inquiétude centrale : éviter que l'IA générative devienne une autorité d'exécution incontrôlée. En imposant une vérification déterministe et un commit atomique avant toute mise à jour de l'état de mission, les auteurs positionnent explicitement l'IA agentique comme une couche de proposition inspectable et auditable, plutôt que comme un décideur autonome. Ce travail s'inscrit dans la vague plus large de recherches cherchant à combler l'écart entre les capacités de planification démontrées par les modèles agentiques et LLM et les exigences de fiabilité de l'industrie, un enjeu déjà soulevé autour des modèles vision-langage-action pour la robotique physique. Contrairement aux annonces produits de fabricants de robots humanoïdes, il s'agit ici d'une contribution méthodologique testée en simulation et sur bancs de stress, sans déploiement industriel réel annoncé à ce stade ; la suite logique consisterait en une validation sur des flottes physiques réelles et une comparaison directe avec d'autres architectures de gouvernance multi-agents.

RecherchePaper
1 source
ChronoFlow-Policy : unifier le flux d'interaction passé-présent-futur dans l'apprentissage de politiques visuomotrices
389arXiv cs.RO 

ChronoFlow-Policy : unifier le flux d'interaction passé-présent-futur dans l'apprentissage de politiques visuomotrices

Une équipe de recherche présente ChronoFlow-Policy, une nouvelle politique visuomotrice pour la manipulation robotique, décrite dans un article publié sur arXiv (2606.31493). Le système repose sur une représentation baptisée ChronoFlow, qui capture simultanément les dynamiques d'interaction passées, présentes et futures entre un objet et la pince du robot, sous forme de points-clés 3D épars. Contrairement aux approches existantes qui modélisent séparément soit le contexte historique, soit les prédictions futures, ChronoFlow unifie ces deux dimensions temporelles dans une seule représentation. Cette dernière est apprise conjointement avec les séquences d'actions via une politique basée sur la diffusion, entraînée selon un objectif de co-apprentissage. Les auteurs ont testé leur méthode sur 14 tâches simulées et 5 tâches de manipulation en conditions réelles, montrant des performances systématiquement supérieures à celles de politiques de diffusion de référence considérées comme robustes dans le domaine. L'intérêt de ce travail pour l'industrie de la robotique tient à un problème récurrent dans l'apprentissage par imitation appliqué à la manipulation : les politiques actuelles peinent souvent sur les tâches à long horizon ou non-markoviennes, c'est-à-dire celles où l'action optimale dépend d'un historique d'interactions et pas seulement de l'état instantané. En améliorant la robustesse sur ce type de scénarios, ChronoFlow-Policy s'attaque directement à l'un des points faibles des architectures de type VLA (vision-langage-action) et des politiques de diffusion utilisées pour le contrôle de bras manipulateurs et de mains robotiques. Pour les intégrateurs, cela pourrait se traduire par des politiques moins fragiles face aux séquences d'actions complexes, un enjeu central pour le déploiement en usine ou en logistique. Ce travail s'inscrit dans la lignée des politiques de diffusion pour la manipulation robotique, un courant de recherche actif depuis plusieurs années et largement adopté par les laboratoires travaillant sur les VLA génériques. L'article ne précise pas d'affiliation industrielle ni de partenaire de déploiement identifié ; il s'agit à ce stade d'une contribution académique, validée en simulation et sur un nombre limité de tâches réelles, sans indication de mise à l'échelle industrielle ou de licence commerciale annoncée.

RecherchePaper
1 source
L'expansion des recrutements de NVIDIA en robotique en Chine, avec des postes à Pékin, Shanghai et Shenzhen
390TechNode 

L'expansion des recrutements de NVIDIA en robotique en Chine, avec des postes à Pékin, Shanghai et Shenzhen

NVIDIA a lancé une campagne de recrutement d'ampleur pour son équipe robotique, avec des postes ouverts à Pékin, Shanghai et Shenzhen dans quatre domaines clés : IA incarnée (embodied AI), simulation, déploiement et architecture de solutions. L'équipe IA incarnée se concentrera sur la manipulation dextre, la modélisation du corps humain via capteurs portables, la manipulation mobile du corps entier et le contrôle corporel global, avec pour objectif le développement de robots généralistes de nouvelle génération. L'équipe simulation bâtira l'infrastructure de simulation et d'entraînement permettant aux robots d'apprendre efficacement en environnement virtuel avant de transférer ces capacités vers le monde réel de façon plus rapide et fiable. L'équipe déploiement optimisera les algorithmes pour robots humanoïdes et systèmes d'IA incarnée en vue d'accélérer leur mise en service concrète, tandis que l'équipe architecture de solutions adaptera les technologies NVIDIA à des secteurs comme l'industrie manufacturière et les services. Cette offensive de recrutement confirme la stratégie de NVIDIA : s'imposer comme fournisseur d'infrastructure (puces, simulation, frameworks type Isaac ou GR00T) plutôt que comme constructeur de robots, y compris sur le marché chinois malgré les restrictions américaines à l'export de puces IA vers la Chine. Le choix de Pékin, Shanghai et Shenzhen, hubs historiques de l'électronique et de la robotique chinoise, place l'entreprise en position de collaborer étroitement avec des acteurs locaux comme Unitree, AgiBot, Fourier Intelligence ou UBTech, tous engagés dans la course aux humanoïdes généralistes. Pour les intégrateurs et décideurs industriels, ce mouvement souligne l'importance croissante du transfert sim-to-real et des architectures VLA (vision-langage-action) comme verrou technologique central du secteur. Cette expansion s'inscrit dans la continuité des investissements de NVIDIA en robotique depuis 2024, autour de plateformes comme Isaac Sim, Jetson Thor et les modèles GR00T. En renforçant sa présence locale en Chine plutôt qu'en se limitant à l'export de matériel, l'entreprise cherche à ancrer sa pile logicielle dans un écosystème manufacturier en pleine effervescence, où plusieurs constructeurs déploient déjà des humanoïdes en usine.

Chine/AsieOpinion
1 source
GeneralVLA-2 : reconstruction géométrique et mémoire structurée pour la planification robotique
391arXiv cs.RO 

GeneralVLA-2 : reconstruction géométrique et mémoire structurée pour la planification robotique

Une équipe de recherche affiliée au groupe AIGeeks a publié le 17 juin 2026 sur arXiv (2506.17480) GeneralVLA-2, une version améliorée de son système généraliste vision-langage-action (VLA) pour la planification de trajectoires robotiques. L'architecture de base, GeneralVLA, convertit des instructions en langage naturel et des observations RGB-D en chemins 3D pour l'effecteur terminal d'un robot. GeneralVLA-2 apporte deux contributions distinctes: GeoFuse-MV3D, une branche de reconstruction 3D multi-vues guidée par des a priori géométriques, qui remplace la reconstruction monoculaire SAM3D sujette aux hallucinations de pose; et une refonte du KnowledgeBank en système de mémoire à long terme avec métadonnées explicites de qualité, confiance, cycle de vie et détection de conflits. Sur le benchmark GSO-30, GeoFuse-MV3D réduit la Chamfer Distance de 2,20 % et le LPIPS de 2,02 % par rapport à la baseline MV-SAM3D, tout en améliorant PSNR et SSIM de respectivement 2,36 % et 1,03 %. Le KnowledgeBank gouverné gagne 4,53 points sur Terminal-Bench SR et 3,73 points sur SWE-Bench Verified par rapport à ReasoningBank, tout en réduisant les erreurs d'assertion (AS) de 4,95 % et 5,65 %. Ces améliorations s'attaquent à deux verrous concrets du pipeline VLA industriel: la qualité des représentations 3D d'objets en manipulation, et la fiabilité de la mémoire épisodique pour la réutilisation d'expériences. La reconstruction 3D monoculaire reste un point de défaillance majeur dans les déploiements réels, car une pose hallucinée en amont se propage directement en erreur de préhension. L'approche multi-vues avec fusion géométrique ciblée (visual-hull, raffinement axial, préservation de l'apparence) adresse ce problème de façon plus contrôlée. Les gains restent cependant modestes sur les métriques reportées, et il convient de noter qu'il s'agit d'un preprint sans peer review, avec des évaluations sur benchmarks laboratoire sans validation sur robot physique dans des conditions industrielles. GeneralVLA-1 avait posé l'interface hiérarchique langage-to-trajectory comme abstraction centrale pour les systèmes généralistes; cette version 2 consolide les fondations plutôt que d'étendre le périmètre. Dans l'espace VLA, les travaux concurrents incluent Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), et OpenVLA (Berkeley), qui ciblent eux aussi le sim-to-real et la généralisation multi-tâche. La publication du code sur GitHub suggère une démarche de recherche ouverte, sans annonce de déploiement industriel ni partenariat opérationnel associé. Les prochaines étapes naturelles seraient une validation sur robot réel et des benchmarks de manipulation comparables à ceux de RoboMimic ou LIBERO.

RechercheOpinion
1 source
Flow matching guidé par le potentiel pour l'amélioration des politiques VLA
392arXiv cs.RO 

Flow matching guidé par le potentiel pour l'amélioration des politiques VLA

Des chercheurs ont publié le 5 juin 2026 sur arXiv (2606.04968) une méthode baptisée ForesightFlow, conçue pour améliorer les politiques de type vision-langage-action (VLA) sans recourir à un critique externe. Le problème de départ est concret : lorsqu'un robot déploie une politique VLA entraînée par imitation, il génère inévitablement des trajectoires de qualité variable, succès complets, récupérations partielles, erreurs rattrapables, échecs francs. L'imitation comportementale classique reproduit les erreurs, le filtrage par seuil de qualité écarte des sous-trajectoires pourtant exploitables, et le renforcement offline ajoute un critique séparé coûteux. ForesightFlow contourne ces trois écueils en augmentant chaque chunk d'actions généré d'une trajectoire de potentiel de succès apprise conjointement. Le même réseau de flow matching propose et note les actions candidates, permettant une inférence de type best-of-K sans module additionnel. Sur cinq tâches de simulation BEHAVIOR-1K et cinq tâches réelles bimanipulation, la méthode dépasse les baselines d'imitation, égale le meilleur baseline avec critique séparé en simulation, améliore le taux de succès en conditions réelles et réduit le coût d'entraînement de 38 %. L'apport industriel le plus direct est cette réduction de 38 % des ressources de calcul à performance comparable, un argument budgétaire non négligeable pour les labos qui entraînent des modèles VLA de grande taille. Plus fondamentalement, ForesightFlow montre qu'il est possible de valoriser les données de déploiement imparfaites sans jeter les mauvais épisodes ni payer le coût d'un critic offline. La clé technique est un "decoupled advantage-weighted flow matching" : les poids d'avantage exponentié s'appliquent uniquement aux vitesses d'action, tandis que les vitesses de potentiel sont entraînées uniformément, évitant ce que les auteurs appellent la "value hallucination". Un estimateur de frontière en un seul pas forward (stop-gradient) rend le calcul des avantages suffisamment léger pour être intégré dans la boucle d'entraînement. Ce travail s'inscrit dans une vague de recherche dense autour des VLA pour la manipulation robotique, où Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et OpenVLA ont établi les références récentes en termes d'architectures génératives. Le recours au flow matching, alternative à la diffusion, plus rapide à l'inférence, pour la politique robotique est une tendance émergente depuis 2024. ForesightFlow est à ce stade une contribution académique, pas un produit ou un déploiement annoncé ; aucun partenariat industriel ni timeline commerciale n'est mentionné. Les prochaines étapes naturelles seraient la validation sur des benchmarks plus larges type LIBERO ou RLBench, et l'intégration dans des pipelines VLA à plus grande échelle comme ceux entraînés sur Open-X Embodiment.

RechercheOpinion
1 source
TTT-VLA : optimisation de prompts latents à l'inférence pour les modèles VLA
393arXiv cs.RO 

TTT-VLA : optimisation de prompts latents à l'inférence pour les modèles VLA

Des chercheurs ont publié le 3 juin 2026 un article (arXiv:2606.03127) proposant TTT-VLA, un cadre d'entraînement au moment du test (test-time training, TTT) spécifiquement conçu pour les modèles Vision-Langage-Action (VLA). La méthode repose sur ce qu'ils appellent l'Optimisation de Prompt Latent (LPO) : pendant la phase d'entraînement, un vecteur de prompt latent est appris via une tâche auxiliaire de proxy qui génère un signal d'auto-supervision. Lors du déploiement, seul ce prompt latent est réoptimisé à partir des données d'interaction collectées dans l'environnement réel, sans toucher aux poids du modèle de base. Les expériences sont conduites sur SimplerEnv, un benchmark de manipulation robotique simulée, et montrent des gains de taux de succès cohérents sur des scénarios monolithiques et multi-embodiment. L'intérêt principal pour l'industrie robotique tient à la nature du problème résolu : le décalage de distribution (distribution shift) entre l'environnement d'entraînement et le site de déploiement est l'un des freins les plus documentés au passage en production des VLA. TTT-VLA propose une voie d'adaptation légère, puisque seul le prompt est modifié et non la politique elle-même. L'analyse des résultats révèle que les gains proviennent principalement de la correction d'un petit nombre de décisions critiques dans la séquence d'action, et non d'un changement global de comportement. C'est un résultat conceptuellement intéressant : il suggère que l'inadaptation d'un VLA en production est localisée, ce qui rend les approches de correction chirurgicale potentiellement plus efficaces que les fine-tunings complets. Les VLA sont devenus un axe de recherche central depuis les travaux fondateurs sur RT-2 (Google DeepMind, 2023), et des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA (Berkeley) illustrent la course actuelle. Le problème du sim-to-real et de l'adaptation au domaine reste entier pour tous ces systèmes dès qu'ils quittent les environnements contrôlés. TTT-VLA s'inscrit dans une tendance plus large qui emprunte aux LLMs la notion d'adaptation au test-time, appliquée ici à la manipulation physique. Les expériences restent pour l'instant limitées à SimplerEnv, ce qui laisse ouverte la question du transfert vers des robots réels et des environnements industriels non structurés.

UELes laboratoires de robotique européens (INRIA, CEA-List) travaillant sur les VLA pourraient exploiter cette méthode d'adaptation légère pour réduire le sim-to-real gap sans fine-tuning complet, mais aucun acteur européen n'est impliqué directement dans ces travaux.

IA physiqueOpinion
1 source
Completion at the Boundary (CaB) : commutation déployable avec contrôle par complétion sous calibration limitée
394arXiv cs.RO 

Completion at the Boundary (CaB) : commutation déployable avec contrôle par complétion sous calibration limitée

Des agents vision-langage-action (VLA) peuvent aujourd'hui exécuter des instructions en langage naturel, mais les systèmes déployés butent sur un angle mort critique : savoir quand une instruction est terminée. Des chercheurs décrivent dans l'article arXiv:2606.00145 une méthode baptisée Completion at the Boundary (CaB), conçue pour résoudre ce problème de détection de complétion dans un régime dit "à faible calibration", c'est-à-dire sans réapprentissage à l'inférence et avec une seule règle de commutation calibrée une fois sur le jeu de développement, puis réutilisée telle quelle en test. Le problème est particulièrement aigu sur les instructions composites du type "fais A, puis B" : un passage de relais mal chronométré propage une erreur en cascade sur toutes les étapes suivantes. CaB modélise la complétion comme un objet local à l'événement, sous forme de Boundary-Phase Tokens (trois états : Before, Hit, After), préservant ainsi une preuve bilatérale autour de la frontière de transition plutôt que de la comprimer en un scalaire unique. Le module CaB-When exploite cet objet pour décider quand commuter, tandis que CaB-How le réutilise pour conditionner la génération d'actions et stabiliser le comportement pendant le handoff. Les auteurs évaluent CaB sur un benchmark VLA en vue subjective dans Minecraft, via un protocole E1/E2 tenant compte des interventions, et montrent une amélioration de l'exécution composite et de la qualité des transitions à capacité égale. L'enjeu industriel est réel : la majorité des benchmarks VLA mesurent l'exécution d'une tâche atomique, mais les déploiements réels enchaînent des dizaines d'étapes. Sans mécanisme de complétion robuste, un agent peut dépasser sa cible, réexécuter une action terminée, ou passer au mauvais moment sur l'instruction suivante. Le choix d'un régime à faible calibration est significatif : il contraint la méthode à être directement déployable sans fine-tuning par site, ce qui est exactement ce que demande un intégrateur industriel. Le point faible identifié dans l'approche scalaire classique, la fragilité face aux "polarity shifts" entre tâches hétérogènes, est un problème concret que les praticiens connaissent bien mais rarement formalisent. À noter que les expériences restent sur Minecraft et non sur robot physique : le gap sim-to-real n'est pas adressé ici. CaB s'inscrit dans un courant de recherche dense autour des VLA multi-étapes, porté notamment par pi-0 de Physical Intelligence (qui gère déjà des workflows longue durée), GR00T N2 de NVIDIA, et les travaux d'OpenVLA. Le problème de la détection de fin de tâche est connexe aux travaux sur la segmentation temporelle en imitation learning (skill boundaries, option termination dans les HRL). Minecraft est un benchmark établi pour les agents langage-action (cf. STEVE-1, Voyager), ce qui facilite les comparaisons mais éloigne de la manipulation physique. La suite logique serait une validation sur des manipulateurs réels avec des instructions composites de type pick-and-place, terrain où des acteurs comme Enchanted Tools ou Pollen Robotics en Europe pourraient trouver un intérêt direct à intégrer ce type de module de complétion dans leurs pipelines VLA.

UEDes acteurs européens comme Enchanted Tools et Pollen Robotics pourraient à terme intégrer un module de complétion de type CaB dans leurs pipelines VLA, mais le gap sim-to-real reste entier, les expériences se limitant à Minecraft sans validation sur manipulateur physique.

RechercheOpinion
1 source
Feat2Go : estimation de valeur par ancrage visuel pour l'apprentissage par renforcement incarné
395arXiv cs.RO 

Feat2Go : estimation de valeur par ancrage visuel pour l'apprentissage par renforcement incarné

Feat2Go est un framework de recherche présenté sur arXiv (2605.30795, mai 2026) qui s'attaque à un verrou persistant dans l'entraînement des modèles vision-langage-action (VLA) : générer automatiquement des signaux de récompense denses pour l'apprentissage par renforcement (RL) sur des tâches de manipulation longue portée. Le système décompose automatiquement un épisode robotique en étapes sémantiques via un clustering orienté tendances, puis mesure la progression par similarité au niveau patch entre l'état courant et des sous-objectifs visuels extraits d'un world model visuel pré-entraîné. Un modèle de valeur incarné prédit ensuite ce progrès à partir de l'observation et de l'instruction textuelle, et le signal est utilisé pour reformuler les récompenses terminales lors de l'optimisation de politique, sans ingénierie manuelle des récompenses. Les résultats sur deux benchmarks de référence sont nets : sur ManiSkill3, OpenVLA-OFT passe d'un taux de succès hors distribution de 17,5 % à 82,9 % tout en maintenant 96,9 % en distribution ; sur RoboTwin 2.0, Feat2Go atteint 88,8 % de succès moyen en domain randomization, dépassant les méthodes RL antérieures. Le framework est compatible avec PPO et GRPO, et couvre manipulation bras unique et bras bimanuels. L'intérêt de cette contribution est qu'elle attaque un problème structurel du RL robotique : soit on conçoit à la main des fonctions de récompense tâche par tâche, soit on reste captif de lourds datasets d'imitation. Feat2Go contourne ces deux contraintes en extrayant automatiquement un signal de progrès granulaire depuis un world model, ce qui le rend théoriquement compatible avec des architectures VLA existantes sans modification majeure du pipeline. Un saut de 17,5 % à 82,9 % hors distribution représente un écart brut significatif, mais il faut souligner que ces chiffres restent obtenus en simulation : la chaîne sim-to-real n'est pas validée sur hardware réel, une limite habituelle mais non négligeable. Cette approche s'inscrit dans une tendance large où le RL sert de couche de fine-tuning au-dessus de fondations VLA pré-entraînées, après des travaux récents comme π0 de Physical Intelligence, GROOT N2 de NVIDIA, ou les architectures de 1X et Figure AI. La question du signal de récompense était le chaînon manquant dans ce paradigme ; Feat2Go propose une réponse agnostique au modèle. Aucun partenariat industriel ni déploiement terrain n'est annoncé, la contribution restant académique à ce stade.

RechercheOpinion
1 source
EvoScene-VLA : croyances de scène évolutives dans le décodeur d'action pour un contrôle robot par blocs
396arXiv cs.RO 

EvoScene-VLA : croyances de scène évolutives dans le décodeur d'action pour un contrôle robot par blocs

Une équipe de chercheurs a déposé sur arXiv (réf. 2605.21862) EvoScene-VLA, une nouvelle architecture de contrôle robotique pour les politiques vision-langage-action (VLA) en mode "chunked", où le robot planifie plusieurs gestes à la fois plutôt qu'une seule commande par observation. Sur 31 tâches de manipulation du benchmark RoboTwin, le système atteint 89,1 % de réussite en évaluation fixe (contre 87,2 % pour les baselines) et 88,5 % en évaluation aléatoire (contre 86,1 %). Des tests sur le robot réel Galaxea R1-Lite confirment que l'architecture surpasse l'ensemble des approches comparées. Le mécanisme central est un "préfixe de scène" récurrent : un vecteur compact et géométriquement informé, mis à jour après chaque chunk d'actions, qui transporte l'état de la scène d'un appel au modèle au suivant. L'apport technique comble un angle mort structurel des VLA chunkées actuelles : celles-ci reconditionent chaque séquence d'actions uniquement sur l'observation visuelle instantanée, sans tenir compte des modifications de géométrie induites par les gestes précédents, contacts, occultations ou déplacements d'objets. Les approches spatiales (amélioration de la géométrie par frame) et temporelles (agrégation de frames passées) n'adressent pas ce problème entre les appels au VLM. EvoScene-VLA maintient un prior de scène persistant et mis à jour après chaque action : le modèle fusionne l'observation fraîche avec ce prior, produit le chunk suivant, et génère une mise à jour compacte de la scène. Pour les intégrateurs travaillant sur la manipulation dextre ou les séquences longues, c'est une démonstration que l'architecture du décodeur peut être déterminante, indépendamment du volume de données d'entraînement. Ce preprint s'inscrit dans la vague de recherche post-π0 (Physical Intelligence) et GR00T N2 (NVIDIA), où les VLA passent du stade académique à celui de politiques testées sur hardware réel. Le Galaxea R1-Lite est une plateforme de recherche de la startup chinoise Galaxea Robotics, positionnée comme alternative ouverte aux robots de labo propriétaires. La publication ne mentionne ni partenaire industriel ni calendrier de déploiement commercial : il s'agit d'une contribution académique, pas d'une annonce produit. Les gains restent modestes en valeur absolue, autour de deux points sur RoboTwin, et les deux modules d'entraînement auxiliaires (Scene Predictor et Geometric Anchor) sont abandonnés à l'inférence, signe d'une conception orientée efficacité au déploiement. La prochaine étape naturelle serait une évaluation sur des tâches out-of-distribution ou en environnement industriel non structuré.

IA physiqueOpinion
1 source
IA incarnée en chimiste quantique : Qumus automatise la recherche sur les matériaux quantiques
397arXiv cs.RO 

IA incarnée en chimiste quantique : Qumus automatise la recherche sur les matériaux quantiques

Qumus est un système d'intelligence artificielle incarnée capable de conduire de façon autonome des expériences en science des matériaux quantiques. Présenté dans un preprint arXiv (2605.18407) en mai 2026, il opère physiquement dans un mini-laboratoire robotisé et revendique le statut de premier agent IA couvrant l'intégralité d'un cycle expérimental scientifique : génération d'hypothèses, planification de protocoles, exécution physique multi-étapes, analyse des résultats et rédaction de rapports. Le système multi-agents et multimodal a accompli deux premières annoncées : la création autonome de graphène et la fabrication de nanodispositifs complexes, dont des transistors à effet de champ (FET) atomiquement minces obtenus par empilement van der Waals (vdW). Qumus intègre une correction d'erreurs autonome et une boucle fermée d'expérimentation. Ces résultats adressent un verrou identifié de longue date : combiner raisonnement de haut niveau, traitement multimodal et exécution physique dans un laboratoire réel. La fabrication de matériaux 2D et de structures vdW exige une précision nanométrique et une adaptation constante aux variations expérimentales, deux points où les pipelines d'automatisation classiques achoppent. Si les performances annoncées se confirment, ce serait une démonstration que les modèles vision-langage-action (VLA) peuvent opérer dans des domaines scientifiques exigeants, au-delà des tâches de manipulation générique. À noter cependant : le preprint n'a pas encore été soumis à une revue par les pairs, ce qui invite à la prudence avant d'extrapoler sur la robustesse et la reproductibilité des résultats présentés. Le graphène, découvert par Novoselov et Geim (Nobel 2010), reste un matériau pivot pour l'électronique de nouvelle génération, mais sa fabrication en dispositifs vdW empilés est un goulot d'étranglement reconnu dans les laboratoires spécialisés. Plusieurs initiatives de "self-driving labs" coexistent dans ce domaine, notamment le système Coscientist publié dans Nature en 2023 et les travaux du groupe Aspuru-Guzik à Toronto. Qumus se distingue par son intégration physique complète et son focus sur les matériaux quantiques 2D plutôt que sur la chimie moléculaire. Les prochaines étapes attendues incluent une validation externe des résultats et une extension potentielle à d'autres familles de matériaux bidimensionnels.

IA physiqueOpinion
1 source
EgoKit : vers une collecte de données égocentriques unifiée et économique avec des dispositifs hétérogènes
398arXiv cs.RO 

EgoKit : vers une collecte de données égocentriques unifiée et économique avec des dispositifs hétérogènes

Une équipe de chercheurs a publié en mai 2026 sur arXiv (2605.16797) EgoKit, un kit de collecte de données égocentrées conçu pour fonctionner de manière unifiée sur six types d'appareils hétérogènes : smartphones Android, iPhone, iPad, lunettes connectées et casques de réalité étendue (XR). L'outil expose un workflow d'enregistrement identique sur toutes ces plateformes et produit des vidéos stockées localement dans un format de log uniforme. Sur les casques XR, il enregistre en plus la pose de la tête et un suivi de la main à 26 degrés de liberté (DOF), conforme au standard OpenXR, synchronisé avec les flux vidéo. Des accessoires compagnons, deux caméras de poignet avec supports, un bandeau crânien et un hub USB-C, permettent d'ajouter une vue « wrist-view » à n'importe quel appareil supporté, sans fabrication de matériel sur mesure. La collecte de données égocentrées à grande échelle est devenue un verrou central dans l'apprentissage par imitation et l'entraînement de modèles vision-langage-action (VLA), qui alimentent aujourd'hui les robots humanoïdes et les systèmes d'IA incarnée. Jusqu'ici, chaque plateforme matérielle exposait son propre SDK, ses propres contraintes d'accès à la caméra brute et ses propres limites sur les périphériques USB, forçant les équipes à s'enfermer dans un seul écosystème propriétaire ou à développer des rigs ad hoc non transférables. EgoKit propose une couche d'abstraction commune, ce qui devrait permettre de constituer des datasets plus larges, plus diversifiés et moins biaisés par les contraintes matérielles d'une seule plateforme. La démarche s'inscrit dans un mouvement plus large porté par des projets comme Ego4D (Meta/CMU) ou EPIC-Kitchens, qui ont démontré la valeur des données égocentrées pour la compréhension d'activités et la manipulation. L'enjeu du sim-to-real gap pousse les labos à privilégier les données réelles capturées en conditions naturelles, et EgoKit vise à réduire le coût de cette collecte. Le projet, disponible à l'adresse egokit.chuange.org, en est pour l'instant au stade de publication académique ; aucun partenariat industriel ni déploiement à grande échelle n'est annoncé. La prochaine étape logique serait une validation sur des pipelines d'imitation learning existants pour quantifier l'impact concret de la diversité multi-dispositifs sur la qualité des politiques apprises.

RechercheOpinion
1 source
Des données de caméras corporelles sur des travailleurs humains servent à entraîner des cerveaux robotiques dans un essai coréen
399Interesting Engineering 

Des données de caméras corporelles sur des travailleurs humains servent à entraîner des cerveaux robotiques dans un essai coréen

La startup sud-coréenne RLWRLD a annoncé un partenariat avec le Lotte Hotel Seoul, le groupe logistique CJ Logistics et des enseignes Lawson pour constituer une base de données de gestes professionnels humains destinée à l'entraînement de robots. Les employés de ces sites portent des caméras-corps pendant l'exécution de tâches courantes mais techniquement exigeantes : pliage de serviettes de banquet et mise en place de tables à l'hôtel, opérations d'entrepôt chez CJ Logistics, organisation de rayonnages en commerce de détail. Ces flux vidéo, enrichis de données de mouvement et de force, alimentent le modèle fondationnel RLDX-1, présenté en 2025, qui cible la manipulation robotique haute précision avec des mains à haut degré de liberté (DoF). L'architecture centrale, baptisée Multi-Stream Action Transformer (MSAT), traite en flux parallèles les signaux visuels, de mouvement, de mémoire et de couple (torque), qu'elle fusionne ensuite pour générer les actions motrices. Le système intègre également un modèle vision-langage-action (VLA) spécialisé robotique, des modules de physique et de mouvement, et une interface cognitive qui compresse la perception en tokens mémoire pour le suivi de tâches longues. RLWRLD affirme que RLDX-1 dépasse les VLA leaders sur des benchmarks spatiaux, temporels et en contact riche, en simulation comme en conditions réelles, sans chiffres de latence ni taux de succès indépendants publiés à ce stade, ce qui invite à la prudence avant de valider ces affirmations. Ce projet illustre un changement de paradigme dans la collecte de données robotiques : au lieu de téléopération ou de simulation synthétique seule, RLWRLD mise sur la capture in situ d'expertise métier réelle, là où la dextérité humaine est déjà optimisée par des années de pratique. Pour les intégrateurs et les équipementiers industriels, cela signale que le goulot d'étranglement du sim-to-real gap pourrait être partiellement contourné par du data collection en environnement de production réel. La capacité de RLDX-1 à se généraliser sur des configurations single-arm, dual-arm et humanoïde depuis un modèle unique réduit potentiellement les coûts de fine-tuning par plateforme. La gestion de la mémoire à long horizon via tokens de cognition est une réponse directe à la limite connue des VLA actuels sur les tâches séquentielles complexes, problème documenté chez des équipes comme Physical Intelligence (Pi-0) ou chez l'équipe GR00T de NVIDIA. RLWRLD s'inscrit dans une vague coréenne de robotique physique soutenue par des programmes gouvernementaux de numérisation des savoir-faire pour l'IA industrielle. Sur le plan compétitif, la startup se positionne face à Physical Intelligence (Pi-0, États-Unis), à l'équipe GR00T N2 de NVIDIA, à Figure (Figure 03) et à 1X Technologies dans la course aux modèles fondationnels pour la manipulation. La Corée du Sud mobilise sa base manufacturière dense, automobile, électronique, logistique, comme terrain de collecte de données, ce que ni les laboratoires américains ni les acteurs européens comme Wandercraft ou Enchanted Tools ne répliquent à cette échelle sectorielle. Les prochaines étapes annoncées incluent l'extension des captations à d'autres secteurs et le déploiement du modèle sur des plateformes humanoïdes commerciales, sans calendrier précis communiqué.

UELa Corée du Sud construit à grande échelle un avantage compétitif en données d'expertise industrielle réelle que les acteurs européens ne répliquent pas encore, creusant l'écart sur les modèles fondationnels de manipulation robotique.

Chine/AsieOpinion
1 source
Tutor Intelligence crée une Data Factory pour entraîner ses robots par IA dans le monde réel
400Robotics Business Review 

Tutor Intelligence crée une Data Factory pour entraîner ses robots par IA dans le monde réel

Tutor Intelligence a inauguré DF1, sa "Data Factory" installée dans une ancienne manufacture de Watertown, Massachusetts : un parc de 100 robots semi-humanoïdes bimanaux baptisés Sonny, destinés à collecter des données réelles pour entraîner son modèle vision-langage-action (VLA) Ti0. Fondée en 2021 par Josh Gruenstein (CEO) et Alon Kosowsky-Sachs (CTO) issus du MIT-CSAIL, la startup revendique avoir constitué la plus grande infrastructure de ce type aux États-Unis. Elle a levé 34 millions de dollars en Série A en décembre 2025, puis tenu une journée portes ouvertes en avril 2026. Entre 45 et 50 téléopérateurs distants au Mexique et aux Philippines pilotent les robots par téleopération proprioceptive pour leur enseigner des tâches de picking, kitting et préparation de commandes e-commerce. En évaluant simultanément le même comportement sur 100 unités, la détection d'anomalies s'effectue 100 fois plus vite qu'en opération solo : un cas limite normalement visible après 8 heures d'opération sur un robot unique devient détectable en 5 minutes de fonctionnement de la flotte. Une méthode de prétraitement baptisée "velocity normalization" standardise les profils de démonstration entre téléopérateurs pour homogénéiser le corpus d'entraînement. L'enjeu central est de s'affranchir de la dépendance à la simulation, un pari sur la donnée réelle là où la majorité des acteurs humanoïdes s'appuient encore sur des environnements synthétiques pour réduire leurs coûts de collecte. La thèse de Gruenstein est directe : sans équivalent robotique de Wikipédia, le transfert d'intelligence à l'échelle industrielle passe nécessairement par des humains enseignant des machines en conditions réelles. DF1 est conçue comme le premier maillon d'un cycle vertueux, déploiements commerciaux, données à l'échelle, amélioration continue de Ti0. Pour les intégrateurs et décideurs industriels, cette approche ouvre une trajectoire vers un modèle généraliste capable d'absorber de nouvelles tâches sans reprogrammation lourde, précisément le verrou économique du marché actuel. Les performances annoncées restent toutefois auto-déclarées, sans validation indépendante. Tutor Intelligence a émergé du MIT-CSAIL en 2021, avant l'essor commercial des VLA. La startup est membre de la première promotion du Physical AI Fellowship, programme co-animé par AWS, NVIDIA et MassRobotics, qui lui fournit ressources de calcul cloud et expertise technique. Dans un paysage concurrentiel où Physical Intelligence (pi0), Figure, Apptronik et Boston Dynamics développent chacun leurs propres stacks d'entraînement, Tutor se différencie en contrôlant à la fois le hardware d'entraînement (Sonny), la plateforme de téleopération et le modèle VLA, sans dépendre d'une simulation propriétaire. L'objectif déclaré est de lancer le premier déploiement commercial humanoïde généraliste, en alimentant la boucle de données depuis la production réelle pour piloter les itérations suivantes. Les conditions commerciales, les performances comparatives de Ti0 et les éventuels clients pilotes n'ont pas encore été communiqués.

IA physiqueOpinion
1 source