Aller au contenu principal

Actualités robotique — page 3

7 308 articles au fil, du plus récent au plus ancien.

Vendredi vidéo : la mise hors service des robots prend un tour amusant
101IEEE Spectrum Robotics 

Vendredi vidéo : la mise hors service des robots prend un tour amusant

Dans sa sélection hebdomadaire de vidéos, IEEE Spectrum commence par une moquerie de la dernière opération de communication de Figure. Devanthro vend des balles en plastique à 1 000 dollars pièce, livrables avant Noël. Côté recherche, Hybrid Robotics présente Workhorse, un système qui apprend la manipulation du corps entier avec contacts, à partir de vidéos de démonstrations humaines sans robot, en s'appuyant sur une vision RGB égocentrique et la proprioception. Sur un Unitree G1 réel, le robot trie des boîtes avec les mains et un coup de pied, rattrape une boîte lancée, puis renverse une valise et grimpe dessus. Le MIT dévoile SANDO, un système de navigation qui planifie et ajuste en temps réel une trajectoire sans collision parmi des obstacles mobiles, avec des capteurs et un calcul embarqués et des garanties mathématiques de sécurité. À NC State, un robot nageur souple inspiré des comatules (étoiles de mer à plumes) réalise trois modes de nage (verticale type méduse, direction type poisson, réorientation 3D type rotor) avec seulement deux entrées pneumatiques. L'EPFL montre un moteur linéaire en forme de fil. KUKA teste un lavage automobile où des bras robotisés modélisent le véhicule avant de le nettoyer. Sont aussi évoqués Pollen Robotics, RAI Institute, DEEP Robotics, Generalist, General Robotics Lab et Sanctuary AI. L'intérêt tient moins à une annonce isolée qu'à ce que l'ensemble révèle de la maturité du secteur. Workhorse illustre une piste de plus en plus suivie : apprendre à partir de vidéos humaines plutôt que de téléopération coûteuse, ce qui réduirait le coût de collecte de données. Les tâches montrées sont toutefois des démonstrations sur plateforme de recherche, sans taux de réussite publié dans ce résumé. Le cas KUKA est instructif pour les intégrateurs : l'article rapporte que les avis récents sur ce site suggèrent que les robots ne sont pas encore au niveau, ce qui rappelle l'écart entre un concept déployé auprès du public et un service fiable. De même, le commentaire sur Sanctuary AI relève un montage où le clip central démarre alors que la main tient déjà la bande à peler. C'est un rappel utile pour juger des vidéos de préhension : la phase d'accroche est souvent la plus difficile et la moins montrée. Le contexte est celui d'une course humanoïde où la communication spectaculaire de Figure suscite désormais de l'ironie dans la communauté, comme le montre l'initiative de Devanthro. La France est représentée par Pollen Robotics, qui diffuse une vidéo légère de son robot. Le calendrier à venir est chargé : CoRL 2026 se tient du 9 au 12 novembre à Austin, et Humanoids 2026 du 6 au 9 décembre à Santa Clara, deux rendez-vous où seront confrontés résultats académiques et démonstrations industrielles. Les mini-keynotes d'ICRA 2026 sur la manipulation, les humanoïdes et la conception incarnée sont par ailleurs disponibles en ligne pour qui veut suivre les orientations de la recherche.

RecherchePaper
1 source
Groceryshop 2026 montre que les robots de commerce de détail sont prêts pour le passage à l'échelle et l'IA
102Robotics Business Review 

Groceryshop 2026 montre que les robots de commerce de détail sont prêts pour le passage à l'échelle et l'IA

Lors de Groceryshop 2026, salon consacré à la distribution alimentaire, Simbe Robotics a annoncé avoir terminé le déploiement de 3 000 robots Tally dans le monde, chez plusieurs enseignes et dans plusieurs pays. Un déploiement en cours chez un distributeur de premier rang doit faire grimper rapidement ce chiffre. Simbe a aussi étoffé la couche logicielle autour de ses relevés de rayons, avec des tableaux de bord analytiques et des visites virtuelles de magasin. Badger Technologies, adossé à Jabil pour l'ingénierie et la fabrication, se repositionne sous la direction de son nouveau PDG John Gehre. L'entreprise se présente désormais comme une société d'intelligence retail plutôt que comme un fabricant de robots. Elle explore l'exploitation des données collectées en continu pour estimer le volume de produit restant en rayon, anticiper le réassort et repérer le moment de fraîcheur optimale. ShelfOptix, qui s'appuie sur BrainOS pour la vision par ordinateur, vise les petits formats (pharmacie, proximité, dollar stores, supérettes régionales) avec un robot pliable qu'un employé accompagne d'un magasin à l'autre. Blue Collar Robotics, nouvel entrant, a été finaliste du concours de startups. Aucun prix, taux de retour sur investissement ou chiffre de disponibilité n'a été communiqué. L'enjeu est le passage de la preuve de concept à l'échelle. Avec 3 000 unités en service, les craintes qui freinaient les premiers pilotes (peur des suppressions de postes, des collisions avec les clients, de la gêne en allée) n'apparaissent plus comme des obstacles. Le goulot d'étranglement se déplace vers l'usage des données. Les robots produisent des informations de rayon quasi temps réel, mais les systèmes de merchandising, de réapprovisionnement et de pricing en place les absorbent encore peu. Les fournisseurs de robots montent donc dans la chaîne de valeur, au risque de chevaucher des éditeurs établis. Le modèle itinérant de ShelfOptix est aussi un signal pour les intégrateurs : il rend la robotique rentable là où un robot dédié par magasin ne l'est pas. Ce retour d'expérience vient toutefois d'un observateur du secteur sur un salon, et non de mesures indépendantes. Ce basculement s'inscrit dans plus de dix ans de robots d'inventaire en rayon, une catégorie passée de l'expérimentation aux déploiements récurrents. Simbe, Badger (via Jabil) et ShelfOptix, qui s'appuie sur la plateforme de Brain Corp, y occupent des positions distinctes : l'échelle logicielle pour Simbe, la plateforme multifonction et la capacité industrielle pour Badger, l'économie des petits formats pour ShelfOptix. Les questions ouvertes sont de savoir jusqu'où Simbe peut développer seul ses outils d'analyse, à quelle vitesse les solutions établies intégreront ces flux de données, et si Badger saura transformer ses atouts industriels en vitesse d'exécution. Les prochaines étapes à surveiller sont l'extension du déploiement Tier 1 de Simbe et la capacité de Badger à livrer ses estimations de stock et de fraîcheur en conditions réelles.

IndustrielActu
1 source
Robot Talk, épisode 165 : les robots derrière la recherche, avec Kushant Patel
103Robohub 

Robot Talk, épisode 165 : les robots derrière la recherche, avec Kushant Patel

L'épisode 165 du podcast Robot Talk met face à face Claire et Kushant Patel, ingénieur logiciel au Brookhaven National Laboratory, laboratoire américain du Department of Energy. L'échange porte sur les robots qui travaillent dans des installations scientifiques, notamment les accélérateurs de particules. Kushant Patel développe des logiciels qui permettent aux robots et aux instruments de percevoir, cartographier et traverser l'espace physique. Chez Brookhaven, il conçoit des systèmes de contrôle pour des lignes de lumière de synchrotron avancées. L'épisode est un entretien, pas une annonce produit : aucun chiffre de payload, de degrés de liberté ou de volume de déploiement n'est communiqué, et aucun robot commercial n'est nommé. L'intérêt tient à ce que ce profil dit de la robotique en milieu scientifique. Les synchrotrons et accélérateurs sont des environnements où l'instrument lui-même doit être piloté avec précision, et où la frontière entre robot mobile, bras et appareil de mesure se brouille. Le parcours de l'intervenant illustre un transfert de compétences, de la perception et de la cartographie vers le contrôle d'équipements de recherche. Pour les intégrateurs, c'est un rappel que des niches très exigeantes, peu médiatisées, absorbent une part du savoir-faire en navigation et en autonomie. Kushant Patel a obtenu un master en ingénierie mécatronique à l'University of Waterloo. Il a ensuite passé deux ans à l'University of California, Berkeley, à apprendre à des robots quadrupèdes à cartographier et inspecter des matières nucléaires, puis un an à l'University of California, Davis, sur des interfaces cerveau-machine en boucle fermée. Aucun calendrier ni pilote n'est évoqué dans la présentation de l'épisode, et le détail de ses travaux à Brookhaven reste à découvrir à l'écoute.

RechercheActu
1 source
Des robots humanoïdes chinois vont reprendre des postes de logistique dans les usines Volkswagen
104Interesting Engineering 

Des robots humanoïdes chinois vont reprendre des postes de logistique dans les usines Volkswagen

UBTECH et FAW-Volkswagen ont signé le 8 octobre un accord de coopération stratégique pour développer et tester des robots humanoïdes d'intelligence incarnée dédiés à la logistique d'usine, avec la construction de sites de démonstration destinés à évaluer ces solutions en conditions de production réelle. L'accord prolonge un partenariat engagé en juillet 2024, lorsque FAW-Volkswagen avait ouvert des lignes de production de son usine de Qingdao au Walker S industriel d'UBTECH, testé sur le serrage de boulons, la pose de composants et la manipulation de pièces. Depuis, un Walker S Lite a été déployé sur ce site pour des essais d'inspection qualité des véhicules, connecté au système de contrôle d'automatisation de l'usine. Le constructeur exploite des sites à Changchun, Chengdu, Foshan, Qingdao et Tianjin, sous les marques Volkswagen, Audi et Jetta. Le texte reste toutefois muet sur le modèle de robot retenu, les tâches logistiques précises, le nombre d'unités et le calendrier d'un déploiement courant : il s'agit à ce stade d'un accord de développement et de test, pas d'un déploiement. Pour les intégrateurs et les directeurs d'exploitation, le signal tient moins à l'annonce elle-même qu'au déplacement du périmètre. Passer de l'inspection et de l'assemblage à l'intralogistique (déplacer composants et matériaux dans l'usine) cible l'une des tâches les plus répétitives de la fabrication automobile, et celle où un humanoïde doit prouver qu'il apporte quelque chose que les AMR et convoyeurs fixes ne font pas déjà. L'argument avancé est la polyvalence : une même plateforme physique pourrait absorber plusieurs postes lorsque les configurations de production changent souvent, face à la demande de véhicules personnalisés. C'est une hypothèse, pas un résultat mesuré : aucun taux de réussite, temps de cycle, charge utile ou coût par tâche n'est publié, et rien ne permet encore de juger si l'écart entre démonstration et production en série est comblé. Le fait qu'un constructeur de cette taille formalise le sujet par un accord stratégique reste néanmoins un indicateur d'intérêt industriel concret, en Chine du moins. Du côté d'UBTECH, l'entreprise articule son offre autour de quatre briques : un « cerveau » incarné, un « cervelet » humanoïde pour le contrôle moteur, du matériel haute performance et une intelligence en essaim pour coordonner plusieurs robots. Sa pile logicielle combine un modèle de fondation, un modèle du monde et un modèle d'action, censés permettre au robot d'interpréter son environnement, d'anticiper ses évolutions et de choisir ses actions, sans que des performances indépendantes aient été communiquées. Côté production, l'usine « super intelligente » de Liuzhou (Guangxi), ouverte le 12 septembre sur 14 000 m², fabrique les séries Walker S et Cruzr et peut sortir un robot toutes les 10 minutes selon le gouvernement régional, un chiffre de capacité théorique et non de volumes livrés. UBTECH évolue dans un peloton chinois dense, face à Unitree, AgiBot ou UBTECH-like acteurs soutenus par des constructeurs, tandis qu'en Occident Figure, Agility ou Tesla visent aussi l'automobile. La suite dépendra de la définition des cas d'usage logistiques et du lancement des sites de démonstration.

Chine/AsieOpinion
1 source
RobotPlusPlus étend l'automatisation de la maintenance industrielle avec les robots HighMate
105Robotics & Automation News 

RobotPlusPlus étend l'automatisation de la maintenance industrielle avec les robots HighMate

RobotPlusPlus, un développeur de robots de travail en hauteur issu du monde de l'ingénierie, a élargi sa gamme HighMate à l'entretien industriel, avec des modèles de nettoyage et de lutte contre la corrosion. Le fer de lance est le HighMate AP-F-CO, un robot de revêtement associé à un système de récupération des composés organiques volatils (COV). L'ensemble a été présenté au salon SMM 2026 à Hambourg. L'entreprise affirme qu'il réduit l'exposition des opérateurs aux tâches dangereuses en hauteur et améliore l'efficacité du nettoyage et du traitement de surface. Le communiqué ne donne ni charge utile, ni nombre de degrés de liberté, ni temps de cycle, ni prix, ni client nommé. L'intérêt tient à l'association de la peinture robotisée et de la capture des COV sur une même plateforme. Pour les chantiers navals, les opérateurs de structures métalliques et les intégrateurs de maintenance, le travail en hauteur reste l'une des tâches les plus risquées et les plus difficiles à recruter. La récupération des solvants répond aussi à des contraintes environnementales croissantes, en particulier en Europe. Faute de chiffres de productivité, de cadences mesurées ou de retours de sites réels, les gains d'efficacité restent toutefois des affirmations constructeur. Il s'agit d'une présentation de salon, pas d'un déploiement documenté. Ce positionnement s'inscrit dans un segment de robots spécialisés, bien éloigné de la course aux humanoïdes généralistes. Il vise des environnements structurés où la valeur est mesurable en sécurité et en heures de travail évitées. Les prochaines étapes à surveiller sont l'annonce de pilotes industriels, la publication de fiches techniques et la tarification, qui permettront de juger si la gamme dépasse le stade de la démonstration.

IndustrielActu
1 source
KingKong Technology publie en open source Jumper, un robot crabe à 22 degrés de liberté (DOF) qui saute plus de 400 mm
106Pandaily 

KingKong Technology publie en open source Jumper, un robot crabe à 22 degrés de liberté (DOF) qui saute plus de 400 mm

KingKong Technology, société pékinoise surtout connue pour ses encodeurs et servomoteurs de robots, a publié en open source la pile logicielle de Jumper, un petit robot hexapode de type crabe qu'elle a conçu elle-même. La publication couvre le modèle du robot, les scènes de simulation, l'entraînement par apprentissage par renforcement, le contrôle moteur et les outils de déploiement, ce qui permet de réentraîner les mouvements montrés en démonstration : marche, danse et saut. Jumper compte 22 degrés de liberté répartis sur six pattes, mesure environ 400 x 400 x 200 mm et pèse 1,8 kg. Le constructeur annonce une hauteur de saut de 400 mm ou plus, une vitesse maximale d'au moins 0,5 m/s, une charge de préhension de 1 kg et environ deux heures d'autonomie. Le calcul embarqué repose sur un processeur Rockchip RK3576 doté d'un NPU de 6 TOPS. Chacune des 22 articulations utilise un servo tactile maison à deux encodeurs, l'un côté moteur, l'autre côté articulation après réduction. Le dépôt fournit le modèle MuJoCo et des environnements d'entraînement bâtis sur MuJoCo, MuJoCo Warp, mjlab et rsl_rl, de sorte que mêmes tâches, récompenses et code PPO tournent sur des moteurs physiques GPU ou CPU. Les compétences livrées incluent marche, changements de posture, gestes, danse, saut, préhension et plusieurs allures d'hexapode. Les politiques entraînées s'exportent en ONNX, se convertissent en RKNN pour la puce embarquée, puis s'empaquettent avec le contrôleur et la machine à états dans un bundle de mouvement de type application. L'intérêt tient moins au robot lui-même qu'à la démarche : un fabricant de composants montre ce que ses actionneurs peuvent faire dans une chaîne complète, de la simulation au déploiement, avec une chaîne d'outils standard (MuJoCo, PPO) que n'importe quel laboratoire sait déjà utiliser. Pour les intégrateurs et les équipes de recherche, c'est une base peu coûteuse pour tester du transfert sim-to-real sur une morphologie à nombreux degrés de liberté. L'ouverture reste toutefois partielle, et c'est le point à retenir. Les fichiers CAO mécaniques, la nomenclature de production, les circuits imprimés, les schémas électriques et les données de fabrication des servos ne sont pas publics : impossible de reconstruire un robot identique. Surtout, la documentation reconnaît que l'inférence RKNN sur la vraie carte n'a pas encore été validée et que la boucle de contrôle à 1 kHz ne pilote pas encore le bus moteur physique. Les performances annoncées relèvent donc, à ce stade, de démonstrations et de la simulation, pas d'un produit éprouvé de bout en bout. L'incitation à passer par un assistant de codage IA pour décrire en langage naturel de nouveaux mouvements ou scènes ajoute une couche d'accessibilité, sans garantie de robustesse. Pour KingKong Technology, fournisseur de composants pour d'autres constructeurs, Jumper constitue une première incursion dans la définition d'un corps de robot, de son logiciel et de ses compétences, un positionnement qui rappelle la stratégie de nombreux équipementiers chinois cherchant à capter plus de valeur en aval. L'entreprise lance un défi ouvert de mouvements pour les développeurs et avance des usages comme les tâches domestiques, l'inspection de canalisations, le tri et l'agriculture, dont la demande réelle reste à démontrer. La suite dépendra de la validation sur matériel des deux briques manquantes, l'inférence RKNN et le pilotage du bus moteur, et de la capacité de la communauté à produire des compétences réutilisables sans accès aux plans mécaniques.

Chine/AsieActu
1 source
Les robots qui font passer les entrepôts à la vitesse supérieure
107TechNode 

Les robots qui font passer les entrepôts à la vitesse supérieure

Hai Robotics, entreprise de Shenzhen fondée en 2016, a déposé le 13 septembre une demande d'introduction en bourse actualisée à Hong Kong, avec Goldman Sachs et CITIC Securities comme sponsors conjoints. Elle fabrique des robots qui prélèvent des bacs ou des cartons individuels dans des racks d'entrepôt et les amènent à des postes de préparation. Ses machines récentes montent elles-mêmes le long des racks, ce qui permet de stocker plus haut sans envoyer d'opérateurs chercher les produits. Son chiffre d'affaires a atteint 2,02 milliards de RMB en 2025, et les ventes hors de Chine continentale ont représenté un peu plus de la moitié du total au premier semestre 2026. Selon une étude commandée pour le dossier, Hai était en 2025 le premier fournisseur mondial de solutions de robots de manutention de caisses autonomes (ACR), en revenus comme en volumes expédiés. Ce classement est celui d'un segment précis de l'automatisation logistique, établi par une étude commandée par l'entreprise elle-même. L'intérêt tient moins au robot grimpeur qu'à ce qu'il change autour de lui. Quand le produit va vers l'opérateur (le principe « goods-to-person »), les allées peuvent être resserrées, le stock organisé pour la densité plutôt que pour l'accès humain, et le travail se concentre aux postes de préparation. Un logiciel décide quel bac bouger, quel robot l'envoie et quelle commande traiter ensuite, ce qui fait de l'entrepôt un système coordonné. Pour un COO logistique, la valeur se mesure en bacs prélevés, commandes servies et surface récupérée, pas en démonstrations spectaculaires. Cette trajectoire illustre aussi une expansion chinoise de la robotique qui passe par des machines non humanoïdes, déjà commercialisées. L'enjeu pour Hai est maintenant de convertir des projets réussis en activité mondiale rentable, ce que le prospectus devra documenter par les marges et non par les seuls revenus. Le marché n'est pas neuf. Convoyeurs, grues et systèmes de stockage automatisés existent depuis des décennies, et des robots mobiles déplacent étagères ou bacs depuis plus récemment. Hai s'est concentrée sur le bac individuel, avec un système à bac unique lancé en 2017 puis un robot multi-bacs en 2018, capable de transporter plusieurs conteneurs par trajet. Son fondateur et PDG, Chen Yuqi (Richie Chen à l'international), présente l'ambition de départ comme une automatisation abordable et simple d'emploi pour des entrepôts et usines existants. Le texte disponible ne détaille pas les concurrents, mais le segment des robots grimpant dans les racks est disputé, notamment par le Français Exotec et son système Skypod, qui suit une logique voisine. L'étape suivante est l'examen du dossier par la Bourse de Hong Kong, dont le calendrier de cotation n'est pas précisé.

IndustrielOpinion
1 source
RoboAug : d'une seule annotation à des centaines de scènes grâce à l'augmentation de données par contraste de régions pour la manipulation robotique
108arXiv cs.RO 

RoboAug : d'une seule annotation à des centaines de scènes grâce à l'augmentation de données par contraste de régions pour la manipulation robotique

RoboAug est un cadre d'augmentation de données génératif pour l'apprentissage robotique, décrit dans un article arXiv (2602.14032, version 2). Son principe tient en une contrainte minimale : une seule image annotée de bounding boxes suffit pour construire le jeu de données. À partir de cette supervision réduite, le système s'appuie sur des modèles génératifs préentraînés pour produire des variations sémantiques précises de la scène. Il y ajoute une perte contrastive par région (région-contrastive loss), utilisable en plug-and-play, qui oriente l'attention de la politique vers les zones utiles à la tâche. Les auteurs ont testé la méthode sur trois plateformes physiques : le bras UR-5e d'Universal Robots, une plateforme AgileX et le robot humanoïde Tian Gong 2.0. Selon eux, RoboAug dépasse systématiquement les méthodes d'augmentation de l'état de l'art face à trois types de décalages : l'arrière-plan, les objets distracteurs et l'éclairage. Le résumé ne donne ni taux de réussite, ni nombre de tâches, ni nombre de démonstrations. Le titre évoque « des centaines de scènes » générées depuis une annotation, sans plus de détail dans le texte disponible. L'enjeu est la généralisation d'une politique d'imitation ou d'une politique vision-langage-action (VLA) à des environnements jamais vus, l'un des principaux freins au passage de la démonstration au déploiement. Deux voies dominent aujourd'hui. La première est le préentraînement à grande échelle, coûteux en collecte de données et en temps. La seconde est l'augmentation sémantique, qui suppose une détection d'objets sans faille en amont, hypothèse fragile en conditions réelles. RoboAug cherche à contourner ces deux obstacles, ce qui, si les résultats tiennent, ferait baisser le coût de préparation d'un nouveau site pour un intégrateur : une image annotée plutôt qu'une campagne de captures. Les validations sur trois robots de natures différentes, dont un humanoïde, sont un point positif. Quelques réserves s'imposent toutefois. Le résumé ne précise ni les tâches, ni la taille des échantillons d'essais, ni les baselines comparées. Les gains ne sont pas chiffrés, et la robustesse face à des changements de géométrie ou de pose des objets n'est pas évoquée. Il s'agit d'un résultat de laboratoire, non d'un déploiement industriel. Ce travail s'inscrit dans une lignée de méthodes qui utilisent des modèles de diffusion ou d'édition d'images pour multiplier les observations d'entraînement : ROSIE, GenAug ou, plus récemment, des pipelines qui s'appuient sur la segmentation pour isoler l'objet manipulé. Leur point faible commun est la dépendance à un détecteur fiable, que RoboAug dit relâcher. La concurrence passe aussi par les gros modèles fondation (Pi-0, GR00T, Helix), qui misent sur l'échelle des données plutôt que sur l'augmentation ciblée. L'usage de Tian Gong 2.0, plateforme humanoïde chinoise, confirme l'activité des laboratoires asiatiques sur ce sujet. La publication d'une page de projet (x-roboaug.github.io) devrait permettre d'examiner vidéos et protocoles. Les prochaines étapes à surveiller sont la publication de chiffres détaillés, le code ouvert et des tests sur des tâches plus longues ou plus dextres.

RecherchePaper
1 source
VioLA : apprendre des politiques de contrôle humanoïde généralistes à partir de données humaines
109arXiv cs.RO 

VioLA : apprendre des politiques de contrôle humanoïde généralistes à partir de données humaines

VioLA, un travail déposé sur arXiv (2610.12435), propose une politique généraliste pour humanoïdes qui ne prédit plus des commandes articulaires mais des « latents » de mouvement du corps et des mains. Un contrôleur de corps et un contrôleur de mains, pré-entraînés, exécutent ensuite ces latents sur le robot. Des encodeurs de mouvement projettent les mouvements humains et robotiques dans les mêmes espaces latents. Un enregistrement humain se retrouve donc étiqueté directement dans l'espace d'action de la politique. Le pool de démonstrations atteint 140,6 millions de trames, dont 93,2 % sont d'origine humaine. Sur robot réel, VioLA suit des consignes de locomotion en zero-shot, sans réglage fin par tâche, avec 100 % de réussite. GR00T N1.7 plafonne à 16,7 % et Ψ₀ à 0 %. En manipulation, la politique atteint 88,6 % de réussite, toujours sans réglage fin spécifique. La méthode a été testée sur trois architectures : deux VLA (vision-langage-action) et un modèle monde-action. Le code et les checkpoints doivent être publiés, mais ils ne le sont pas encore. L'enjeu est la rareté des données. Les politiques généralistes actuelles pour humanoïdes exigent un réglage fin sur des démonstrations téléopérées de chaque tâche avant déploiement, ce qui est lent et coûteux. Ici, une politique entraînée uniquement sur des démonstrations humaines réalise des tâches de locomotion en zero-shot sur le robot réel. Cela suggère que l'on peut contourner le goulot d'étranglement de la téléopération en passant par une représentation intermédiaire partagée entre humain et robot. Les cadres d'intégration y gagneraient : des vidéos et des captures de mouvement, bien plus abondantes, pourraient alimenter l'entraînement. Le fait que l'approche fonctionne sur trois backbones différents laisse penser que le gain vient de l'espace d'action, pas d'un modèle particulier. Quelques réserves s'imposent. Le papier est un preprint non évalué par les pairs. Les protocoles de test (nombre d'essais, diversité des consignes, robot utilisé) ne sont pas détaillés dans le résumé. Le score de 100 % en locomotion porte probablement sur un jeu de consignes restreint, et le résultat de 88,6 % en manipulation n'est accompagné d'aucune comparaison de référence. VioLA s'inscrit dans la course aux modèles fondation pour humanoïdes. GR00T de NVIDIA, Helix de Figure et la famille Pi de Physical Intelligence reposent surtout sur de la téléopération, de la simulation ou des mélanges de données, avec un réglage fin par tâche. L'idée de contrôleurs de bas niveau entraînés en simulation puis pilotés par un espace latent de mouvement prolonge les travaux sur le suivi de mouvement humain en humanoïde, où le contrôle du corps entier et des doigts restait un point dur. Les auteurs ne donnent aucun calendrier de diffusion hors de la promesse de publication du code. La suite à surveiller sera la reproduction indépendante des résultats sur d'autres plateformes, et l'extension à des tâches de manipulation à longue portée, pour savoir si le passage par les latents tient hors du laboratoire.

RecherchePaper
1 source
ARC : une méthode de raisonnement pour les modèles fondation en robotique
110arXiv cs.RO 

ARC : une méthode de raisonnement pour les modèles fondation en robotique

Des chercheurs proposent ARC, une méthode de raisonnement qui améliore sensiblement les performances « zero-shot » de modèles de fondation robotiques (RFM) existants, sans nouvelles démonstrations robot ni entraînement à grande échelle. Elle repose sur trois éléments. Le premier est une trace de raisonnement ancrée dans la prochaine action du robot, qui explique pourquoi l'action est appropriée et quel effet elle doit produire. Le deuxième est un pipeline d'étiquetage automatique, qui a permis de construire ARC-Trace-DROID à partir du jeu de données DROID existant, sans collecte de données robot supplémentaire. Le troisième est une stratégie d'adaptation propre à chaque architecture. Les auteurs l'appliquent au VLA π0.5 et au WAM (modèle d'action-monde) Cosmos3-Nano-Policy, avec un fine-tuning et une inférence ajustés à chacun. Les modèles adaptés établissent un nouvel état de l'art sur RoboLab-120 et MolmoSpaces, avec jusqu'à 50 points de pourcentage de gain sur RoboLab-Reasoning-50. Sur robots réels, le taux de succès de π0.5 progresse de 82,2 points de pourcentage. Ces résultats remettent en cause l'idée dominante selon laquelle la performance des RFM ne progresse qu'avec des modèles plus gros, davantage de démonstrations téléopérées et des budgets d'entraînement élevés. Si les chiffres tiennent, le raisonnement devient un levier complémentaire et bon marché pour les équipes qui disposent déjà d'un VLA, car il réutilise des données existantes au lieu d'en collecter de nouvelles. C'est un argument fort pour les intégrateurs et les décideurs B2B, pour qui le coût de la donnée robot reste le principal frein au passage à l'échelle. L'approche touche aussi un point faible des VLA actuels, leur faible généralisation à des tâches nouvelles décrites en langage. Quelques précautions s'imposent. Le gain de 82,2 points sur robots réels est mesuré sur la base de départ de π0.5, et l'article ne détaille pas ici le nombre de tâches, de plateformes ni d'essais. Le terme « sans précédent » vient des auteurs eux-mêmes. Le gain de 50 points concerne un benchmark de raisonnement conçu pour ce type d'évaluation, donc probablement favorable à la méthode. Enfin, on ne sait pas encore ce que la génération de traces ajoute en latence d'inférence, un paramètre décisif pour le contrôle en boucle fermée. ARC s'inscrit dans la tendance des VLA « avec raisonnement », qui font générer au modèle des étapes intermédiaires (sous-tâches, trajectoires, texte) avant d'agir. Elle prolonge les travaux autour de π0.5 de Physical Intelligence, entraîné sur de larges corpus hétérogènes, et du jeu de données DROID, devenu une base de référence en manipulation. L'usage d'un modèle d'action-monde comme Cosmos3-Nano-Policy, issu de l'écosystème Cosmos de NVIDIA, montre que la méthode vise plusieurs familles d'architectures et pas un seul modèle. Elle se positionne face aux approches qui misent sur l'échelle de données, comme GR00T chez NVIDIA ou Helix chez Figure. Il s'agit d'un travail académique publié sur arXiv (2610.12386v1), accompagné d'un site de projet. Il ne s'agit ni d'un produit ni d'un déploiement industriel. La suite logique serait une réplication indépendante, une évaluation sur d'autres robots et tâches longues, puis une mesure du coût en temps de calcul avant toute intégration dans des piles commerciales.

RecherchePaper
1 source
La modélisation résiduelle comble l'écart entre politiques de régression et génératives en apprentissage robotique
111arXiv cs.RO 

La modélisation résiduelle comble l'écart entre politiques de régression et génératives en apprentissage robotique

Des chercheurs proposent une alternative à la diffusion et au flow matching pour entraîner des politiques robotiques à partir de démonstrations (arXiv:2610.12231). Baptisée HT-Policies (heteroscedastic Student-t action régression), la méthode reste une régression directe : elle prédit un « chunk » d'actions en une seule passe avant, sans les étapes itératives de débruitage des modèles génératifs. Les auteurs l'ont évaluée sur quatre benchmarks de simulation et lors de tests sur robot réel. Elle atteint des taux de réussite comparables aux politiques génératives (Flow-Policies), aussi bien entraînée de zéro qu'à partir de modèles vision-langage-action (VLA) et de world-action models préentraînés. L'entraînement et l'inférence sont plus rapides, et le réseau de neurones d'une politique flow matching préentraînée peut être réutilisé comme backbone. Les auteurs ne donnent pas, dans le résumé, de chiffres de vitesse ni de taux de succès précis, ce qui oblige à attendre le papier complet pour juger de l'ampleur réelle du gain. Le travail s'attaque à une explication largement admise : si les politiques de diffusion ou de flow matching surpassent la régression directe par erreur quadratique moyenne (MSE-Policies), ce serait parce que les démonstrations humaines sont multimodales, c'est-à-dire que plusieurs actions valides existent pour une même observation. L'analyse de données de démonstration réelles suggère une autre cause. Les résidus de prédiction d'action ont une échelle qui varie fortement selon l'état, et des queues plus lourdes qu'une gaussienne. Or la MSE alloue davantage de magnitude de gradient aux observations dont les résidus sont les plus grands, ce qui dégrade l'optimisation. Les politiques génératives ne seraient donc pas avantagées surtout par leur capacité à représenter plusieurs modes, mais par un comportement de gradient plus favorable. Si le résultat se confirme à grande échelle, il compte pour les intégrateurs et les équipes de déploiement : une politique mono-passe réduit la latence de contrôle et le coût de calcul embarqué, deux contraintes concrètes sur des robots à haute fréquence ou à ressources limitées. L'article s'inscrit dans le débat sur l'apprentissage par imitation, dominé depuis plusieurs années par Diffusion Policy et les approches flow matching, qui équipent désormais de nombreux VLA de fondation, tels que Pi-0. L'idée proposée reste simple : une loi de Student-t avec échelle prédite en fonction de l'entrée, qui limite l'influence des valeurs extrêmes. Plusieurs réserves s'imposent. Il s'agit d'un préprint non évalué par des pairs, les benchmarks précis ne sont pas détaillés dans le résumé, et « compétitif » ne signifie pas supérieur. Une vérification sur des tâches fortement multimodales ou à long horizon reste nécessaire. Les prochaines étapes dépendront de la reproduction des résultats par d'autres laboratoires et de l'éventuelle adoption de cet objectif dans des VLA de grande taille. Une page de projet est annoncée pour le code et les démonstrations.

RecherchePaper
1 source
Modèles du monde fondation pour la robotique multi-embodiment, fondés sur des actions latentes
112arXiv cs.RO 

Modèles du monde fondation pour la robotique multi-embodiment, fondés sur des actions latentes

Des chercheurs proposent LAC-WM (Latent Action-Conditioned Robot World Model), un modèle du monde robotique qui fonctionne dans un espace d'actions latent unifié, appris et partagé entre embodiments très différents. Il est comparé à une variante de référence, EAC-WM (Explicit Action-Conditioned World Model), conditionnée par des étiquettes de mouvement explicites propres à chaque robot. Les deux modèles sont évalués sur des tâches de manipulation dextre et sur une version modifiée du benchmark LIBERO. Lors de l'adaptation à des robots absents du pré-entraînement, LAC-WM améliore la performance aval jusqu'à 46,7 % sur la manipulation dextre et 11,7 % sur LIBERO. Le travail, publié sur arXiv (2610.10846v1), s'accompagne d'un site de projet (lacwm.github.io). Le résumé ne précise ni les robots testés, ni la taille des modèles, ni les volumes de données de pré-entraînement. Le résultat le plus significatif concerne le passage à l'échelle. La performance de LAC-WM augmente avec le nombre d'embodiments vus au pré-entraînement. À l'inverse, celle d'EAC-WM diminue quand ce nombre croît. Selon les auteurs, des étiquettes d'action explicites produisent des représentations disjointes d'un robot à l'autre, et ajouter des plateformes crée alors de l'interférence plutôt que du transfert. Pour les équipes qui construisent des modèles fondations robotiques, cela remet en cause l'idée qu'agréger davantage de données hétérogènes améliore mécaniquement la généralisation. L'espace d'action serait un goulot d'étranglement central, et pas seulement le volume de données. Pour un intégrateur, l'enjeu est concret : si ce principe se confirme, un modèle du monde pré-entraîné pourrait être adapté à une nouvelle plateforme avec moins de données propriétaires. Les gains annoncés sont toutefois mesurés sur des benchmarks, dont un LIBERO modifié, et non sur des déploiements industriels. Le gain de 11,7 % sur LIBERO est modeste, et l'écart de 46,7 % dépend de la base de comparaison choisie par les auteurs. On parle ici de résultats de recherche, pas d'un produit livré. Ce travail s'inscrit dans la course aux modèles généralistes cross-embodiment, où les approches VLA (vision-langage-action) comme Pi-0 ou GR00T se heurtent à la diversité des espaces d'action, entre bras à 6 ou 7 DOF, mains dextres et humanoïdes. Les modèles du monde, qui prédisent l'évolution de la scène en fonction des actions, sont devenus un axe parallèle pour la planification et l'évaluation des politiques. Les actions latentes, apprises à partir des seules transitions visuelles, offrent une voie pour exploiter de grandes quantités de vidéos sans étiquettes d'action. Le papier est une prépublication v1, sans relecture par les pairs. Il faudra surveiller la publication du code et des poids, des tests sur du matériel réel, ainsi que des comparaisons directes avec d'autres modèles du monde cross-embodiment pour savoir si l'effet de passage à l'échelle se maintient avec des dizaines de plateformes.

RecherchePaper
1 source
Exploiter des démonstrations humaines en boucle dans l'apprentissage par renforcement pour la flexibilité des robots pilotés par jumeau numérique
113arXiv cs.RO 

Exploiter des démonstrations humaines en boucle dans l'apprentissage par renforcement pour la flexibilité des robots pilotés par jumeau numérique

Des chercheurs proposent un cadre d'entraînement en ligne « human-in-the-loop » qui combine jumeau numérique (DT), apprentissage par renforcement (RL) et démonstrations humaines, publié sur arXiv (2610.12140). Contrairement aux jumeaux numériques classiques, surtout employés pour générer des données synthétiques avant l'exécution d'une tâche, celui-ci est synchronisé en temps réel avec le système physique grâce à des flux caméra. Le robot virtuel met ainsi à jour ses observations et sa politique à partir du retour du monde réel. Une architecture à double acteur (« dual actor ») intègre l'apprentissage par imitation sans ajouter de perte d'imitation directe à l'acteur RL, de sorte que les démonstrations guident l'adaptation au lieu d'une reprogrammation manuelle. La démonstration repose sur un bras collaboratif Ufactory xArm5 (5 axes), dont l'effecteur doit atteindre une position cible en évitant des obstacles. Les résultats portent sur deux points. Le cadre peut reprendre l'entraînement après une modification de l'espace de travail physique, sans repartir de zéro. Avec un jeu fixe de démonstrations non optimales, l'architecture à double acteur atteint un taux de succès final nettement supérieur à celui de deux méthodes qui ajoutent une perte d'imitation à l'acteur. Le même schéma se confirme avec de vraies démonstrations humaines recueillies en réalité virtuelle (VR). Lorsque ces démonstrations n'atteignent jamais le but, le double acteur obtient 83 à 100 % de succès moyen en évaluation déterministe, contre 0 à 17 % pour les deux méthodes à perte d'imitation. Les auteurs ne précisent pas dans ce résumé le nombre d'essais, de graines aléatoires ou de démonstrations, ce qui invite à la prudence sur la robustesse statistique de l'écart. L'enjeu concerne les intégrateurs et les responsables d'atelier. Les cobots évoluent dans des environnements de plus en plus variables, et le coût de reprogrammation à chaque changement de poste ou d'obstacle freine leur rentabilité. L'étude suggère qu'une démonstration imparfaite, donnée par un opérateur non expert, peut orienter l'apprentissage sans le contaminer, alors que l'imitation forcée dégrade la politique quand l'exemple est mauvais. Cela vise un problème pratique du déploiement : on dispose rarement de démonstrations parfaites. À nuancer toutefois : la tâche est une simple atteinte de cible avec évitement d'obstacles sur un bras à 5 axes, loin de la manipulation fine, des tâches à contact ou des cadences industrielles. Aucune comparaison avec des modèles généralistes de type VLA n'est avancée, et le passage à l'échelle reste à démontrer. Le travail s'inscrit dans la convergence entre jumeaux numériques, RL et apprentissage par démonstration, où le problème du transfert simulation-réel (sim-to-real) reste central. Ici, la synchronisation continue par caméra réduit cet écart en remettant à jour le modèle virtuel plutôt qu'en le figeant avant le déploiement. Le xArm5 de Ufactory est une plateforme de recherche abordable, et la collecte en VR abaisse la barrière pour les opérateurs. Les prochaines étapes logiques seraient des tâches de manipulation avec contact, des environnements dynamiques plus complexes et des essais en conditions industrielles, qu'aucun pilote annoncé ne couvre à ce stade. Il s'agit d'une publication préliminaire (v1), non évaluée par les pairs.

RecherchePaper
1 source
RoboAware : apprendre à coordonner des compétences d'IA incarnée à partir de résultats contrefactuels
114arXiv cs.RO 

RoboAware : apprendre à coordonner des compétences d'IA incarnée à partir de résultats contrefactuels

RoboAware, un framework décrit dans l'article arXiv 2610.11480, apprend à un agent de code embarqué à choisir quelle famille de politiques mobiliser selon l'état physique courant. Il ne réentraîne ni l'agent de code ni les politiques de bas niveau, qui restent figés. Seul un coordinateur de « responsabilité », conditionné par l'état, est appris. Les compétences du robot, qu'il s'agisse de modules classiques ou de politiques end-to-end gelées (type VLA), sont organisées dans un schéma baptisé P^5, qui les range en cinq étapes sémantiques communes pour les rendre comparables. Pour pallier l'absence de résultats contrefactuels dans les travaux existants, les auteurs introduisent le State-Locked Counterfactual Branching (SCB). Cette méthode restaure le même état d'entraînement, génère et exécute un bloc de code pour chaque famille admissible, et révèle ainsi ce qui se serait passé avec les branches non choisies. L'Execution-Aware Learning (EAL) combine ensuite recherche arborescente Monte Carlo et Q-learning pour distiller ces issues en valeurs conditionnées par la famille. Au déploiement, le coordinateur choisit la famille d'après le contexte observable, puis l'agent de code figé écrit le prochain bloc local. Sur 100 tâches, en évaluation à épisode unique, le système atteint 77,0 % de succès global, avec des moyennes annoncées comme state of the art de 90,0 % sur RoboSuite, 73,8 % sur les clusters LIBERO-Pro et 90,0 % sur les tâches bimanuelles RoboTwin. L'intérêt pour l'industrie tient à un problème que les intégrateurs connaissent bien : combiner des briques modulaires fiables et des politiques VLA plus généralistes, sans savoir à l'avance laquelle réussira dans une situation donnée. Le papier propose de traiter ce choix comme un problème d'apprentissage explicite plutôt que comme une heuristique codée à la main ou un jugement laissé au modèle de langage. L'approche est peu coûteuse, puisqu'elle laisse intacts les composants déjà validés, ce qui séduit dans un contexte où requalifier une politique est lourd. Elle suggère aussi que les gains de la composition viennent autant de l'aiguillage que des politiques elles-mêmes. Il faut toutefois rester prudent : tous les résultats sont obtenus en simulation (RoboSuite, LIBERO-Pro, RoboTwin), aucun test sur robot physique n'est mentionné, et le coût du branching contrefactuel, qui multiplie les exécutions par famille de politiques, n'est pas chiffré. Le score global de 77,0 % montre aussi qu'environ une tâche sur quatre échoue encore, et la comparaison porte sur des baselines choisies par les auteurs, sans validation indépendante. Ce travail s'inscrit dans la lignée des approches « code-as-policy », où un modèle de langage écrit du code appelant des primitives robotiques, et des harnais autour de VLA comme Pi-0. Les auteurs s'inspirent du succès des boucles REPL pour les agents de code, en les étendant à l'embodiment. Les concurrents directs sont ces deux familles, jugées trop dépendantes d'un choix de politique non informé par l'état physique. Il s'agit d'un préprint arXiv sans relecture par les pairs, sans annonce de code ni de pilote industriel à ce stade. La suite logique serait une validation sur matériel réel, avec des contraintes de temps de cycle et de sécurité que la simulation ne reproduit pas.

RecherchePaper
1 source
Vers des robots à pattes lunaires : leçons d'un déploiement sur le terrain à LUNA
115arXiv cs.RO 

Vers des robots à pattes lunaires : leçons d'un déploiement sur le terrain à LUNA

Des chercheurs ont rapporté les enseignements de la campagne analogue LUNA 2025, au cours de laquelle deux robots à pattes, l'ANYmal-D (quadrupède industriel d'ANYbotics) et le Magnecko, ont évolué sur un simulant de régolithe meuble et sur un terrain imitant des cratères. Les équipes ont aussi collecté des données de navigation sur de longues distances et des données visuelles-inertielles dans des conditions d'éclairage difficiles. Le résultat principal est que les quadrupèdes peuvent bel et bien traverser ce simulant, mais avec des performances dégradées par l'enfoncement et le glissement des pieds, par les contacts qui soulèvent de la poussière, et par des défaillances de perception. Ces dernières ont trois causes: la surexposition, les ombres portées et les zones à faible texture. L'étude, publiée sur arXiv (2610.12276), ne fournit pas dans son résumé de chiffres sur la vitesse, le taux de réussite ou la distance parcourue. Il s'agit d'un retour d'expérience de terrain en milieu analogue, et non d'une démonstration en conditions lunaires réelles. L'intérêt de ces travaux tient au fait que la préparation des robots à pattes pour la Lune reste limitée par des incertitudes encore mal quantifiées: interaction pied-régolithe, génération de poussière, dégradation de la vision sous éclairage solaire rasant et contraintes opérationnelles. Les rovers à roues, qui dominent l'exploration spatiale, peinent sur les pentes raides, les sols meubles et les champs de blocs, précisément là où se trouvent les cibles scientifiques comme les bords de cratères ou les zones d'ombre permanente. Cette étude confirme que le potentiel de la locomotion à pattes est réel, mais elle montre aussi que les politiques de locomotion apprises en simulation, généralement entraînées sur des sols plus ou moins rigides, ne suffisent pas. Les auteurs plaident pour des politiques conscientes du régolithe, une perception robuste à l'éclairage, des essais analogues reproductibles et une validation au niveau de la mission entière. Pour un décideur ou un intégrateur, le message est clair: l'écart entre la démonstration en laboratoire et la fiabilité sur le terrain reste ici très large, en particulier côté perception. Le contexte est celui d'un intérêt croissant pour les robots à pattes dans le spatial. L'ANYmal, issu de l'écosystème de l'ETH Zurich, a déjà été testé dans des environnements analogues, et plusieurs agences et laboratoires explorent des architectures à pattes ou hybrides, face à des rovers à roues éprouvés. Le Magnecko, plus expérimental, représente une autre approche de la locomotion à pattes. La campagne LUNA, installée sur une installation d'analogue lunaire en Europe, sert de banc d'essai de référence pour ces plateformes. Les prochaines étapes évoquées par les auteurs portent sur l'amélioration des politiques de locomotion adaptées au régolithe, sur une perception robuste aux conditions d'éclairage lunaires, ainsi que sur des protocoles de test standardisés. Aucun calendrier de mission ni de vol n'est annoncé, et l'on reste donc à un stade de recherche et de maturation technologique, loin d'un déploiement réel sur la surface lunaire.

RecherchePaper
1 source
FOCUS : des états privilégiés au RGB-D grâce à un changement de modalité contrôlé et à l'alignement des représentations
116arXiv cs.RO 

FOCUS : des états privilégiés au RGB-D grâce à un changement de modalité contrôlé et à l'alignement des représentations

Des chercheurs proposent FOCUS, un cadre d'apprentissage par renforcement en une seule étape, fondé sur PPO, qui vise à réduire l'écart entre l'entraînement en simulation avec états privilégiés et le déploiement avec des observations RGB-D. Le critique (la fonction de valeur) est entraîné sur l'état privilégié disponible en simulation: positions d'objets, poses, etc. L'acteur, lui, collecte ses trajectoires soit depuis des latents issus de caméras RGB-D, soit depuis des latents issus de l'état privilégié. Le choix entre les deux est régulé automatiquement par la divergence de Kullback-Leibler entre les distributions d'actions produites par chaque modalité. Un terme d'alignement de représentation pousse en parallèle l'acteur à choisir des actions cohérentes dans les deux cas. Sur cinq tâches de manipulation, le succès moyen au test passe de 0,71 à 0,93 par rapport au meilleur baseline RGB-D au test de chaque tâche. L'AUC de succès à l'entraînement, normalisée par budget et calculée sur l'ensemble du pipeline de chaque méthode, passe de 0,47 à 0,65. Sur Pick-and-Place, le succès au test grimpe de 0,47 à 0,86 et l'AUC de 0,12 à 0,61, soit un gain de 5,0 fois en efficacité d'apprentissage pour un budget d'interactions fixe. Ce travail s'attaque à un point de friction très concret pour les équipes qui entraînent des politiques visuelles de manipulation. L'apprentissage direct sur pixels est coûteux en échantillons, tandis que la distillation d'un « enseignant » à états privilégiés vers un « élève » visuel impose généralement plusieurs étapes et laisse un écart de modalité au moment du test. FOCUS propose de conserver un seul étage d'entraînement et de faire croître progressivement l'exposition au RGB-D, uniquement quand les deux modalités s'accordent sur l'action à effectuer. Si les gains se confirment, cela réduirait le coût de calcul et la complexité d'ingénierie des pipelines sim-to-real, notamment pour les intégrateurs qui entraînent des politiques de préhension et de dépose sur des scènes variées. Les réserves sont toutefois nettes. Les résultats sont annoncés sur cinq tâches, apparemment en simulation. L'article ne mentionne ni transfert sur robot réel, ni comparaison avec des modèles fondation de type VLA, ni nombre de graines. Le chiffre de 0,71 à 0,93 compare en outre FOCUS au meilleur baseline sélectionné tâche par tâche, ce qui rend la comparaison conservatrice mais dépendante du choix des baselines. Le contexte est celui d'une littérature déjà riche sur l'asymétrie acteur-critique et la distillation d'états privilégiés vers des observations visuelles, où les méthodes en deux phases dominent. L'enjeu reste la robustesse du RGB-D bruité, par exemple face aux reflets, aux occultations ou aux capteurs bon marché. Il s'agit d'une prépublication arXiv (2610.11119v1), non encore évaluée par les pairs, sans code ni calendrier de validation annoncés dans le résumé. La suite logique serait un test sur matériel réel et une confrontation avec les politiques généralistes actuelles, afin de savoir si ce gain d'efficacité tient hors des benchmarks simulés.

RecherchePaper
1 source
Priors de morphologie d'ordre supérieur pour l'apprentissage par renforcement de quadrupèdes face à la dégradation des actionneurs
117arXiv cs.RO 

Priors de morphologie d'ordre supérieur pour l'apprentissage par renforcement de quadrupèdes face à la dégradation des actionneurs

Des chercheurs proposent de modéliser le quadrupède Unitree Go1 non plus comme un simple graphe de nœuds (articulations) et d'arêtes (segments), mais comme un complexe cellulaire. Celui-ci ajoute des cellules de rang 2, des « faces » qui représentent les membres et le corps entier. Une politique de commande par apprentissage par renforcement traite cette structure avec un passage de messages fondé sur la théorie de Hodge. Le travail, publié sur arXiv (2610.10934v1), cible la dégradation d'actionneurs, c'est-à-dire la perte partielle de couple sur certaines articulations. Selon les auteurs, l'acteur Hodge « nœud-arête-face » obtient le meilleur retour (return) sur des dégradations jamais vues à l'entraînement, avec un taux de survie plus élevé et une erreur de suivi de vitesse plus faible que les références. Le résumé ne donne aucun chiffre, ni l'ampleur des écarts, ni le nombre de graines d'entraînement, ni le détail des pannes testées. Rien n'indique non plus une validation sur un robot physique. L'intérêt tient à la question posée, plus qu'au résultat. Quand un moteur faiblit, la marche devient un problème de coordination : les autres articulations, voire d'autres pattes, doivent compenser. Un biais inductif qui encode explicitement cette structure mécanique d'ordre supérieur pourrait rendre les politiques plus robustes sans multiplier les données d'entraînement. Pour les intégrateurs de robots d'inspection ou de logistique, la tolérance aux pannes dégradées, qui évite un arrêt complet en cas d'usure ou de surchauffe, vaut autant que la performance nominale. Reste à prouver que ce gain survit au transfert vers le réel (sim-to-real) et qu'il justifie un coût de calcul supérieur à celui d'un perceptron classique. Ce travail prolonge les politiques à graphes sensibles à la morphologie, apparues avec des approches de type NerveNet, qui avaient montré de meilleurs résultats en apprentissage et en généralisation face à des perturbations du corps. Les auteurs testent ici si l'ajout de structure d'ordre supérieur renforce ces bénéfices. Le Go1 est la plateforme de référence de nombreux laboratoires. La suite logique serait de comparer la méthode à des politiques entraînées par randomisation de domaine, d'élargir à d'autres morphologies (bipèdes, humanoïdes) et de réaliser des essais matériels avec des pannes injectées.

RecherchePaper
1 source
Planification de mouvement générative masquée avec recherche de jetons guidée par la géométrie
118arXiv cs.RO 

Planification de mouvement générative masquée avec recherche de jetons guidée par la géométrie

Des chercheurs proposent Masked Generative Motion Planning (MGMP), un planificateur de mouvement génératif qui utilise un transformeur génératif masqué pour produire en parallèle des trajectoires discrètes, puis les répare au moment de l'inférence grâce à une méthode baptisée Geometry-Guided Token Search (GGTS). Les trajectoires sont encodées sous forme de jetons discrets. GGTS s'appuie sur la géométrie de la scène pour décider quels segments modifier et quelles alternatives, déjà soutenues par l'a priori appris, méritent d'être évaluées. Les auteurs annoncent 96 % de réussite sur le benchmark Ring Maze et 82 % de réussite de réparation sur Controlled Route Invalidation avec un bras Kuka. Cela dépasse de 23 et 25 points de pourcentage les meilleures références externes testées. La méthode est aussi évaluée sur des agencements inédits, des obstacles supplémentaires, des géométries jamais vues, la planification à un et deux bras, ainsi que sur des tâches réelles avec un robot Baxter. Le travail est publié sur arXiv (2610.10646v1) et n'a pas encore été relu par des pairs. Les planificateurs génératifs actuels, notamment ceux à base de diffusion, utilisent l'a priori appris pour générer la trajectoire initiale, puis confient la correction à un raffinement continu local, de type descente de gradient ou déformation de trajectoire. Cette approche échoue quand l'obstacle impose de changer de route, par exemple de contourner un mur par l'autre côté. MGMP transforme cette réparation en recherche discrète parmi des alternatives de mouvement plausibles. Il permet ainsi une restructuration au niveau de la route, là où une déformation locale reste coincée dans le mauvais bassin d'attraction. Pour les intégrateurs et les équipes qui déploient des bras en environnement changeant (cellules logistiques, ateliers reconfigurables), la capacité à replanifier quand une voie est bloquée compte autant que la qualité du premier tir. Deux réserves s'imposent toutefois. Les benchmarks sont en grande partie synthétiques (labyrinthe en anneau, invalidation contrôlée de route). La validation réelle se limite à un Baxter, plateforme ancienne et peu précise, sans temps de calcul ni taux de réussite détaillés dans le résumé. Les chiffres de latence face aux planificateurs classiques à échantillonnage (RRT, par exemple) restent donc à vérifier dans l'article complet. Ce travail s'inscrit dans la lignée de la planification par diffusion (Diffuser, Motion Planning Diffusion) et des transformeurs génératifs masqués, popularisés par MaskGIT en vision, que les auteurs transposent à la robotique. Il se positionne face aux planificateurs de référence à échantillonnage ou à optimisation (RRT, CHOMP, TrajOpt, cuRobo accéléré sur GPU) et aux générateurs par diffusion avec raffinement guidé. Ces derniers constituent vraisemblablement les « baselines externes » dépassées. La suite logique est de tester la méthode sur des scènes dynamiques, des manipulateurs plus récents et des tâches de manipulation de précision. Un code ou un jeu de données public faciliterait la reproduction. Aucun calendrier de transfert industriel n'est annoncé : il s'agit de recherche académique, loin d'un produit livré ou d'un déploiement.

RecherchePaper
1 source
MAP2 : poursuite basée sur un modèle et l'accélération, avec MPC et apprentissage résiduel par processus gaussien pour la course autonome
119arXiv cs.RO 

MAP2 : poursuite basée sur un modèle et l'accélération, avec MPC et apprentissage résiduel par processus gaussien pour la course autonome

Des chercheurs présentent MAP2 (Model- and Acceleration-based Pursuit 2), un contrôleur de poursuite destiné à la course autonome, où le véhicule doit suivre sa trajectoire au plus près des limites d'adhérence tout en gardant une latence de calcul faible. L'algorithme combine une commande prédictive (MPC) cinématique fondée sur la courbure et une correction résiduelle par processus gaussien parcimonieux (Sparse Gaussian Process, SGP). Le MPC optimise les consignes cinématiques sur un horizon de prédiction, puis celles-ci sont converties en ordres de braquage par un modèle de dynamique des pneus, complété par la correction SGP. Les essais sur véhicule réel montrent, par rapport à MAP et à Pure Pursuit (PP), une baisse de l'erreur latérale moyenne de 37,99 % et de 44,65 % respectivement, ainsi qu'un temps au tour moyen réduit d'au moins 1,5 %. L'intérêt tient au compromis visé. Les contrôleurs géométriques comme Pure Pursuit sont légers en calcul, mais reposent sur la géométrie d'Ackermann, qui cesse d'être valide quand les pneus glissent en limite d'adhérence. À l'inverse, les approches par MPC dynamique complet offrent plus de fidélité, au prix d'une charge de calcul plus lourde. MAP2 cherche une voie médiane : un MPC cinématique reste économe, et l'écart entre le modèle et la réponse réelle du véhicule est absorbé par un apprentissage de résidus, sans modèle dynamique exhaustif. Le gain d'erreur latérale est net, mais le gain de temps au tour est modeste (1,5 % au minimum), ce qui suggère que la précision de suivi progresse plus vite que la performance pure. L'abstract ne précise ni la plateforme, ni la vitesse, ni la fréquence de calcul, ni le nombre de tours : il est donc difficile de juger de la robustesse hors du cadre d'essai. Le travail prolonge MAP, un contrôleur qui conservait la simplicité du suivi géométrique tout en exploitant un modèle de pneu et une information d'accélération. Les auteurs reconnaissent que MAP reste fondamentalement géométrique, qu'il dépend de la cinématique d'Ackermann, et que son modèle de pneu peut manquer la dynamique réelle du véhicule. MAP2 répond à ces deux limites. Il s'inscrit dans un domaine très actif, celui de la course autonome sur plateformes à l'échelle réelle ou réduite, où la tenue de trajectoire en limite de dynamique reste un verrou. Les comparaisons se limitent ici à MAP et PP, et non à des MPC dynamiques ou à des méthodes apprises de bout en bout. Le papier, publié sur arXiv en première version (v1), n'annonce pas encore de suite précise ni de déploiement.

RecherchePaper
1 source
Dis au robot ce qu'il ne doit pas faire : la compréhension de la négation
120arXiv cs.RO 

Dis au robot ce qu'il ne doit pas faire : la compréhension de la négation

Des chercheurs proposent NegaAlign, un cadre « plug-and-play » qui apprend aux modèles vision-langage-action (VLA) à respecter des instructions négatives, du type « range les objets, mais pas la tasse rouge ». L'approche insère des couches de transformation de la négation (Negation Transformation Layers) dans certaines couches du backbone vision-langage afin de remodeler les représentations intermédiaires de l'instruction. Un mécanisme d'alignement guidé par un « enseignant » transfère ensuite l'ancrage visuel utile à l'action depuis des instructions qui satisfont la contrainte négative. L'entraînement s'appuie sur une supervision construite à partir de démonstrations existantes, avec une simple supervision image-langage. Seules les couches insérées sont mises à jour, soit 11,6 millions de paramètres, et tous les poids pré-entraînés restent gelés, générateur d'actions compris. Les auteurs publient aussi NegaBench, un benchmark en simulation de 10 scénarios dans cinq domaines. Testé sur GR00T, π0 et π0.5, NegaAlign améliore les résultats de façon constante. Pour π0.5, le taux de réussite sur instructions négatives passe de 2,60 % à 88,45 % sur NegaBench, et de 12,4 % à 88,8 % sur des tâches réelles, sans perte de performance sur les instructions affirmatives. Ce travail met en évidence une faiblesse structurelle des VLA actuels. Avec 2,6 % de réussite sur NegaBench, π0.5 est loin du hasard informé : le modèle ignore la négation et exécute l'objet cité dans la phrase, comme si « ne touche pas à X » signifiait « va vers X ». Pour un intégrateur ou un responsable d'exploitation, c'est un risque concret. Les contraintes d'exclusion (zones interdites, pièces à ne pas manipuler, objets fragiles) sont au cœur des consignes en atelier, en logistique ou en assistance à domicile, et un modèle qui les inverse silencieusement n'est pas déployable en environnement partagé. Le résultat suggère aussi que la lacune ne vient pas de l'action elle-même : corriger uniquement la couche de représentation du langage suffit à la combler, sans réentraîner le générateur d'actions ni collecter de nouvelles démonstrations téléopérées. C'est un coût d'adaptation faible, compatible avec des modèles déjà déployés. Deux réserves s'imposent toutefois. L'évaluation principale est simulée, et les 88,8 % en conditions réelles portent sur un nombre de tâches que le résumé ne précise pas, ce qui appelle à la prudence sur la généralisation à d'autres négations, plus compositionnelles. L'étude s'inscrit dans la vague de VLA généralistes issus des modèles vision-langage : π0 et π0.5 de Physical Intelligence, et GR00T de NVIDIA, tous deux largement utilisés comme bases de référence académiques. Jusqu'ici, l'essentiel des travaux portait sur la généralisation à de nouveaux objets, environnements ou embodiments, plus que sur la compréhension logique des consignes. La négation rejoint ainsi d'autres limites connues des modèles de langage, comme le raisonnement compositionnel. Les auteurs proposent une méthode légère greffable sur ces modèles, plutôt qu'un nouveau modèle de fondation. Il s'agit d'un preprint arXiv (v1), non évalué par les pairs, et aucun calendrier de diffusion du code ou de NegaBench n'est évoqué dans le résumé. La suite logique serait de tester NegaAlign sur des instructions plus complexes (exclusions multiples, conditions temporelles) et sur des robots en production, avant que les éditeurs de VLA n'intègrent éventuellement ce type de supervision directement à leur pré-entraînement.

RecherchePaper
1 source
Jumeau numérique pour la validation avant déploiement de boucles de contrôle industrielles critiques pour la sécurité, pilotées par IA en périphérie
121arXiv cs.RO 

Jumeau numérique pour la validation avant déploiement de boucles de contrôle industrielles critiques pour la sécurité, pilotées par IA en périphérie

Des chercheurs ont présenté un cadre modulaire de jumeau numérique (Digital Twin, DT) pour l'industrie qui modélise dans une architecture unique les processus physiques, les communications sans fil et la logique applicative. Le cadre a été validé par une preuve de concept sur la ligne pilote BI-REX, en Italie. Un robot mobile autonome (AMR) connecté en 5G y transporte des liquides dangereux et reste piloté à distance par une application d'IA. Le jumeau reproduit le comportement du déploiement réel et sert à comparer trois emplacements de l'application : sur site (on-premise), en edge et dans un cloud distant. Les auteurs annoncent une concordance étroite entre les prédictions du DT et les mesures du PoC, aussi bien pour les métriques réseau (puissance reçue du signal de référence, RSRP, et latence) que pour les métriques applicatives de bout en bout, dont le temps d'aller-retour (RTT) au niveau de l'application. Le résumé ne donne aucun chiffre précis : ni écart de précision, ni valeurs de latence, ni seuils de sécurité. L'enjeu concerne surtout les intégrateurs et les responsables d'exploitation qui envisagent de confier une boucle de contrôle critique à une IA déportée. La plupart des jumeaux numériques existants se concentrent soit sur le procédé industriel, soit sur le réseau, sans voir comment l'application les relie. Or c'est cette jonction qui décide de la faisabilité. L'étude montre que de petites erreurs de modélisation du réseau suffisent à faire basculer une boucle sensible à la latence d'un état viable à un état non viable. Pour un AMR qui manipule des produits dangereux, cela revient à dire qu'un mauvais choix entre edge et cloud peut compromettre la sécurité. Le résultat plaide pour qualifier l'architecture en simulation avant de déployer, au lieu de la corriger sur le terrain. Il faut toutefois relativiser : il s'agit d'une preuve de concept sur une seule ligne pilote, avec un seul type de robot. La généralisation à des sites industriels plus denses, avec plus d'interférences radio et de robots simultanés, reste à démontrer. Ce travail s'inscrit dans le mouvement qui rapproche la 5G privée, l'edge computing et la robotique mobile en usine. Il s'appuie sur la littérature des jumeaux numériques, souvent trop cloisonnée entre simulation de procédés et simulation de réseaux. BI-REX est un centre de compétence italien consacré à l'Industrie 4.0, qui fournit ici un environnement proche des conditions réelles. Le sujet intéresse aussi les acteurs européens de l'intralogistique et de la 5G industrielle, où la question du placement du calcul se pose de plus en plus avec l'arrivée de modèles de contrôle pilotés par IA. La suite logique consiste à ajouter des mesures chiffrées, à tester davantage de scénarios de charge réseau et à intégrer des garanties de sécurité fonctionnelle certifiables. Aucun calendrier de déploiement commercial n'est annoncé.

RecherchePaper
1 source
Même action, résultat différent : la variabilité dans la manipulation dynamique de tissus
122arXiv cs.RO 

Même action, résultat différent : la variabilité dans la manipulation dynamique de tissus

Une équipe de chercheurs publie sur arXiv (2610.10801) la première caractérisation systématique de la variabilité du tissu soumis à des mouvements dynamiques rapides. Le protocole consiste à rejouer dix fois exactement la même trajectoire robot sur quatre tâches dynamiques, dont deux sont nouvelles. Chacune est testée avec trois tissus aux propriétés très différentes et jusqu'à trois vitesses d'exécution, ce qui donne 269 essais enregistrés. Pour chaque essai, de petits marqueurs placés sur le tissu sont suivis par OptiTrack, en parallèle d'une caméra stéréo synchronisée et des logs du robot. Les auteurs définissent ensuite plusieurs métriques de variabilité. Ils rejouent enfin l'ensemble des essais dans quatre simulateurs de tissu récents et calibrés. Le jeu de données complet, avec les « jumeaux » simulés correspondants, est publié. Les résultats sont nets. La variabilité est significative dans toutes les conditions testées, et dans la plupart des cas elle dépasse de un à trois ordres de grandeur la répétabilité propre du robot et le bruit de mesure. Elle ne peut donc pas être attribuée à l'instrumentation. Elle dépend surtout des propriétés physiques du tissu et augmente avec la vitesse. Aucun des quatre simulateurs ne reproduit l'amplitude de la variabilité observée sur le tissu réel, ni l'ordre relatif entre les conditions. Pour les équipes qui développent des politiques d'apprentissage pour la manipulation de textiles (pliage, habillage, linge, textile industriel), ces résultats remettent en cause deux pratiques courantes. D'abord, une politique évaluée sur quelques essais peut afficher un taux de réussite trompeur, puisqu'une même commande produit des résultats différents. Il faut donc davantage de répétitions pour établir une fiabilité statistique. Ensuite, entraîner en simulation puis transférer (sim-to-real) bute sur un obstacle de fond: les simulateurs actuels produisent des résultats trop déterministes pour représenter le comportement réel, quelle que soit la qualité de leur calibration. Pour les intégrateurs qui visent des cadences élevées sur des matières souples, cela plaide pour des mouvements plus lents ou des boucles de rétroaction par la vision. Les trajectoires rapides en boucle ouverte seraient sinon peu fiables. Les auteurs ne proposent toutefois pas de solution: ils diagnostiquent un écart et fournissent un outil de mesure. Le périmètre reste aussi limité à quatre tâches et trois tissus, en laboratoire. Ce travail s'inscrit dans la poussée de la manipulation d'objets déformables, longtemps considérée comme plus difficile que celle des objets rigides, et dans la multiplication des politiques apprises (VLA, diffusion policies) qui promettent le pliage ou le rangement du linge. Les démonstrations publiques de pliage restent en général lentes et sélectionnées, sans mesure de dispersion. Le jeu de données OptiTrack, vision et robot, avec ses jumeaux simulés, offre un banc d'essai commun pour comparer les simulateurs et pour développer des modèles stochastiques de tissu ou un entraînement par randomisation de domaine plus réaliste. La suite logique serait d'intégrer cette variabilité mesurée aux simulateurs, puis de vérifier si elle améliore le transfert vers le réel.

RecherchePaper
1 source
GLIO2 : un système LiDAR-inertiel-GNSS étroitement couplé et parallélisé sur GPU pour une localisation et une cartographie globales robustes en temps réel
123arXiv cs.RO 

GLIO2 : un système LiDAR-inertiel-GNSS étroitement couplé et parallélisé sur GPU pour une localisation et une cartographie globales robustes en temps réel

GLIO2, un système de localisation et de cartographie présenté sur arXiv par ses auteurs, fusionne LiDAR, centrale inertielle (IMU) et mesures GNSS brutes dans un unique graphe de facteurs à fenêtre glissante, entièrement étroitement couplé. Son front-end, parallélisé sur GPU, optimise conjointement l'alignement de chaque scan LiDAR sur plusieurs scans précédents (scan-to-multiscan), la pré-intégration IMU et les observations GNSS. Sur un NVIDIA Jetson Orin NX, la chaîne complète tourne à environ 25 Hz, soit 39,60 ms par scan. Un back-end hors ligne réutilise les mêmes facteurs en cache pour raffiner toute la trajectoire en lot : la séquence UrbanNav Whampoa (30 minutes, 4,51 km) est traitée en environ 24 secondes. Les auteurs revendiquent la meilleure précision globale parmi les systèmes comparés sur trois benchmarks publics (UrbanNav, MARS-LVIG, M3DGR) et sur leurs propres données de drone et de véhicule. Sur un pont de 5,66 km franchi jusqu'à 96 km/h, où tous les systèmes concurrents divergent à cause de la dégénérescence LiDAR, GLIO2 conserve une précision horizontale de 1,6 m. Le code et les jeux de données sont annoncés, pas encore publiés. L'intérêt tient à la critique de l'architecture dominante. Les méthodes actuelles alignent chaque scan sur une carte construite de façon incrémentale, qui dérive quand l'environnement est géométriquement pauvre (pont, tunnel, route dégagée) ; une fois l'estimation divergée, l'erreur est irrécupérable. Même sans divergence, un recalage faussé par des objets dynamiques ou de mauvaises correspondances est transmis comme une simple contrainte de pose avec une covariance trop optimiste, ce qui empêche le GNSS de repondérer ou de relinéariser ces correspondances. En les gardant dans le même problème d'optimisation, GLIO2 rend ces corrections possibles. Pour un intégrateur de véhicules autonomes, de drones d'inspection ou de robots d'extérieur, la robustesse en conditions dégradées compte plus que la précision moyenne, et le calcul en temps réel sur un module embarqué de classe Jetson est un argument de déployabilité. Une réserve s'impose : le test du pont repose sur une seule séquence, les baselines sont celles choisies par les auteurs, et la formule « meilleure précision parmi les systèmes évalués » ne vaut que pour ce périmètre. Ce travail s'inscrit dans la lignée des systèmes LiDAR-inertiels étroitement couplés de type LIO, puis de leurs extensions avec GNSS, qui butent depuis des années sur la dérive de la carte locale et la gestion de la covariance. Les benchmarks retenus, UrbanNav (environnements urbains denses de Hong Kong), MARS-LVIG (données aériennes) et M3DGR (scénarios de dégradation multicapteurs), sont des références pour tester la robustesse. La suite dépendra de la publication effective du code et des données, condition nécessaire pour qu'une reproduction indépendante confirme les résultats, notamment sur des environnements dégradés variés et des plateformes autres que celles des auteurs. Aucun calendrier de diffusion n'est précisé, et il s'agit à ce stade d'une prépublication non évaluée par des pairs.

RecherchePaper
1 source
ActionCodec : ce qui fait un bon tokeniseur d'actions
124arXiv cs.RO 

ActionCodec : ce qui fait un bon tokeniseur d'actions

Des chercheurs publient ActionCodec, un tokenizer d'actions pour les modèles Vision-Langage-Action (VLA) qui reposent sur le paradigme autorégressif natif des modèles vision-langage (VLM). Le travail, déposé sur arXiv (2602.15397, version 2), part d'un constat : la conception de la tokenisation d'actions, étape qui convertit des trajectoires continues en tokens discrets prédits par le modèle, a surtout été guidée par la fidélité de reconstruction. Son effet direct sur l'optimisation du VLA a peu été étudié. Les auteurs dégagent donc des principes de conception issus de la théorie de l'information : maximiser le chevauchement temporel entre tokens, réduire la redondance du vocabulaire, augmenter l'information mutuelle avec les modalités vision et langage, et garantir l'indépendance des tokens. Sur le benchmark de simulation LIBERO, un SmolVLM2-2.2B (2,2 milliards de paramètres) affiné avec ActionCodec atteint 95,5 % de réussite sans aucun pré-entraînement robotique. Avec des améliorations architecturales supplémentaires, le score monte à 97,4 %, présenté comme un nouvel état de l'art pour les VLA sans pré-entraînement robotique. Les auteurs annoncent aussi des gains d'efficacité d'entraînement et de performance sur plusieurs benchmarks, en simulation comme en conditions réelles, et publient le modèle. L'enjeu dépasse le simple score. Si la qualité du tokenizer pèse autant sur l'optimisation que l'architecture ou les données, une partie des écarts attribués à la taille du modèle ou au pré-entraînement pourrait venir de ce composant souvent traité comme un détail. Un petit VLM de 2,2 milliards de paramètres qui frôle les 97 % sans corpus de démonstrations robotiques massif intéresse directement les équipes aux budgets de calcul et de données limités, notamment les intégrateurs qui adaptent des modèles ouverts à leurs cellules. Il faut toutefois relativiser : LIBERO est un benchmark de simulation désormais proche de la saturation, et un score élevé ne dit rien de la robustesse en environnement industriel, de la latence d'inférence ni du coût de déploiement. Le résumé ne précise ni le nombre d'essais réels, ni les plateformes utilisées, ni la comparaison à compute égal avec les tokenizers concurrents. Ces points devront être vérifiés dans l'article complet. Le travail s'inscrit dans la lignée des VLA autorégressifs, qui ont popularisé la discrétisation des actions. Des tokenizers fondés sur la compression fréquentielle, comme FAST associé à Pi-0, ou des approches par quantification vectorielle, ont montré que le choix de représentation conditionne l'apprentissage. À l'opposé, des architectures à têtes de diffusion ou de flow matching, utilisées par plusieurs modèles de fondation robotiques, évitent la tokenisation discrète au prix d'une chaîne d'entraînement plus complexe. ActionCodec se positionne comme un argument en faveur du paradigme purement autorégressif, qui conserve la compatibilité avec l'outillage des VLM. La suite dépendra de la reproductibilité par la communauté, grâce au modèle publié, et d'une validation sur des tâches longues, bimanuelles ou mobiles, où le gain sur LIBERO ne se transposera pas forcément.

RecherchePaper
1 source
Diagnostic et récupération du décalage de l'espace d'observation aux jonctions de compétences à long horizon
125arXiv cs.RO 

Diagnostic et récupération du décalage de l'espace d'observation aux jonctions de compétences à long horizon

Des chercheurs ont publié sur arXiv (2610.10810) une étude sur un mode de défaillance qu'ils nomment Observation-Space Shift (OSS), qui frappe la manipulation robotique longue durée assemblée par chaînage de compétences entraînées séparément. Chaque compétence est fiable isolément, mais la performance chute nettement une fois enchaînées. La compétence suivante doit démarrer de l'état laissé par la précédente, et non de sa distribution d'entraînement. Grâce à des resets privilégiés du simulateur, l'équipe établit que le décalage dominant vient de la scène déplacée (un tiroir resté ouvert, des objets secondaires laissés en route), et non de la configuration articulaire du robot ni de l'objet manipulé. Pour tester ce diagnostic, ils construisent un système entièrement appris de type détecter, restaurer, reprendre. Un moniteur de progression de tâche repère le blocage, une politique apprise remet en place les éléments déplacés, puis un fine-tuning robuste aux jonctions permet à la compétence de repartir. Sur le benchmark BOSS-44, le taux de succès de la chaîne complète passe de 7,6 % à 26,5 %, soit 3,5 fois la politique de base et 51 % d'un oracle de restauration privilégié. Le résultat le plus instructif tient aux échecs des alternatives. Le rééchantillonnage best-of-K, une Diffusion Policy et des baselines à base de modèles du monde ne parviennent pas à se rétablir depuis les états de jonction évalués. Réessayer depuis un état hors support ne suffit donc pas : remettre la scène dans une configuration que la politique connaît avant de reprendre est plus efficace. Pour les intégrateurs qui composent des séquences de compétences (ouverture de tiroir, rangement, assemblage), le message est pratique : la fiabilité unitaire ne se multiplie pas proprement, et il faut instrumenter les transitions. Les auteurs restent prudents : ils présentent leur système comme une preuve du diagnostic, pas comme une méthode générale. Même restauré, le système n'atteint que 26,5 % de succès de chaîne, ce qui reste loin d'un seuil industriel, et les résultats viennent surtout de simulation. Côté réel, l'équipe a testé sur un bras Franka avec une politique π0.5 affinée. Le moniteur y est limité par l'observabilité des caméras extérieures, mais la boucle fermée récupère malgré tout certains échecs autrement terminaux. Les auteurs en tirent un argument pour ajouter des capteurs de poignet et de pince. Ces travaux s'inscrivent dans le débat sur la dégradation des VLA et des politiques de type π0 sur les longs horizons, où l'écart entre démonstration et fiabilité répétée reste le principal frein au déploiement. Les approches concurrentes misent sur des modèles généralistes plus robustes, des données de récupération d'erreurs ou des modèles du monde, que cette étude montre insuffisants dans ce cadre précis. Les prochaines étapes probables sont l'intégration de capteurs embarqués et la validation sur davantage de tâches physiques.

RecherchePaper
1 source
LiteNWM : des modèles du monde latents efficaces pour la navigation visuelle embarquée en milieu naturel
126arXiv cs.RO 

LiteNWM : des modèles du monde latents efficaces pour la navigation visuelle embarquée en milieu naturel

LiteNWM, présenté dans un preprint arXiv (2610.12368), est un modèle de monde latent pour la navigation visuelle embarquée. Il vise à évaluer les conséquences futures de plusieurs trajectoires candidates sans générer de vidéo. Le système partage un seul encodage visuel entre tous les candidats. Il prédit conjointement leurs représentations futures conditionnées par l'action, à plusieurs horizons temporels. Un scoreur appris exploite ces prédictions pour choisir la meilleure trajectoire. Hors ligne, sur les jeux de données RECON, SCAND et SACSoN, l'erreur de trajectoire moyenne (macro-moyenne) baisse de 17,56 % par rapport à NoMaD couplé à NWM-XL. L'accélération de bout en bout atteint un facteur 128 sur une RTX 5090. Le même évaluateur passe de NoMaD à MBRA sans réentraînement propre au générateur de trajectoires, avec 16,2 % d'erreur en moins pour MBRA. Sur robot réel, dans des environnements intérieurs et extérieurs inconnus, le taux de réussite de navigation passe de 43,3 % à 83,3 % par rapport à NoMaD seul. L'intérêt tient à la levée d'un compromis. Les politiques directes comme NoMaD sont rapides mais ne vérifient pas ce que leurs actions provoquent. Les world models génératifs apportent cette anticipation, mais leurs déroulés visuels pixel par pixel sont trop coûteux dès qu'il faut comparer plusieurs candidats. Travailler dans l'espace latent et mutualiser l'encodage rend la planification avec anticipation compatible avec le calcul embarqué. Le fait que l'évaluateur se greffe sur un autre proposeur suggère aussi une brique modulaire, réutilisable sans refaire tout l'apprentissage. Il faut toutefois rester prudent : le gain de 128 fois est mesuré sur un GPU de bureau haut de gamme, pas sur un module embarqué type Jetson. Les résultats réels reposent sur un nombre d'essais probablement limité, le détail du protocole n'étant pas donné dans le résumé. La plateforme robotique n'y est pas précisée non plus. Ces travaux s'inscrivent dans la lignée des politiques de navigation généralistes entraînées sur de grandes collections de données de robots mobiles, dont NoMaD, et des Navigation World Models, qui ont introduit la simulation vidéo conditionnée par l'action pour la navigation. MBRA représente l'autre voie, celle de la réannotation des données pour améliorer les politiques. LiteNWM se positionne comme une couche d'évaluation commune à ces approches. La suite logique serait des tests sur matériel embarqué contraint, sur des parcours plus longs et dans des environnements plus denses. La publication de code et de poids conditionnera son adoption par la communauté.

RecherchePaper
1 source
UNITAS : un modèle d'action du monde natif 3D pour la manipulation incarnée
127arXiv cs.RO 

UNITAS : un modèle d'action du monde natif 3D pour la manipulation incarnée

UNITAS, un modèle d'action-monde (WAM, world action model) publié sur arXiv par l'équipe derrière le dépôt DexForce, se présente comme le premier à travailler nativement en 3D. Il unifie observations, actions et dynamique de scène dans un repère métrique 3D partagé, avec une représentation commune pour différents robots et pour la main humaine. Les actions des mains et des pinces sont encodées en trajectoires de points 3D (« action flow »). Les déplacements des points de la scène (« scene flow ») sont prédits en conditionnant sur ces trajectoires. Des embeddings positionnels 3D alignés sur le monde ancrent les tokens visuels, avec ou sans entrée de profondeur. Un tokenizer de trajectoires en temps physique encode chaque trajectoire en un seul token, ancré à sa position 3D courante. Avec 1,7 milliard de paramètres, UNITAS affiche la meilleure prédiction de scène conditionnée par l'action sur RoboTwin parmi les méthodes comparées, avec jusqu'à 49 % d'erreur de déplacement en moins que PointWorld. Il atteint aussi 99,8 % de succès sur LIBERO et 85 % en moyenne sur des tâches en conditions réelles. Le code est publié sur GitHub. L'enjeu est un changement de représentation. La plupart des WAM actuels reposent sur des générateurs vidéo pré-entraînés et décrivent l'évolution du monde par des images ou des latents visuels. Or une image est une projection dépendante du point de vue, dont les distances en pixels ne correspondent pas aux distances physiques. En raisonnant directement en espace métrique, UNITAS vise à rapprocher la prédiction de ce que le robot doit réellement mesurer: où va sa pince, de combien l'objet se déplace. La représentation commune humain/robot ouvre aussi la voie à l'exploitation de données de mains humaines pour l'entraînement. Un modèle de 1,7 milliard de paramètres reste compact face aux gros VLA (vision-language-action) et aux modèles vidéo, ce qui compte pour le coût d'inférence embarquée. Les réserves habituelles s'appliquent: LIBERO est proche de la saturation à 99,8 %, donc peu discriminant, et la moyenne de 85 % en réel dépend de tâches, d'un nombre d'essais et d'un matériel que le résumé ne détaille pas. Les comparaisons de scène se limitent aux « méthodes comparées » choisies par les auteurs. Ce travail s'inscrit dans la montée des world models pour la manipulation, après les VLA de type Pi-0 ou GR00T, et des approches fondées sur la génération vidéo. Il se positionne contre ces dernières en s'inspirant de PointWorld, qui prédit déjà des mouvements de points 3D et sert ici de référence. Il s'agit à ce stade d'un préprint (v1) de recherche, sans produit commercial, déploiement industriel ni calendrier annoncé. La suite dépendra de la reproduction des résultats par d'autres équipes grâce au code ouvert, de la robustesse hors des benchmarks simulés et de la capacité du modèle à passer à l'échelle avec davantage de données humaines et multi-embodiments.

RecherchePaper
1 source
WARP-VLA : adaptation de la caméra de poignet pour une exécution robuste aux changements de point de vue dans les modèles vision-langage-action
128arXiv cs.RO 

WARP-VLA : adaptation de la caméra de poignet pour une exécution robuste aux changements de point de vue dans les modèles vision-langage-action

WARP-VLA, un modèle décrit dans un preprint arXiv (2610.11508v1), s'attaque à une faiblesse connue des modèles Vision-Language-Action (VLA) pour la manipulation robotique : leur sensibilité à la configuration des caméras. Les auteurs ciblent en particulier la caméra montée au poignet, dont le point de vue se déplace avec le robot. Un léger écart de fixation suffit alors à modifier les indices géométriques fins dont dépend la politique. Leur solution repose sur une architecture Mixture-of-Experts (MoE) : chaque expert apprend une transformation de features propre à un type de vue, et un routeur les combine à partir d'informations de vue implicites. La politique peut ainsi être déployée sans fournir les paramètres extrinsèques de la caméra en entrée. Sur le benchmark LIBERO, le taux de succès moyen de pi-0.5 passe de 39,2 % à 78,3 % sous perturbations de la vue poignet, soit un doublement. Des essais sur robot réel indiquent que l'adaptation au niveau des features, apprise en simulation, se transfère à plusieurs configurations de déploiement. Le benchmark de robustesse aux points de vue poignet et une implémentation « plug-and-play » sont publiés. Ce résultat touche un point bloquant du passage des VLA du laboratoire à l'atelier. Reproduire exactement la pose de caméra utilisée à l'entraînement est quasi impossible d'un site à l'autre. Les supports se desserrent, les intégrateurs choisissent des fixations différentes et les générations de robots varient. Une politique qui perd la moitié de ses performances pour un déplacement modéré du capteur oblige à recalibrer ou à réentraîner à chaque déploiement, ce qui pèse directement sur les coûts d'intégration. Le gain mesuré sur pi-0.5 montre que cette fragilité vient en bonne part de la représentation visuelle, et qu'on peut la corriger sans exiger les extrinsèques en entrée. Il faut toutefois rester prudent : les chiffres viennent surtout de LIBERO, un benchmark simulé aux tâches relativement standardisées. Le résumé ne chiffre pas la performance sur robot réel, ni le nombre de plateformes, de tâches ou d'essais. Le taux de 78,3 % reste aussi nettement inférieur à ce qu'exigerait une exploitation industrielle, et le texte fourni ne dit pas quel est le niveau de référence sans perturbation. Le travail s'inscrit dans une série de recherches sur la robustesse des VLA aux changements de point de vue, après l'essor de modèles généralistes comme pi-0 et pi-0.5 de Physical Intelligence. Ces modèles sont entraînés sur des données massives, mais avec des configurations de caméras peu variées. Les approches concurrentes passent par l'augmentation de données multi-vues, la randomisation de domaine ou l'injection explicite de la géométrie de caméra. WARP-VLA évite l'entrée extrinsèque et mise sur un routage implicite, ce qui simplifie le déploiement. Le code et le benchmark publics permettront à d'autres équipes de comparer leurs méthodes, une étape utile avant toute validation en conditions de production. Aucune annonce de pilote industriel n'accompagne ce preprint, qui n'a pas encore été évalué par des pairs.

RecherchePaper
1 source
Présentation d'Arena 5.0 : un cadre de simulation ROS2 photoréaliste pour développer et évaluer la navigation sociale
129arXiv cs.RO 

Présentation d'Arena 5.0 : un cadre de simulation ROS2 photoréaliste pour développer et évaluer la navigation sociale

Arena 5.0, la cinquième version du framework open source dédié au développement et à l'évaluation de la navigation sociale des robots, vient d'être présentée sur arXiv (2610.11220). Son apport principal est l'intégration complète de NVIDIA Isaac Gym, qui permet des simulations photoréalistes et un entraînement plus efficace. Les modules existants de la plateforme fonctionnent dans cet environnement: génération aléatoire d'environnements, outils d'évaluation, support de ROS2, intégration de planificateurs, de modèles de robots et d'API. Les auteurs ajoutent un benchmark des stratégies de navigation sociale de l'état de l'art, testées sur des mondes générés ou personnalisés et sur des scénarios de difficulté variable, avec une large gamme de métriques sociales. Ils ajoutent aussi des modules de génération de scénarios et de planification de tâches, capables de produire des situations personnalisées comme des urgences ou des opérations de secours. Le code est disponible sur le GitHub Arena-Rosnav. L'article ne donne pas de chiffres précis dans son résumé, ni sur les gains d'entraînement ni sur le nombre de planificateurs comparés. L'intérêt est d'abord méthodologique. La navigation sociale, c'est-à-dire la capacité d'un robot à évoluer parmi des humains sans les gêner ni les mettre en danger, souffre d'un manque de protocoles communs. Chaque équipe teste ses planificateurs dans ses propres simulateurs, avec ses propres métriques, ce qui rend les comparaisons peu fiables. Un banc d'essai ROS2 standardisé et photoréaliste réduit l'écart entre simulation et réalité (sim-to-real), un point critique pour les AMR et les robots de service qui partagent leurs espaces avec des personnes. Pour les intégrateurs, il offre un moyen de tester des planificateurs avant un déploiement en entrepôt, hôpital ou lieu public. Une réserve s'impose: l'amélioration de l'utilisabilité repose sur une étude utilisateur dont le résumé ne donne ni la taille d'échantillon ni les résultats chiffrés. Le photoréalisme d'un simulateur ne garantit pas non plus un transfert fiable vers le terrain. Arena 5.0 prolonge un projet académique construit sur ROS et maintenu par la communauté Arena-Rosnav, qui a produit quatre versions précédentes. Le choix d'Isaac Gym s'inscrit dans la tendance des équipes de recherche à s'appuyer sur l'écosystème NVIDIA (Isaac Sim, Isaac Lab) pour l'apprentissage par renforcement massivement parallèle. Le framework rejoint des outils comme Habitat ou iGibson, orientés navigation et interaction, ainsi que des bancs d'essai de navigation sociale plus ciblés. Son atout est l'intégration native de ROS2, standard de fait chez les industriels. La suite dépendra de son adoption: l'ajout de planificateurs par des équipes externes et son utilisation comme référence dans les publications diront s'il devient un benchmark commun ou reste un outil de laboratoire.

RecherchePaper
1 source
NavGPT-3 : exploiter le contexte dans un environnement d'exécution de navigation hiérarchique
130arXiv cs.RO 

NavGPT-3 : exploiter le contexte dans un environnement d'exécution de navigation hiérarchique

NavGPT-3 est un système de navigation embarquée décrit dans un preprint arXiv (2610.10787) qui associe un grand modèle de langage entraîné par apprentissage par renforcement agentique à long horizon et une politique d'action de type VLA (vision-langage-action), baptisée NavGPT VLA. Le modèle de langage raisonne et planifie, tandis que la politique pilote le mouvement en boucle serrée. Entre les deux, un « harness » fonctionne comme un petit système d'exploitation. Le raisonnement, l'exécution et la supervision tournent en threads séparés, chacun avec son propre contexte, ses outils et ses permissions. Un ordonnanceur décide quel thread contrôle le robot, ce qui permet d'interrompre une action et de changer de thread face à un imprévu. NavGPT VLA a été entraîné sur 19,28 millions d'exemples. Il alloue ses tokens visuels par « codec allocation », proportionnellement au changement de la scène. Seul, son modèle de 8 milliards de paramètres atteint 74,51 de taux de succès (SR) sur R2R-CE et 78,19 SR sur RxR-CE, ce qui le place en tête de ce benchmark. Avec le harness complet, le système monte à 81,51 SR sur R2R-CE. Sur RxR-CE, il obtient 90,43 SR contre 90,4 pour des suiveurs humains, et 78,47 nDTW (fidélité du chemin) contre 77,7. Un épisode dure 1 min 22 s, contre environ 3 min pour un humain. L'intérêt tient moins au score qu'à l'architecture. Les auteurs affirment que c'est la première fois qu'un agent autonome atteint le niveau humain sur ce benchmark. Surtout, ils chiffrent le gain de réactivité. Quand NavGPT VLA exécute la route, la boucle de raisonnement se raccourcit et le temps de réaction minimal passe de 3 à 19 secondes par décision du modèle de langage à 0,5 à 1 seconde par pas de la politique (1 à 2 Hz). Pour les intégrateurs et les équipes qui déploient des agents embarqués, cela appuie une thèse de plus en plus répandue : les modèles de langage de pointe ne doivent pas piloter directement les moteurs. Il faut une couche d'interface qui délègue le contrôle fin à une politique rapide et garde le LLM pour la décision de haut niveau. Les ablations portent sur la conception du harness et sur l'interaction entre les deux modèles. Elles visent à montrer que cette interface est un levier de performance à part entière, au même titre que la taille des modèles. Il faut toutefois relativiser. R2R-CE et RxR-CE sont des benchmarks de navigation en environnements simulés (Habitat), à instructions en langage naturel, et non des déploiements sur robot réel. La parité avec l'humain porte sur des métriques de succès et de fidélité de trajectoire, pas sur la robustesse en conditions industrielles. Le temps de 1 min 22 s n'est comparé qu'à une durée humaine approximative. Le travail s'inscrit dans la lignée des NavGPT précédents et dans la vague des modèles VLA de navigation, qui rivalisent avec des approches fondées sur de grands modèles vision-langage. Les auteurs promettent de publier tous les modèles, le code et les enregistrements d'évaluation. Cette ouverture permettra à des tiers de vérifier ces résultats, notamment le gain de réactivité annoncé, avant tout transfert vers des plateformes physiques.

RechercheOpinion
1 source
iAm.md : auto-évaluation des compétences d'un robot par introspection à base d'agents, pour des domaines inconnus à vocabulaire ouvert
131arXiv cs.RO 

iAm.md : auto-évaluation des compétences d'un robot par introspection à base d'agents, pour des domaines inconnus à vocabulaire ouvert

Des chercheurs publient sur arXiv (2610.10962) iAm.md, un standard au format Markdown accompagné d'un cadre de génération. Il vise à réduire ce que les auteurs appellent les « échecs d'ancrage » (grounding failures) dans les agents robotiques pilotés par des modèles de fondation. Le problème est le suivant : à cause de fenêtres de contexte limitées ou d'hallucinations inhérentes à la prédiction du token suivant, un agent peut produire un comportement sans avoir vérifié que le robot déployé et l'environnement observé permettent réellement l'action demandée. Pour y remédier, le système construit une cartographie sémantique à vocabulaire ouvert. Il combine des détections vision-langage locales et de la segmentation d'objets, puis rattache ces résultats à des enregistrements d'objets persistants. Ces enregistrements sont stockés dans une représentation intermédiaire standardisée, que l'agent peut relire pour s'auto-interroger, ce que les auteurs nomment « introspection agentique ». L'évaluation porte sur un robot TIAGo simulé, sur des tâches combinant navigation et manipulation. Le résumé de l'article ne donne ni taux de réussite ni comparaison chiffrée avec une méthode de référence. L'intérêt pratique tient au changement de cadrage : la génération de comportement autonome est traitée comme un problème de génération de code, grâce aux progrès récents du raisonnement des modèles de fondation. Dans cette logique, l'agent doit prouver qu'une compétence est réalisable avant de l'exécuter. Un fichier Markdown lisible par l'humain comme par le modèle sert de contrat entre ce que le robot sait faire, ce qu'il a effectivement observé et ce qui lui est demandé. Pour un intégrateur, c'est une réponse directe à un point faible des planificateurs à base de LLM : proposer des plans plausibles mais inexécutables, faute de vérification des capacités et de la scène. Le format texte brut facilite aussi l'audit et le débogage, des critères décisifs en environnement industriel. Les auteurs affirment que la même représentation soutient à la fois l'auto-évaluation des compétences et la généralisation de tâches sous forme de code exécutable. Il faut toutefois relativiser la portée. Les résultats sont obtenus en simulation, sur une seule plateforme, et rien n'indique encore une validation sur matériel réel, où le bruit de perception et la dérive des cartes compliquent la persistance des objets. Ce travail s'inscrit dans la lignée des approches qui ancrent les modèles de langage dans les affordances du robot, comme SayCan, et des planificateurs générant du code. Il vise un maillon que les modèles VLA bout en bout traitent de manière implicite. TIAGo, développé par PAL Robotics (Barcelone), est une plateforme de recherche européenne très répandue, ce qui facilite la reproduction par d'autres laboratoires. La suite logique serait un test sur robot physique, dans des environnements dynamiques, avec des métriques comparables à celles des benchmarks existants.

RecherchePaper
1 source
TACROSS : un système tactile humain, efficace, économique et évolutif, pour des capteurs tactiles hétérogènes en apprentissage robotique dextérique
132arXiv cs.RO 

TACROSS : un système tactile humain, efficace, économique et évolutif, pour des capteurs tactiles hétérogènes en apprentissage robotique dextérique

TACROSS, un système présenté sur arXiv (2610.11945) par une équipe académique, vise à réduire le coût de collecte de démonstrations tactiles pour l'apprentissage de la manipulation dextre. Son matériel central est un gant piézorésistif à cinq couches, facturé 10,86 dollars et doté de 285 points de détection. Côté logiciel, des « canonicalizers » et des adaptateurs résiduels projettent les signaux du gant humain et ceux des capteurs tactiles robotiques dans un espace latent commun de 256 dimensions. Un Transformer temporel, avec attention entre les doigts, produit cet espace. Les auteurs l'ont évalué sur quatre tâches de manipulation riches en contacts. Face à la téléopération classique, ils annoncent un gain d'efficacité de 3,5 fois et une réduction de 95,7 % du coût de l'équipement d'acquisition. Le matériel, le code et un jeu de données tactiles de plus de 150 heures doivent être publiés en open source. Aucune date de publication n'est précisée. L'intérêt principal tient à la méthode d'alignement. Les gants humains, capacitifs ou piézorésistifs, et les capteurs de robot diffèrent par leur principe de transduction, leur disposition, leur résolution spatiale et leur réponse dynamique. Aligner les canaux bruts est donc mal posé. TACROSS aligne plutôt les flux au niveau des événements de contact, c'est-à-dire de la sémantique du toucher et non des valeurs brutes. La supervision des actions reste réservée aux démonstrations robot. Les démonstrations humaines servent à apprendre la représentation tactile et fournissent une supervision auxiliaire pondérée par un score de confiance, via des cibles de main retargetées valides. Pour un intégrateur, l'enjeu est le coût marginal de la donnée tactile, aujourd'hui un frein face à la vision seule dans les politiques VLA et d'imitation. Un gant à une dizaine de dollars changerait l'échelle de collecte, à condition que le transfert tienne hors du banc d'essai. Les chiffres viennent des auteurs eux-mêmes. Quatre tâches ne couvrent pas la variété d'un atelier, et le calcul du gain de 3,5 fois dépend du protocole de téléopération retenu comme référence. Le résumé ne donne ni taux de réussite par tâche ni détail sur les capteurs robotiques testés. Ce travail s'inscrit dans la montée en puissance de la donnée tactile pour les mains dextres, après des années où la collecte par téléopération (gants à capture de mouvement, exosquelettes, interfaces VR) a limité le volume de démonstrations. Les gants tactiles humains existaient déjà, mais sans réponse claire au fossé entre capteurs humains et robotiques. TACROSS propose cette réponse sous forme de système complet, matériel et logiciel. La suite dépendra de la publication effective du code, des plans du gant et des 150 heures de données. Une reproduction indépendante, sur d'autres mains robotiques et d'autres capteurs, sera le vrai test de la généralité de l'alignement par événements de contact. Il s'agit pour l'instant d'une préimpression sans pair-review ni déploiement industriel.

RecherchePaper
1 source
CSF : filtrage de sécurité contextuel pour les générateurs de mouvements
133arXiv cs.RO 

CSF : filtrage de sécurité contextuel pour les générateurs de mouvements

Des chercheurs proposent le Contextual Safety Filtering (CSF), un filtre de sécurité sans entraînement destiné aux générateurs de mouvement pilotés par texte, ceux qui produisent des mouvements corps entier exécutables par un robot. Le principe consiste à ancrer des règles de sécurité formulées en langage naturel dans des trajectoires de référence, l'une sûre et l'autre dangereuse, produites par le générateur lui-même. Pour chaque règle active, ces deux trajectoires définissent une valeur de sécurité affine, appliquée par un CBF-QP (programme quadratique à fonction barrière de contrôle) qui suit la référence sûre. Les auteurs testent le dispositif sur quatre générateurs préentraînés d'architectures différentes. Selon eux, CSF active la règle visée dans tous les cas dangereux, qu'ils soient explicites ou déclenchés par la scène, et réduit jusqu'à 90 % le taux d'événements dangereux. Il conserve entre 88 % et 100 % des mouvements bénins. Le système complet est démontré sur un Unitree G1 réel, qui évite des mouvements dangereux lors d'interactions avec des humains et des objets. Il s'agit d'un preprint arXiv (2610.12467v1), sans produit commercialisé ni déploiement industriel. Le problème visé est concret. Un générateur de mouvement conditionné par texte ignore le contexte : la même action, comme saisir ou pousser, n'a pas la même portée selon qu'elle cible un objet ou une personne. Les garde-fous actuels se limitent à filtrer le prompt, à exiger des données de mouvement annotées, ou à imposer des contraintes purement géométriques. Aucun ne tient compte de la façon dont la scène change le sens du geste. Pour un intégrateur ou un responsable sécurité qui envisage des humanoïdes à proximité d'opérateurs, l'intérêt est qu'il n'y a ni réentraînement ni jeu de données étiqueté à constituer, et que l'approche s'applique à plusieurs architectures. Les règles restent lisibles et modifiables en langage naturel, ce qui facilite l'audit. Le recours à un CBF-QP apporte une garantie formelle d'application de la contrainte, ce qui contraste avec les filtres purement statistiques. Il faut toutefois relativiser. Une réduction « jusqu'à 90 % » est un maximum, pas une moyenne. Les benchmarks sont académiques, et le taux restant d'événements dangereux comme le comportement hors distribution ne sont pas précisés. La perte pouvant atteindre 12 % de mouvements bénins se traduirait en production par des refus ou des blocages à gérer. Une démonstration sur un seul robot ne vaut pas validation sécuritaire, et rien n'indique une conformité aux normes ISO ou à l'évaluation de risques en environnement partagé. Ces travaux s'inscrivent dans la montée des générateurs de mouvement humanoïdes pilotés par texte, associés à des contrôleurs de suivi de corps entier, souvent testés sur le Unitree G1, devenu plateforme de recherche de référence grâce à son prix relativement bas. La sécurité y reste un angle mort, car les travaux dominants portent sur la qualité et la diversité du mouvement, pas sur sa pertinence en situation. La suite logique serait de tester CSF sur des tâches plus longues, avec perception en boucle fermée et une détection de scène plus robuste, puis sur d'autres plateformes. Les acteurs industriels qui poussent les modèles généralistes (VLA, modèles de fondation pour humanoïdes) devront traiter ce même problème de sécurité contextuelle avant de déployer au contact de personnes.

RecherchePaper
1 source
Apprendre à quelles correspondances se fier : localisation par caméra événementielle pondérée par la confiance dans des cartes LiDAR
134arXiv cs.RO 

Apprendre à quelles correspondances se fier : localisation par caméra événementielle pondérée par la confiance dans des cartes LiDAR

Des chercheurs proposent CELL, une méthode de localisation de caméras événementielles (évent cameras) dans des cartes LiDAR préconstruites, qui apprend à pondérer chaque correspondance selon sa fiabilité. Le pipeline de référence traite le problème en deux temps: estimation d'un flux optique dense entre une vue de profondeur rendue depuis la carte et l'image d'événements, puis résolution d'un Perspective-n-Point (PnP) sur les correspondances 3D-2D ainsi obtenues. Les travaux publiés sur arXiv (2610.11967) évaluent le système sur les jeux de données M3ED et DSEC. Face à la base de comparaison LEAR, CELL améliore les résultats sur la majorité des séquences testées, avec une réduction de l'erreur médiane de translation allant jusqu'à 26,9 % et de l'erreur médiane de rotation jusqu'à 15,8 %. Ces gains sont des maxima observés sur les meilleures séquences, pas des moyennes, et aucune évaluation embarquée ni mesure de latence n'est mentionnée. L'apport tient à la façon d'apprendre la confiance. Les approches existantes s'appuient sur un consensus géométrique lors de l'estimation de pose, sans modéliser la fiabilité d'une correspondance ni son « informativité » pour la pose, c'est-à-dire la force avec laquelle elle contraint la caméra. Les auteurs montrent que la solution intuitive, supervisée par l'erreur en pixels de chaque correspondance, souffre d'un biais lié à la profondeur: les petites erreurs se concentrent à grande distance, là où les points contraignent peu la pose. CELL apprend donc la confiance de bout en bout à travers la pose, via un PnP probabiliste différentiable dont le terme de log-partition favorise des pondérations produisant une distribution de pose mieux contrainte. Cette confiance sert trois fois: elle repondère la supervision du flux dans un entraînement découplé qui isole le backbone flux/contours des gradients de pose, elle pilote une sélection probabiliste des correspondances à l'inférence, et elle pondère, avec la probabilité de contour du réseau, une dernière étape de raffinement par appariement de contours. Une représentation de profondeur à complétion partielle ajoute de l'information sans halluciner sur les grands vides. Pour la robotique mobile et les véhicules autonomes, l'enjeu est la localisation robuste sur cartes LiDAR existantes avec des capteurs événementiels, peu sensibles au flou de mouvement et aux forts contrastes lumineux. Le résultat suggère que mieux choisir les correspondances à utiliser rapporte autant que mieux les estimer, et que le signal de supervision compte: l'erreur locale seule trompe l'apprentissage. Reste à voir la généralisation hors M3ED et DSEC et la tenue en temps réel, deux points que le résumé ne documente pas. Cette recherche s'inscrit dans la continuité de LEAR, qui reste la référence directe, et ne relève ni d'un produit ni d'un déploiement industriel.

RecherchePaper
1 source
ManiUnit : un jeu de données et un banc d'essai de compétences de manipulation pour les tâches à long horizon
135arXiv cs.RO 

ManiUnit : un jeu de données et un banc d'essai de compétences de manipulation pour les tâches à long horizon

ManiUnit est un jeu de données et un benchmark de compétences de manipulation, construit à partir de 50 activités du simulateur BEHAVIOR-1K et publié sur arXiv en octobre 2026. Le jeu de données compte 137 899 segments répartis sur 21 types de compétences et 417 sous-tâches, tandis que le benchmark comprend 1 260 instances de test. Chaque segment est associé à une instruction explicite de sous-tâche. Le benchmark mesure aussi la sensibilité à des perturbations de la position initiale de la base mobile ou de la configuration articulaire du robot. Il restaure des états intermédiaires du simulateur et définit des conditions de succès locales, ce qui permet d'évaluer chaque compétence sans exécuter les étapes qui la précèdent. Sur deux activités à long horizon, une politique de compétence entraînée sur les segments ManiUnit atteint 78,7 % de succès local en manipulation, contre 49,3 % pour une politique de tâche entraînée sur des démonstrations complètes. Une fois coordonnées par un planificateur, politiques de tâche et de compétence font passer le succès sur la tâche complète de 4,0 % à 18,0 %. L'enjeu est de rendre diagnostiquables les échecs de la manipulation mobile à long horizon, où un robot doit traverser plusieurs pièces et enchaîner des compétences à partir d'une seule consigne en langage naturel. Les auteurs identifient trois difficultés. D'abord, des observations proches sous une même consigne rendent la sélection de la compétence ambiguë. Ensuite, même lorsqu'une compétence réussit, l'état du robot qu'elle transmet à la suivante peut s'écarter des états de départ démontrés et dégrader l'exécution. Enfin, les métriques au niveau de la tâche masquent les causes d'échec, puisqu'une défaillance précoce empêche de tester les étapes suivantes. Les évaluations de politiques vision-langage-action (VLA) représentatives montrent que des scores agrégés similaires peuvent cacher des écarts importants d'une compétence à l'autre. Sur le benchmark complet, les perturbations articulaires réduisent le taux de succès d'environ 56 % par rapport aux états de départ démontrés. Ce résultat appelle à la prudence face aux démonstrations de VLA mesurées sur des conditions initiales propres. Il faut toutefois relativiser la portée de ces chiffres : tout est mesuré en simulation, sur un nombre limité d'activités pour la comparaison compétence contre tâche, et un succès de 18,0 % sur la tâche complète reste très éloigné d'un seuil industriel. Les auteurs ne nomment pas ici les modèles VLA évalués. ManiUnit s'inscrit dans la lignée de BEHAVIOR-1K, benchmark de tâches domestiques de longue durée, et d'une tendance à décomposer les tâches en compétences réutilisables pilotées par un planificateur, plutôt qu'à entraîner une politique monolithique. Le gain obtenu avec le planificateur suggère que cette approche modulaire est plus prometteuse, mais elle dépend de la robustesse de chaque compétence face aux états hérités. Le jeu de données et le benchmark sont des ressources de recherche, sans calendrier de déploiement ni transfert vers le matériel réel annoncé dans le résumé.

RecherchePaper
1 source
État du monde traçable : une représentation d'état tenant compte de la provenance et un cadre de rejeu déterministe pour les systèmes robotiques
136arXiv cs.RO 

État du monde traçable : une représentation d'état tenant compte de la provenance et un cadre de rejeu déterministe pour les systèmes robotiques

Des chercheurs proposent Traceable World State (TWS), une représentation sémantique et un runtime de référence, indépendants du middleware, destinés à rendre l'état du monde d'un robot traçable. Un instantané TWS contient les entités, les relations, les observations, les niveaux de confiance et les métadonnées de révision. Les mises à jour sont validées et produisent chacune un nouvel instantané immuable. Leur ordre permet un rejeu déterministe. Une chaîne de hachage SHA-256 canonique rend les journaux infalsifiables, au sens où toute modification est détectable. L'évaluation couvre la conformité au schéma, les cycles de vie complets d'état, le rejeu et l'injection de fautes. Le cadre passe 38 tests sous Python 3.10 à 3.14 et détecte les enregistrements corrompus, les liens de hachage rompus, les ruptures de séquence et les incohérences de monde. Sur dix définitions de tâches publiques de BEHAVIOR-1K, TWS a importé 153 entités et 146 relations avec validation réussie. Sur 103 trajectoires simulées d'un Unitree G1 dans l'environnement NVIDIA, soit 78 369 images, le rejeu a restitué exactement l'état terminal dans tous les épisodes. Les 412 corruptions injectées sur 412 ont été détectées, pour un surcoût de stockage de 1,72 % par rapport à un simple journal JSONL. L'enjeu touche un angle mort de la robotique de service et d'usine. Un robot qui travaille sur de longues tâches agrège des observations arrivées à des instants différents, avec des confiances variables, et parfois révisées. La plupart des architectures ne gardent que la dernière estimation, ce qui empêche de savoir pourquoi le robot a décidé ce qu'il a décidé. Pour un intégrateur ou un responsable qualité, cette lacune bloque l'analyse d'incidents, l'audit d'exécution et la reproduction d'un comportement défaillant. Un journal infalsifiable avec rejeu exact répond à ces besoins, et peut intéresser les exigences de conformité qui montent autour des systèmes pilotés par des modèles d'IA. Un surcoût de 1,72 % rend l'approche économiquement plausible. Il faut toutefois relativiser. Toute la validation est faite en simulation ou sur des définitions de tâches, sans robot physique, sans perception bruitée réelle et sans mesure de latence en boucle de contrôle. Les 412 corruptions sont synthétiques, donc le taux de détection de 100 % reflète surtout la nature d'une chaîne de hachage face à des fautes que les auteurs ont eux-mêmes conçues. Ce travail s'inscrit dans un mouvement plus large pour auditer les agents incarnés, à mesure que les politiques VLA (vision-langage-action) et les modèles de fondation remplacent les piles logicielles déterministes. Les représentations existantes, comme les graphes de scène sémantiques, les bases de connaissances ou les journaux de middleware de type rosbag dans ROS 2, enregistrent des données brutes ou le dernier état sans modèle commun de provenance ni de révision. TWS se positionne en couche neutre au-dessus de ces outils. Le choix de BEHAVIOR-1K et du G1 simulé s'appuie sur des bancs d'essai publics, ce qui facilite la reproduction par d'autres équipes. Les prochaines étapes logiques sont un test sur matériel réel, une intégration avec des politiques apprenantes et une mesure du coût en production. Aucun partenaire industriel ni calendrier de déploiement n'est annoncé, et il s'agit d'un préprint arXiv en première version, non évalué par des pairs.

RecherchePaper
1 source
SimVLA : apprentissage VLA sim-vers-réel sans exemple pour la manipulation mobile
137arXiv cs.RO 

SimVLA : apprentissage VLA sim-vers-réel sans exemple pour la manipulation mobile

SimVLA est un cadre d'entraînement de modèles vision-langage-action (VLA) pour la manipulation mobile, publié en preprint sur arXiv (2610.11248), qui n'utilise que des données de simulation et aucune téléopération. Le modèle est d'abord pré-entraîné sur deux jeux de données issus du simulateur. SimAction est un corpus d'actions robot couvrant 35 tâches de manipulation mobile, produit en composant des compétences atomiques. SimVQA exploite l'état privilégié du simulateur (positions, géométrie, avancement des sous-tâches) pour fournir une supervision visuo-linguistique spatiale et géométrique. Le post-entraînement combine SimAction et SimDeploy, un jeu collecté à partir de rollouts de la politique dans des environnements simulés variés. Les auteurs testent le réassortiment de produits, le versement et le nettoyage, avec un transfert zéro-shot vers le monde réel, y compris dans des domiciles réels. Ils affirment que SimVLA dépasse des politiques entraînées sur 50 démonstrations réelles dans le domaine cible. Si le résultat tient à plus grande échelle, il touche au principal goulot du secteur, le coût de la collecte de démonstrations par téléopération. Comparer une politique 100 % simulée à une référence entraînée sur 50 démonstrations réelles est un test parlant pour un intégrateur, car il chiffre ce que la simulation peut remplacer. Le travail suggère aussi que l'écart sim-to-real se réduit moins par un meilleur rendu que par une supervision multiple : actions, questions visuelles et rollouts de déploiement se complètent, et les auteurs disent le démontrer. Il faut toutefois rester prudent, car le résumé ne donne ni taux de réussite, ni plateforme robotique, ni nombre d'essais réels. Les tâches sont des benchmarks de recherche, pas des déploiements, et la référence à 50 démonstrations est un seuil bas. Ce travail s'inscrit dans la course aux VLA généralistes. Pi-0 de Physical Intelligence, Helix de Figure ou GR00T de NVIDIA reposent largement sur des données réelles, téléopérées ou issues de vidéos, éventuellement complétées par de la donnée synthétique. SimVLA pousse la logique à l'extrême en supprimant la téléopération pour la manipulation mobile, plus difficile que la manipulation sur table fixe. La suite dépendra de la publication du code et des jeux de données, de réplications indépendantes et d'une évaluation sur d'autres morphologies de robots et d'autres foyers. Le preprint n'a pas encore été relu par des pairs, et aucun pilote commercial n'est annoncé.

IA physiqueOpinion
1 source
Conception de trajectoires à découplage informationnel pour l'identification de systèmes sim-vers-réel
138arXiv cs.RO 

Conception de trajectoires à découplage informationnel pour l'identification de systèmes sim-vers-réel

Des chercheurs proposent l'Informationally Decoupled Trajectory Design (IDTD), un cadre de conception de trajectoires d'exploration pour l'identification de système en simulation vers réel (arXiv 2610.10905). L'identification par échantillonnage ajuste un simulateur pour qu'il reproduise la dynamique du système cible, ce qui fournit des paramètres physiques interprétables et améliore le transfert sim-to-real. Le problème apparaît quand les trajectoires collectées ne distinguent pas les effets de paramètres différents: plusieurs combinaisons peuvent alors expliquer les mêmes données, et les estimations deviennent peu fiables. IDTD construit l'objectif de la politique d'exploration à partir du score du complément de Schur, dérivé de la matrice d'information de Fisher. Le score est normalisé par l'information propre à chaque paramètre, le meilleur segment de trajectoire est retenu pour chacun d'eux, puis les scores sont agrégés par un logarithme. La trajectoire optimisée se compose ainsi d'intervalles complémentaires, chacun révélant un sous-ensemble de paramètres dont la contribution au mouvement peut être attribuée sans ambiguïté. Les tests couvrent plusieurs environnements simulés, d'un système linéaire simple au quadrupède Go2, à l'humanoïde G1 et au quadrirotor Crazyflie. L'erreur d'identification des paramètres diminue en moyenne de 39,6 % par rapport à la meilleure méthode d'exploration active antérieure, et le transfert de politique en aval s'améliore. Les auteurs valident aussi la conception de trajectoires sur un humanoïde K1 réel: les paramètres identifiés reflètent fidèlement la dynamique du système physique. Le résumé ne précise ni le nombre de paramètres estimés, ni les baselines exactes, ni l'ampleur du gain de transfert, et la validation matérielle ne porte que sur une plateforme. Il s'agit de résultats de recherche, sans produit ni déploiement. L'enjeu est pratique pour les équipes qui entraînent des politiques de locomotion ou de manipulation en simulation. Le sim-to-real reste un goulet d'étranglement: la randomisation de domaine contourne l'erreur de modèle sans la corriger, alors que l'identification explicite offre des paramètres interprétables, mais seulement si les données les distinguent. En traitant la conception de l'excitation comme un problème de séparabilité des paramètres, IDTD cible une cause de dérive souvent invisible, des paramètres compensés les uns par les autres. Pour un intégrateur, cela peut réduire le temps de calibration d'un robot neuf et rendre les jumeaux numériques plus fiables. L'approche s'applique à des morphologies variées, des drones aux humanoïdes, ce qui suggère une méthode générique plutôt qu'un réglage propre à une plateforme. Le gain moyen de 39,6 % est mesuré surtout en simulation, et l'écart avec la robustesse réelle reste à démontrer à plus grande échelle. Ce travail s'inscrit dans la lignée de l'identification optimale par information de Fisher, issue de la théorie du contrôle, et des méthodes d'exploration active récentes qui l'étendent aux robots appris. Le choix du G1 d'Unitree, du Go2 et du K1 reflète la place prise par les plateformes humanoïdes et quadrupèdes abordables dans la recherche, car elles permettent des validations matérielles à faible coût. Aucune suite n'est annoncée dans le résumé, mais les extensions logiques sont des essais sur davantage de robots réels, des tâches de manipulation et l'intégration dans des chaînes d'entraînement de politiques à grande échelle, là où la qualité du simulateur conditionne directement le résultat.

RecherchePaper
1 source
STAG : une représentation en graphe épars tenant compte de la traversabilité, issue de cartes de coûts en grille pour la navigation robotique
139arXiv cs.RO 

STAG : une représentation en graphe épars tenant compte de la traversabilité, issue de cartes de coûts en grille pour la navigation robotique

Des chercheurs proposent STAG (Sparse Traversability-Aware Graph), une méthode qui convertit les cartes de coûts en grille (costmaps) utilisées par les rovers autonomes en graphes compacts, afin d'accélérer la planification globale de trajectoire. Le graphe repose sur trois types d'éléments : un squelette topologique construit par axe médian, des nœuds représentatifs pour les zones de traversabilité homogène, et des nœuds de transition placés près des forts gradients de traversabilité. Les arêtes encodent à la fois la géométrie et la difficulté du terrain, de sorte que le calcul tient compte de la longueur du chemin et de la nature du sol. Les auteurs comparent l'algorithme A exécuté sur STAG avec A sur grille dense, sur des cartes de grottes synthétiques, des cartes de mines et le jeu de données DARPA CERBERUS. Sur cinq catégories de benchmarks, soit 203 cartes et 101 200 requêtes, STAG réduit le temps de planification médian d'un facteur 3,4 à 9,9 et la mémoire de pointe par requête d'un facteur 2,1 à 15,4. L'écart médian de longueur de trajectoire par rapport à la grille dense va de -2,9 % à +7,6 %. Le problème visé est concret pour la robotique mobile en environnement non structuré : la recherche sur grille dense voit son coût de calcul et de mémoire croître avec la surface cartographiée, ce qui devient pénalisant pour des rovers qui explorent de grandes zones, par exemple en mines, grottes ou tunnels, avec un calculateur embarqué limité. Un gain de 3 à 10 fois en temps et jusqu'à 15 fois en mémoire peut permettre une replanification plus fréquente ou l'usage de processeurs plus modestes. Il faut toutefois lire les résultats avec prudence. Les auteurs reconnaissent eux-mêmes un compromis : STAG sacrifie l'optimalité vis-à-vis de la traversabilité de la grille dense au profit de la vitesse. Un écart médian peut masquer des cas défavorables, et le benchmark est en partie synthétique. Aucun essai sur robot réel n'est mentionné dans le résumé. Il s'agit donc d'un résultat de recherche en simulation et sur données enregistrées, pas d'un système déployé. Le travail s'inscrit dans la lignée des méthodes de réduction de l'espace de recherche (graphes de visibilité, feuilles de route probabilistes, cartes topologiques, squelettes par axe médian) et dans l'effort autour de l'autonomie en milieux souterrains, dont le défi DARPA Subterranean a servi de référence, avec l'équipe CERBERUS comme source de données. L'apport de STAG est de combiner structure topologique et information de traversabilité dans un même graphe, là où beaucoup d'approches compactes traitent surtout la connectivité. Ce type de représentation concerne les acteurs de l'exploration planétaire, de l'inspection minière et de la robotique de terrain. Les suites logiques seraient une validation sur matériel, la gestion de cartes mises à jour en continu et une évaluation face à d'autres planificateurs hiérarchiques. Aucun calendrier n'est annoncé.

RecherchePaper
1 source
PathTime-VLA : découplage chemin-temps pour le post-entraînement factorisé des modèles vision-langage-action (VLA)
140arXiv cs.RO 

PathTime-VLA : découplage chemin-temps pour le post-entraînement factorisé des modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.11771) PathTime-VLA, une méthode de post-entraînement qui sépare le chemin suivi par un robot de sa vitesse d'exécution. Les politiques VLA (vision-langage-action) prédisent d'ordinaire des actions à intervalles de temps fixes, ce qui lie la géométrie du mouvement à son rythme. PathTime-VLA reprend la paramétrisation chemin-temps de la planification de mouvement classique. Le mouvement est représenté par un chemin d'interaction X(s) indexé sur la progression, et par un profil de durées positives qui définit une loi temporelle monotone t(s). Le post-entraînement se fait en trois étapes. Des démonstrations et des interventions DAgger fixent un prior propre au domaine cible. Un module Speed-DQN apprend ensuite, par interaction avec le robot, des multiplicateurs de vitesse par chunk d'actions. Path-AWR utilise enfin les résultats des essais pour affiner le générateur de chemin par diffusion. Un « action expert » conditionné par le chemin exécute le tout. Sur trois tâches, la méthode complète réussit 58 essais sur 60, contre 57 sur 60 pour la même architecture entraînée en BC + DAgger à vitesse fixe 1x. Les temps moyens de réussite sont réduits d'environ 39 à 52 %. L'enjeu est la vitesse, pas le taux de succès. Un écart d'un essai sur 60 n'est pas significatif : le gain réel tient au temps de cycle, qui détermine la rentabilité d'un déploiement industriel. Le résultat suggère aussi qu'une partie de la lenteur des politiques apprises vient de la téléopération. Les démonstrations transmettent une bonne géométrie, mais avec le rythme imposé par les délais d'interface et le comportement de l'opérateur. Découpler les deux permet de corriger la cadence sans réentraîner la trajectoire. Les limites sont claires. L'abstract ne précise ni le robot, ni les tâches, ni la répartition des essais, et on ne sait pas si les tâches sont assez complexes pour que les gains de vitesse tiennent hors laboratoire. Il s'agit d'une preuve de concept académique, sans produit ni déploiement annoncé. Le travail s'inscrit dans le courant des VLA à génération d'actions par diffusion ou flow matching, de la famille Pi-0 à GR00T, qui produisent des chunks d'actions à cadence fixe. La suite logique est une validation sur d'autres plateformes et des tâches plus longues.

RecherchePaper
1 source
OmniHOI : interaction main-objet dextérique à partir d'une vidéo humaine monoculaire
141arXiv cs.RO 

OmniHOI : interaction main-objet dextérique à partir d'une vidéo humaine monoculaire

OmniHOI, un pipeline présenté sur arXiv (2610.10855), transforme une simple vidéo RGB monoculaire d'interaction main-objet en trajectoire exécutable par des mains robotiques dextres. Il enchaîne trois étapes, chacune contrainte par la preuve disponible à son niveau: l'image pendant la reconstruction, la géométrie de contact pendant le retargeting, puis la dynamique lors d'un raffinement avec simulation physique dans la boucle. Les auteurs testent d'abord 150 trajectoires de motion capture transférées vers cinq mains dextres de 6 à 22 DoF, avec 39 à 89 % de succès contre 31 % au mieux pour les méthodes de transfert antérieures. Sur 60 clips vidéo monoculaires, le taux de réussite atteint 53 %, contre 28 % pour le meilleur pipeline vidéo-vers-robot existant. Les trajectoires produites sont aussi exécutées sur un robot bimanuel réel, sur plusieurs tâches. L'enjeu est l'accès aux données. Les vidéos de manipulation humaine abondent, mais les exploiter pour entraîner ou piloter des mains robotiques butte sur deux écueils: les approches reposant sur l'apprentissage par renforcement propre à chaque tâche passent mal à l'échelle, tandis que celles qui supposent des trajectoires de motion capture propres ne fonctionnent pas sur de la vidéo ordinaire. En corrigeant les erreurs à chaque étape plutôt que de les laisser se propager jusqu'à une politique apprise, OmniHOI vise à rendre la vidéo humaine directement exploitable comme source de démonstrations dextres. Les chiffres appellent toutefois à la prudence. Un succès de 53 % sur 60 clips reste modeste pour un usage industriel, la fourchette de 39 à 89 % selon la main montre une forte dépendance à la morphologie, et l'article ne précise ni la diversité des tâches ni la nature de la validation sur robot réel, qui semble qualitative. Il s'agit d'un résultat de recherche, sans produit ni déploiement. Ce travail s'inscrit dans la course à la donnée pour la manipulation dextre. Plusieurs acteurs misent sur la téléopération, les gants ou les exosquelettes, qui donnent des données propres mais coûteuses. D'autres cherchent à exploiter les vidéos humaines à grande échelle, ce qui suppose de résoudre l'écart de morphologie entre la main humaine et des mains robotiques très variées. OmniHOI se positionne comme une couche intermédiaire indépendante de la main cible, face à des méthodes soit spécialisées par tâche, soit limitées aux données de capture de mouvement. La suite logique serait de tester ces trajectoires comme données d'entraînement pour des politiques de type VLA, et de mesurer le taux de succès sur des tâches plus longues et plus variées. Le papier est une prépublication v1, non évaluée par des pairs, et aucun calendrier de code ou de déploiement n'est mentionné.

RecherchePaper
1 source
SpectralCache : accélérer les modèles du monde à base de diffusion grâce à un cache de caractéristiques spectrales
142arXiv cs.RO 

SpectralCache : accélérer les modèles du monde à base de diffusion grâce à un cache de caractéristiques spectrales

Des chercheurs proposent SpectralCache, une méthode d'accélération de l'inférence pour les modèles du monde (world models) à base de diffusion, décrite dans le préprint arXiv 2610.02660v1. Ces modèles génèrent des environnements interactifs de haute qualité, mais leur coût d'inférence reste élevé, car un Transformer doit être réévalué à chaque étape de débruitage. SpectralCache ne demande aucun réentraînement. Les auteurs ont observé que les features de ces modèles gardent des sous-espaces singuliers très stables d'une étape de débruitage à la suivante, alors que leurs valeurs singulières évoluent de façon prévisible. La méthode réutilise donc ces sous-espaces et n'estime que les valeurs singulières, de faible dimension, par extrapolation linéaire. Elle exploite aussi la cohérence spectrale entre features voisines issues de calculs complets pour sauter certaines évaluations coûteuses du backbone, grâce à un simple rééchelonnement des valeurs singulières. Sur HunyuanWorld-Voyager-13B, elle atteint une accélération de 5,22x avec un WorldScore de 65,90 sur les scènes statiques. Les auteurs affirment qu'elle dépasse nettement les méthodes de cache sans entraînement existantes en efficacité d'inférence. Pour les équipes qui construisent ou utilisent des simulateurs appris, ce résultat touche un goulot concret. La génération interactive d'environnements est trop lente pour servir de simulateur de génération de données ou d'évaluation de politiques robotiques à grande échelle. Une accélération d'un facteur supérieur à 5, obtenue sans réentraînement, abaisse le coût par rollout et rapproche ces modèles d'un usage en boucle. Elle pourrait servir à générer des données synthétiques, à tester des politiques VLA ou à explorer des scénarios. L'approche est surtout intéressante par son principe : au lieu de mettre en cache au niveau du token ou de la feature, elle s'appuie sur la structure algébrique des représentations. Il faut toutefois rester prudent. Il s'agit d'un préprint non évalué par les pairs. Le chiffre de qualité ne porte que sur les scènes statiques, et le WorldScore est une métrique de génération visuelle, pas de fidélité physique ni de transfert sim-to-real. Le gain a été mesuré sur quelques modèles représentatifs et rien n'indique qu'il tienne en dynamique complexe ou en interaction avec des objets. Ces travaux s'inscrivent dans la série de méthodes de cache sans entraînement pour modèles de diffusion, qui exploitent la redondance temporelle entre étapes de débruitage au niveau des features ou des tokens. SpectralCache cherche à les dépasser en passant par la décomposition en valeurs singulières. La cible, HunyuanWorld-Voyager-13B, est un modèle de monde de 13 milliards de paramètres de la famille Hunyuan. Il appartient à une catégorie très active, où les modèles de monde sont pensés comme moteurs de simulation pour l'IA incarnée et la robotique. La suite logique serait une validation sur d'autres architectures, des scènes dynamiques et des métriques propres à la robotique, ainsi qu'une publication du code. Aucun calendrier de déploiement n'est annoncé à ce stade.

RecherchePaper
1 source
Planification de mouvement en temps réel face aux dangers dynamiques : méthodes classiques et méthodes par apprentissage
143arXiv cs.RO 

Planification de mouvement en temps réel face aux dangers dynamiques : méthodes classiques et méthodes par apprentissage

Une étude publiée sur arXiv (2610.12249v1) compare, dans un cadre expérimental unifié, des planificateurs de mouvement classiques et des méthodes par apprentissage dans des environnements à dangers dynamiques. Les auteurs ne proposent pas de nouvel algorithme. Ils construisent un banc d'essai où tous les candidats subissent les mêmes environnements, les mêmes contraintes de mouvement, les mêmes hypothèses d'information et les mêmes métriques. Le scénario repose sur des domaines plans peuplés de dangers rotatifs de type arroseur, qui créent des zones interdites variables dans le temps en balayant des secteurs angulaires. Les résultats montrent un net changement de régime. En environnement déterministe, les planificateurs classiques atteignent un taux de succès proche de 100 % et produisent de meilleurs chemins, parfois au prix de temps de planification ou de replanification importants. Dès que la dynamique des obstacles devient stochastique, la recherche en ligne devient très sensible au budget de calcul alloué. Un budget faible entraîne des échecs fréquents. Un budget élevé améliore le taux de succès, mais augmente la latence et allonge les trajectoires. Les politiques entraînées par PPO (Proximal Policy Optimization, apprentissage par renforcement) sur la même distribution de scénarios font mieux sur les trois critères dans ces régimes stochastiques : latence, taux de succès et qualité du chemin. Pour les intégrateurs et les ingénieurs qui choisissent une pile de planification, la conclusion pratique est nuancée. Elle ne soutient pas l'idée que l'apprentissage remplace partout les méthodes classiques. Le classique reste le meilleur choix tant que l'évolution des obstacles est prévisible, avec une qualité de trajectoire supérieure. L'apprentissage devient avantageux quand cette évolution est incertaine et que la latence est contrainte. Les auteurs soulignent aussi que l'incertitude sur la dynamique des obstacles pèse davantage que l'observabilité partielle pour déterminer quel paradigme est efficace. Cela est utile pour des cas comme les AMR en entrepôt, les cobots partageant l'espace avec des humains ou les robots mobiles en zone mixte. Il faut toutefois rester prudent : les expériences sont menées en 2D, avec des dangers synthétiques de type arroseur et une comparaison à budget de calcul variable. Aucun résultat sur robot réel, en 3D ou avec des humains n'est annoncé. Le transfert au terrain reste à démontrer. Ce travail s'inscrit dans un débat ancien entre planification par échantillonnage ou recherche (de type RRT ou A*, avec replanification) et planification apprise, qui s'est intensifié avec la montée de l'apprentissage par renforcement et des politiques de type VLA en robotique. Les comparaisons de ce genre sont rares, car chaque méthode est souvent évaluée avec ses propres hypothèses, ce qui rend les gains annoncés difficiles à comparer. Ce banc d'essai commun vise à combler ce manque. Le prochain pas logique serait d'étendre le protocole à des dynamiques plus riches, à la 3D et à des plateformes physiques. Le papier en est à sa première version (v1) et n'a pas encore été évalué par des pairs.

RecherchePaper
1 source
Anticipation sans rendu pour la vision active guidée par les questions
144arXiv cs.RO 

Anticipation sans rendu pour la vision active guidée par les questions

Des chercheurs proposent Rendering-Free Lookahead (RFL), une politique de sélection de point de vue pour la vision active robotique, décrite dans l'étude arXiv 2610.11039. Le problème visé est celui des questions dont la réponse dépend de l'angle de caméra. Pour savoir ce que contient une boîte, par exemple, il faut lever la caméra et regarder à l'intérieur. Les modèles vision-langage (VLM) savent interpréter une image déjà captée, mais pas anticiper l'utilité d'une vue qu'ils n'ont pas encore. Les auteurs définissent donc une grandeur, l'« answerability » : l'estimation par un VLM qu'une vue suffit pour répondre à la question. RFL classe les mouvements de caméra candidats selon l'answerability qu'ils devraient produire. La méthode déplace le calcul d'anticipation du déploiement vers l'entraînement. Un enseignant « privilégié » rend les vues futures candidates dans des scènes 3D Gaussian Splatting (3DGS). Un VLM gelé en déduit des cibles d'answerability à un et deux pas. Une distillation en deux étapes apprend ensuite à un modèle élève à prédire la valeur de chaque action à partir de la question, des observations récentes et du mouvement candidat. Au déploiement, l'élève choisit le mouvement sans rendre aucune vue future. Sur 377 épisodes de test du benchmark E3VS-Bench, dans des environnements inédits, RFL améliore de 43 % le score moyen d'un juge par rapport à une base de référence à action directe qui utilise le même VLM. L'intérêt pratique tient à ce qu'on évite de rendre ou de simuler des vues candidates en ligne, ce qui coûterait en latence et en calcul sur un robot réel. Le résultat soutient aussi l'idée qu'une information disponible seulement en simulation (les scènes 3DGS complètes) peut être transférée à une politique qui ne verra jamais ces scènes. Les limites sont claires. Le gain est mesuré sur un benchmark et contre une seule base de référence, avec un score attribué par un juge, donc un modèle. Rien n'indique de test sur un robot physique, ni de chiffres de latence ou de taux de réussite absolus. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la vision active, où l'agent choisit ses observations au lieu de subir un flux d'images fixe. Il se rapproche des approches de questions-réponses incarnées, qui exigent d'explorer pour répondre. Il profite aussi de la généralisation du 3D Gaussian Splatting pour reconstruire des scènes rendables à bas coût. La suite logique serait une validation sur matériel réel, avec des bras ou des têtes mobiles, et avec des questions plus ouvertes que celles du benchmark. Le papier, de type « cross-list » sur arXiv, ne mentionne ni entreprise ni calendrier de commercialisation.

RecherchePaper
1 source
WAND : apprentissage d'une navigation robuste pour quadrirotors face aux perturbations complexes du vent et aux obstacles denses
145arXiv cs.RO 

WAND : apprentissage d'une navigation robuste pour quadrirotors face aux perturbations complexes du vent et aux obstacles denses

Des chercheurs proposent WAND (Wind-Aware Navigation with Disturbance Estimation), un cadre d'apprentissage par renforcement destiné à la navigation de quadrirotors dans des champs d'obstacles denses soumis à des rafales variables. Le système estime l'accélération perturbatrice induite par le vent à partir de l'historique des états proprioceptifs (sans capteur de vent dédié), au moyen d'un réseau convolutif temporel (TCN). Cette estimation sert deux fois: elle est injectée dans la politique de navigation via un module résiduel initialisé à zéro, baptisé WindAdapter, et elle alimente une compensation en boucle ouverte (feedforward) au niveau du contrôle bas niveau. Sur 12 configurations de simulation avec vent, WAND améliore le taux de succès observé de 8,3 points de pourcentage en moyenne par rapport à la seule compensation feedforward. Des essais en vents croisés opposés montrent une adaptation de trajectoire dépendante de la direction du vent. En vol réel en intérieur, avec des ventilateurs, le système réussit 18 essais sur 20, soit 90 %, avec un calcul embarqué en temps réel. L'intérêt tient à la manière dont le problème est posé. Les politiques de navigation apprises s'appuient en général sur la perception des obstacles et la proprioception, et doivent deviner implicitement l'effet de perturbations qui varient dans le temps, ce qui fragilise la robustesse quand l'observation est partielle. En rendant la perturbation explicite et en l'utilisant à la fois pour décider et pour rejeter l'effet du vent, WAND traite le vent comme une variable d'état à part entière plutôt que comme du bruit. Pour les intégrateurs de drones d'inspection, de logistique ou d'intervention en milieu encombré (entrepôts ouverts, sites industriels, forêts, canyons urbains), c'est une piste crédible pour gagner en fiabilité sans ajouter de capteurs. Il faut toutefois relativiser: un gain moyen de 8,3 points est modeste et mesuré face à un baseline déjà compensé. L'échantillon réel de 20 essais est petit, et les ventilateurs d'intérieur produisent un flux bien plus régulier que les rafales turbulentes en extérieur. Aucune comparaison à d'autres méthodes de pointe n'est mentionnée dans le résumé. Ce travail s'inscrit dans la lignée des méthodes de navigation par apprentissage pour drones, qui ont démontré leur efficacité en vol rapide parmi des obstacles, mais ont longtemps traité les perturbations aérodynamiques par du contrôle robuste classique ou de l'adaptation implicite. Il s'agit d'une publication académique sur arXiv (préprint, non évalué par les pairs), sans produit, sans partenaire industriel ni calendrier de déploiement annoncés. Les prochaines étapes naturelles sont la validation en extérieur avec un vent réel et turbulent, des tests sur des vitesses et des densités d'obstacles plus élevées, et des comparaisons directes avec les politiques d'adaptation implicite et les contrôleurs robustes existants. L'étape décisive restera le passage du laboratoire à des environnements non contrôlés.

RecherchePaper
1 source
WAM-Cache : réutilisation du cache KV à obsolescence bornée pour des modèles du monde et d'action efficaces
146arXiv cs.RO 

WAM-Cache : réutilisation du cache KV à obsolescence bornée pour des modèles du monde et d'action efficaces

Des chercheurs publient WAM-Cache, un cadre d'accélération sans entraînement pour les World Action Models (WAMs). Ces modèles de manipulation généraliste conditionnent un « action expert » sur les représentations d'un Diffusion Transformer (DiT) vidéo préentraîné. En boucle fermée, ce DiT vidéo s'exécute à chaque « chunk » d'actions. Il encode l'observation courante en paires clé-valeur (KV) par couche, que l'action expert interroge ensuite. Ce préremplissage (prefill) domine le coût de calcul par chunk, et les accélérations existantes sans entraînement le laissent entièrement dense. WAM-Cache conserve les représentations KV d'un chunk à l'autre et ne recalcule qu'un sous-ensemble épars de tokens. Sur Fast-WAM, le prefill du DiT vidéo perd 32 à 42 % de FLOPs sur RoboTwin 2.0, LIBERO et en expérimentation réelle. La perte reste de 0,7 à 1,8 point de pourcentage par rapport à la politique dense en simulation, et de 2,5 points sur robot réel. Il s'agit d'un résultat de recherche (preprint arXiv), sans produit ni déploiement industriel associé. L'enjeu tient à la méthode de sélection autant qu'au gain de calcul. Les auteurs montrent que l'heuristique intuitive, qui rafraîchit les tokens ayant visuellement bougé, plafonne nettement sous la politique dense, même avec un oracle qui prédirait la dérive réelle des KV. La précision des actions dépend de l'endroit où l'action expert porte son attention, pas de ce qui a changé dans l'image. Cela compte pour quiconque cherche à faire tourner des politiques fondées sur la vidéo en temps réel sur du matériel embarqué, où la latence et la consommation limitent le déploiement. Un gain de 32 à 42 % sur la partie dominante du coût est utile, mais il reste modeste et ne fait pas à lui seul passer ces modèles à l'échelle industrielle. Les chiffres portent sur Fast-WAM et sur des benchmarks de simulation, plus une évaluation réelle dont l'ampleur n'est pas précisée dans le résumé. Le coût de 2,5 points en réel est plus élevé qu'en simulation et mérite d'être vérifié sur des tâches plus variées. WAM-Cache sélectionne l'ensemble de rafraîchissement en combinant la cross-attention de l'action expert et la « surprise latente » visuelle. Une borne stricte d'âge limite l'accumulation d'erreurs : un token ne peut pas rester périmé au-delà d'un seuil. Le travail s'inscrit dans la tendance des WAMs, qui exploitent les priors de dynamique des modèles vidéo pour piloter la manipulation, face aux VLA plus classiques comme Pi-0 ou GR00T. Il prolonge aussi les techniques de cache KV et de réutilisation de calcul connues pour les LLM et les DiT, ici adaptées à un contrôle en boucle fermée. Comme la méthode ne demande aucun réentraînement, elle peut en principe s'appliquer à d'autres WAMs. Cela reste à démontrer, car les résultats publiés ne concernent que Fast-WAM. Aucune date de code ou de publication de modèle n'est mentionnée.

RecherchePaper
1 source
YOCO : Un seul étalonnage suffit ! Calibration rapide de la capture de mouvement pour la téléopération dextérique
147arXiv cs.RO 

YOCO : Un seul étalonnage suffit ! Calibration rapide de la capture de mouvement pour la téléopération dextérique

Des chercheurs publient sur arXiv (2610.11657) YOCO, pour « You Only Calibrate Once », un cadre de calibration de capture de mouvement destiné à la téléopération dextre. Il corrige les flux de poses de main biaisés produits par les gants de capture bon marché et les trackers sans marqueurs. Le système part d'un petit nombre de paires de poses, brutes et cibles, et n'exige aucun fine-tuning. Un HyperNet de calibration est conditionné sur ces exemples et prédit des mises à jour de type LoRA pour un module d'estimation de main MANO gelé. La calibration par opérateur ou par session devient donc une étape d'adaptation feed-forward légère, au lieu d'un entraînement séparé pour chaque utilisateur. Le modèle est entraîné avec des dérives synthétiques ajoutées à InterHand2.6M. Il est évalué sur des séquences InterHand augmentées, sur des données réelles de gants hors ligne et sur des tâches de téléopération dextre. Les auteurs annoncent de meilleurs résultats en efficacité de calibration, en qualité d'estimation de l'état de la main et en performance de téléopération, face à l'entrée non calibrée et à des méthodes de calibration standard. Le résumé ne donne aucun chiffre. Le problème visé est concret pour quiconque collecte des démonstrations pour des mains robotiques multidoigts. Les gants à bas coût dérivent selon la morphologie de l'utilisateur, l'ajustement du gant et la session d'enregistrement. Ce biais se retrouve dans le retargeting vers la main robot, puis dans les données d'apprentissage par imitation, ce qui dégrade la qualité des démonstrations à la source. Une calibration rapide et peu coûteuse en échantillons réduirait le temps d'immobilisation des opérateurs, un point sensible quand une flotte de téléopérateurs alimente des modèles VLA. Conserver le prior géométrique de MANO tout en gardant un estimateur compact est aussi un choix pertinent pour la latence en temps réel. Il faut toutefois rester prudent : l'entraînement repose sur des dérives synthétiques, et rien dans le résumé ne dit que celles-ci couvrent la variété des erreurs de gants réels. Les résultats en téléopération n'ont par ailleurs pas encore été quantifiés publiquement, et le préprint n'a pas été évalué par des pairs. Ce travail s'inscrit dans la course à la donnée de manipulation dextre, où gants, exosquelettes et suivi par caméra servent à nourrir des politiques apprises. Les approches existantes calibrent le plus souvent par optimisation par utilisateur ou par recalage manuel, longs et peu adaptés au passage à l'échelle. L'usage de hyper-réseaux pour générer des adaptateurs LoRA transpose à la perception de la main une idée déjà répandue dans les grands modèles. Les prochaines étapes à surveiller sont la publication du code et des poids, la validation sur plusieurs marques de gants et sur des mains robotiques variées, et la mesure de l'effet sur le taux de réussite de politiques entraînées avec ces démonstrations corrigées.

RecherchePaper
1 source
Estimation du regard pour l'interaction humain-robot : analyse avec la plateforme NICO
148arXiv cs.RO 

Estimation du regard pour l'interaction humain-robot : analyse avec la plateforme NICO

Une équipe de chercheurs a évalué l'état de l'art de l'estimation du regard (gaze estimation) dans un scénario d'interaction humain-robot en espace de travail partagé. Pour cela, elle a constitué un nouveau jeu de données annoté avec la plateforme robotique NICO, puis comparé quatre modèles d'estimation du regard parmi les plus performants. Les erreurs angulaires obtenues sont proches de celles publiées sur les benchmarks généralistes. Mais converties en distance dans l'espace de travail, la meilleure erreur médiane atteint 14,57 cm. L'étude est publiée sur arXiv (version 3) et se conclut par une discussion de ces limites et des recommandations d'intégration. Le résumé disponible ne précise ni les modèles testés, ni la taille du jeu de données. Ce résultat a une portée pratique. Dans la littérature, les modèles de regard sont jugés sur leur erreur angulaire, une métrique qui paraît rassurante mais masque l'impact réel : à une distance de travail typique, quelques degrés d'écart se traduisent par plus d'une dizaine de centimètres sur la table. Un robot ne peut donc pas déterminer de façon fiable quel objet, parmi plusieurs pièces proches, un opérateur regarde. Pour les intégrateurs et les responsables d'atelier qui envisagent le regard comme canal de commande ou d'intention dans la collaboration homme-machine, l'étude montre un écart entre les scores de benchmark et l'utilisabilité en situation réelle. Elle suggère de ne pas s'appuyer sur le regard seul. Il faut le combiner à d'autres modalités (geste de pointage, parole, contexte de la tâche) et concevoir des cibles suffisamment espacées. NICO (Neuro-Inspired COmpanion) est une plateforme humanoïde de recherche développée à l'université de Hambourg, utilisée pour l'interaction sociale et l'apprentissage robotique. Cette étude s'inscrit dans un mouvement plus large visant à mesurer les modèles dans les conditions d'usage, alors que les modèles vision-langage-action (VLA) et les humanoïdes commerciaux misent de plus en plus sur la compréhension des intentions humaines. Il s'agit ici d'un travail académique d'évaluation, sans produit ni déploiement industriel. Les prochaines étapes probables sont l'adaptation des modèles à ce contexte, l'estimation couplée tête-regard et la fusion multimodale.

RecherchePaper
1 source
SkillWeave : tisser des démonstrations hétérogènes en compétences de manipulation à long horizon
149arXiv cs.RO 

SkillWeave : tisser des démonstrations hétérogènes en compétences de manipulation à long horizon

Des chercheurs publient sur arXiv SkillWeave, un cadre de démonstrations hétérogènes pour la manipulation dextre à long horizon. Il associe deux modes de collecte selon le type d'interaction. La téléopération couvre les phases larges d'approche et de transport. L'enseignement kinesthésique, où l'opérateur guide physiquement le bras, couvre les gestes de précision riches en contacts. Ce second mode crée un décalage visuel, puisque l'humain apparaît dans les images d'entraînement. L'équipe y répond par une politique de diffusion conditionnée par un masque d'objet. L'entraînement utilise une segmentation d'objets réalisée hors ligne. Au déploiement, un prédicteur de masque léger la remplace, ce qui évite la segmentation en ligne et l'inpainting d'images. Un second mécanisme, le « successor-aware terminal steering », traite la dérive de distribution entre sous-politiques entraînées séparément. Il choisit, parmi des actions échantillonnées par la politique prédécesseur, celle qui mène vers des états couverts par la distribution d'états initiaux de la politique successeur. Sur trois tâches réelles à long horizon, le taux de réussite de bout en bout moyen atteint 27 %. Les sous-tâches dextres, avec politiques kinesthésiques à masque, atteignent 65 % en moyenne. L'efficacité de composition des transitions entre politiques atteint 87 % en moyenne. Le code et les vidéos sont publiés. L'intérêt tient à ce que ces chiffres montrent sur le goulot d'étranglement de la manipulation longue. Un taux de bout en bout de 27 % reste très loin d'un niveau exploitable en production. Il confirme aussi que l'enchaînement de compétences multiplie les erreurs : avec 65 % par sous-tâche dextre, la réussite s'érode vite sur trois tâches. La contribution est donc surtout diagnostique. Elle indique que la jonction entre politiques pèse autant que la qualité de chaque politique, avec 87 % de composition efficace. Elle suggère aussi qu'une modalité de collecte unique, souvent la téléopération seule, est mal adaptée aux contacts fins. Pour un intégrateur, la leçon est pratique : le coût de collecte de données se répartit mieux si l'on réserve le guidage physique aux seuls gestes critiques. Les limites sont à garder en tête. Ni les tâches, ni la plateforme robotique, ni le nombre d'essais ne figurent dans le résumé, et aucune comparaison avec des modèles généralistes n'y est donnée. Les résultats restent ceux d'un laboratoire, sans déploiement industriel. Le contexte est celui d'un champ qui cherche à sortir des démonstrations courtes. Les politiques de diffusion et les modèles vision-langage-action (VLA) comme Pi-0 ou GR00T progressent sur des tâches isolées. Ils restent fragiles dès que la séquence s'allonge. La téléopération à grande échelle est l'approche dominante pour collecter des données. Le teaching kinesthésique, plus lent mais plus précis, est resté marginal à cause du biais visuel que cet article cherche à corriger. Le travail s'inscrit dans les approches de décomposition en compétences, qui visent à composer des primitives plutôt qu'à entraîner une politique monolithique. La suite logique serait de tester la méthode sur davantage de tâches et d'embodiments. Il faudrait aussi la confronter à des VLA généralistes sur les mêmes séquences. Le caractère reproductible du code publié le permettra.

RecherchePaper
1 source
Prédire la dynamique des câbles grâce à un biais d'attention physique
150arXiv cs.RO 

Prédire la dynamique des câbles grâce à un biais d'attention physique

Des chercheurs proposent, dans un preprint arXiv (2610.11975v1), d'ajouter un biais d'attention physique à des simulateurs appris de câbles, ou objets linéaires déformables (DLO). Le biais est un terme additif appliqué aux logits d'attention, avec un taux appris. Il pose une question précise : quelle distance doit-il utiliser ? Un câble en possède deux, qui ne coïncident que lorsqu'il est tendu. La distance curviligne, mesurée le long du câble, gouverne les forces élastiques. La distance euclidienne, mesurée dans l'espace, gouverne le contact. Les auteurs comparent quatre configurations : aucun biais, chaque distance seule, et les deux distances réparties sur des têtes d'attention distinctes. Le reste du modèle et le protocole d'entraînement restent identiques. Le code et les enregistrements par essai sont publiés sur GitHub (avihaig/dlogps). Les résultats sont nuancés. Un biais physique améliore la prédiction sur des câbles jamais vus à l'entraînement. Le gain est maximal quand l'attention est le seul mécanisme reliant des segments éloignés : le biais curviligne réduit alors l'erreur de prédiction de 15 % et divise par plus de deux la dérive de longueur des segments. Le biais euclidien seul reste proche de l'attention sans biais. L'attribution des deux distances à des têtes différentes donne le meilleur résultat, ou un résultat proche du meilleur, sur toutes les métriques rapportées. Le papier ne chiffre pas ce dernier gain dans son résumé, et les 15 % ne valent que dans la configuration où l'attention est le seul lien entre segments distants. L'enjeu dépasse l'académique pour qui manipule des câbles en production : harnais automobiles, câblage d'armoires électriques, assemblage de faisceaux. Ces tâches restent difficiles à automatiser, car le câble se déforme, se replie et entre en contact avec lui-même. Un simulateur appris stable sur de longues séquences et capable de généraliser à des câbles inconnus réduirait le fossé entre simulation et réalité, et donc le coût de génération de données pour entraîner des politiques de manipulation. Le résultat suggère aussi qu'injecter une géométrie explicite dans l'attention est plus efficace que la laisser tout découvrir. Selon les auteurs, l'essentiel de l'erreur se concentre aux contacts, soit câble contre câble, soit câble contre sol. Ce sont ces zones qu'un biais bien choisi doit corriger. Ce travail s'inscrit dans la lignée des simulateurs neuronaux à graphes, qui modélisent les objets déformables par passage de messages entre noeuds voisins. Ces approches propagent mal l'information entre segments éloignés le long du câble, ce qui explique l'intérêt de l'attention sur toutes les paires. Il s'agit ici d'une étude de recherche en simulation. Elle ne mentionne aucun déploiement industriel, ni validation sur robot réel, ni calendrier de pilote, et le résumé ne précise ni la taille des jeux de données ni les types de câbles testés. La suite logique serait un test en boucle fermée avec un robot manipulant de vrais câbles, étape qui conditionnera l'intérêt réel pour les intégrateurs.

RecherchePaper
1 source