Actualités robotique — page 82

4 499 articles au fil, du plus récent au plus ancien.

48

4051arXiv cs.RO 

AhaRobot : un manipulateur mobile bimanuel open source à faible coût pour l'IA incarnée

Une équipe de recherche a publié en mars 2025 sur arXiv les spécifications complètes d'AhaRobot, un manipulateur mobile bimanuel open-source dont le coût matériel total s'élève à 1 000 dollars. Le système repose sur une architecture à deux bras de type SCARA, conçue pour réduire les couples moteurs nécessaires tout en maintenant un large espace de travail vertical. La précision annoncée est de 0,7 mm en répétabilité, obtenue grâce à une compensation de jeu mécanique par double moteur et à une technique de dithering pour neutraliser le frottement statique. L'interface de téléopération associée, RoboPilot, intègre une poignée marqueur à 26 faces qui réduit l'erreur de suivi de 80 % par rapport à une poignée à 6 faces et améliore l'efficacité de collecte de données de 30 %. L'ensemble du code, des fichiers CAO et de la documentation est mis à disposition en accès libre sur aha-robot.github.io. L'enjeu central est l'entraînement des modèles VLA (Vision-Language-Action), tels que pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui exigent des volumes massifs de données de manipulation réelles et diversifiées. Les plates-formes commerciales équivalentes coûtent généralement entre 20 000 et 100 000 dollars, ce qui limite mécaniquement l'échelle de collecte. À 1 000 dollars par unité, AhaRobot rend théoriquement possible le déploiement de flottes de collecte à faible coût. Les auteurs affirment que la qualité des données est comparable à celle produite par des systèmes de téléopération VR haute gamme, une assertion non encore validée sur des benchmarks standardisés indépendants. La précision de 0,7 mm reste cependant un chiffre solide pour ce niveau de coût. Le projet s'inscrit dans un mouvement plus large de démocratisation du hardware robotique open-source, aux côtés de LeRobot, l'initiative de la société française HuggingFace, et du Low Cost Robot d'Alexander Koch. La conception SCARA bimanuelle fait un compromis délibéré entre dextérité et coût, en abaissant les exigences en couple pour utiliser des actionneurs moins chers. À ce stade, il s'agit d'un preprint de recherche sans déploiement industriel ni pilote commercial annoncé : la prochaine étape naturelle serait une reprise par des laboratoires académiques pour valider l'imitation learning sur des tâches bimanuelles complexes en conditions réelles, et mesurer si l'avantage coût se maintient à l'échelle.

Recherche❖Paper

1 source

48

4052arXiv cs.RO 

OGPO : un affinage complet et efficace des politiques de contrôle génératives

Un preprint arXiv de mai 2026 (2605.03065) présente OGPO, Off-policy Generative Policy Optimization, un algorithme de fine-tuning par renforcement pour les politiques génératives de contrôle (GCPs) basées sur la diffusion ou le flow matching, paradigme central de modèles comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). OGPO propage les gradients à travers l'intégralité du processus génératif via un objectif PPO modifié et maintient des réseaux critiques off-policy pour maximiser la réutilisation des données. Évalué sur des tâches de manipulation multi-tâches, d'insertion haute précision et de contrôle dextère, l'algorithme revendique un état de l'art et serait, selon les auteurs, le premier à fine-tuner des politiques de behavior cloning mal initialisées jusqu'au succès complet sans données expertes dans le replay buffer en ligne. Quatre stabilisateurs pratiques sont introduits : success-buffer regularization, conservative advantages, régularisation χ², et réduction de la Q-variance. Le fine-tuning RL des politiques génératives est l'un des principaux verrous pour le déploiement industriel de la robotique. Le behavior cloning pré-entraîne des modèles polyvalents sur de larges corpus de démonstrations, mais plafonne en deçà des taux de succès requis pour l'assemblage de précision ou la manipulation de pièces complexes. L'absence de données expertes dans le replay buffer est stratégiquement importante : un intégrateur adaptant un modèle fondation à une cellule de production spécifique n'a pas à collecter de nouvelles démonstrations coûteuses. Les stabilisateurs introduits adressent directement la sur-exploitation des critiques, mode d'échec documenté qui rendait les approches précédentes instables sur des observations en pixels. Les politiques diffusion pour la robotique ont émergé en 2023 avec Chi et al. (Diffusion Policy), avant d'être étendues au flow matching avec Pi-0 de Physical Intelligence et la famille GR00T de NVIDIA. Le fine-tuning RL de ces architectures avait été tenté avec des méthodes comme DPPO, mais restait limité aux politiques bien initialisées et nécessitait souvent des données expertes. OGPO se positionne comme une approche généraliste applicable à toute GCP. En compétition académique, les laboratoires de Berkeley, CMU et Stanford travaillent sur des problématiques proches. Côté industriel, Physical Intelligence, Boston Dynamics et Figure AI intègrent ce type d'optimisation dans leurs pipelines, et des acteurs européens comme Enchanted Tools (France) opèrent dans cet espace. La suite logique est une validation à plus grande échelle sur hardware réel et une extension aux architectures VLA (Vision-Language-Action) multimodales.

IA physique❧Opinion

1 source

48

4053arXiv cs.RO 

Sécurité de l'IA incarnée : panorama des risques, attaques et défenses

Une équipe de chercheurs a publié fin avril 2026 sur arXiv (identifiant 2605.02900) une revue systématique de la sécurité dans l'IA incarnée (embodied AI), couvrant plus de 400 articles académiques. Le périmètre s'étend à l'ensemble du pipeline d'un agent physique : perception sensorielle, cognition, planification, exécution d'actions et interactions humain-robot. La taxonomie proposée organise les menaces en quatre grandes familles d'attaques (adversariales, backdoor, jailbreak, matérielles) et trois axes de défense (détection d'attaques, entraînement robuste, inférence sûre). Les domaines d'application ciblés incluent la conduite autonome, la robotique industrielle et d'assistance, ainsi que les applications médicales, tous caractérisés par des conséquences physiques directes en cas de défaillance. Ce travail pointe trois angles morts particulièrement préoccupants pour les intégrateurs et les équipes produit. D'abord, la fragilité de la fusion multimodale : combiner vision, LiDAR et langage amplifie les surfaces d'attaque plutôt que de les réduire, contrairement à l'hypothèse dominante de redondance. Ensuite, l'instabilité de la planification sous attaque jailbreak : les modèles vision-langage-action (VLA) comme Pi-0 ou GR00T N2, de plus en plus déployés dans des systèmes humanoïdes, restent vulnérables à des injections de prompt qui court-circuitent les contraintes de sécurité définies au niveau applicatif. Enfin, la confiance dans les interactions en monde ouvert demeure non résolue dès que le scénario sort des conditions de laboratoire, ce qui est précisément le cas des déploiements industriels réels. Le contexte est celui d'une accélération brutale du déploiement d'agents physiques autonomes depuis 2024, portée par des acteurs comme Figure AI, Boston Dynamics, 1X Technologies, Apptronik et des labos publics (Stanford, CMU, ETH Zurich). L'absence d'un cadre de sécurité unifié est jusqu'ici restée dans l'angle mort de la course aux performances : les benchmarks sectoriels mesurent la dextérité et le sim-to-real transfer, rarement la robustesse face à un adversaire actif. Ce survey constitue un premier référentiel structuré ; il ne propose pas de solution clé en main mais identifie les briques manquantes, notamment les protocoles d'évaluation standardisés pour les attaques sur hardware embarqué et les mécanismes de contrôle d'intégrité des VLA en production.

Recherche❧Opinion

1 source

47

4054arXiv cs.RO 

SOAR : optimisation conjointe en temps réel pour l'allocation des commandes et l'ordonnancement des robots mobiles

Des chercheurs, en collaboration avec Geekplus, ont publié SOAR (Simultaneous Order Allocation and Robot Scheduling), un framework d'apprentissage par renforcement profond conçu pour optimiser en temps réel la coordination des robots dans les systèmes de préparation de commandes automatisés (RMFS, Robotic Mobile Fulfillment Systems). Déposé sur arXiv en mai 2026 (arXiv:2605.03842), le système unifie deux sous-problèmes classiquement découplés, l'allocation des commandes et la planification des robots mobiles, en un seul agent décisionnel. Sur des données industrielles réelles fournies par Geekplus, SOAR réduit le makespan global de 7,5 % et le temps moyen de complétion des commandes de 15,4 %, avec une latence de décision inférieure à 100 ms. La viabilité du système a été confirmée par un déploiement en environnement de production via une procédure sim-to-real. Techniquement, le problème est formulé comme un processus de décision de Markov piloté par événements (Event-Driven MDP), où l'agent réagit à des événements asynchrones (fin de tâche, arrivée de commande) grâce à un Heterogeneous Graph Transformer encodant l'état de l'entrepôt, complété par une stratégie de reward shaping pour gérer la rareté du signal de récompense sur les longues séquences. Les RMFS équipent aujourd'hui les grands centres logistiques : des flottes de robots mobiles (AMR) transportent des étagères entières vers des postes de picking humains ou automatisés. Le goulot d'étranglement traditionnel vient du couplage fort entre allocation et ordonnancement : les approches décomposées sacrifient l'optimalité globale pour garantir la réactivité, tandis que les modèles d'optimisation classiques comme les MILP ou CP-SAT sont trop lents pour des environnements à haute cadence. SOAR casse ce compromis en prouvant qu'un agent de deep RL peut raisonner globalement tout en répondant en moins de 100 ms, ce qui constituait un verrou industriel reconnu. Plus significatif encore, la validation sim-to-real en conditions de production distingue ce travail de la majorité des publications académiques qui restent cantonnées à la simulation. Geekplus, fondé en 2015 à Pékin, est l'un des leaders mondiaux des AMR pour la logistique d'entrepôt, avec des déploiements dans plus de 40 pays chez des clients comme Decathlon et JD.com. Sa participation directe à cette recherche signale une intégration croissante entre laboratoires académiques et industriels pour raccourcir le cycle lab-to-production. Sur le marché, Geekplus concurrence Hai Robotics et AutoStore, mais aussi en Europe des acteurs comme Exotec (France), dont le système Skypod adresse des problèmes similaires de coordination multi-robots à grande échelle. SOAR s'inscrit dans un corpus actif de travaux sur le RL multi-agent pour la planification en entrepôt, mais se distingue par son approche unifiée et son ancrage en production confirmé. Le code est disponible en open source sur GitHub, ce qui devrait faciliter son adaptation à d'autres architectures RMFS.

Industriel❖Paper

1 source

46

4055arXiv cs.RO 

Contrôle à sûreté critique sous observabilité partielle : POMDP d'atteinte-évitement et contrôle dans l'espace des croyances

Des chercheurs ont publié sur arXiv (référence 2503.10572v2) une architecture de contrôle en temps réel pour robots évoluant dans des environnements partiellement observables, c'est-à-dire des situations où le robot ne perçoit qu'une fraction de son état réel. Le problème traité est celui des POMDP reach-avoid (Partially Observable Markov Decision Processes) : comment guider un robot vers un objectif tout en évitant des obstacles, quand ses capteurs sont bruités ou incomplets. L'approche proposée découple ce problème en trois composants modulaires opérant dans l'espace des croyances (belief space), soit l'ensemble des distributions de probabilité sur les états possibles. Les auteurs introduisent deux outils formels : les Belief Control Lyapunov Functions (BCLFs), qui formalisent la collecte active d'information comme un problème de convergence Lyapunov, et les Belief Control Barrier Functions (BCBFs), qui fournissent des garanties de sécurité probabilistes à horizon fini via la prédiction conforme. La synthèse de commande se réduit à des programmes quadratiques légers, résolus en temps réel même pour des représentations de croyances non gaussiennes de dimension supérieure à 10 000. Les expériences couvrent la simulation et une plateforme réelle de robotique spatiale. L'apport principal est architectural : plutôt que de tout résoudre dans un arbre de recherche unifié, ce qui souffre de conflits entre échelles de temps (sécurité immédiate vs. planification à long terme), l'architecture en couches permet à chaque composant de fonctionner à son propre rythme. Pour les intégrateurs robotiques et les équipes R&D, c'est une avancée concrète sur le sim-to-real gap dans des contextes à observabilité partielle. La garantie probabiliste de sécurité via prédiction conforme est particulièrement notable : elle s'applique sans hypothèse gaussienne, ce qui élargit le domaine d'application à des scénarios industriels réels où les distributions d'incertitude sont complexes. Les performances annoncées sur la plateforme spatiale suggèrent une applicabilité au-delà du laboratoire, même si les conditions exactes des tests restent à détailler. L'article s'inscrit dans un courant actif de recherche sur le contrôle certifié (Control Barrier Functions, Control Lyapunov Functions) appliqué à la prise de décision probabiliste. Les travaux antérieurs comme DESPOT, POMCP ou les POMDP contraints (C-POMDP) tentaient d'intégrer sécurité et planification dans un seul solveur, souvent au prix de temps de calcul prohibitifs. L'utilisation de la prédiction conforme pour les garanties de sécurité rapproche cette ligne de travail des approches émergentes en apprentissage machine certifié. La plateforme spatiale mentionnée évoque des applications dans l'inspection et la maintenance orbitale, un secteur où acteurs comme Airbus Defence, Thales Alenia Space ou des startups comme ClearSpace développent des capacités d'opération autonome. Les prochaines étapes naturelles seraient une validation sur des robots mobiles ou manipulateurs en environnement industriel, et une publication des hyperparamètres permettant la reproductibilité.

Recherche❖Paper

1 source

46

4056arXiv cs.RO 

Apprendre à oublier : mémoire épisodique hiérarchique pour le déploiement à long terme des robots

Des chercheurs ont publié H²-EMV, un cadre logiciel permettant aux robots humanoïdes de gérer sélectivement leur mémoire épisodique sur le long terme. Le problème adressé est concret : lorsqu'un utilisateur demande « Où as-tu mis mes clés ? » ou « Pourquoi la tâche a-t-elle échoué ? », le robot doit interroger un historique d'expériences captées en continu depuis des capteurs multimodaux. Sans filtrage, ce volume dépasse rapidement les capacités de stockage et rend les requêtes en temps réel impraticables. H²-EMV construit une mémoire hiérarchique de manière incrémentale, applique un oubli sélectif via un modèle de langage qui évalue la pertinence de chaque événement selon des règles en langage naturel, puis affine ces règles à partir des retours utilisateur. Testé sur des simulations de tâches domestiques et sur 20,5 heures d'enregistrements réels collectés avec le robot humanoïde ARMAR-7, le système réduit la taille mémoire de 45 % et le temps de calcul des requêtes de 35 %, tout en maintenant la précision des réponses. En deuxième session, cette précision progresse de 70 % grâce à l'adaptation aux priorités individuelles de l'utilisateur. Pour les déploiements longs de robots de service, ce résultat lève un frein non résolu. La mémoire épisodique est un point de friction majeur : un robot qui efface tout entre deux sessions est inutilisable sur la durée, mais stocker sans discrimination devient ingérable sur plusieurs semaines ou plusieurs mois. H²-EMV démontre qu'un oubli structuré et appris ne dégrade pas les performances de question-réponse, et que celles-ci s'améliorent avec l'usage, propriété rare dans les systèmes robotiques actuels. Pour les intégrateurs et les décideurs B2B, cela ouvre la voie à des assistants humanoïdes capables de dialogue contextuel persistant sans infrastructure de stockage surdimensionnée, condition nécessaire à un déploiement viable en environnement réel. ARMAR-7 est un humanoïde développé à l'Institut für Anthropomatik und Robotik du Karlsruhe Institute of Technology (KIT), en Allemagne, dont les recherches en interaction homme-robot figurent parmi les plus avancées en Europe. La gestion de mémoire long terme en robotique est un champ actif : des approches comme MemoryBank ou les bases vectorielles couplées à des grands modèles de langage ciblent des problèmes comparables, mais rarement sur des horizons temporels aussi longs ni sur des données réelles aussi volumineuses. L'article (arXiv:2604.11306v2) reste un preprint non encore évalué en conférence à comité de lecture ; les résultats annoncés attendent une confirmation indépendante. Les prochaines étapes naturelles sont une validation sur d'autres plateformes humanoïdes et des horizons de déploiement encore plus étendus pour confirmer la stabilité de l'apprentissage des règles d'oubli.

Recherche❖Paper

1 source

45

4057arXiv cs.RO 

Un algorithme certifié exact pour la calibration généralisée robot-monde et main-œil

Des chercheurs ont déposé sur arXiv (identifiant 2507.23045, version révisée) un algorithme de calibration extrinsèque pour plateformes multi-capteurs, formulé comme une solution générale au problème dit de "robot-world and hand-eye calibration" (RWHEC). La contribution centrale est la garantie de convergence vers l'optimum global, une propriété que les méthodes précédentes, souvent fondées sur une optimisation locale par descente de gradient, ne pouvaient pas assurer. L'algorithme résout simultanément la pose de plusieurs capteurs et de plusieurs cibles, et prend en charge les caméras monoculaires, qui présentent une ambiguïté d'échelle intrinsèque : seules, elles ne peuvent pas mesurer la distance absolue sans information supplémentaire. Une implémentation open-source accompagne la publication pour faciliter reproductibilité et adoption. La calibration extrinsèque, la détermination précise de la position et de l'orientation relative entre un capteur (caméra, LiDAR) et l'effecteur ou la base d'un robot, est un prérequis critique pour tout système multi-capteurs, qu'il s'agisse de robotique industrielle, de véhicules autonomes ou de manipulation. En pratique, les méthodes existantes exigent soit des hypothèses fortes sur l'environnement (cibles connues, mouvements structurés), soit des initialisations manuelles proches de la solution, au risque de converger vers un minimum local erroné. Les auteurs dérivent des critères d'identifiabilité a priori, c'est-à-dire des conditions mathématiques permettant de vérifier avant le calcul si le problème admet une solution unique, ainsi que des garanties d'optimalité globale pour des instances à erreurs de mesure bornées. Cela réduit la charge opérateur et élimine le risque d'échec silencieux en production. Techniquement, l'algorithme repose sur une relaxation SDP (Semidefinite Programming) d'un programme quadratique à contraintes quadratiques (QCQP), une famille de méthodes popularisée notamment par TEASER++ (MIT, 2020) pour le recalage de nuages de points. Les auteurs introduisent en parallèle une nouvelle qualification de contraintes pour les programmes non linéaires à contraintes redondantes, une contribution de théorie de l'optimisation valable indépendamment du problème de calibration. À noter que ce travail reste un preprint non encore évalué par les pairs. Dans un secteur où des acteurs comme Boston Dynamics, Agility Robotics, ou côté français Wandercraft, investissent massivement dans la perception embarquée multi-capteurs, disposer d'une calibration certifiée, générale et peu contraignante représente un gain opérationnel concret pour le passage à l'échelle en environnements réels.

Recherche❖Paper

1 source

44

4058arXiv cs.RO 

RoboEval : un cadre structuré et extensible pour évaluer la manipulation robotique

Une équipe de chercheurs a publié RoboEval (arXiv:2507.00435), un cadre d'évaluation structuré et un benchmark dédié à la manipulation robotique. L'outil propose huit tâches bimanuelles assorties de variantes systématiquement contrôlées, plus de trois mille démonstrations expertes, et une plateforme de simulation modulaire conçue pour garantir la reproductibilité des expériences. Chaque tâche est instrumentée avec des métriques standardisées couvrant l'efficacité d'exécution, la coordination entre les deux bras, et la stabilité ou sécurité du mouvement. Le cadre inclut également des mesures de progression par étapes qui permettent de localiser précisément où et pourquoi une politique échoue, plutôt que de simplement enregistrer un échec global. Les expériences ont été conduites sur des politiques visuomotrices de l'état de l'art, en évaluant la stabilité des métriques face aux variations de conditions et leur pouvoir discriminant entre politiques affichant des taux de succès similaires. L'enjeu est méthodologique autant qu'industriel. Aujourd'hui, la majorité des benchmarks de manipulation robotique réduisent la performance à un comptage binaire succès/échec, ce qui efface les différences réelles de qualité d'exécution. Deux politiques peuvent afficher le même taux de réussite tout en présentant des comportements radicalement différents en termes de fluidité, de robustesse aux perturbations, ou de coordination interdigitale. Pour un intégrateur ou un décideur industriel qui doit choisir entre plusieurs VLA (Vision-Language-Action policies) pour déployer un robot en production, cette granularité est critique. RoboEval tente de combler ce fossé en fournissant des métriques intermédiaires qui corrèlent avec le succès final mais révèlent aussi la structure des défaillances, un prérequis pour itérer efficacement sur l'entraînement. Ce travail s'inscrit dans une dynamique plus large de maturation de l'évaluation en robotique apprenable, un domaine qui souffre depuis des années d'une fragmentation des protocoles. Des initiatives comparables comme LIBERO ou RoboVerse ont tenté de standardiser les conditions expérimentales, mais restaient souvent limitées aux tâches unimanuelles ou aux métriques de haut niveau. RoboEval se distingue par son focus bimanuel, directement pertinent pour les applications industrielles d'assemblage ou de logistique, et par la richesse de ses métriques comportementales. La page projet est accessible sur robo-eval.github.io. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné : il s'agit pour l'instant d'une contribution académique, sans validation en environnement réel annoncée.

Recherche❖Paper

1 source

44

4059arXiv cs.RO 

Préhension dextérique réactive par planification RL hiérarchique en espace de tâche et contrôle QP en espace articulaire

Des chercheurs ont publié le 6 mai 2026 sur arXiv (référence 2605.03363) un framework de contrôle hiérarchique hybride pour la préhension dextre réactive. L'architecture sépare explicitement deux niveaux d'exécution : un planificateur haut niveau basé sur du multi-agent RL, avec deux agents spécialisés distincts (un pour le bras, un pour la main), qui génère des commandes de vitesse en espace tâche; et un contrôleur bas niveau de programmation quadratique (QP) parallélisé sur GPU, qui traduit ces commandes en vitesses articulaires tout en respectant strictement les limites cinématiques et en assurant l'évitement de collisions. Le système a été validé sur matériel réel, avec un bras 7-DOF équipé d'une main anthropomorphique 20-DOF, en démontrant un transfert zero-shot depuis la simulation vers des objets non vus pendant l'entraînement, dans des environnements non structurés. La contribution principale n'est pas seulement la performance de saisie : c'est la propriété de "zero-shot steerability", c'est-à-dire la capacité d'un opérateur à ajuster dynamiquement les marges de sécurité ou à contourner des obstacles imprévus sans réentraîner la politique. Pour un intégrateur industriel, cela change radicalement le calcul de déploiement : les approches end-to-end classiques (VLA inclus) nécessitent typiquement un fine-tuning coûteux pour chaque variation d'environnement. Ici, la séparation structurelle entre planification et exécution permet d'injecter des contraintes nouvelles au niveau du QP sans toucher à la politique RL, ce qui accélère aussi la convergence en entraînement. La robustesse aux perturbations physiques imprévues, démontrée en conditions réelles, renforce la crédibilité du pipeline sim-to-real. Ce travail s'inscrit dans un mouvement de recherche qui cherche à dépasser les architectures purement end-to-end pour la manipulation dextre, en réintroduisant des couches de contrôle classiques (QP, contraintes cinématiques) comme fondation sûre sous une politique apprise. Des approches similaires émergent chez des équipes comme Physical Intelligence (Pi-0), Figure AI (Figure 03) ou 1X Technologies, qui combinent toutes apprentissage et contrôle structuré. La prochaine étape naturelle pour ce type de framework sera la validation sur des tâches d'assemblage industriel avec variabilité de forme et de matière, ainsi que l'extension à des mains à plus haute densité de capteurs pour fermer la boucle tactile.

IA physique❖Paper

1 source

42

4060arXiv cs.RO 

BifrostUMI : des démonstrations sans robot pour la manipulation corps entier des humanoïdes

Une équipe de chercheurs a publié le 6 mai 2026 BifrostUMI (arXiv:2605.03452), un framework de collecte de données sans robot dédié à l'entraînement de politiques visuomotrices full-body pour robots humanoïdes. Le principe : un opérateur humain équipé d'un casque VR léger réalise des démonstrations manuelles, capturées sous forme de trajectoires de points-clés (keypoints) épars, tandis que des caméras montées au niveau des poignets enregistrent simultanément les données visuelles. Ces données multimodales alimentent ensuite un réseau de politique haut niveau qui apprend à prédire les trajectoires futures conditionnées aux features visuelles observées. Un pipeline de retargeting traduit ensuite ces trajectoires sur la morphologie du robot cible, qui les exécute via un contrôleur corps entier (whole-body controller). L'efficacité du framework est validée sur deux scénarios expérimentaux distincts, sans que les auteurs ne précisent les benchmarks quantitatifs de performance (temps de cycle, taux de succès par tâche) dans le résumé disponible. L'enjeu est direct pour quiconque tente de scaler l'entraînement d'humanoïdes : la télé-opération robotique reste le goulot d'étranglement principal de la collecte de données. Elle exige un accès permanent au hardware, un opérateur qualifié, et génère un flux de données lent et coûteux. BifrostUMI découple complètement la phase de démonstration du robot physique, ce qui ouvre la possibilité de collecter des démonstrations en masse, avec n'importe quel opérateur humain, dans n'importe quel environnement, sans mobiliser la plateforme mécanique. C'est précisément le verrou que les acteurs du secteur cherchent à lever : Figure AI, Physical Intelligence (pi) ou Apptronik dépendent tous de pipelines de collecte lents et onéreux. Si le sim-to-real gap reste un défi ouvert, l'approche keypoint avec retargeting propose une voie alternative au full imitation learning vidéo, en s'appuyant sur une représentation compacte et plus robuste aux variations morphologiques entre démonstrateur et robot. BifrostUMI s'inscrit directement dans la lignée de l'Universal Manipulation Interface (UMI) développé par Stanford, qui avait montré qu'un graspeur instrumenté suffit à générer des démonstrations transférables. Les auteurs étendent ce paradigme au corps entier des humanoïdes, un saut de complexité significatif donné le nombre de degrés de liberté à contrôler. Sur le marché, Physical Intelligence mise sur Pi-0 et ses variantes pour des politiques générales entraînées sur données téléopérées, tandis que Boston Dynamics, Unitree et Fourier Intelligence investissent massivement en infrastructure de télé-op. BifrostUMI, en tant que preprint non encore évalué par les pairs, reste une preuve de concept académique, sans déploiement industriel annoncé ni timeline de commercialisation. Les prochaines étapes naturelles seraient une évaluation comparative sur des benchmarks standardisés (RoboSuite, DROID) et une validation sur plusieurs morphologies humanoïdes différentes.

IA physique❧Opinion

1 source

42

4061arXiv cs.RO 

Préhension indépendante du point de vue par VLM et observations partielles

Des chercheurs ont publié sur arXiv (arXiv:2603.07866v2) un pipeline de saisie robotique guidé par le langage naturel, conçu pour fonctionner dans des environnements encombrés avec des observations partielles. Le système prend en entrée une commande textuelle en langage libre, localise l'objet cible dans l'image RGB via détection open-vocabulary et segmentation d'instance, puis extrait un nuage de points centré sur l'objet à partir de données RGB-D. Pour compenser les zones occultées, le pipeline applique une compensation de profondeur par back-projection et une complétion du nuage de points en deux étapes. Il génère ensuite des candidats de saisie à 6 degrés de liberté (6-DoF), les filtre pour éviter les collisions, et sélectionne la saisie finale via des heuristiques orientées sécurité tenant compte de l'accessibilité, de la faisabilité d'approche et des dégagements. Évalué sur un robot quadrupède équipé d'un bras manipulateur, le pipeline atteint un taux de succès global de 90 % (9 saisies sur 10) contre 30 % (3/10) pour la baseline dépendante du point de vue, sur deux scénarios de table encombrés. Ce résultat est notable parce qu'il adresse l'un des blocages les plus persistants du manipulation robotique mobile: l'occultation partielle. Les robots humanoïdes et quadrupèdes déployés en entrepôt ou en atelier ne disposent jamais d'une vue complète de la scène. Passer de 30 % à 90 % de succès en conditions réelles de désordre, sans recalibrage de vue, valide l'approche de complétion de nuage de points couplée à la détection open-vocabulary: le système n'a pas besoin de connaître l'objet à l'avance, il le trouve par description textuelle. C'est exactement le type de généralisation que cherchent les intégrateurs industriels pour éviter la reprogrammation à chaque nouveau SKU. Ce travail s'inscrit dans la vague des pipelines VLA (Vision-Language-Action) qui tentent de combler le fossé entre compréhension sémantique et exécution physique fiable. Des approches concurrentes comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) visent également la saisie généraliste, mais depuis des plateformes humanoïdes à deux bras. Ici, l'accent est mis sur les robots quadrupèdes à bras unique, segment moins couvert commercialement mais pertinent pour inspection et logistique en terrain semi-structuré. Les auteurs ne mentionnent pas de déploiement industriel immédiat, il s'agit d'un résultat de laboratoire; les prochaines étapes probables incluent des tests sur davantage de catégories d'objets et une évaluation hors table, en environnement ouvert.

IA physique❧Opinion

1 source

42

4062arXiv cs.RO 

RLDX-1 : rapport technique

Un rapport technique déposé sur arXiv le 6 mai 2026 présente RLDX-1, une politique robotique généraliste conçue pour la manipulation dextre complexe. L'architecture centrale, baptisée Multi-Stream Action Transformer (MSAT), intègre des modalités hétérogènes via des flux spécialisés par modalité couplés à une attention croisée inter-modale (cross-modal joint self-attention). Cette conception cible trois lacunes persistantes des modèles Vision-Langage-Action (VLA) actuels : la conscience du mouvement (motion awareness), la prise de décision avec mémoire contextuelle, et l'intégration de retours sensoriels physiques. Le système combine cette architecture avec des choix de conception système : génération synthétique de données d'entraînement pour les scénarios de manipulation rares, procédures d'apprentissage spécialisées pour un geste proche du mouvement humain, et optimisations d'inférence pour le déploiement temps réel. Sur le benchmark ALLEX, conçu pour évaluer le contrôle de robots humanoïdes à haut degré de liberté (DoF) sous des exigences fonctionnelles variées, RLDX-1 atteint un taux de succès de 86,8 % contre environ 40 % pour π0.5 (Physical Intelligence) et GR00T N1.6 (NVIDIA), soit un écart de plus de 45 points. Ces résultats, obtenus à la fois en simulation et sur des tâches en environnement réel, indiquent que l'architecture MSAT surpasse les VLA de référence sur des tâches impliquant des contacts riches, des dynamiques rapides et des contraintes sensorimotrices multiples. C'est précisément sur ce segment -- la manipulation dextre en conditions réelles, pas en démonstration contrôlée -- que le fossé entre recherche et déploiement industriel reste le plus large, et que ces chiffres méritent une validation indépendante avant d'être pris au pied de la lettre. Les VLA ont connu une accélération marquée depuis 2024, portés par RT-2 (Google DeepMind), OpenVLA, puis la série π0/π0.5 de Physical Intelligence et la famille GR00T de NVIDIA. RLDX-1 s'inscrit dans cette dynamique en cherchant à dépasser le paradigme "versatilité générale" pour cibler des capacités fonctionnelles élargies sur des robots humanoïdes haute-DoF. Aucune affiliation institutionnelle ou entreprise n'est clairement identifiée dans l'abstract publié -- le rapport reste à ce stade un preprint non revu par les pairs, sans annonce de déploiement ni calendrier de commercialisation. Les étapes naturelles suivantes incluront une validation indépendante des benchmarks et une évaluation sur des plateformes humanoïdes commerciales comme celles de Figure, Unitree ou Agility Robotics.

IA physique❧Opinion

1 source

40

4063arXiv cs.RO 

Paramétrage adaptatif des scans pour l'inspection robotique par plongements vision-langage et calcul hyperdimensionnel

Des chercheurs ont publié le 6 mai 2026 (arXiv:2605.03909) ScanHD, un système qui configure automatiquement les paramètres d'un profilomètre laser monté sur robot à partir d'une image RGB pré-scan et d'une instruction en langage naturel. Les cinq paramètres ciblés, à savoir fréquence d'échantillonnage, plage de mesure, temps d'exposition, dynamique du récepteur et illumination, sont aujourd'hui réglés manuellement par essais-erreurs dans l'industrie. Pour évaluer l'approche, les auteurs ont constitué Instruct-Obs2Param, un jeu de données multimodal réel portant sur 16 objets avec variations de pose et d'éclairage multi-vues. ScanHD atteint 92,7 % de précision exacte et 98,1 % de Win@1 sur les cinq paramètres, avec une latence d'inférence compatible avec un déploiement industriel, et surpasse les heuristiques à base de règles ainsi que les grands modèles de langage multimodaux (MLLM). L'enjeu concret dépasse la seule inspection de surface : tout intégrateur déployant des cellules de contrôle dimensionnel automatisées dans l'automobile, l'aéronautique ou l'électronique de précision est exposé aux conséquences d'un mauvais réglage capteur, notamment la saturation, l'écrêtage ou les retours manquants qui ne peuvent pas être corrigés en post-traitement. Que ScanHD surpasse les MLLM sur cette tâche est significatif : le calcul hyperdimensionnel (HDC), qui encode instructions et observations dans des vecteurs binaires de très haute dimension pour un raisonnement associatif compact, semble offrir un avantage structurel sur les tâches de correspondance discrète à faible latence, là où les LLM génératifs tendent à sur-généraliser ou à produire des réponses instables. Le HDC est un paradigme computationnel issu des travaux de Pentti Kanerva dans les années 1980-1990, qui connaît un regain d'intérêt pour les applications embarquées grâce à sa compacité mémoire et son interprétabilité, en contraste avec les architectures transformers. ScanHD s'inscrit dans le courant des modèles vision-langage appliqués à la robotique, un espace aujourd'hui dominé par pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et Helix (Figure AI), mais il se distingue en ciblant la configuration du capteur plutôt que les actions du robot. Aucun partenaire industriel ni calendrier de déploiement ne figurent dans la publication : l'article reste au stade de la validation expérimentale sur banc de test.

Recherche❖Paper

1 source

39

4064arXiv cs.RO 

RoboAlign-R1 : alignement multimodal des récompenses pour les modèles du monde vidéo robotique

Des chercheurs ont publié le 6 mai 2026 sur arXiv (arXiv:2605.03821) un framework baptisé RoboAlign-R1, conçu pour améliorer l'alignement des modèles vidéo du monde robotique avec les objectifs réels de prise de décision. Le coeur du travail repose sur un benchmark inédit, RobotWorldBench, qui rassemble 10 000 paires vidéo-instruction annotées issues de quatre sources de données robotiques, et sur un juge multimodal, RoboAlign-Judge, capable d'évaluer les vidéos générées selon six dimensions distinctes (instruction following, manipulation accuracy, plausibilité physique, entre autres). Ce juge enseignant est ensuite distillé en un modèle récompense léger pour un post-entraînement par renforcement. En parallèle, les auteurs introduisent une stratégie d'inférence sans entraînement supplémentaire, le Sliding Window Re-encoding (SWR), qui rafraichit périodiquement le contexte de génération pour limiter la dérive lors des prédictions à long horizon. Les gains mesurés sont de 10,1 % sur le score agrégé à six dimensions par rapport au meilleur baseline, dont 7,5 % en précision de manipulation et 4,6 % en suivi d'instructions. Le SWR apporte quant à lui une réduction de 9,8 % en LPIPS et une hausse de 2,8 % en SSIM, avec seulement environ 1 % de latence additionnelle. Ce travail pointe un problème structurel rarement nommé aussi clairement dans la littérature : les modèles vidéo robotiques sont généralement optimisés pour des métriques visuelles basses (reconstruction pixel, SSIM) qui ne corrèlent pas avec la performance réelle en manipulation ou en suivi d'instructions. Autrement dit, un modèle peut produire des vidéos visuellement cohérentes tout en étant inutilisable pour le contrôle d'un bras robotique. En transposant la logique du post-entraînement par récompense, inspirée du RLHF appliqué aux LLM, aux world models vidéo, RoboAlign-R1 propose une voie pour aligner simulation et tâche réelle. Pour les équipes qui utilisent ces modèles comme simulateurs de planification ou générateurs de données synthétiques, l'évaluation multi-dimensionnelle de RoboAlign-Judge pourrait devenir un protocole de référence, à condition que le benchmark soit publié et reproductible. Cette publication s'inscrit dans une dynamique plus large d'application des techniques d'alignement (post-training, distillation, RL) à la robotique incarnée, un domaine où des travaux comme UniSim, GROOT de NVIDIA ou IRASim ont posé les bases des world models vidéo. Le code et les données ne sont pas encore disponibles publiquement au moment de la publication, ce qui limite l'évaluation indépendante des résultats. La prochaine étape naturelle serait une validation sur robot physique en dehors du protocole in-domain utilisé ici, car les gains mesurés en simulation n'impliquent pas directement un transfert sim-to-real amélioré.

Recherche❧Opinion

1 source

39

4065arXiv cs.RO 

Cadre de commande SDRE hors ligne en trois étapes pour reproduire le mouvement humain sur un robot bipède suspendu

Une équipe de recherche a publié sur arXiv (réf. 2506.04680) une stratégie de contrôle en trois étapes permettant à un robot bipède suspendu de reproduire fidèlement des mouvements humains capturés par mocap, avec une erreur quadratique moyenne (RMSE) inférieure à 3 degrés sur l'ensemble des articulations testées. Le pipeline repose d'abord sur un contrôleur SDRE (State-Dependent Riccati Equation) qui génère des trajectoires de couple optimales à partir du modèle dynamique du système bipède. Une deuxième étape produit des séquences de commandes en vitesse et accélération articulaires via une optimisation paramétrée intégrant les contraintes des actionneurs. La troisième étape applique un contrôleur hybride PID-LQR piloté par les données pour minimiser l'écart entre le mouvement cible et celui effectivement exécuté. Le dispositif expérimental est un robot bipède suspendu conçu spécifiquement pour l'évaluation d'exosquelettes anti-gravité, validé sur deux tâches : squat répétitif et marche. L'enjeu est direct pour l'industrie de l'exosquelette : les protocoles d'homologation impliquent aujourd'hui des sujets humains, ce qui introduit des risques de sécurité et complique la reproductibilité des tests. Remplacer le porteur par un robot calibré sur ses propres données de capture de mouvement ouvre la voie à des bancs d'essai systématiques, automatisés et comparables entre laboratoires. La précision annoncée, moins de 3° de RMSE moyen, est suffisante pour valider des algorithmes d'assistance articulaire sur des cycles locomoteurs complets, même si les auteurs ne précisent pas les conditions de charge ni la fréquence de cycle, deux paramètres déterminants pour juger de la transférabilité à des exosquelettes industriels ou médicaux. Le problème de la reproduction de mouvement humain sur robot hétérogène est un verrou classique en robotique de rééducation, aggravé par les différences de cinématique et d'actionnement entre humain et machine. L'approche SDRE, plus flexible que le LQR classique sur systèmes non-linéaires, n'est pas nouvelle mais son association à un raffinement PID-LQR guidé par les données constitue une contribution méthodologique incrémentale. En France, Wandercraft développe l'exosquelette Atalante pour la rééducation neurologique et fait face aux mêmes problématiques de test reproductible ; Pollen Robotics et Enchanted Tools opèrent sur des segments adjacents. Au niveau international, les équipes de Boston Dynamics, Agility Robotics et Apptronik publient sur des défis similaires en sim-to-real pour bipèdes. La prochaine étape logique pour les auteurs serait de valider le framework sur une plateforme non suspendue, condition nécessaire pour que l'approche soit utilisable en certification exosquelette en conditions réelles.

Exosquelettes❖Paper

1 source

39

4066arXiv cs.RO 

FORMULA : MPC de formation avec apprentissage de barrières neuronales pour la garantie de sécurité

Une équipe de chercheurs propose FORMULA (FORmation MPC with neUral barrier Learning for safety Assurance), un framework de contrôle distribué pour systèmes multi-robots (MRS) publié sur arXiv (réf. 2604.04409v2). L'approche combine trois briques algorithmiques : du Model Predictive Control (MPC) pour la planification prédictive, des Control Lyapunov Functions (CLFs) pour garantir la stabilité de la formation, et des Control Barrier Functions (CBFs) implémentées sous forme de réseaux de neurones pour assurer la sécurité de manière décentralisée. L'objectif est de permettre à une flotte de robots de naviguer en formation dans des environnements encombrés et dynamiques, sans conception manuelle des contraintes de sécurité. Les résultats présentés sont issus de simulations uniquement ; aucun déploiement matériel n'est rapporté à ce stade. Le verrou technique adressé est réel : les approches MPC classiques pour la formation multi-robots peinent à passer à l'échelle, tandis que les CBFs, pourtant fondées mathématiquement pour l'enforcement de sécurité, sont difficiles à concevoir à la main pour des systèmes non-linéaires complexes. FORMULA automatise cette conception via l'apprentissage, ce qui réduit la charge de calcul en ligne et permet de résoudre les situations de blocage (deadlocks) en configuration dense. Pour un intégrateur ou un COO industriel, c'est le type de brique qui conditionne le passage de pilotes en cellule à des déploiements flotte réelle dans des entrepôts ou sur des sites logistiques. La formation en robotique mobile est un problème ouvert depuis les années 2000, et les approches MPC centralisées ont longtemps buté sur la scalabilité. Le contexte applicatif visé -- logistique entrepôt, transport de matériaux, réponse aux catastrophes -- est précisément celui où des acteurs comme Exotec (France) ou Locus Robotics opèrent avec des flottes d'AMR (Autonomous Mobile Robots) sans formation rigide. FORMULA se positionne donc sur un créneau de contrôle coordonné plus contraignant que les AMR classiques. La limite principale reste l'absence de validation sur hardware réel : le gap sim-to-real pour les CBFs neuronales, notamment en présence de bruit de capteurs et de latences réseau, n'est pas adressé dans ce preprint.

Recherche❖Paper

1 source

39

4067arXiv cs.RO 

FUS3DMaps : cartographie sémantique à vocabulaire ouvert par fusion 3D de couches voxel et instance

Une équipe de recherche a publié le 6 mai 2026 sur arXiv (référence 2605.03669) FUS3DMaps, une méthode de cartographie sémantique 3D à vocabulaire ouvert conçue pour permettre à des robots de localiser spatialement des concepts arbitraires sans ensemble de classes prédéfini. Le système fonctionne en ligne et maintient simultanément deux couches sémantiques dans une même carte de voxels partagée : une couche dense, qui projette directement les embeddings de pixels sur la carte 3D, et une couche instance-level, qui segmente les vues, encode les régions correspondant à des objets distincts, puis les associe en 3D. Les expériences menées sur des benchmarks établis de segmentation sémantique 3D montrent que FUS3DMaps atteint une précision compétitive à l'échelle de bâtiments multi-étages, un niveau de scalabilité rarement démontré pour ce type d'approche sans entraînement supervisé. Le code et les données complémentaires sont annoncés en accès ouvert. Ce qui distingue FUS3DMaps des méthodes existantes est la fusion sémantique inter-couches (cross-layer fusion), qui combine les forces complémentaires des deux représentations : la couche dense couvre l'intégralité du champ visuel sans nécessiter de segmentation préalable, mais souffre d'un manque de précision à l'échelle ; la couche instance-level est précise sur les objets individuels mais dépend de l'association 2D-3D. En fusionnant les embeddings des deux couches au niveau voxel, la méthode améliore la qualité de chacune. Pour garantir la scalabilité, la fusion dense et inter-couches est restreinte à une fenêtre spatiale glissante, évitant l'explosion mémoire dans les grands environnements. Pour les intégrateurs de robotique mobile ou les développeurs de systèmes de navigation en environnement ouvert, c'est une piste concrète vers des robots capables de répondre à des requêtes en langage naturel sur des espaces non balisés. La cartographie sémantique à vocabulaire ouvert est un champ en plein essor depuis l'émergence des vision-language models (VLM) comme CLIP. Les approches actuelles se divisent en deux familles : les méthodes instance-level (LSeg, OpenScene, EmbodiedScan) et les méthodes dense (ConceptFusion, OpenFusion), chacune avec ses compromis entre précision et scalabilité. FUS3DMaps tente de réconcilier les deux dans un pipeline unifié, sans fine-tuning. À noter que l'article est une prépublication arXiv, sans validation par les pairs à ce stade, et que les démonstrations vidéo et le code sont encore annoncés comme "à venir". Aucune entreprise industrielle ou partenaire de déploiement n'est mentionné : il s'agit d'une contribution de recherche académique, pas d'un produit commercialisé.

Recherche⚡Actu

1 source

38

4068arXiv cs.RO 

Jiao : combler le fossé entre isolation et personnalisation en robotique à criticité mixte

Des chercheurs ont publié le 6 mai 2026 sur arXiv (réf. 2605.03641) une architecture baptisée Jiao, conçue pour résoudre un problème structurel en robotique grand public : faire cohabiter sur un même processeur multicoeur un contrôle temps réel critique, des pipelines de perception et des applications utilisateur. L'approche repose sur trois composants : un "Safe IO Cell" assurant un override matériel d'urgence, un "Parameter Synchronization Service" encapsulant la complexité inter-domaines, et un "Safety Communication Layer" aligné sur la norme IEC 61508. Évaluée sur plateforme ARM Cortex-A55, l'architecture réduit la gigue de période (cycle-period jitter) de 84,5 %, ramenant l'erreur de timing en queue de distribution (p99) de 69,0 μs à 7,8 μs, tout en éliminant la totalité des excursions supérieures à 50 μs. Le problème central que Jiao cherche à résoudre est ce que les auteurs appellent l'"expertise asymmetry" : les hyperviseurs à partitionnement statique, issus de l'automobile via AUTOSAR, offrent une isolation matérielle robuste, mais leur configuration suppose une maîtrise système que les développeurs d'applications robotiques n'ont généralement pas. Cette friction bloque l'adoption des architectures à criticité mixte dans les robots de service et domestiques. Les résultats de timing sont concrets : une gigue p99 sous 8 μs est une condition souvent nécessaire pour les boucles de contrôle bas niveau opérant typiquement à 1 kHz. Si ces chiffres se confirment en production, l'architecture permettrait à un intégrateur de faire tourner simultanément un RTOS pour la sécurité fonctionnelle et un Linux généraliste pour les applicatifs, sans compromettre les garanties temporelles. Ce travail s'inscrit dans la migration des architectures embarquées automobiles vers la robotique mobile et les cobots. L'ARM Cortex-A55, cible du benchmark, équipe de nombreuses plateformes embarquées milieu de gamme, ce qui donne une pertinence pratique aux résultats. Il s'agit d'un preprint de recherche, pas d'un produit commercialisé : aucun déploiement ni partenariat industriel n'est annoncé. Les suites logiques seraient une validation sur des stacks robot réels comme ROS 2 ou microROS, et une certification IEC 61508 SIL 2 ou 3. Aucun acteur européen n'est mentionné dans les travaux, bien que des sociétés comme Wandercraft ou Enchanted Tools adressent des problématiques adjacentes de systèmes embarqués à contraintes critiques.

Recherche❖Paper

1 source

38

4069arXiv cs.RO 

Contrôle de hauteur et planification optimale du couple pour le saut de robots bipèdes à roues

Des chercheurs présentent dans un preprint arXiv (2605.03302, mai 2026) deux méthodes combinées pour contrôler avec précision la hauteur de saut des robots bipèdes à roues. Le constat de départ est pratique : face à l'incertitude dynamique, ces plateformes sautent systématiquement plus haut que nécessaire pour garantir la sécurité, ce qui génère des pertes moteur évitables, des forces de contact au sol excessives et une surconsommation énergétique. La première contribution, le modèle W-JBD (Wheeled-Bipedal Jumping Dynamical), permet de cibler précisément une hauteur de saut, mais produit une consigne de couple en échelon incompatible avec les actionneurs réels. La seconde, BOTP (Bayesian Optimization for Torque Planning), optimise la trajectoire de couple sans nécessiter de modèle dynamique précis et converge en 40 itérations en moyenne. Validée sur le simulateur Webots, BOTP réduit l'erreur de hauteur de 82,3 % et la consommation énergétique de 26,9 % par rapport à la baseline, tout en produisant une courbe de couple continue. Ce résultat est pertinent pour les intégrateurs qui déploient des robots bipèdes à roues dans des environnements industriels ou logistiques : l'efficacité énergétique conditionne directement l'autonomie embarquée, et la reproductibilité du saut détermine la fiabilité du franchissement d'obstacles. Le fait que BOTP fonctionne sans modèle dynamique précis est un avantage opérationnel concret, car calibrer un modèle complet sur chaque variante de plateforme est coûteux. L'approche bayésienne converge rapidement, ce qui la rend adaptée à une validation sur robot réel avec un nombre limité d'essais physiques, un point critique pour réduire l'usure mécanique. Cela dit, les auteurs n'ont pas encore franchi le sim-to-real : l'ensemble des résultats reste en simulation, et le gap entre Webots et un vrai terrain reste à quantifier. Les robots bipèdes à roues constituent une classe en expansion : Unitree B2-W, l'ETH Zurich avec Ascento, ou encore les plateformes Handle/mobility de Boston Dynamics combinent la vitesse des roues avec la capacité de franchissement des pattes. Le planning de couple par optimisation bayésienne s'inscrit dans une tendance plus large qui vise à remplacer les contrôleurs MPC classiques, trop dépendants de modèles précis, par des méthodes d'optimisation légères adaptables à la production. Les auteurs annoncent comme prochaine étape la validation expérimentale sur robot physique en s'appuyant sur les trajectoires simulées pour réduire l'espace de recherche, ce qui devrait permettre de confirmer, ou non, la tenue des gains annoncés hors simulation.

Recherche❖Paper

1 source

38

4070arXiv cs.RO 

Analyse de l'incertitude avec supervision humaine dans les robots auto-adaptatifs via les LLM

Une équipe de chercheurs a soumis le 6 mai 2026 sur arXiv (identifiant 2605.02983) une méthodologie baptisée RoboULM, conçue pour aider les ingénieurs à identifier et analyser systématiquement les incertitudes dans les robots auto-adaptatifs dès la phase de conception. L'outil s'appuie sur des modèles de langage large (LLM) dans une boucle "human-in-the-loop" : le praticien guide l'exploration via des prompts structurés, affine les résultats de manière itérative, et construit une cartographie des sources d'incertitude, de leurs impacts potentiels et des stratégies de mitigation associées. L'évaluation a mobilisé 16 praticiens issus de quatre cas d'usage industriels distincts. Les auteurs ont par ailleurs produit une taxonomie des incertitudes propres aux robots auto-adaptatifs, sous la forme d'un catalogue structuré destiné à être réutilisé en phase de design. L'enjeu est concret pour les intégrateurs et les équipes d'ingénierie qui déploient des systèmes robotiques dans des environnements industriels non contrôlés : les incertitudes non traitées en amont figurent parmi les principales causes de violations de sécurité et de défaillances opérationnelles en production. RoboULM propose de déplacer cette analyse vers la conception, avant que les choix architecturaux ne soient figés dans le matériel ou le logiciel. Les 16 participants ont jugé l'outil à la fois utile et facile à appréhender, en valorisant particulièrement le guidage par prompts structurés et la capacité de raffinement itératif, deux leviers qui réduisent la charge cognitive liée à l'analyse de systèmes complexes. Il s'agit d'un cas d'usage émergent des LLM comme assistants d'ingénierie de sûreté, distinct de leur rôle habituel dans le contrôle ou la planification du robot lui-même. Cette approche s'inscrit dans un débat plus large autour du fossé simulation-réalité (sim-to-real gap) et de la capacité à anticiper les comportements imprévus avant déploiement réel. Les robots auto-adaptatifs, c'est-à-dire les systèmes capables de modifier leur comportement en réponse à des changements d'environnement, posent des défis de vérification que les méthodes formelles classiques peinent à couvrir exhaustivement. Des travaux parallèles dans les domaines de la safety engineering et de la vérification-validation pour systèmes autonomes convergent vers des approches hybrides homme-machine similaires. RoboULM reste à ce stade un outil de recherche, non un produit commercialisé : les prochaines étapes naturelles seraient une intégration dans les flux de conception existants (MBSE, SysML) et une validation sur des périmètres industriels plus larges.

Recherche❖Paper

1 source

37

4071arXiv cs.RO 

Combler le fossé entre les corps : édition vidéo inter-embodiment disentangled

Une équipe de chercheurs a publié le 6 mai 2026 sur arXiv (réf. 2605.03637) un framework génératif pour convertir des vidéos de démonstration humaine en séquences d'exécution robotique plausibles, sans données appariées humain-robot. La méthode décompose la vidéo source en deux espaces latents orthogonaux: l'un encodant la tâche accomplie, l'autre la morphologie du corps en mouvement. Un double objectif contrastif impose cette séparation en minimisant l'information mutuelle entre les deux espaces pour garantir leur indépendance, tout en maximisant la cohérence intra-espace pour stabiliser les représentations. Un adaptateur à faible coût paramétrique injecte ces codes latents dans un modèle de diffusion vidéo figé, produisant des démonstrations robotiques morphologiquement précises et cohérentes dans le temps à partir d'une seule séquence humaine. L'enjeu est critique: les approches existantes génèrent des représentations enchevêtrées où l'information de tâche reste couplée à la cinématique humaine spécifique, ce qui bloque le transfert vers d'autres morphologies. En découplant explicitement ces deux dimensions, la méthode ouvre la voie à l'exploitation des vastes corpus de vidéos humaines disponibles sur internet pour entraîner des politiques de manipulation robotique, sans collecte de démonstrations robot coûteuse par télé-opération. Les expériences rapportent des vidéos générées temporellement consistantes et morphologiquement fidèles, bien que l'abstract ne fournisse pas de métriques quantitatives comparatives avec les baselines; les résultats visuels restent la principale validation. Pour un intégrateur ou un décideur industriel, la promesse est de réduire significativement le coût de labeling nécessaire à l'apprentissage de nouveaux comportements de manipulation. Cette publication s'inscrit dans une compétition intense autour des politiques de manipulation généralisables: Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA (UC Berkeley) cherchent tous à réduire la dépendance aux démonstrations robot propriétaires. L'approche par édition vidéo emprunte un chemin différent des VLA classiques: plutôt qu'apprendre une politique directement depuis des vidéos humaines, elle synthétise d'abord une démonstration robot plausible exploitable par les pipelines d'imitation learning standards. Il s'agit à ce stade d'un preprint préliminaire, sans déploiement industriel ni partenariat annoncé. Le cadre latent disentangled proposé pourrait néanmoins rapidement intéresser des acteurs comme 1X Technologies ou Apptronik, et côté européen, des équipes travaillant sur l'imitation learning comme certains labs INRIA ou des spin-offs de manipulation comme Enchanted Tools.

IA physique❧Opinion

1 source

37

4072arXiv cs.RO 

Préhension optimisée dans les robots à pattes : une approche par apprentissage profond pour la loco-manipulation

Des chercheurs ont publié sur arXiv (référence 2508.17466v3) un framework de deep learning destiné à améliorer les capacités de préhension des robots quadrupèdes équipés d'un bras manipulateur, une configuration connue sous le nom de loco-manipulation. L'approche repose sur une méthodologie sim-to-real développée dans l'environnement de simulation Genesis, où des milliers d'interactions synthétiques ont été générées sur des objets courants pour produire des cartes annotées pixel par pixel de qualité de préhension. Ces données ont servi à entraîner un réseau de neurones convolutif inspiré de l'architecture U-Net, qui fusionne en entrée des flux multi-modaux issus de caméras embarquées : images RGB, cartes de profondeur, masques de segmentation et cartes de normales de surface. En sortie, le modèle produit une heatmap identifiant le point de préhension optimal. Le système complet a été validé sur un vrai robot quadrupède, qui a exécuté de façon autonome la séquence complète : navigation vers l'objet cible, perception, prédiction de la pose de préhension, puis saisie effective. Le principal intérêt de ce travail est de montrer qu'un pipeline sim-to-real bien conçu peut substituer la collecte de données physiques, historiquement le goulet d'étranglement du développement en manipulation robotique. Pour les intégrateurs et décideurs industriels, cela suggère qu'il devient possible de déployer des capacités de manipulation sur robots mobiles sans investissement massif en démonstrations réelles. Cela dit, l'abstract ne fournit aucun taux de succès quantifié, aucune comparaison avec une baseline, et aucun détail sur le nombre d'objets testés ou la robustesse aux variations d'éclairage et de pose : des lacunes habituelles dans les preprints mais qui freinent l'évaluation sérieuse de la transférabilité industrielle. Ce travail s'inscrit dans un champ académique très actif autour des robots quadrupèdes à bras, popularisé par des plateformes comme l'ANYmal de ANYbotics (Suisse) ou le Spot d'Boston Dynamics, tous deux cibles régulières de recherches en loco-manipulation. L'environnement Genesis, relativement récent, se positionne comme alternative à Isaac Sim (NVIDIA) et MuJoCo pour la génération de données synthétiques. L'architecture U-Net, initialement conçue pour la segmentation médicale, est ici réutilisée pour un problème de régression spatiale, une transposition qui gagne du terrain en robotique de manipulation. Ce papier, en version 3 de révision, reste un travail de recherche en laboratoire : aucun déploiement opérationnel ni partenariat industriel n'est mentionné.

Recherche❖Paper

1 source

36

4073arXiv cs.RO 

AEROS : une architecture mono-agent avec modules de capacités incarnées

Des chercheurs ont publié sur arXiv (2604.07039) une architecture logicielle baptisée AEROS, Agent Execution Runtime Operating System, qui propose de modéliser chaque robot comme un unique agent intelligent persistant, dont les capacités sont étendues via des modules installables appelés ECMs (Embodied Capability Modules). Chaque ECM encapsule des compétences exécutables, des modèles et des outils, tandis qu'un runtime à politique séparée gère les contraintes d'exécution et les garanties de sécurité. L'évaluation a été conduite en simulation PyBullet avec un bras manipulateur Franka Panda à 7 degrés de liberté, sur huit types d'expériences couvrant la replanification, la récupération d'échec, l'application de politiques, la généralisation inter-tâches et le hot-swapping d'ECM. Sur 100 essais randomisés par condition, AEROS atteint 100 % de succès sur trois tâches distinctes, contre 92-93 % pour des architectures de type BehaviorTree.CPP et ProgPrompt, et seulement 67-73 % pour les pipelines plats. La couche de politique bloque 100 % des actions invalides sans aucun faux positif. Ces résultats sont pertinents pour les intégrateurs et décideurs industriels pour deux raisons. D'abord, l'écart de performance face aux pipelines plats (jusqu'à 33 points) illustre le coût concret de l'absence d'architecture cohérente dans les systèmes robotiques actuels. Ensuite, la capacité de hot-swapping, charger des ECMs à la volée sans redémarrage, ouvre la voie à des robots reconfigurables en production selon la tâche, sans intervention matérielle. La couche de politique séparée est également notable : elle fournit des garanties de sécurité systémiques sans imposer de retuning par tâche, ce qui répond à un besoin réel dans les déploiements industriels où la certification de sécurité est un verrou. Le problème qu'AEROS adresse est structurel : les approches existantes soit couplent les compétences dans des architectures monolithiques rigides, soit les distribuent en multi-agents mal coordonnés, sans modèle cohérent d'identité et d'autorité de contrôle. AEROS emprunte aux systèmes d'exploitation traditionnels le concept de packages installables et l'applique aux agents incarnés. Ses concurrents académiques directs incluent ProgPrompt (CMU, planification via LLM) et les frameworks multi-agents comme AutoGen. Une limite importante à signaler : l'évaluation reste entièrement en simulation PyBullet, aucun déploiement physique n'est rapporté dans la publication. Le sim-to-real gap, problème structurel de la robotique, n'est pas adressé ici, ce qui rend prématurée toute conclusion sur la valeur opérationnelle réelle du système.

Recherche❖Paper

1 source

35

4074arXiv cs.RO 

Contrôle neuronal : l'apprentissage adjoint par contraintes d'équilibre

Une équipe de chercheurs a publié en mai 2026 sur arXiv (référence 2605.03288) un framework de contrôle baptisé "Neural Control", conçu pour piloter des systèmes physiques régis par des contraintes d'équilibre implicite. La cible principale est la manipulation d'objets linéaires déformables (DLO, deformable linear objects) tels que câbles, fils ou tuyaux flexibles. Dans ces systèmes, le robot n'actionne qu'un sous-ensemble de degrés de liberté (DoF de frontière), tandis que les DoF libres restants convergent vers une configuration d'énergie potentielle minimale. La difficulté centrale réside dans la multi-stabilité : pour les mêmes conditions aux limites, un câble peut atteindre plusieurs formes d'équilibre distinctes selon la trajectoire d'actionnement suivie. Neural Control résout ce problème en calculant des gradients proxy à travers les conditions d'équilibre via une formulation adjointe, évitant ainsi le déroulage complet des itérations du solveur et réduisant drastiquement l'empreinte mémoire et calcul. Le schéma est intégré dans un MPC à horizon glissant (receding-horizon MPC) qui ré-ancre l'optimisation à chaque pas sur l'équilibre réellement atteint, limitant les basculements entre bassins d'attraction. Les résultats, évalués en simulation et sur robots physiques, surpassent les méthodes sans gradient comme SPSA (Simultaneous Perturbation Stochastic Approximation) et CEM (Cross-Entropy Method). L'enjeu industriel est direct : la manipulation de câblages et de harnais est l'un des goulots d'étranglement non résolus de l'automatisation en assemblage automobile, électronique et médical. Les approches par apprentissage par renforcement standard buttent sur l'espace d'état combinatoire des DLO, et le sim-to-real reste fragile faute de gradients exploitables. La formulation adjointe proposée ici ouvre une voie différentiable sans le coût mémoire prohibitif du backpropagation à travers les solveurs itératifs, ce qui est un apport méthodologique tangible. Il faut noter que les métriques de performance publiées n'incluent pas de temps de cycle ni de taux de succès quantifiés sur cas industriels réels, les expériences physiques semblant rester au stade de validation en laboratoire. Ce travail s'inscrit dans un mouvement plus large de simulation différentiable appliquée à la robotique, avec des contributions récentes de groupes comme MIT, Stanford et ETH Zurich. Sur le segment DLO, il concurrence des approches comme les politiques visuomotrices apprises par imitation et les modèles d'espace d'état pour objets déformables. Aucun partenaire industriel ni déploiement pilote n'est mentionné dans la prépublication, ce qui situe clairement ce travail au stade recherche fondamentale. Les prochaines étapes probables incluent une validation sur des tâches de câblage plus complexes et une intégration dans des pipelines de planification temps-réel.

Recherche❖Paper

1 source

35

4075arXiv cs.RO 

Système de téléopération à contrôle partagé par vision pour le bras robotique d'un robot quadrupède

Des chercheurs ont publié sur arXiv (identifiant 2508.14994, troisième révision) un système de téleopération à contrôle partagé pour un robot quadrupède équipé d'un bras manipulateur, ciblant les environnements dangereux ou inaccessibles. Le principe : une caméra externe couplée à un modèle d'apprentissage automatique détecte la position du poignet de l'opérateur en temps réel, puis traduit ces mouvements en commandes directes pour le bras robotique. Un planificateur de trajectoire intégré assure la sécurité en détectant et bloquant les collisions potentielles avec les obstacles environnants, ainsi que les auto-collisions entre le bras et le châssis du robot. Le système a été validé sur un robot physique réel, pas uniquement en simulation. Il s'agit d'un preprint académique, pas d'un produit commercialisé. Ce travail adresse un verrou connu dans l'intégration industrielle des robots à pattes : les interfaces joystick ou manette exigent un niveau d'expertise élevé et génèrent une charge cognitive importante pour l'opérateur, augmentant le risque de collision dans des espaces confinés ou dynamiques. En mappant directement les gestes naturels du bras humain vers le bras du robot, l'approche réduit la barrière à l'entrée et pourrait accélérer le déploiement de plateformes comme le Boston Dynamics Spot ARM ou l'ANYmal d'ANYbotics dans des scénarios d'inspection ou de maintenance à risque. La solution revendique un faible coût d'implémentation, ne nécessitant qu'une caméra standard plutôt qu'un équipement de capture de mouvement dédié ou un retour haptique coûteux. La téleopération de robots locomoteurs reste un champ en compétition dense. Les approches concurrentes incluent la commande par réalité virtuelle (Boston Dynamics, Apptronik), les exosquelettes (Sarcos, Shadow Robot) et les interfaces à vision stéréo immersive. Du côté académique, les modèles Visual-Language-Action (VLA) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA visent à réduire ou éliminer la téleopération au profit de l'autonomie embarquée. Ce travail se positionne dans une niche différente : augmenter la sécurité et l'intuitivité du contrôle humain plutôt que de le remplacer. Les prochaines étapes, non détaillées dans le preprint, concerneraient typiquement des tests de robustesse en conditions dégradées (faible luminosité, poussière) et une évaluation comparative des temps de cycle opérateur face aux interfaces existantes.

Recherche❖Paper

1 source

34

4076arXiv cs.RO 

Commutation de raideur par multistabilité

Des chercheurs ont présenté un métamatériau mécanique multistable capable de moduler sa rigidité par commutation discrète entre deux configurations stables. Publiés sur arXiv (réf. 2510.09511, version mise à jour en 2025), ces travaux décrivent une structure monolithique, réalisable par impression 3D, dont la rigidité effective en cisaillement peut être basculée d'un état à l'autre sans actionneur externe. Le mécanisme repose sur la rotation que les poutres de support transmettent à une poutre incurvée centrale, laquelle régit l'équilibre entre déformation en flexion et déformation axiale. En faisant varier l'élancement des poutres de support ou en intégrant des charnières localisées qui modulent ce transfert de rotation, les concepteurs peuvent ajuster le rapport de rigidité entre les deux états stables. Des prototypes imprimés en 3D ont validé les prédictions numériques et confirmé la répétabilité du basculement sur plusieurs géométries. L'équipe démontre également un embrayage souple monolithique exploitant cet effet pour obtenir une modulation par paliers de la rigidité. L'intérêt de cette approche tient à son architecture sans pièce discrète. Les solutions actuelles de rigidité variable (actionneurs à rigidité variable de type VSA, verrouillage par particules en pression, alliages à mémoire de forme) impliquent des sous-systèmes mécaniques ou électroniques qui alourdissent les robots, complexifient la commande et réduisent la fiabilité. Encoder la variation de rigidité directement dans la géométrie de la structure ouvre la voie à des préhenseurs souples ou des membres prosthétiques capables de passer d'un mode conforme à un mode rigide via une simple sollicitation mécanique. Le basculement est discret, ce qui garantit des états prévisibles et reproductibles, un atout direct pour la conception de contrôleurs. L'embrayage souple monolithique constitue une preuve de concept concrète, bien que les performances en cycle répété et sous charge réelle ne soient pas encore publiées dans ce préprint. Le domaine des métamatériaux mécaniques a connu une accélération notable ces cinq dernières années, portée par l'accessibilité croissante de l'impression 3D multi-matériaux. Les approches concurrentes incluent les structures auxétiques à rigidité variable, les métamatériaux inspirés de l'origami et les structures bistables à base d'élastomères. Ces travaux s'inscrivent dans un courant visant à remonter la complexité fonctionnelle depuis les actionneurs vers la structure elle-même, réduisant ainsi la chaîne de composants nécessaire à l'adaptation mécanique. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné dans la publication; les suites naturelles concernent l'intégration dans des grippers de robotique souple et des structures intelligentes adaptatives pour le bâtiment ou les dispositifs médicaux.

Recherche❖Paper

1 source

33

4077arXiv cs.RO 

Effets inattendus de la randomisation de domaine sensible au risque pour la commande prédictive par échantillonnage à contacts multiples

Des chercheurs ont publié en mai 2026 une étude préliminaire (arXiv:2605.03290) sur les effets de la randomisation de domaine sensible au risque appliquée au contrôle prédictif par échantillonnage (SPC) dans des tâches à contacts physiques denses. La randomisation de domaine (DR) consiste à entraîner un planificateur sur des variantes aléatoires des paramètres physiques, masse, friction, rigidité, pour le rendre robuste aux erreurs de modélisation. Très utilisée en apprentissage par renforcement, elle restait quasiment inexploriée dans le SPC, où la qualité des trajectoires simulées est particulièrement sensible à l'incertitude. Les auteurs comparent trois stratégies d'agrégation de rollouts sous instances de modèles randomisés : moyenne, optimiste (meilleur cas) et pessimiste (pire cas), sur la tâche Push-T, un benchmark de manipulation où un robot pousse un objet en T vers une pose cible. Les résultats révèlent un effet inattendu : la DR ne se contente pas d'améliorer la robustesse aux erreurs de modèle, elle modifie structurellement le paysage de coût perçu par l'optimiseur d'échantillonnage. Selon le profil de risque retenu, le bassin d'attraction autour des actions produisant des contacts physiques est reconfiguré différemment, ce qui influe directement sur la propension de l'optimiseur à explorer ou à éviter les configurations de contact. Pour des applications industrielles, assemblage, manipulation fine ou tri, où les contacts sont inévitables, ce couplage entre incertitude de modèle et stratégie de risque est critique : un mauvais calibrage peut rendre le SPC soit trop conservateur, soit instable face aux contacts non planifiés. La DR a été systématisée dans les simulateurs physiques comme Isaac Sim de NVIDIA et popularisée par les travaux d'OpenAI sur la manipulation dextre (projet Dactyl, 2019). Le SPC, notamment via l'algorithme MPPI (Model Predictive Path Integral), connaît un regain d'intérêt pour la robotique temps réel, en locomotion et manipulation. Cette étude constitue un premier jalon formel à l'intersection des deux approches, jusqu'ici traitées séparément. Elle s'inscrit dans un contexte plus large où les modèles VLA (Vision-Language-Action) et les approches sim-to-real de Google DeepMind ou Physical Intelligence (Pi-0) cherchent à réduire l'écart entre simulation et réalité. Les auteurs ne publient que des résultats initiaux sur une tâche simple et ne proposent pas encore de généralisation ni de calendrier applicatif, ce qui limite la portée immédiate mais ouvre un axe de recherche prometteur pour le contrôle robuste aux contacts.

Recherche❖Paper

1 source

33

4078arXiv cs.RO 

Contrôle hybride intégrant la faisabilité pour la planification de mouvement sous logiques temporelles à signaux

Une équipe de chercheurs publie sur arXiv (2605.03662v1) une méthode de planification hybride pour robots planaires opérant sous contraintes de Signal Temporal Logic (STL). L'approche introduit une variable discrète qui modélise la satisfaction locale des contraintes et permet une analyse de faisabilité à l'échelle locale, unifiant planification de tâches et synthèse de commande en une architecture unique. Des fonctions de barrière de contrôle (Control Barrier Functions, CBF) sont définies sur une version transformée en disque de l'espace de travail robotique, initialement non-convexe et géométriquement complexe, pour lever le problème des blocages (deadlocks) classiques dans ces formulations. Des simulations démontrent la gestion simultanée de plusieurs tâches spatio-temporelles superposées, y compris en présence de saturation des actionneurs. L'intérêt de cette contribution réside dans le couplage direct entre faisabilité locale et boucle de contrôle, plutôt qu'en post-traitement. Dans les architectures de Task and Motion Planning (TAMP) conventionnelles, le planificateur propose fréquemment des trajectoires irréalisables par le contrôleur bas niveau : intégrer l'analyse de faisabilité en amont réduit structurellement cet écart. La gestion de la saturation des actionneurs, contrainte réaliste rarement traitée dans les formulations STL existantes, renforce la crédibilité industrielle de l'approche pour des robots à ressources limitées. Les STL constituent depuis une dizaine d'années un cadre de spécification formelle prisé pour exprimer des contraintes temporisées du type "atteindre la zone A entre t=2s et t=5s", mais leur intégration avec des garanties de sûreté temps-réel reste un problème ouvert. Les CBF, popularisées notamment par les travaux d'Aaron Ames (Caltech), offrent de telles garanties mais peinent sur les espaces non-convexes ; la transformation géométrique en disque proposée ici adresse directement ce couplage. Les résultats restent pour l'instant limités à des simulations planaires 2D ; une validation sur plateforme physique constitue la prochaine étape naturelle.

Recherche❖Paper

1 source

41

4079Robotics Business Review 

Tutor Intelligence crée une Data Factory pour entraîner ses robots par IA dans le monde réel

Tutor Intelligence a inauguré DF1, sa "Data Factory" installée dans une ancienne manufacture de Watertown, Massachusetts : un parc de 100 robots semi-humanoïdes bimanaux baptisés Sonny, destinés à collecter des données réelles pour entraîner son modèle vision-langage-action (VLA) Ti0. Fondée en 2021 par Josh Gruenstein (CEO) et Alon Kosowsky-Sachs (CTO) issus du MIT-CSAIL, la startup revendique avoir constitué la plus grande infrastructure de ce type aux États-Unis. Elle a levé 34 millions de dollars en Série A en décembre 2025, puis tenu une journée portes ouvertes en avril 2026. Entre 45 et 50 téléopérateurs distants au Mexique et aux Philippines pilotent les robots par téleopération proprioceptive pour leur enseigner des tâches de picking, kitting et préparation de commandes e-commerce. En évaluant simultanément le même comportement sur 100 unités, la détection d'anomalies s'effectue 100 fois plus vite qu'en opération solo : un cas limite normalement visible après 8 heures d'opération sur un robot unique devient détectable en 5 minutes de fonctionnement de la flotte. Une méthode de prétraitement baptisée "velocity normalization" standardise les profils de démonstration entre téléopérateurs pour homogénéiser le corpus d'entraînement. L'enjeu central est de s'affranchir de la dépendance à la simulation, un pari sur la donnée réelle là où la majorité des acteurs humanoïdes s'appuient encore sur des environnements synthétiques pour réduire leurs coûts de collecte. La thèse de Gruenstein est directe : sans équivalent robotique de Wikipédia, le transfert d'intelligence à l'échelle industrielle passe nécessairement par des humains enseignant des machines en conditions réelles. DF1 est conçue comme le premier maillon d'un cycle vertueux, déploiements commerciaux, données à l'échelle, amélioration continue de Ti0. Pour les intégrateurs et décideurs industriels, cette approche ouvre une trajectoire vers un modèle généraliste capable d'absorber de nouvelles tâches sans reprogrammation lourde, précisément le verrou économique du marché actuel. Les performances annoncées restent toutefois auto-déclarées, sans validation indépendante. Tutor Intelligence a émergé du MIT-CSAIL en 2021, avant l'essor commercial des VLA. La startup est membre de la première promotion du Physical AI Fellowship, programme co-animé par AWS, NVIDIA et MassRobotics, qui lui fournit ressources de calcul cloud et expertise technique. Dans un paysage concurrentiel où Physical Intelligence (pi0), Figure, Apptronik et Boston Dynamics développent chacun leurs propres stacks d'entraînement, Tutor se différencie en contrôlant à la fois le hardware d'entraînement (Sonny), la plateforme de téleopération et le modèle VLA, sans dépendre d'une simulation propriétaire. L'objectif déclaré est de lancer le premier déploiement commercial humanoïde généraliste, en alimentant la boucle de données depuis la production réelle pour piloter les itérations suivantes. Les conditions commerciales, les performances comparatives de Ti0 et les éventuels clients pilotes n'ont pas encore été communiqués.

IA physique❧Opinion

1 source

35

4080Robotics Business Review 

Hiroshi Fujiwara et Robert Little sélectionnés pour les prix Joseph F. Engelberger 2026

L'association américaine A3 (Association for Advancing Automation) a désigné Hiroshi Fujiwara et Robert Little lauréats des prix Joseph F. Engelberger Robotics 2026, les distinctions les plus reconnues du secteur dans les catégories leadership et application. Fujiwara, directeur exécutif de la Japan Robot Association (JARA), est récompensé pour plusieurs décennies de travail stratégique en matière de politique industrielle et de coopération internationale. Little, cofondateur d'ATI Industrial Automation en 1989, est honoré pour ses contributions à la technologie des effecteurs de robots : changeurs d'outils, capteurs de force/couple et systèmes d'interface bras-outil. La remise des prix aura lieu le 24 juin 2026 à McCormick Place à Chicago, lors du salon Automate 2026. Sous la direction de Little, ATI est passé d'environ 1 million de dollars de chiffre d'affaires à plus de 100 millions, avant d'être racheté par Novanta en 2021. Il dirige aujourd'hui Robert Little Robotics, un cabinet de conseil en stratégie robotique. La distinction accordée à Little est révélatrice d'un moment charnière pour l'industrie nord-américaine. Dans ses déclarations au Robot Report, il identifie trois leviers décisifs pour que l'Amérique du Nord regagne un avantage industriel : la fiabilité des systèmes, le reshoring de la production, et l'essor de l'IA physique embarquée dans les robots. Little insiste sur un fait structurel souvent sous-estimé : la pénurie de main-d'oeuvre ne se résorbe pas, elle s'aggrave. Pour les intégrateurs et les décideurs industriels, ce constat renforce l'urgence d'automatiser, que ce soit aux États-Unis pour le marché américain ou en France pour le marché européen, une symétrie qu'il évoque explicitement. Ce cadrage tranche avec le discours purement technologique habituel des prix sectoriels : Little utilise sa tribune pour plaider une cause économique et politique autant que technique. La trajectoire d'ATI Industrial Automation illustre à la fois les succès et les limites historiques de l'écosystème américain. Little reconnaît sans ambages que les États-Unis ont perdu le leadership en robotique de production, largement capté par le Japon dans les années 1980 grâce à une politique gouvernementale volontariste dont la JARA, représentée par Fujiwara, fut l'un des instruments. Aujourd'hui, FANUC continue de produire ses robots de peinture aux États-Unis pour l'export mondial, signe que le tissu industriel américain n'a pas totalement cédé le terrain. La pression du reshoring, accentuée par les tensions géopolitiques et les fragilités logistiques post-Covid, crée une fenêtre d'opportunité que l'A3 cherche à institutionnaliser via un plaidoyer pour une politique fédérale de robotique. Les prochaines étapes passent par Automate 2026, qui réunira les acteurs clés du secteur à Chicago en juin, dans un contexte de compétition accrue avec les écosystèmes européens et asiatiques.

Industriel❧Opinion

1 source

46

4081Interesting Engineering 

Le robot humanoïde AEON s'attaque aux opérations en usine dans une offensive d'autonomie réelle

La division Robotics d'Hexagon AB, basée à Zurich, et l'entreprise autrichienne Fill Maschinenbau ont annoncé un partenariat pour déployer le robot humanoïde AEON dans les ateliers de Fill à Gurten, en Autriche. Ce pilote cible des tâches de conduite de machines (machine tending), d'inspection et de support opérationnel dans des environnements de production à haute mixité. Point notable : AEON n'est pas un robot bipède, mais adopte une locomotion sur roues complétée par des bras de manipulation, une fusion de capteurs multimodale et une intelligence embarquée sur puce NVIDIA Jetson Orin. Présenté en juin 2025, il avait effectué son premier déploiement industriel en décembre 2025 à l'usine BMW Group de Leipzig, unique référence terrain disponible à ce jour. Ce partenariat met en avant une approche simulation-first que les intégrateurs suivent de près. Hexagon revendique une réduction des cycles d'entraînement de plusieurs mois à quelques semaines grâce à NVIDIA Isaac Sim et Isaac Lab, qui permettent d'acquérir navigation, locomotion et manipulation en environnement virtuel avant tout déploiement réel. Le robot utilise également NVIDIA Isaac GR00T et les outils Mimic pour apprendre à partir de démonstrations humaines et générer des données de mouvement synthétiques. Si ces gains se confirment en production, ils apporteraient une réponse partielle au problème du sim-to-real gap, considéré comme l'un des principaux obstacles à l'industrialisation des humanoïdes. Prudence néanmoins : les deux déploiements cités restent à des stades pilotes, sans métriques publiées sur des cycles de production continus. Hexagon AB est un groupe suédois spécialisé en métrologie et intelligence industrielle, dont la division Robotics à Zurich s'est positionnée sur le segment humanoïde après des acteurs comme Figure AI (accord BMW signé dès 2024 pour le Figure 02), Boston Dynamics ou Agility Robotics (Digit, déployé chez Amazon). Les données spatiales collectées par AEON sont remontées vers Hexagon Reality Cloud Studio via HxDR et intégrées à NVIDIA Omniverse pour générer des jumeaux numériques industriels en temps réel, un positionnement qui ancre l'offre davantage dans l'écosystème PLM et métrologie d'Hexagon que dans la robotique mobile pure. Les prochaines étapes incluent une migration vers la puce NVIDIA IGX Thor pour renforcer les garanties de sécurité collaborative. En Europe, cette initiative rejoint les travaux de Wandercraft sur l'humanoïde de réhabilitation médicale et ceux d'Enchanted Tools sur des plateformes à usage hospitalier, signe d'un écosystème continental qui monte progressivement en maturité industrielle.

FR/EU ecosysteme❧Opinion

1 source

39

4082Robohub 

Des blocs modulaires assemblés par robots pour rendre la construction plus efficace et durable

Des chercheurs du MIT ont publié dans la revue Automation in Construction une étude de faisabilité portant sur l'assemblage robotisé de structures de bâtiment à partir de "voxels", des blocs modulaires en treillis 3D emboîtables. L'équipe, dirigée par Miana Smith, doctorante au Center for Bits and Atoms (CBA) du MIT, et co-signée par Neil Gershenfeld (directeur du CBA) ainsi que Paul Richard de l'EPFL, a évalué huit géométries de voxels existantes avant de développer trois nouveaux designs basés sur un treillis octet à haute rigidité. Ces voxels s'auto-alignent mécaniquement grâce à des connexions snap-fit, sans nécessiter de connecteurs supplémentaires. Pour les assembler, les chercheurs ont conçu les MILAbots (Modular Inchworm Lattice Assembler robots), des robots arpenteurs qui se déplacent sur la structure en ancrant et dépliant leur corps, à la manière d'une chenille arpenteuse. Le système inclut également une interface logicielle permettant de générer des plans de construction en voxels et de piloter les robots directement sur site. Le résultat le plus notable de l'étude est une réduction potentielle du carbone incorporé (embodied carbon) de 82 % par rapport aux méthodes courantes que sont l'impression béton 3D, le béton préfabriqué modulaire et la charpente acier, tout en restant compétitif en termes de coût et de délai de construction. Ce chiffre mérite toutefois d'être lu avec précaution : il dépend fortement du matériau choisi pour fabriquer les voxels, et l'étude reste à ce stade une analyse de faisabilité. Des questions critiques comme la résistance au feu, la durabilité long terme et le passage à l'échelle réelle n'ont pas encore été traitées. Pour les décideurs industriels et les intégrateurs, l'intérêt réside néanmoins dans la démonstration que la fabrication numérique discrète (assemblage de modules standardisés par robots) peut être transposée du secteur aérospatial au bâtiment, avec un potentiel de décarbonation significatif si les matériaux sont bien choisis. Le CBA du MIT travaille sur les treillis de voxels depuis plusieurs années, avec des applications déjà validées en aéronautique en collaboration avec NASA, Airbus et Boeing. L'idée centrale, résumée par Gershenfeld, est d'appliquer au bâtiment les ratios performance/masse de l'aérospatial. Sur le plan concurrentiel, ce positionnement se distingue de l'impression béton 3D (ICON, Cobod, XtreeE côté européen) et des systèmes de préfabrication modulaire classiques, en misant sur la réversibilité et la reconfigurabilité des structures. Aucun pilote industriel ni timeline de déploiement commercial n'est annoncé à ce stade : il s'agit d'une preuve de concept académique, pas d'un produit commercialisé. Les prochaines étapes logiques seraient des tests de charge à grande échelle et une validation des performances en conditions réelles, notamment face aux contraintes réglementaires de la construction.

Recherche❖Paper

1 source

52

4083arXiv cs.RO 

MolmoAct2 : un modèle de raisonnement d'action pour le déploiement réel

L'Allen Institute for Artificial Intelligence (AllenAI) a publié MolmoAct2 en mai 2025, un modèle VLA (Vision-Language-Action) entièrement open source conçu pour le déploiement robotique en conditions réelles. Cinq contributions structurent le système : MolmoER, un backbone visio-linguistique entraîné sur 3,3 millions d'exemples spécialisés en raisonnement spatial et incarné ; MolmoAct2-BimanualYAM, 720 heures de trajectoires de manipulation bimanuelle téléopérées sur plateformes à coût modéré (SO100/101 et sous-ensembles Franka DROID), le plus grand corpus bimanuel ouvert à ce jour ; OpenFAST, un tokeniseur d'actions open weight couvrant cinq types d'embodiments ; une architecture hybride couplant un expert à actions continues par flow-matching à un VLM à tokens discrets via conditionnement KV-cache couche par couche ; et MolmoThink, qui ne recalcule les tokens de profondeur géométrique que pour les zones de scène modifiées entre deux pas de temps, réduisant la latence d'inférence. Sur sept benchmarks mêlant simulation et environnements réels, MolmoAct2 surpasse Pi-0.5 de Physical Intelligence ; MolmoER dépasse GPT-5 et Gemini Robotics ER-1.5 d'Alphabet sur treize benchmarks de raisonnement incarné. Poids, code et données d'entraînement sont publiés intégralement. La publication s'attaque à quatre verrous concrets du déploiement des VLA : modèles frontier fermés, dépendance à du matériel onéreux, latence prohibitive des politiques augmentées par raisonnement, et taux de succès trop bas pour un usage fiable en production. La mise à disposition simultanée des poids, du code d'entraînement et des données complètes reste rare dans un domaine largement dominé par le propriétaire. Ces 720 heures de données sur plateformes abordables élargissent l'accès à un corpus bimanuel jusqu'ici réservé à des setups coûteux. MolmoThink représente une approche concrète pour rendre le raisonnement géométrique compatible avec les contraintes temps-réel des contrôleurs embarqués. Il faut cependant souligner que ces performances sont mesurées sur benchmarks académiques : aucun déploiement industriel validé n'est annoncé dans cet article. AllenAI, institut non lucratif cofondé par Paul Allen à Seattle, avait publié le modèle Molmo fin 2024 avant d'étendre ses travaux au contrôle robotique avec MolmoAct. MolmoAct2 s'inscrit dans un paysage VLA dominé par des acteurs fermés : Physical Intelligence (Pi-0, Pi-0.5), Google DeepMind (Gemini Robotics, RT-2) et des équipes d'OpenAI dont les développements robotiques restent non publiés. Dans l'espace open source, il concurrence OpenVLA et Octo, avec l'avantage d'un corpus bimanuel inédit et d'un tokeniseur multi-embodiments standardisé. Aucun pilote commercial n'est annoncé ; la publication cible en priorité les équipes universitaires et les startups robotiques cherchant à s'affranchir de la dépendance aux modèles propriétaires.

IA physique❧Opinion

1 source

48

4084arXiv cs.RO 

AnchorD : ancrage métrique de la profondeur monoculaire par graphes de facteurs

Des chercheurs de l'université de Fribourg-en-Brisgau ont publié AnchorD, un framework d'estimation de profondeur présenté comme entraînement-libre (training-free), capable d'ancrer les prédictions métriques de modèles monoculaires dans des mesures de capteurs réels via une optimisation par graphes de facteurs (factor graphs). La méthode réalise un alignement affine par patches, ce qui permet de recaler localement les estimations monoculaires sur une profondeur métrique réelle tout en préservant les discontinuités géométriques fines. Pour valider l'approche dans des conditions difficiles, l'équipe introduit également un nouveau jeu de données de référence avec vérité terrain dense sur des scènes complètes contenant des objets non-lambertiens (transparents, spéculaires, métalliques), obtenue en combinant une peinture mate réfléchissante en spray sur les surfaces problématiques et une fusion multi-caméras, contournant ainsi la dépendance aux annotations CAD par objet des benchmarks existants. Le code et les données sont publiés en accès libre. L'enjeu pratique est réel pour les intégrateurs de manipulation robotique et de préhension : les capteurs de profondeur structurés (Time-of-Flight, stéréo, LiDAR) décrochent systématiquement sur les surfaces transparentes comme le verre ou spéculaires comme l'inox, des matériaux omniprésents en milieu industriel. Les grands modèles de profondeur monoculaire, Depth Anything V2, UniDepth, ZoeDepth, produisent des priors structurels excellents mais souffrent d'ambiguïté d'échelle métrique, ce qui les rend inutilisables directement pour la planification de trajectoire ou le calcul de prise. AnchorD propose de fusionner les deux sources d'information sans réentraînement, ce qui le rend déployable sur du matériel existant avec n'importe quel modèle fondation de profondeur en entrée. Les auteurs rapportent des améliorations constantes sur des capteurs et domaines variés, sans communiquer de métriques numériques précises dans le résumé, les chiffres restent à consulter dans le papier complet. Ce travail s'inscrit dans un axe actif de recherche qui tente de "métrifier" les modèles de vision de fondation pour les rendre directement exploitables en robotique, sans passer par des pipelines de calibration coûteux. L'université de Fribourg (groupe Robotics and Embedded Systems, liens avec le DFKI) est un acteur reconnu en perception robotique, notamment sur les terrains non structurés. Dans l'espace concurrent, des approches comme Metric3D v2 (Tianjin/Baidu) ou ScaleDepth cherchent le même objectif par voie paramétrique ou de fine-tuning; AnchorD se distingue par son absence totale de phase d'entraînement. L'article est un preprint arXiv (2605.02667, mai 2026), non encore évalué par les pairs: les résultats présentés devront être confirmés lors d'une revue formelle.

Recherche❖Paper

1 source

48

4085arXiv cs.RO 

TAIL-Safe : surveillance de sécurité agnostique aux tâches pour les politiques d'apprentissage par imitation

Des chercheurs ont publié le 5 mai 2026 TAIL-Safe (Task-Agnostic Imitation Learning Safety), une méthode de supervision de sécurité conçue pour les politiques d'apprentissage par imitation (IL) déployées sur robots manipulateurs. Le cœur du système repose sur une fonction Q à continuité Lipschitz qui évalue chaque paire état-action selon trois critères indépendants de la tâche : la visibilité de l'objet cible, sa reconnaissabilité par le système de perception, et sa saisissabilité géométrique. L'ensemble zéro-superniveau de cette fonction définit un ensemble invariant de contrôle empirique, c'est-à-dire une région de l'espace état-action depuis laquelle la politique aboutit systématiquement à succès. Lorsque la politique nominale propose une action hors de cet ensemble, un mécanisme de récupération inspiré du théorème de Nagumo applique un gradient ascendant sur la fonction Q pour ramener la trajectoire vers la zone sûre. Les expériences ont été conduites sur un robot Franka Emika avec des politiques de type flow-matching, une architecture IL récente aux résultats compétitifs sur des tâches de manipulation complexes, soumises à des perturbations appliquées en cours d'exécution. L'enjeu est direct pour les intégrateurs robotiques et les responsables de mise en production : les politiques IL modernes, y compris les diffusion policies et les flow-matching policies, échouent de façon imprévisible même dans des conditions proches de leur distribution d'entraînement. Ce phénomène, combinaison d'une sensibilité extrême aux conditions initiales et d'une dérive cumulée des erreurs d'approximation, rend leur déploiement industriel risqué sans couche de supervision formelle. TAIL-Safe répond précisément à ce besoin en délimitant une frontière opérationnelle sûre, sans hypothèse sur la nature de la tâche. Les résultats expérimentaux montrent des taux de succès nettement supérieurs à ceux de la politique non supervisée face aux perturbations, ce qui valide l'approche sur un cas concret de manipulation, et non sur de simples données simulées. Les politiques d'apprentissage par imitation ont gagné en maturité avec l'essor des architectures VLA (Vision-Language-Action) comme ACT, Diffusion Policy ou pi-0 de Physical Intelligence, mais leur fragilité au déploiement réel reste un frein structurel à l'industrialisation. Pour contourner la collecte de données d'échec sur matériel physique, coûteuse et risquée, l'équipe construit un jumeau numérique haute-fidélité basé sur le rendu Gaussian Splatting, permettant de générer systématiquement des cas limites sans exposer le robot. Cette stratégie ciblée sur les frontières de l'ensemble sûr s'inscrit dans une tendance plus large visant à combler le sim-to-real gap de façon chirurgicale plutôt que par simulation généraliste. La méthode étant agnostique à l'architecture de politique sous-jacente, elle pourrait s'appliquer à l'ensemble de l'écosystème IL, des manipulateurs industriels aux humanoïdes, et intéresse potentiellement des acteurs académiques européens actifs sur la manipulation sûre comme l'INRIA ou le LAAS-CNRS.

Recherche❖Paper

1 source

48

4086arXiv cs.RO 

Sentinel-VLA : modèle VLA métacognitif à surveillance active pour le raisonnement dynamique et la récupération d'erreurs

Une équipe de recherche publie sur arXiv (arXiv:2605.01191, mai 2026) Sentinel-VLA, un modèle de type vision-language-action (VLA) doté d'un module de surveillance active baptisé "sentinel". Contrairement aux VLA classiques qui exécutent des plans fixes, Sentinel-VLA déclenche un raisonnement approfondi uniquement lorsque c'est nécessaire : lors de la planification initiale d'une tâche, ou lorsque le module sentinel détecte une erreur d'exécution en temps réel. L'ensemble des données d'entraînement, couvrant 44 tâches et plus de 2,6 millions de transitions, a été généré et annoté automatiquement via un pipeline dédié. Le modèle intègre également l'algorithme SECL (Self-Evolving Continual Learning), qui lui permet d'identifier ses propres limites de compétence et de collecter automatiquement de nouvelles données pour les repousser, combiné à un adaptateur OC-Adapter (Orthogonal Continual Adapter) qui contraint les mises à jour de paramètres dans un espace orthogonal pour éviter l'oubli catastrophique. En conditions réelles (les détails des configurations expérimentales ne sont pas encore disponibles dans cette prépublication), les auteurs rapportent un gain de plus de 30 % de taux de succès par rapport à PI0, le modèle de Physical Intelligence actuellement considéré comme état de l'art. Le code, les poids et le pipeline de génération de données seront publiés en open source. Ces résultats, si confirmés par la communauté, adressent un blocage majeur dans le déploiement industriel des robots manipulateurs : l'incapacité à se corriger face à une perturbation imprévue. Les VLA existants, qu'il s'agisse de PI0, d'OpenVLA ou des dérivés de RT-2, produisent des plans d'action relativement rigides et échouent dès lors qu'une pièce est mal positionnée ou qu'un objet glisse. Le mécanisme "sentinel" propose une réponse architecturale à ce problème en dissociant l'exécution routinière (peu coûteuse en calcul) du raisonnement correctif (déclenché à la demande), ce qui est pertinent pour un déploiement sur du matériel embarqué à puissance de calcul limitée. L'approche SECL, qui combine auto-évaluation des capacités et apprentissage continu sans oubli, représente également une piste sérieuse pour les intégrateurs qui cherchent à étendre progressivement le répertoire de tâches d'un robot sans retraining complet. Il convient néanmoins de noter que le +30 % annoncé est issu d'expériences en laboratoire dont le protocole exact reste à préciser, et que les vidéos de démonstration n'ont pas encore été rendues publiques au moment de cette prépublication. Sentinel-VLA s'inscrit dans une vague de travaux cherchant à rendre les VLA robustes hors environnement contrôlé, une problématique que Physical Intelligence avait mise en lumière avec PI0 (lancé fin 2024) et que des acteurs comme Figure AI (Figure 03), Boston Dynamics ou 1X Technologies tentent également d'adresser côté hardware. Du côté recherche, les laboratoires de Carnegie Mellon, Stanford et Berkeley publient régulièrement des variantes de VLA avec des stratégies de correction différentes (chain-of-thought embarqué, boucles de feedback visuelles). La particularité de Sentinel-VLA est de traiter la correction non comme un post-processing, mais comme une composante native de l'architecture. L'open-source annoncé, code, poids et pipeline de données, pourrait accélérer l'adoption de cette approche dans la communauté académique et chez les constructeurs de robots à budget R&D contraint. Aucune date de release ni partenariat industriel n'est mentionné dans cette version préliminaire.

IA physique❧Opinion

1 source

47

4087arXiv cs.RO 

Un indicateur efficace pour mesurer la qualité des données en apprentissage par imitation

Des chercheurs ont proposé sur arXiv (arXiv:2605.01544, mai 2026) une métrique automatisée pour évaluer la qualité des démonstrations en apprentissage par imitation (IL), fondée sur la densité spectrale de puissance (PSD) des trajectoires enregistrées. Une PSD faible signale une trajectoire lisse et exploitable ; une PSD élevée indique oscillations, corrections abruptes et mouvements erratiques qui dégradent les politiques apprises. Contrairement aux méthodes existantes, la métrique ne requiert ni rollout de politique, ni interaction avec l'environnement, ni étiquetage expert. Elle a été évaluée sur deux benchmarks IL et via une étude terrain avec des résidents âgés d'un établissement de retraite, dont les démonstrations ont servi à affiner π0.5 de Physical Intelligence pour une tâche de vie quotidienne. Les politiques issues des données filtrées par PSD surpassent les baselines non filtrées et deux méthodes concurrentes en taux de succès et en fluidité d'exécution. Le déploiement réel de robots guidés par imitation bute sur les scénarios hors distribution (OOD), aggravés par la faible qualité des démonstrations d'utilisateurs finaux. Les approches existantes de curation automatisée exigeaient des rollouts en environnement, coûteux et impraticables à grande échelle. La métrique PSD supprime ce verrou : applicable avant tout entraînement, elle filtre les démonstrations directement au moment de la collecte terrain. Pour les intégrateurs de robots manipulateurs en environnements non contrôlés, cela réduit concrètement le coût de mise en qualité des données sans ressources RL dédiées. Le travail s'inscrit dans l'essor des VLA (Vision-Language-Action models), où π0.5 de Physical Intelligence figure parmi les modèles de fondation robotique disponibles pour le fine-tuning, mais le défi du "demo-to-reality gap" reste l'un des freins majeurs au passage à l'échelle de l'IL. En ciblant des utilisateurs âgés peu habitués au guidage de robots, l'étude ouvre une piste vers la robotique d'assistance, segment où des acteurs comme Enchanted Tools en France cherchent à s'implanter. La prochaine étape logique serait l'intégration de cette métrique dans des pipelines de collecte en production, couplée à des retours temps réel pour guider les utilisateurs vers de meilleures démonstrations dès la capture.

Recherche❧Opinion

1 source

46

4088arXiv cs.RO 

Génération de démarche adaptative pour exosquelettes multi-terrains via des primitives de mouvement à noyau contraint

Des chercheurs ont publié le 5 mai 2026 sur arXiv (preprint, non encore évalué par les pairs) un framework baptisé AGG (Adaptive Gait Generation), basé sur les Kernelized Movement Primitives (KMP), conçu pour permettre aux exosquelettes de membres inférieurs (Lower Limb Exoskeletons, LLEs) de marcher sur plusieurs types de terrains intérieurs en temps réel. Le système apprend une représentation probabiliste de la marche humaine à partir d'un nombre limité de démonstrations, dans les espaces articulaires et cartésiens, pour garantir la cohérence physiologique et la faisabilité cinématique. Une caméra RGB-D embarquée extrait des informations environnementales qui sont injectées comme contraintes linéaires dans un problème d'optimisation via des via-points. La méthode a été validée en simulation sur quatre scénarios, marche à plat, pentes, escaliers et franchissement d'obstacles, puis testée physiquement sur un LLE commercial dans des conditions réelles. L'enjeu principal est de combler le fossé entre laboratoire et terrain pour les exosquelettes de rééducation et d'assistance, qui restent aujourd'hui cantonnés aux surfaces planes et uniformes. L'approche KMP permet d'adapter la trajectoire de marche sans recalibration manuelle, ce qui représente une avancée opérationnelle concrète pour les cliniciens et les intégrateurs industriels. La capacité à générer des trajectoires cohérentes à partir de peu de démonstrations humaines réduit significativement le coût de déploiement, un verrou majeur pour la commercialisation. Les résultats sur le LLE commercial valident le passage du sim-to-real, même si la robustesse à long terme et la diversité des profils utilisateurs restent à démontrer sur des cohortes plus larges. Les exosquelettes de membres inférieurs sont un segment en pleine structuration : des acteurs comme Wandercraft (Paris), avec son Atalante X, ou Ekso Bionics et ReWalk côté américain, s'affrontent sur la question de l'autonomie locomotrice en environnement non contrôlé. La plupart des systèmes existants imposent encore une supervision clinique ou des réglages manuels par terrain. Ce travail s'inscrit dans une vague de recherches cherchant à coupler perception embarquée et planification adaptive, un axe également exploré par des équipes à l'ETH Zurich et au MIT. Les prochaines étapes naturelles seraient une validation sur des populations de patients avec des pathologies variées et une intégration dans un pipeline de contrôle adaptatif complet incluant la détection d'intention de l'utilisateur.

Exosquelettes❖Paper

1 source

46

4089arXiv cs.RO 

Un jumeau numérique haute-fidélité pour la manipulation robotique basé sur le splattage gaussien 3D

Une équipe de chercheurs a publié sur arXiv (identifiant 2601.03200, version 2) un cadre logiciel permettant de construire des jumeaux numériques haute fidélité pour la manipulation robotique en quelques minutes à partir d'un ensemble réduit d'images RGB. Le système repose sur la technique de reconstruction 3D Gaussian Splatting (3DGS), qui modélise une scène comme un nuage de gaussiennes colorées et orientées, offrant un rendu photoréaliste nettement plus rapide que les approches NeRF classiques. À cela s'ajoute une fusion sémantique tenant compte de la visibilité des objets, pour un étiquetage précis des éléments de la scène en 3D, ainsi qu'une méthode de conversion géométrique par filtrage produisant des maillages prêts pour la détection de collisions. L'ensemble s'intègre directement dans la chaîne Unity-ROS2-MoveIt et a été validé expérimentalement sur un bras Franka Emika Panda effectuant des tâches de pick-and-place dans des environnements non structurés. L'intérêt industriel de cette approche réside dans sa capacité à compresser drastiquement le temps de mise en place d'un pipeline sim-to-real : là où la création d'un jumeau numérique exploitable pour la planification de mouvements demande habituellement des heures de scan, de nettoyage de maillage et de paramétrage de collision, le framework proposé vise à produire un environnement simulé cohérent géométriquement et sémantiquement en quelques minutes. Pour un intégrateur ou un responsable de ligne industrielle, cela signifie un déploiement potentiellement plus rapide de cellules robotisées dans des contextes où la scène évolue fréquemment. Le papier démontre aussi que la qualité géométrique des jumeaux 3DGS, souvent critiquée pour ses artefacts aux bords d'objets, peut être suffisante pour piloter une manipulation robuste, ce qui contredit partiellement l'idée que ces reconstructions restent cantonnées à la visualisation. Le contexte est celui d'une compétition intense autour de la représentation de scènes pour la robotique. Le 3DGS, introduit par Kerbl et al. en 2023, s'est imposé comme alternative aux NeRF grâce à sa vitesse de rendu en temps réel, et plusieurs groupes l'ont depuis adapté à la robotique (SplaTAM, Gaussian Grouping, GaussianWorld). Ce travail se distingue par son focus applicatif sur le pipeline complet perception-planification-exécution, en ciblant explicitement MoveIt et ROS2, les standards de facto en robotique industrielle open-source. Il s'agit néanmoins d'un preprint sans revue par les pairs, et les résultats de pick-and-place sont présentés sur un seul type de bras dans un environnement de laboratoire contrôlé, ce qui laisse ouverte la question de la robustesse à plus grande échelle.

Recherche❖Paper

1 source

46

4090arXiv cs.RO 

VLA-ATTC : calcul adaptatif au moment du test pour les modèles VLA avec un critique d'action relative

Une équipe de chercheurs a publié en mai 2026, via arXiv (2605.01194), VLA-ATTC, un framework visant à doter les modèles Vision-Language-Action (VLA) d'un mécanisme de délibération adaptatif à l'inférence. Les VLA, qui couplent perception visuelle, langage et génération d'actions pour piloter des robots manipulateurs, reposent jusqu'ici sur un mode d'exécution réflexif : rapide, mais aveugle face à l'ambiguïté. VLA-ATTC introduit un "embrayage cognitif" basé sur l'incertitude : lorsque le modèle détecte une situation complexe, il bascule vers une phase de calcul délibératif (test-time compute, TTC) dans laquelle un composant inédit, le Relative Action Critic (RAC), évalue des candidats d'actions par comparaisons par paires plutôt que par estimation absolue de valeur. Un pipeline automatisé génère les paires de préférence sans annotation manuelle. Sur le benchmark LIBERO-LONG, VLA-ATTC réduit le taux d'échec du modèle SOTA PI0.5 de Physical Intelligence de plus de 50 %. Le code et les poids seront publiés en open source. Ce résultat cible directement le "demo-to-reality gap" : les VLA actuels performent bien en conditions contrôlées mais échouent sur des tâches longues et ambiguës. Diviser par deux le taux d'échec sur LIBERO-LONG, un benchmark de manipulation séquentielle longue portée, sans retrainer le modèle de base est un gain concret pour les intégrateurs industriels. Le choix du RAC est également instructif : abandonner l'estimation de valeur absolue, instable en pratique, au profit d'un mécanisme relatif plus simple à apprendre suggère que la fiabilité des VLA peut progresser via du compute supplémentaire à l'inférence plutôt que par des cycles de fine-tuning coûteux. Les VLA constituent la ligne de front actuelle en robotique de manipulation. Pi-0 et Pi-0.5 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA (UC Berkeley) ont établi une course à la généralisation zero-shot, mais partagent le même défaut structurel : une inférence déterministe et non délibérative. L'approche TTC appliquée aux VLA s'inscrit dans un mouvement plus large, déjà visible chez les LLM avec o1, o3 et DeepSeek R1, qui cherche à "acheter" de la qualité de décision via du compute d'inférence supplémentaire. Pour les déploiements industriels en temps réel, la question restante sera de quantifier le surcoût de latence du mode TTC dans des environnements contraints, comme les lignes d'assemblage ou les cellules de picking à cadence élevée.

IA physique❧Opinion

1 source

46

4091arXiv cs.RO 

Lecture rapide et extensible des capteurs de mains dextériques par multiplexage à registre à décalage

Une équipe de chercheurs a publié début mai 2025 sur arXiv (2605.01434) une architecture de lecture de capteurs analogiques scalable pour mains robotiques dextres. Le système repose sur un registre à décalage série-vers-parallèle (SIPO) qui permet de connecter des modules de capteurs hétérogènes via seulement trois lignes de signal entre chaque module. La validation porte sur une main robotique à tendons équipée de 16 modules articulaires et d'un module tactile à quatre canaux, soit 20 canaux échantillonnés à 1 kHz en mode plein balayage, avec une stabilité confirmée jusqu'à 1,5 kHz. Les capteurs articulaires atteignent une erreur maximale de pente (APE) de 0,446 % et une estimation angulaire inférieure au degré. Pour la perception tactile, des modèles LSTM déployés en inférence temps réel à 1 kHz obtiennent un RMSE de 0,125 N pour l'estimation de force et 93,4 % de précision pour la classification en cinq catégories de localisation de contact. L'apport principal est la dissociation entre nombre de capteurs, complexité du câblage et bande passante d'échantillonnage, un compromis qui freine depuis longtemps le développement de mains densément captées. Limiter l'interconnexion à trois fils réduit la complexité mécanique et électrique de façon significative, un point critique pour les intégrations en espace contraint. La démonstration à 1 kHz sur 20 canaux simultanés avec inférence LSTM embarquée prouve que la chaîne capteur-modèle peut tenir le rythme d'une boucle de contrôle temps réel sans matériel dédié coûteux. Les performances tactiles sont solides sur banc de test, mais l'article ne précise pas les conditions en manipulation libre, un élément à vérifier avant toute extrapolation industrielle. La dextérité robotique reste un verrou majeur pour la manipulation non structurée, et la densification des capteurs dans les mains mécaniques est un axe actif chez des acteurs comme Sanctuary AI, Figure, Apptronik ou 1X, dont les humanoïdes commerciaux peinent encore à atteindre la densité sensorielle des prototypes académiques. L'architecture SIPO présentée est suffisamment générique pour s'adapter à d'autres géométries de main ou d'autres types de capteurs comme la pression, la température ou la proximité, et constitue une base crédible pour des intégrations sur plateformes humanoïdes en cours de commercialisation. Du côté européen, ni Wandercraft ni Enchanted Tools n'ont publié d'approches comparables pour les effecteurs distaux, laissant ce créneau ouvert à de prochains travaux.

Recherche❖Paper

1 source

46

4092arXiv cs.RO 

VILAS : une architecture bas coût intégrant un modèle VLA avec préhension souple pour la manipulation robotique

VILAS (arXiv 2605.02037) est une plateforme de manipulation robotique modulaire à faible coût conçue pour déployer des modèles vision-language-action (VLA) sur du matériel accessible. Le système associe un bras collaboratif Fairino FR5, un préhenseur électrique Jodell RG52-50 et un module de perception à deux caméras, coordonnés via une architecture ZMQ unifiant téleopération, collecte de données et exécution de politiques dans un pipeline unique. Pour saisir des objets fragiles sans capteur de force dédié, les auteurs ont développé une extension de préhenseur souple fondée sur le kirigami, une technique de découpe structurée qui induit une déformation contrôlée sous charge compressive, garantissant un contact doux et répétable. Trois modèles VLA ont été comparés sur cette plateforme : pi0 et pi0.5 de Physical Intelligence, et GR00T N1.6 de NVIDIA, chacun fine-tuné depuis des checkpoints publics sur un jeu de démonstrations identique collecté via le pipeline de téleopération. La tâche de validation retenue est la saisie de raisins, cas représentatif de la manipulation d'objets déformables et fragiles. Ce préprint de recherche démontre que des politiques VLA compétitives peuvent être entraînées et déployées sur du matériel grand public, sans infrastructure coûteuse ni retour d'effort. Pour les intégrateurs et les équipes de R&D à budget contraint, c'est un signal clair : le goulot d'étranglement n'est plus le hardware mais le pipeline de données et le fine-tuning. La comparaison des trois modèles dans des conditions strictement identiques (même bras, même dataset, même tâche) constitue un benchmark pratique rare, la littérature évaluant généralement les VLA sur des plateformes propriétaires difficilement reproductibles. Le fait que GR00T N1.6, conçu initialement pour les humanoïdes de NVIDIA, soit ici testé sur un cobot bas de gamme éclaire aussi la portabilité réelle de ces modèles généralistes, au-delà des démonstrations sur hardware maison. Ce travail s'inscrit dans le mouvement de démocratisation de la robotique apprenante porté notamment par LeRobot de Hugging Face ou les travaux autour d'ACT (Action Chunking with Transformers). Le Fairino FR5 se positionne dans la gamme des cobots abordables, face au Lite6 d'UFactory ou au CR5 de Dobot. Pi0 et pi0.5 sont issus de Physical Intelligence (Pi), startup californienne fondée en 2023 et financée entre autres par Bezos Expeditions, tandis que GR00T N1.6 est le modèle de fondation robotique de NVIDIA présenté en 2025 pour ses partenaires humanoïdes. Les suites naturelles de cette plateforme incluent l'extension à des tâches bi-manuelles, l'élargissement du catalogue d'objets, et potentiellement la publication du dataset de démonstrations pour faciliter la reproductibilité.

IA physique❧Opinion

1 source

46

4093arXiv cs.RO 

Générer du réalisme à partir de simulation : transfert vidéo efficace pour l'augmentation de données VLA

Début mai 2026, une équipe de chercheurs a publié (arXiv:2605.02757) un framework d'augmentation de données pour les modèles vision-language-action (VLA), visant le fossé visuel persistant entre simulation et données réelles. Le pipeline, nommé "Seeing Realism from Simulation", convertit des vidéos simulées en séquences d'apparence réaliste via trois étapes: segmentation sémantique vidéo pour extraire des conditions structurées, réécriture de légendes pour diversifier les environnements, puis application d'un modèle de transfert vidéo conditionnel. Pour rendre l'approche scalable, les auteurs introduisent un mécanisme de réutilisation de features de diffusion (recycler les tokens vidéo entre timesteps adjacents) et un coreset sampling qui sélectionne un sous-ensemble compact sous contrainte computationnelle. Sur les benchmarks Robotwin 2.0 et LIBERO-Plus, le framework améliore RDT-1B de 8% et le modèle pi-0 de Physical Intelligence de 5,1%. Le code est disponible en open source sur GitHub. Ces gains pointent un goulot d'étranglement réel de l'industrie: collecter des vidéos de manipulation réelles à grande échelle est coûteux et lent, alors que la simulation offre une scalabilité quasi-illimitée mais dégrade systématiquement les performances en déploiement. Si l'on peut transformer des données simulées en données visuellement réalistes en préservant les labels d'action, on dispose d'un levier de scaling à faible coût. Le fait que pi-0, déjà entraîné sur des millions de trajectoires réelles, gagne encore 5,1% indique une complémentarité avec les pipelines de collecte existants plutôt qu'une substitution. Cela dit, les auteurs ne publient aucun chiffre concret sur la réduction du temps de génération, ce qui laisse ouverte la question de viabilité à l'échelle industrielle. Ce travail s'inscrit dans la course aux modèles fondation pour la robotique, où Physical Intelligence (pi-0, pi-0.5) et les équipes derrière RDT-1B font figure de références. LIBERO et Robotwin 2.0 sont devenus les benchmarks standard pour comparer ces architectures VLA en conditions contrôlées. Contrairement aux approches de domain randomization ou au style transfer image par image, l'utilisation d'un modèle vidéo diffusion-based préserve la cohérence temporelle, critique pour les tâches de manipulation multi-étapes. Les prochaines étapes naturelles incluent l'extension à des environnements moins structurés et des horizons de tâche plus longs, là où le fossé sim-to-real reste le plus prononcé et où la diversité des légendes réécrites sera la plus déterminante.

IA physique❧Opinion

1 source

45

4094arXiv cs.RO 

STEP : politiques visuomotrices pré-initialisées avec prédiction de cohérence spatiotemporelle

Publiée sur arXiv en février 2026 (arXiv:2602.08245v2), STEP (Spatiotemporal Consistency Prediction) est une méthode conçue pour accélérer les diffusion policies en manipulation robotique sans dégrader la qualité d'exécution. Les diffusion policies modélisent des distributions de séquences d'actions avec une forte capacité à capturer la multimodalité des comportements, mais leur processus de débruitage itératif engendre une latence d'inférence élevée qui limite la fréquence de contrôle en boucle fermée temps réel. STEP génère des actions de démarrage à chaud (warm-start) distributivement proches de la cible et temporellement cohérentes, couplées à un mécanisme d'injection de perturbation sensible à la vélocité qui module dynamiquement l'excitation d'actuation pour éviter les blocages d'exécution en conditions réelles. Avec seulement 2 pas de débruitage, la méthode surpasse BRIDGER de 21,6% en taux de succès moyen sur le benchmark RoboMimic, et DDIM de 27,5% sur deux tâches physiques réelles, pour un total de neuf benchmarks simulés évalués. Le code est publié en open source sur GitHub (github.com/Kimho666/STEP). L'enjeu pratique est la déployabilité en production: une fréquence de contrôle trop basse rend une politique visuomotrice fragile face aux perturbations dynamiques, ce qui freine l'adoption industrielle de ces approches pourtant performantes en simulation. STEP avance la frontière de Pareto entre latence d'inférence et taux de succès là où les méthodes précédentes, réduction du nombre de pas d'échantillonnage, prédiction directe ou réutilisation d'actions passées, sacrifiaient l'une ou l'autre. La validation sur des tâches physiques réelles, et non uniquement en simulation, renforce la crédibilité du sim-to-real transfer, souvent contesté dans la littérature robotique. Les auteurs fournissent également une analyse théorique montrant que le mécanisme de prédiction introduit un mapping localement contractant, garantissant la convergence des erreurs d'action pendant le raffinement par diffusion, un argument formel solide pour des équipes R&D cherchant à fiabiliser leur pipeline avant déploiement. Les diffusion policies pour la manipulation ont émergé autour de 2023 avec les travaux de Chi et al. (Diffusion Policy), suivis rapidement de variantes d'accélération comme DDIM, emprunté à la génération d'images, et BRIDGER, que STEP dépasse désormais sur les deux métriques clés simultanément. Dans le paysage plus large des architectures visuomotrices, la méthode est complémentaire des VLA (Vision-Language-Action) comme pi-zero de Physical Intelligence ou OpenVLA, où la latence d'inférence constitue un goulot d'étranglement comparable. Aucun acteur européen n'est directement impliqué dans cette publication, mais la disponibilité open source permettra à des équipes comme celles de l'INRIA ou de laboratoires spécialisés en manipulation flexible d'intégrer directement la méthode dans leurs pipelines existants. Les prochaines étapes naturelles incluront l'évaluation sur des robots mobiles manipulateurs et des environnements industriels non structurés, ainsi que l'intégration dans des architectures VLA de plus grande envergure.

Recherche❧Opinion

1 source

44

4095arXiv cs.RO 

Bonne démonstration dans les mauvaises : filtrer les données d'utilisateurs pour apprendre une politique plus robuste

Une équipe de chercheurs a publié en mai 2026 sur arXiv (identifiant 2605.01529) un algorithme baptisé GiB (Good-in-Bad), conçu pour filtrer automatiquement les données d'apprentissage par imitation collectées auprès d'utilisateurs non-experts. Plutôt que de rejeter une démonstration entière ou de l'utiliser telle quelle au risque de générer des comportements dangereux, GiB décompose chaque démonstration en sous-tâches et attribue un poids binaire à chaque segment. Le système entraîne un modèle auto-supervisé pour extraire des caractéristiques latentes, modélise la distribution des segments de qualité élevée, puis utilise la distance de Mahalanobis pour détecter les portions défectueuses. Les données filtrées restent compatibles avec n'importe quel algorithme d'apprentissage de politique. La méthode a été validée sur un bras Franka Robotics en simulation et en conditions réelles, sur des tâches séquentielles multi-étapes. L'enjeu est concret : dans les déploiements réels, les démonstrateurs sont rarement des experts en robotique. Opérateurs en usine ou techniciens produisent des démonstrations hétérogènes où erreurs et bonnes séquences se mélangent. Jeter des démonstrations entières dans ces contextes à faible volume de données pénalise fortement l'entraînement. GiB préserve les segments exploitables tout en évitant que les erreurs contaminent la politique apprise. Cela adresse un angle mort persistant des méthodes d'imitation comme le behavior cloning ou les Diffusion Policies : ces architectures supposent implicitement des données propres, ce qui limite leur déployabilité hors des laboratoires. La compatibilité avec n'importe quel algorithme aval est un atout pratique pour les équipes disposant déjà d'une stack d'entraînement existante. L'apprentissage par imitation s'est imposé ces trois dernières années comme une voie majeure pour doter les robots de compétences polyvalentes, avec des architectures comme ACT (Action Chunking with Transformers) popularisé par l'équipe Aloha, ou les Diffusion Policies de Columbia. GiB s'inscrit dans une tendance émergente visant à rendre ces pipelines robustes aux données bruyantes, aux côtés de méthodes comme DART ou les variantes de DAgger. Le bras Franka (Franka Robotics, Munich) est devenu le banc de test standard de la communauté académique en manipulation. Ce travail reste à ce stade un preprint sans déploiement industriel annoncé, et ses performances sur des tâches longues ou sur des manipulateurs mobiles humanoïdes restent à démontrer.

Recherche❖Paper

1 source

44

4096arXiv cs.RO 

Hydra-DP3 : dimensionnement adapté aux fréquences des politiques de diffusion 3D pour le contrôle visuomoteur

Des chercheurs proposent Hydra-DP3 (HDP3), une politique de diffusion 3D allégée pour le contrôle visuomoteur en manipulation robotique, déposée sur arXiv le 2 mai 2025 (arXiv:2605.01581). Le point de départ est théorique : les trajectoires d'action robotique sont intrinsèquement lisses, avec l'essentiel de leur énergie concentrée dans quelques modes basses fréquences de la transformée en cosinus discrète (DCT). Cette propriété implique que l'erreur du débruiteur optimal est bornée par la dimension du sous-espace basse fréquence, ce qui signifie que le débruitage sature en très peu d'étapes. HDP3 exploite cette observation pour concevoir un décodeur "Diffusion Mixer" minimaliste, compatible avec une inférence DDIM en deux étapes seulement. Évalué sur les benchmarks RoboTwin 2.0, Adroit et MetaWorld ainsi que sur des tâches en conditions réelles, HDP3 atteint les performances état de l'art avec moins de 1 % des paramètres des politiques de diffusion 3D existantes et une latence d'inférence significativement réduite. Le goulot d'étranglement des politiques de diffusion pour la robotique réside précisément dans la vitesse d'inférence : des modèles comme DP3 ou Pi-0 requièrent typiquement 10 à 100 étapes de débruitage, ce qui pénalise le contrôle temps réel. HDP3 démontre empiriquement et théoriquement que deux étapes suffisent pour les trajectoires robotiques, contrairement à la génération d'images où de nombreuses étapes restent nécessaires. Réduire les paramètres à moins de 1 % de l'état de l'art tout en maintenant les performances remet en question l'hypothèse implicite selon laquelle des modèles massifs seraient indispensables en visuomoteur. Pour les intégrateurs et les équipes R&D industrielles, cela ouvre la voie à des déploiements sur matériel embarqué contraint, sans GPU serveur dédié, et à des cycles d'entraînement bien plus rapides. La politique de diffusion 3D (DP3, 2024) est née de Diffusion Policy (Chi et al., 2023), elle-même inspirée des modèles de score pour la génération d'images. HDP3 rompt explicitement avec cet héritage en justifiant théoriquement pourquoi la robotique n'a pas besoin de décodeurs lourds copiés sur la vision générative. Dans la course aux politiques visuomotrices, les principaux concurrents incluent Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et les approches VLA comme OpenVLA ou RDT-1B, qui misent sur la montée en échelle paramétrique. HDP3 parie à l'inverse sur la compression théoriquement motivée. L'article reste un preprint non évalué par les pairs, et les résultats temps réel portent sur des tâches de manipulation sélectionnées : la généralisation à des environnements industriels non contrôlés reste à démontrer. Aucun déploiement commercial n'est annoncé à ce stade.

IA physique❧Opinion

1 source

44

4097arXiv cs.RO 

Un cadre d'autonomie sémantique pour robots mobiles d'intérieur intégrant un VLM : raisonnement déterministe hybride et mémoire adaptative inter-robots

Des chercheurs ont publié sur arXiv (réf. 2605.02525) le "Semantic Autonomy Stack", un framework de référence en six couches conçu pour permettre aux robots mobiles d'intérieur de suivre des instructions en langage naturel, sans se limiter à des coordonnées métriques. Validé sur deux robots différentiels custom équipés de Raspberry Pi 5 sans GPU embarqué, le système repose sur un résolveur paramétrique en sept étapes qui traite 88 % des requêtes en moins de 0,1 milliseconde, sans invoquer de VLM (Vision-Language Model) ni de GPU. Seules les instructions réellement ambiguës remontent au VLM, dont la latence d'inférence oscille entre 2 et 9 secondes sur hardware grand public. Un mécanisme de mémoire sémantique cross-robot transfère ensuite les préférences apprises d'un robot à l'autre via un digest compilé partagé, avec une réduction de latence mesurée à 103 000 fois. Sur 82 scénarios répartis en trois sessions, le système affiche 100 % de précision de transfert sémantique (33/33, IC 95 % [0,894 à 1,000]), sans aucune donnée d'entraînement. Ce résultat s'attaque directement aux deux freins structurels des déploiements VLM en robotique de service: la latence d'inférence à l'edge qui rend le contrôle temps-réel impraticable, et l'amnésie session-par-session propre aux modèles de langage. Le fait que 88 % des instructions soient résolues de manière déterministe en sous-milliseconde invalide l'hypothèse selon laquelle intégrer un VLM impose un coût computationnel permanent. Le mécanisme cross-robot va plus loin: les préférences acquises par interaction VLM sont compilées en règles déterministes puis diffusées à l'ensemble de la flotte, ouvrant la voie à des flottes apprenantes sans cycle d'entraînement ni données labellisées. Pour les intégrateurs AMR et les COO industriels, c'est une architecture crédible sur hardware off-the-shelf, ce qui abaisse significativement le seuil de déploiement. Les frameworks actuels couvrent soit la navigation purement métrique (ROS 2 Navigation 2), soit le raisonnement sémantique mais avec dépendance réseau ou GPU (SayPlan, LM-Nav, NLMap). Ce travail, présenté comme preprint arXiv et non comme produit commercial ni déploiement industriel, spécifie une taxonomie de mémoire en cinq catégories: connaissance globale d'environnement, préférences par opérateur, et capacités par robot. La validation reste limitée à deux robots différentiels custom; la montée en charge sur flottes commerciales ou architectures non différentielles (1X Technologies, Agility Robotics, Figure) n'a pas été testée, et certaines métriques comme le taux de 88 % dépendent du corpus de scénarios choisi. Aucun acteur FR/EU n'est impliqué. Les suites logiques seraient la validation sur flottes de taille réelle et l'intégration de VLM multimodaux récents comme Qwen-VL.

Recherche❧Opinion

1 source

44

4098arXiv cs.RO 

Modèle MVP-LAM : apprentissage de représentations d'actions latentes centrées sur l'action par reconstruction multi-points de vue

Une équipe de chercheurs a publié MVP-LAM (Multi-ViewPoint Latent Action Model), une méthode visant à améliorer le pré-entraînement des modèles vision-langage-action (VLA) à partir de vidéos humaines non étiquetées. Le problème ciblé : les actions latentes apprises depuis des vidéos mono-vue encodent des indices visuels propres à l'angle de caméra, plutôt que la sémantique réelle du mouvement. MVP-LAM impose un objectif de reconstruction inter-vues (cross-viewpoint reconstruction) : une action latente extraite depuis une caméra doit prédire l'évolution de la scène telle que vue depuis une autre caméra. Évalué sur le jeu de données Bridge V2, le modèle produit des actions latentes dont l'information mutuelle avec les vraies actions de référence dépasse celle des baselines, y compris en conditions hors-distribution. Ces représentations améliorées se traduisent par de meilleures performances de manipulation en aval sur plusieurs benchmarks standards. Le code et les checkpoints entraînés sont disponibles publiquement. La contrainte géométrique multi-vues a un impact direct pour les intégrateurs : un modèle pré-entraîné sur des actions latentes robustes au changement de point de vue devrait mieux résister au gap entre démonstration et déploiement réel, notamment dans des cellules robotiques où la position des caméras diffère entre collecte de données et production. MVP-LAM valide aussi l'usage de larges corpus vidéo non supervisés (vidéos internet, archives industrielles) sans démonstrations téléopérées : la cohérence inter-vues remplace partiellement le signal proprioceptif, réduisant le coût de collecte des données d'entraînement. Le pré-entraînement VLA depuis des vidéos non annotées s'inscrit dans la continuité de travaux comme RT-2 (Google DeepMind), UniPi, et plus récemment pi-0 (Physical Intelligence) ou OpenVLA. Ces approches partagent l'ambition d'exploiter des données vidéo à grande échelle pour doter les robots d'une compréhension généraliste du mouvement avant fine-tuning sur tâches spécifiques. MVP-LAM apporte une contribution méthodologique en renforçant la qualité des pseudo-labels d'action, une étape souvent négligée au profit de l'architecture des modèles aval. Il s'agit d'un travail académique sans déploiement industriel annoncé, mais dont la disponibilité du code facilite la reproduction et l'adaptation sur d'autres plateformes robotiques.

IA physique❧Opinion

1 source

44

4099arXiv cs.RO 

NaviMaster : un modèle unifié pour la navigation dans les interfaces graphiques et dans les environnements physiques

NaviMaster (arXiv:2508.02046, version 4 du preprint) est un agent d'intelligence artificielle qui unifie dans un seul modèle deux types de navigation habituellement traités séparément : la navigation en interface graphique (GUI, pilotage d'applications et de menus) et la navigation embodied (déplacement d'un agent physique ou simulé dans un espace 3D). Le système repose sur l'observation que ces deux problèmes se formulent comme des Processus de Décision Markoviens (MDP), ce qui autorise une architecture et un entraînement communs. NaviMaster introduit trois contributions techniques : un pipeline de collecte de trajectoires à cible visuelle applicable aux deux domaines via une formulation unifiée, un cadre d'apprentissage par renforcement (RL) entraîné sur données mixtes pour améliorer la généralisation, et une récompense dite "distance-aware" conçue pour accélérer l'apprentissage à partir des trajectoires collectées. Évalué sur des benchmarks hors-domaine, il surpasse les agents spécialisés de l'état de l'art sur trois tâches : navigation GUI, prédiction d'affordance spatiale et navigation embodied. Les codes, données et checkpoints sont publiés en open source. L'intérêt de NaviMaster est moins dans ses performances brutes sur chaque tâche isolée que dans la démonstration que GUI et navigation physique peuvent partager une même représentation apprise. Jusqu'ici, ces deux domaines s'appuyaient sur des datasets distincts, des architectures incompatibles et des paradigmes d'entraînement divergents. Pour les équipes travaillant sur des modèles VLA (Vision-Language-Action) ou sur des systèmes multi-tâches, c'est une preuve de concept que la généralisation cross-domaine par RL mixte est faisable à cette échelle. Les études d'ablation publiées confirment que la stratégie de mélange de données et la récompense distance-aware contribuent toutes deux de manière mesurable aux gains finaux, ce qui renforce la crédibilité des choix architecturaux au-delà du résultat global. NaviMaster s'inscrit dans une dynamique de convergence croissante entre agents logiciels et agents physiques. Il se positionne face à des agents GUI spécialisés comme CogAgent ou SeeAct d'un côté, et à des modèles de navigation embodied comme RT-2 ou OpenVLA de l'autre. Les benchmarks de référence sont Web-Arena et OSWorld pour le versant GUI, Habitat pour le versant physique. La présence d'une version v4 sur arXiv signale un processus de révision actif, probablement en direction d'une conférence majeure (ICLR, NeurIPS ou ICRA). L'article ne mentionne aucun déploiement industriel ni partenariat, ce qui place NaviMaster au stade de la preuve de concept académique.

Recherche❧Opinion

1 source

44

4100arXiv cs.RO 

Latent Bridge : prédiction de delta de caractéristiques pour une inférence efficace des modèles VLA à double système

Une équipe de recherche publie sur arXiv (2605.02739) une méthode baptisée Latent Bridge, conçue pour accélérer l'inférence des modèles Vision-Language-Action (VLA) à double système, architecture qui combine un backbone de grand modèle de vision-langage (VLM) lent avec une tête d'action rapide. Le problème identifié : dans ce paradigme, le VLM doit s'exécuter à chaque pas de contrôle, même lorsque la scène visuelle évolue peu entre deux timesteps, ce qui crée un goulot d'étranglement computationnel majeur. Latent Bridge est un modèle léger entraîné pour prédire le delta des sorties du VLM entre deux appels, permettant à la tête d'action de fonctionner sur des features interpolées pendant que le backbone coûteux ne tourne que périodiquement. La méthode est validée sur deux VLAs architecturalement distincts : GR00T-N1.6 de NVIDIA (pont dans l'espace des features) et π0.5 de Physical Intelligence (pont sur le KV-cache). Sur quatre suites LIBERO, 24 tâches cuisine RoboCasa et la tâche ALOHA sim transfer-cube, Latent Bridge conserve 95 à 100 % des performances initiales tout en réduisant les appels VLM de 50 à 75 %, pour un gain net de 1,65x à 1,73x en vitesse d'exécution par épisode. Ce résultat est structurellement important pour quiconque envisage de déployer des VLAs sur du matériel réel : jusqu'ici, la richesse sémantique des VLM se payait en latence, rendant difficile un contrôle à haute fréquence sur robots à ressources embarquées limitées. Le fait que la méthode fonctionne sur deux familles architecturales différentes, l'une opérant dans l'espace des features, l'autre sur le KV-cache, suggère une généralisation potentiellement large plutôt qu'une optimisation opportuniste. Le pipeline d'entraînement DAgger utilisé est task-agnostic et transfert sans modification entre benchmarks, ce qui réduit le coût d'adaptation. Il reste à noter que toutes les évaluations sont conduites en simulation ; l'écart sim-to-real n'est pas adressé dans ce travail, et les gains de vitesse annoncés restent à confirmer sur hardware physique. GR00T-N1.6 est le modèle humanoïde de NVIDIA issu de la roadmap GR00T, tandis que π0.5 est la dernière itération du VLA de Physical Intelligence (ex-pi0), entreprise fondée par Sergey Levine et Chelsea Finn qui a levé 400 millions de dollars en 2024. Ces deux modèles représentent l'état de l'art des VLA duaux, face à des concurrents comme OpenVLA (Berkeley), RoboFlamingo ou les approches ACT/Diffusion Policy. La pression sur l'efficacité computationnelle devient un axe de différenciation croissant à mesure que les déploiements industriels à grande échelle approchent ; des travaux parallèles explorent la distillation et la quantification des VLM, mais Latent Bridge propose une voie orthogonale en exploitant la redondance temporelle plutôt qu'en compressant le modèle. La prochaine étape logique serait une validation sur plateforme physique, idéalement sur des robots comme Fourier GR-1 ou Figure 02 dont les équipes utilisent des pipelines VLA similaires.

IA physique❧Opinion

1 source