Actualités robotique — page 29

4 604 articles au fil, du plus récent au plus ancien.

42

1401arXiv cs.RO 

Choisir quoi observer : représentations sémantico-géométriques adaptées à la tâche pour le contrôle visuomoteur

Une équipe de recherche propose une nouvelle interface d'observation pour les politiques visuomotrices en robotique, baptisée dans l'article « Choose What to Observe: Task-Aware Semantic-Geometric Representations for Visuomotor Policy » (arXiv:2603.07875v2). Le problème identifié est connu du secteur : les politiques apprises par démonstration à partir d'images RGB brutes surapprennent des détails visuels parasites (couleur des objets, fond de la scène) et deviennent fragiles dès que l'environnement change. La méthode proposée utilise SAM3 pour segmenter l'objet cible et le bras/pince du robot dans l'image, puis repeint ces éléments avec des couleurs sémantiques prédéfinies sur un fond constant, ce qui donne une observation dite L0. Pour les tâches nécessitant des indices géométriques plus fins, une couche supplémentaire injecte une carte de profondeur monoculaire générée par Depth Anything 3 dans les zones segmentées, produisant une observation combinée sémantique-géométrique appelée L1, qui reste une image standard à trois canaux. Les tests ont porté sur RoboMimic (tâche Lift), ManiSkill pour de la préhension d'objets YCB en environnement encombré, quatre tâches RLBench avec changements d'apparence contrôlés, et deux tâches réelles sur bras Franka (ReachX et CloseCabinet), avec deux architectures de politique : Flow Matching Policy et SmolVLA. L'intérêt principal tient à ce que la méthode ne nécessite ni modification ni réentraînement de la politique existante : elle agit uniquement en amont, sur l'observation fournie au modèle. Pour les intégrateurs et équipes de recherche confrontés au fossé classique entre démonstrations en simulation et déploiement réel, c'est une piste low-cost pour améliorer la robustesse face aux changements de fond ou de couleur d'objets, sans repasser par un cycle d'entraînement coûteux. Ce travail s'inscrit dans la lignée des recherches sur les politiques VLA (vision-langage-action) et leur généralisation hors distribution, un point faible régulièrement pointé dans les démonstrations de robots humanoïdes et bras manipulateurs. Il s'appuie sur des modèles de segmentation et de profondeur récents (SAM3, Depth Anything 3) plutôt que sur une architecture propriétaire, ce qui facilite potentiellement sa reproduction par d'autres laboratoires.

Recherche❖Paper

1 source

41

1402arXiv cs.RO 

GraspIT : un jeu de données comblant l'écart simulation-réel pour la génération validée de poses de préhension SE(3)

GraspIT, un nouveau dataset de prises robotiques présenté dans un article arXiv publié cette semaine, s'attaque au problème du transfert simulation-réel pour la préhension d'objets inédits. L'équipe a généré des scènes de table dans NVIDIA Isaac Sim, puis annoté chaque prise candidate via un test physique de glissement en quatre étapes, exécuté sur des instances virtuelles de bras Franka Panda, allant au-delà du simple critère de force-closure classique. Sur environ 2,3 millions de prises candidates, 83% obtiennent un score de qualité jugé bon (seuil de 0,50 ou plus), tandis que les 17% restants, qui passent le test de force-closure mais échouent au test de glissement, constituent des "hard negatives" utiles à l'entraînement. Une boucle réel-vers-simulation rétroprojette ensuite ces annotations sur 100 scènes réelles. Au total, le dataset livre environ 316 000 jeux d'images RGB-D annotées, couvrant 1035 scènes simulées et 100 scènes réelles, avec masques d'instance, poses en 6 degrés de liberté, propriétés physiques des objets et scores de qualité pour chaque prise. Les outils sont open source et conteneurisés via Docker. Cette publication comble un manque identifié par les auteurs eux-mêmes: aucun dataset existant ne combinait jusqu'ici observations photoréalistes, validation physique rigoureuse des prises et pont explicite entre simulation et monde réel. Pour les équipes de recherche en manipulation robotique, ce type de ressource conditionne directement la qualité des politiques apprises par imitation ou par renforcement, notamment pour les modèles vision-langage-action qui nécessitent de gros volumes de démonstrations fiables. Les négatifs difficiles générés par le test de glissement offrent en particulier un signal d'entraînement plus discriminant que les datasets fondés sur la seule force-closure, souvent trop permissifs. Le projet s'inscrit dans une littérature croissante cherchant à réduire l'écart sim-to-real, un obstacle persistant pour déployer en conditions réelles des politiques entraînées en simulation. La planification de trajectoires intégrée dans Isaac Sim permet en outre de streamer des démonstrations haute résolution pour l'apprentissage de politiques de manipulation sur table et le clonage comportemental, ouvrant la voie à des travaux de suivi sur des tâches de préhension plus complexes.

Recherche❖Paper

1 source

41

1403arXiv cs.RO 

Accélération sans entraînement des modèles VLA par mise en cache et raffinement d'actions

Une équipe de recherche propose ActionCache, une méthode d'accélération sans réentraînement pour les modèles Vision-Language-Action (VLA) reposant sur le flow matching, publiée le 8 juillet 2026 sur arXiv (2607.06370). Ces modèles génèrent des séquences d'actions robotiques précises via un processus de débruitage itératif, mais cette étape constitue un goulot d'étranglement computationnel majeur pour un déploiement en temps réel. ActionCache fonctionne comme un cache externe "plug-and-play" qui réutilise des actions intermédiaires déjà calculées lors d'épisodes passés, en les indexant avec des clés multimodales compactes, pour amorcer la génération à proximité de l'action cible plutôt que de repartir de zéro. Les tests, menés en simulation et en conditions réelles, montrent que la méthode conserve des taux de réussite élevés tout en réduisant fortement la latence: jusqu'à 11,75 fois plus rapide sur le modèle $\pi{0.5}$ et 34,43 fois sur GR00T-N1.6. Pour l'industrie robotique, ce résultat s'attaque directement à l'un des freins les plus concrets à l'adoption des VLA en production: la latence d'inférence, qui limite aujourd'hui leur usage aux démonstrations plutôt qu'aux lignes de production ou à la manipulation en temps réel. Le fait que la technique soit sans réentraînement et compatible avec des architectures existantes (elle a été validée sur deux familles de modèles distinctes, $\pi{0.5}$ et GR00T-N1.6) la rend potentiellement intégrable rapidement par les équipes qui déploient déjà ces modèles, sans coût de calcul supplémentaire lié à un nouvel entraînement. C'est un signal utile pour les intégrateurs et décideurs B2B suivant de près l'écart entre les capacités démontrées en laboratoire et la viabilité opérationnelle des VLA. Ce travail s'inscrit dans la montée en puissance des modèles VLA basés sur le flow matching, une famille popularisée par $\pi0$ et ses variantes chez Physical Intelligence, et concurrencée par GR00T de NVIDIA sur le terrain des modèles fondation pour la robotique généraliste. La comparaison directe entre $\pi{0.5}$ et GR00T-N1.6 positionne implicitement ActionCache comme une brique d'optimisation transversale plutôt que liée à un acteur unique. Publié en preprint, l'article ne précise pas encore de calendrier d'intégration industrielle ni de partenariat annoncé, mais ouvre la voie à des tests sur d'autres architectures VLA à mesure que ces modèles se rapprochent du déploiement en usine ou en entrepôt.

Recherche⚡Actu

1 source

40

1404arXiv cs.RO 

RynnWorld-4D : des modèles du monde incarnés en 4D pour la manipulation robotique

Des chercheurs (l'article ne précise pas d'affiliation institutionnelle dans le résume) publient sur arXiv, le 7 juillet 2026, RynnWorld-4D, un modèle génératif de monde en 4D pour la manipulation robotique. Le système produit simultanément, a partir d'une seule image RGB-D et d'une instruction en langage naturel, des images RGB futures, des cartes de profondeur et des flux optiques, le tout dans un unique processus de diffusion. Son architecture a trois branches combine attention cross-modale et RoPE 3D image par image pour que l'apparence visuelle, la géométrie et le mouvement évoluent de manière cohérente. Pour l'entrainer, les auteurs ont constitue Rynn4DDataset 1.0, un jeu de données de plus de 254,4 millions d'images issues de vidéos de manipulation, a la fois humaines en vue égocentrique et robotiques, avec des pseudo-étiquettes de profondeur et de flux optique. Un module dérivé, RynnWorld-4D-Policy, exploite directement les représentations internes du modèle en un seul passage avant, sans les étapes couteuses de debruitage itératif, pour générer des actions robotiques en boucle fermée. L'intérêt de cette approche tient a l'hypothèse qu'elle teste: en combinant RGB, profondeur et flux optique plutôt qu'en travaillant sur de simples pixels 2D, la représentation obtenue se rapprocherait davantage des commandes bas niveau de l'effecteur, réduisant l'écart classique entre prédiction du monde et apprentissage de politique. Sur des taches réelles de manipulation bimanuelle dextérité, les auteurs rapportent des résultats a l'état de l'art, en particulier sur les taches exigeant précision spatiale et coordination temporelle, deux points ou les approches VLA généralistes butent souvent en conditions réelles. Il s'agit pour l'instant d'un travail de recherche publie en preprint, sans déploiement industriel ni produit commercialise. Il s'inscrit dans la lignée des modèles de monde appliques a la robotique, aux cotes d'approches comme GR00T N2 ou Pi-0, mais mise sur une fusion multimodale plus riche et un passage a l'échelle des données d'entrainement. Les prochaines étapes attendues concernent la généralisation a d'autres plateformes robotiques et la validation hors des benchmarks contrôles du laboratoire.

IA physique⚡Actu

1 source

40

1405arXiv cs.RO 

RoboTALES : politiques robotiques guidées par le raisonnement via des futurs simulés alignés sur la tâche

Une équipe de recherche (auteur principal Hanan Shafi, code disponible sur GitHub) publie RoboTALES, un nouveau framework pour entraîner des politiques robotiques à partir de "futurs simulés" générés par des modèles vidéo génératifs pré-entraînés. Le problème que le papier cherche à résoudre est concret : ces modèles vidéo, utilisés comme backbones pour le contrôle visuomoteur, produisent souvent des séquences imaginées qui dérivent de l'intention réelle de la tâche et ne sont pas fiablement conditionnées par les actions du robot, ce qui les rend difficiles à exploiter pour la planification. RoboTALES introduit deux mécanismes clés en un seul étage d'entraînement : un planificateur hiérarchique basé sur un LLM qui découpe une tâche complexe en une séquence de sous-objectifs pour guider l'imagination du modèle, et un critique basé sur un VLM qui évalue ces futurs imaginés et renvoie un signal de récompense pour garder les représentations internes alignées sur le but. La méthode a été évaluée sur des tâches de manipulation issues des benchmarks RoboCasa et LIBERO10. L'enjeu dépasse la simple démonstration académique : la génération vidéo comme "monde simulé" pour entraîner des robots est l'un des paris les plus discutés du secteur, mais bute justement sur ce problème de dérive et de manque de contrôlabilité par l'action. En ancrant le générateur vidéo dans un raisonnement abstrait explicite plutôt que dans la seule prédiction de pixels, RoboTALES produit des rollouts temporellement cohérents et des actions plus fiables, avec un gain qui se creuse spécifiquement sur les tâches longues et multi-étapes, un point faible connu des approches purement génératives. Ce travail s'inscrit dans la lignée des modèles du monde appliqués à la robotique (dans l'esprit de projets comme Genie ou UniSim), où plusieurs laboratoires cherchent à remplacer ou compléter la simulation physique classique par de la génération vidéo apprise. Le code et les modèles sont publiés en open source sur GitHub, ce qui permettra à la communauté robotique de reproduire les résultats sur RoboCasa et LIBERO10 et de tester l'approche sur d'autres suites de tâches de manipulation.

IA physique⚡Actu

1 source

40

1406arXiv cs.RO 

Diagnostiquer les échecs de transfert sémantique dans la composition de compétences VLA orchestrée par agents

Des chercheurs ont testé un système d'orchestration d'agents pour l'exécution de tâches robotiques longues sur le benchmark BEHAVIOR-1K, qui simule des tâches ménagères nécessitant l'enchaînement de plusieurs compétences comme la navigation, la saisie, la pose d'objets et l'ouverture de portes. Le système s'appuie sur des checkpoints de compétences basés sur le modèle vision-langage-action Pi-0.5, entraînés à partir de démonstrations nettoyées issues de BEHAVIOR-1K. Chaque compétence reçoit des arguments typés et un budget d'étapes, et un modèle vision-langage multi-vues vérifie si l'exécution doit continuer, réessayer ou replanifier. Les auteurs comparent deux conditions de départ : des instantanés "propres" pris à la frontière entre deux compétences, et des états "chaînés" issus réellement de l'exécution de la compétence précédente. Résultat : les compétences testées individuellement atteignent 77 à 100% de réussite depuis des instantanés propres, sous vérification validée par des humains. Mais une fois enchaînées dans des rollouts complets, ces mêmes compétences échouent fréquemment à partir des états chaînés, avec un taux de réussite de bout en bout proche de zéro. Cette étude pointe un problème central pour l'industrie robotique qui cherche à déployer des VLA généralistes : le "handoff sémantique" entre compétences. Un modèle peut valider parfaitement sa propre postcondition tout en laissant le robot, les objets ou la caméra dans un état dont la compétence suivante ne peut pas repartir. Cela contredit l'hypothèse implicite de nombreux pipelines actuels selon laquelle empiler des compétences individuellement performantes suffit à obtenir un comportement fiable sur le long horizon. Pour les intégrateurs et décideurs B2B qui évaluent des démonstrations VLA impressionnantes en isolation, ce travail rappelle que le taux de réussite d'une compétence seule ne prédit pas la robustesse en conditions réelles d'enchaînement, où l'état de départ est "sale" plutôt que propre. Le travail s'inscrit dans la lignée de BEHAVIOR-1K, benchmark de tâches ménagères longues, et s'appuie sur la famille Pi-0.5, une architecture vision-langage-action comparable à des approches comme GR00T N2 ou Helix développées ailleurs dans le secteur. Les auteurs analysent les traces d'exécution et attribuent les échecs à trois causes : le manque de préparation pour la compétence suivante, une mauvaise identification de la cible, et des erreurs de contrôle bas niveau. Plutôt que d'annoncer des résultats de succès, l'article transforme un taux de réussite quasi nul en diagnostic actionnable, plaidant pour que les futures bibliothèques de compétences VLA intègrent explicitement la robustesse aux états chaînés, largement sous-représentés dans les démonstrations propres utilisées à l'entraînement.

Recherche❖Paper

1 source

40

1407arXiv cs.RO 

MPPI avec clustering intégré : éviter les échecs par moyennage, sélectionner les clusters pour obstacles dynamiques

Une équipe de recherche présente CE-MPPI (Clustering-Embedded Model Predictive Path Integral Control), une nouvelle variante de l'algorithme MPPI utilisé pour la planification de trajectoire par échantillonnage sur systèmes non linéaires. Le papier, publié sur arXiv (2607.06499v1), s'attaque à un défaut connu du MPPI classique : quand plusieurs trajectoires évitant un obstacle sont possibles (contourner par la gauche ou par la droite), l'algorithme moyenne ces solutions incompatibles au lieu d'en choisir une, ce qui provoque une hésitation, voire une collision frontale. CE-MPPI ajoute une étape de clustering basée sur DBSCAN (density-based spatial clustering of applications with noise), couplée à une nouvelle caractéristique géométrique de direction extraite des points de référence issus des collisions, pour isoler les modes de trajectoires réalisables plutôt que de les fusionner. Une logique de sélection choisit ensuite le cluster de coût minimal en environnement statique, et privilégie la direction opposée au flux de l'obstacle en environnement dynamique. Testé en simulation 2D accélérée par JAX, puis sur un bras manipulateur réel UR5e à 6 degrés de liberté avec des rollouts calculés en parallèle sur GPU via Isaac Gym, le système réduit de 48% le temps pour atteindre l'objectif et de 12% la longueur du chemin de l'effecteur, par rapport au MPPI standard. Ce travail s'attaque à un problème très concret pour tout robot mobile ou manipulateur opérant en environnement encombré ou partagé avec des humains : l'hésitation face à un obstacle, aussi appelée "freezing robot problem" dans la littérature sur la navigation sociale. Pour les intégrateurs de robots mobiles autonomes (AMR) et de bras manipulateurs collaboratifs, une meilleure gestion des obstacles dynamiques sans ralentissement excessif touche directement la productivité en environnement industriel ou logistique. Les gains chiffrés (48% et 12%) restent toutefois mesurés en conditions contrôlées, sur un scénario de test spécifique, et ne préjugent pas d'une généralisation à des environnements de production plus complexes. MPPI est une méthode de contrôle prédictif par échantillonnage largement adoptée en robotique mobile et en conduite autonome, précisément pour sa capacité à gérer des dynamiques non linéaires sans modèle analytique complet. Son talon d'Achille, l'échec par moyennage en environnement non convexe, freinait son usage en zones encombrées. CE-MPPI s'inscrit dans une lignée de travaux cherchant à structurer l'espace des trajectoires échantillonnées plutôt que de le traiter comme un nuage homogène, une piste que d'autres équipes explorent aussi via des approches de clustering ou de sélection de modes. Aucun acteur français ou européen n'est mentionné dans cette publication.

Recherche❖Paper

1 source

39

1408arXiv cs.RO 

ThorArena : évaluation de l'interaction physique humanoïde à partir de démonstrations humaines de mouvement et de force

Des chercheurs présentent sur arXiv (2607.06052) ThorArena, un nouveau benchmark pour évaluer l'interaction physique des robots humanoïdes en tenant compte des forces de contact, et non plus seulement du mouvement. L'équipe a constitué un jeu de données réel synchronisant le mouvement corporel complet d'un humain et les forces exercées par ses deux mains, sur six tâches d'interaction physique représentatives. À partir de ces démonstrations, elle propose le Force-Aware Tracking Score (FATS), une métrique qui évalue conjointement la précision du suivi corps entier, la robustesse à différents niveaux de force, l'effort de contrôle et la survie de l'épisode (le robot garde-t-il son équilibre sans échouer). Le protocole rejoue ensuite en simulation les forces d'interaction enregistrées, offrant une interface d'évaluation standardisée pour comparer différentes politiques de contrôle whole-body. Jusqu'ici, les jeux de données et benchmarks d'imitation de mouvement humanoïde se concentraient presque exclusivement sur la cinématique, laissant de côté les forces d'interaction synchronisées. Résultat : les évaluations existantes ne captaient pas comment les forces externes affectent la précision du suivi, la stabilité et la robustesse du contrôle, un angle mort critique dès qu'un robot humanoïde doit manipuler un objet, ouvrir une porte ou interagir physiquement avec un humain. Les expériences menées sur des politiques de contrôle whole-body représentatives montrent que l'évaluation sensible aux forces révèle des écarts de performance substantiels, invisibles dans les évaluations classiques sans force. Autrement dit, des politiques qui paraissent solides sur des métriques purement cinématiques peuvent s'avérer fragiles dès qu'elles rencontrent une résistance physique réelle, ce qui interroge la fiabilité des benchmarks actuels pour juger de la maturité réelle des humanoïdes destinés aux tâches à fort contact. ThorArena s'inscrit dans la lignée des travaux récents sur l'imitation de mouvement humanoïde et le contrôle corps entier, un domaine qui a rapidement progressé sur la précision du tracking mais restait largement évalué hors contexte de contact physique. En proposant un protocole unifié et reproductible, appuyé sur des démonstrations humaines synchronisant mouvement et force sur six tâches, les auteurs visent un standard d'évaluation partagé par la communauté robotique, à l'image de ce que les benchmarks de manipulation ont apporté à l'apprentissage par renforcement. Le travail ouvre la voie à des comparaisons plus rigoureuses entre politiques de contrôle issues de différents laboratoires, et pourrait orienter les prochaines générations de robots humanoïdes vers une robustesse accrue en interaction physique réelle, un prérequis pour des déploiements industriels ou domestiques crédibles.

Recherche❖Paper

1 source

39

1409arXiv cs.RO 

Planifier puis évaluer : la planification multi-cibles améliore les pipelines de préhension par apprentissage

La préhension multi-doigts autonome reste un défi central en manipulation robotique. Les approches par optimisation directe donnent de bons résultats mais sont sensibles à l'initialisation et coûteuses en temps de calcul. Le cadre alternatif dit "generator-evaluator-planner" fonctionne en trois étapes : un générateur propose des candidats de prise, un évaluateur les classe par probabilité de succès, puis un planificateur de trajectoire tente d'atteindre la prise la mieux classée. En cas d'échec, le processus recommence avec la prise suivante, multipliant les calculs. Une équipe de recherche propose désormais d'inverser la logique dans un article publié sur arXiv (2509.07162v2, version révisée) : plutôt que d'évaluer les prises avant de planifier, le système planifie d'abord des trajectoires vers plusieurs cibles de préhension générées, puis l'évaluateur estime la probabilité de succès directement à la configuration terminale réellement atteinte par chaque trajectoire. Le robot exécute ensuite celle jugée la plus prometteuse. Les tests montrent une amélioration par rapport au cadre traditionnel, sur différents objets, générateurs et planificateurs de mouvement, avec une généralisation validée en conditions réelles, notamment sur des étagères et hauteurs de table variées. Ce changement d'ordre entre planification et évaluation s'attaque à un compromis structurel qui pénalise les pipelines de préhension actuels : évaluer une prise dans sa configuration idéale, non garantie atteignable, oblige soit à relancer coûteusement l'optimisation de trajectoire sur des candidats moins bons avec une probabilité de succès plus faible, soit à assouplir les seuils de précision du planificateur, ce qui dégrade la fiabilité de l'estimation. Pour les intégrateurs et les équipes travaillant sur le bin-picking, l'automatisation d'entrepôt ou la manipulation industrielle, ce goulot d'étranglement se traduit concrètement par des cycles plus lents ou des taux d'échec plus élevés. En évaluant la prise réellement atteignable plutôt qu'une cible théorique, l'approche vise à rapprocher les métriques de succès en simulation de la performance effective sur le terrain, un enjeu classique de l'écart entre démonstration et réalité en robotique apprenante. Le travail s'inscrit dans la lignée des recherches sur la préhension dextre par apprentissage, où les cadres générateur-évaluateur-planificateur se sont généralisés ces dernières années comme alternative aux méthodes d'optimisation pure. Les auteurs mettent à disposition un site dédié au projet (martinmatak.github.io/fpte) présentant leurs résultats expérimentaux. La validation en environnements réels et non simulés, sur du matériel varié, distingue cette contribution des nombreux travaux restant cantonnés à la simulation, même si l'ampleur du déploiement industriel de cette méthode reste à démontrer au-delà du cadre académique.

Recherche❖Paper

1 source

39

1410arXiv cs.RO 

Apprentissage d'a priori géométriques 4D pour des modèles d'action du monde efficaces en inférence

Des chercheurs publient MECo-WAM (Multi-Expert Co-Training World Action Model), une nouvelle architecture de "World Action Model" (WAM) conçue pour la manipulation robotique, décrite dans un papier référence arXiv:2607.05468v1. L'idée est d'injecter des a priori géométriques 4D dans les représentations vidéo-action pendant l'entrainement, sans alourdir le graphe d'inférence au moment du déploiement. Le système combine trois experts durant l'entrainement : un expert vidéo, un expert action, et un expert 4D léger supervise par des cibles relationnelles issues d'un encodeur VGGT gelé. Une visibilité asymétrique entre experts empêche les raccourcis non causaux entre géométrie auxiliaire et génération d'actions. Deux mécanismes assurent le transfert des connaissances géométriques vers le chemin vidéo-action réellement déployé : une attention a masque de lecture 4D a décroissance progressive, qui fournit un guidage géométrique restreint en début d'entrainement puis le retire par étapes, et une distillation géométrique temporelle orientée action, qui aligne les relations géométriques intra-image et leur évolution en priorisant les zones visuelles pertinentes pour l'action du robot. Au déploiement, tous les composants 4D auxiliaires sont supprimes. Sur les benchmarks LIBERO et RoboTwin 2.0, le modèle atteint respectivement 98,2% et 92,6% de réussite, avec des gains confirmes sur des taches de manipulation réelles. Ce travail cible une limite connue des WAMs actuels : l'entrainement conjoint vidéo-action optimise généralement des latents orientes apparence, qui capturent mal la géométrie évolutive nécessaire a une manipulation précise. En montrant qu'un gain de précision est possible sans surcout d'inférence, MECo-WAM répond a une tension centrale pour les intégrateurs et les équipes de recherche appliquée : les modèles VLA (vision-language-action) les plus performants deviennent souvent trop lourds pour un déploiement temps réel embarque. La méthode illustre une tendance de fond dans la recherche en manipulation robotique, celle de déporter la complexité géométrique et multimodale vers la phase d'entrainement pour ne conserver au runtime qu'un pipeline léger, une piste directement pertinente pour les fabricants de bras robotiques et de systèmes AMR qui cherchent a industrialiser des politiques apprises. MECo-WAM s'inscrit dans la lignée des World Action Models qui cherchent a unifier prédiction vidéo future et génération de séquences d'actions exécutables, une approche déjà explorée par des architectures VLA comme Pi-0 ou GR00T N2. La référence a VGGT, encodeur de géométrie 4D reconnu en vision par ordinateur, situe le papier a l'intersection de la reconstruction 3D/4D et de l'apprentissage de politiques robotiques. Les auteurs évaluent leur approche sur deux benchmarks de simulation standards, LIBERO et RoboTwin 2.0, ainsi que sur des taches réelles, mais ne donnent pour l'instant aucun calendrier de déploiement industriel ni de partenariat avec des intégrateurs : le travail reste, a ce stade, une contribution de recherche publiée sur arXiv.

Recherche❖Paper

1 source

39

1411arXiv cs.RO 

Interceptor une cible agile avec des drones porteurs de filet par apprentissage par renforcement multi-agent compétitif

Une équipe de chercheurs a développé une méthode pour intercepter un drone agile évasif à l'aide de plusieurs drones poursuivants équipés de filets de capture, en formulant le problème comme une tâche d'apprentissage par renforcement multi-agents compétitif (MARL). Les chercheurs entraînent simultanément les poursuivants et le drone évadé grâce à l'algorithme MAPPO (Multi-Agent Proximal Policy Optimization) combiné à une technique de "self-play fictif priorisé" (PFSP), conçue pour éviter que les agents ne s'adaptent excessivement à une seule stratégie adverse et n'oublient les tactiques précédentes. L'entraînement se déroule dans un simulateur haute fidélité utilisant des commandes de contrôle bas niveau, poussée collective et vitesses angulaires du corps (CTBR), permettant des vols agiles réalistes pour tous les drones impliqués. Les politiques obtenues sont comparées à des stratégies heuristiques de référence sur trois critères: taux de capture, temps nécessaire pour intercepter la cible, et taux de collision, avec des résultats supérieurs aux méthodes classiques. Ce travail illustre un progrès notable pour les systèmes de défense anti-drone et les applications de sécurité aérienne, où intercepter physiquement un engin volant agile sans arme létale reste un défi technique majeur. Les études d'ablation menées par les auteurs montrent que le PFSP produit des politiques plus robustes, capables de s'adapter à des stratégies d'évasion variées, et que l'usage de commandes bas niveau (plutôt que des commandes de haut niveau simplifiées) est déterminant pour obtenir des comportements de vol réellement performants. Fait notable, l'analyse qualitative des comportements appris révèle l'émergence spontanée de tactiques coopératives entre les drones poursuivants, sans que cette coordination ait été explicitement programmée. Cette recherche s'inscrit dans la lignée des travaux sur les jeux de poursuite-évasion multi-agents et le self-play compétitif, technique popularisée par des systèmes comme AlphaStar ou OpenAI Five pour contourner l'instabilité de l'entraînement face à un adversaire en constante évolution. Elle ouvre la voie à des essais en conditions réelles pour valider le transfert simulation-vers-réel de ces stratégies de capture collaborative.

Recherche❖Paper

1 source

39

1412arXiv cs.RO 

Thor : vers des réactions corporelles globales de niveau humain dans des environnements intenses à fort contact

Des chercheurs présentent Thor, un framework de contrôle par apprentissage par renforcement permettant aux robots humanoïdes de maintenir leur stabilité corps entier lors d'interactions physiques intenses avec leur environnement. Le système a été déployé sur la plateforme Unitree G1 et repose sur deux innovations : une fonction de récompense dite "force-adaptive torso-tilt" (FAT2), qui incline le buste du robot pour reproduire une réaction humaine naturelle face à un effort de traction, et une architecture qui découple le contrôle du haut du corps, de la taille et du bas du corps tout en partageant les observations globales entre ces trois modules. Les résultats chiffrés sont significatifs : le G1 atteint un pic de force de traction de 167,7 N en reculant, soit environ 48 % de son propre poids, et 145,5 N en avançant, des progressions respectives de 68,9 % et 74,7 % par rapport à la meilleure méthode de référence testée. Le robot est également capable de tirer un chariot chargé de 130 N et d'ouvrir une porte coupe-feu à une main en exerçant 60 N. Ce travail s'attaque à un angle mort persistant de la robotique humanoïde : la plupart des démonstrations publiques montrent de la marche, de l'équilibre ou de la manipulation légère d'objets, rarement des interactions à force soutenue comme tirer un objet lourd ou pousser contre une résistance. Or ces gestes sont précisément ceux attendus dans les usages industriels, logistiques ou de secours visés par les intégrateurs. En démontrant qu'une architecture de contrôle découplée permet de gérer la haute dimensionnalité du corps humanoïde sans perdre la coordination globale, Thor apporte un élément de réponse concret au problème du contrôle force-adaptatif, souvent relégué au second plan derrière la locomotion pure. Il s'agit d'une publication de recherche arXiv (version révisée), sans annonce commerciale ni communiqué d'entreprise associé : aucun calendrier de déploiement produit n'est évoqué. Le choix du Unitree G1, plateforme chinoise à bas coût largement utilisée dans la recherche académique en robotique humanoïde, en fait un banc d'essai représentatif plutôt qu'un produit fini. Les comparaisons sont faites face à des baselines de contrôle RL existantes, sans mention d'acteurs français ou européens dans ce travail.

Recherche❖Paper

1 source

39

1413arXiv cs.RO 

RoboVAST : validation automatisée de robots par scénarios, à grande échelle

Une équipe de recherche présente RoboVAST, un framework qui automatise la validation des systèmes robotiques à travers des scénarios de test générés et exécutés à grande échelle. Publié sur arXiv début juillet 2026, le papier détaille une méthodologie qui modélise les scénarios de manière compositionnelle, avec une génération par plugins et une exécution conteneurisée intégrant l'analyse des résultats. Pour démontrer l'approche, les chercheurs ont testé un cas de navigation robotique couvrant 5480 configurations de scénarios différentes, exécutées sur cinq cartes d'intérieur variées avec différents niveaux de bruit capteur, réglages logiciels et dispositions d'obstacles. Au total, plus de 100 000 runs ont été lancés, cumulant plus de 1800 heures de fonctionnement simulé et 1873 kilomètres parcourus virtuellement, avec vingt répétitions par configuration pour isoler les échecs systématiques des anomalies purement aléatoires. Cette approche s'attaque à un point faible bien connu mais rarement quantifié de la robotique: la sélection des scénarios de test reste largement manuelle et dépendante de l'expérience des ingénieurs, ce qui limite la reproductibilité des résultats de validation et affaiblit la confiance qu'on peut leur accorder. En systématisant la génération et l'exécution des scénarios, RoboVAST permet de distinguer les défaillances liées à une conception défaillante de celles dues au hasard, un enjeu critique pour tout intégrateur ou décideur qui doit certifier la fiabilité d'un robot avant déploiement industriel. C'est un rappel utile que les démonstrations ponctuelles ne suffisent pas à garantir un comportement robuste face à la diversité réelle des conditions opérationnelles, et que le passage à l'échelle des tests est aussi important que celui des capacités du robot lui-même. Le constat de départ n'est pas nouveau: la communauté robotique reconnaît depuis longtemps que ses méthodes de validation manquent de rigueur statistique comparées à d'autres industries critiques comme l'aéronautique ou l'automobile, où la validation par scénarios simulés à très grande échelle est une pratique établie. RoboVAST cherche à transposer cette culture à la robotique mobile et à la navigation autonome, en s'appuyant sur des specs de campagne déclaratives et une infrastructure d'exécution scalable. Le papier ne mentionne pas de partenariat industriel ni de déploiement en conditions réelles à ce stade: il s'agit d'une contribution méthodologique et open à la communauté de recherche, dont les suites logiques seraient une extension à d'autres classes de robots (manipulation, humanoïdes) et une adoption par des laboratoires ou industriels cherchant à professionnaliser leurs propres pipelines de validation.

Recherche❖Paper

1 source

38

1414arXiv cs.RO 

IndoorR2X : coordination robot-vers-tout en intérieur pilotée par LLM

Un article de recherche arXiv (2603.20182v4) présente IndoorR2X, un benchmark et un framework de simulation pour la planification multi-robots pilotée par des grands modèles de langage (LLM), avec perception et communication de type "Robot-to-Everything" (R2X) en environnement intérieur. Le système combine les observations de robots mobiles avec celles de capteurs IoT statiques déjà présents dans de nombreux bâtiments, comme des caméras, pour construire un état sémantique global de la scène. Cette architecture permet une compréhension de l'environnement à l'échelle du bâtiment, dépassant ce qu'un seul robot ou même une flotte en communication robot-à-robot (R2R) peut percevoir. Le framework propose des environnements de simulation configurables, des dispositions de capteurs, des compositions d'équipes robotiques et des suites de tâches, afin d'évaluer systématiquement différentes stratégies de coordination sémantique via planification LLM. L'enjeu principal que cible IndoorR2X est un problème connu de la robotique multi-agents : la communication R2R seule ne résout pas l'observabilité partielle sans exploration coûteuse ou sans multiplier le nombre de robots déployés. En exploitant des capteurs IoT déjà installés (caméras de bâtiment notamment), l'approche réduit l'exploration redondante et améliore l'efficacité et la fiabilité de la coordination, selon les auteurs. Pour les intégrateurs et opérateurs de flottes AMR en entrepôt ou en environnement industriel, cela ouvre une piste concrète pour réduire les coûts d'infrastructure robotique en réutilisant l'instrumentation IoT existante plutôt que de multiplier les capteurs embarqués. Ce travail s'inscrit dans la vague de recherche récente combinant LLM et planification robotique multi-agents, où la coordination sémantique de haut niveau reste un défi ouvert face aux limites de perception embarquée. Il s'agit ici d'un outil de recherche et de benchmarking, pas d'un système commercial déployé : les auteurs eux-mêmes documentent les modes d'échec observés dans leurs expériences, signe que la coordination LLM-robots-IoT reste à un stade exploratoire. Le projet, dont le code et les détails sont disponibles sur une page dédiée, vise à devenir une référence pour comparer les futures stratégies de coordination sémantique entre robots et capteurs ambiants.

Recherche❖Paper

1 source

38

1415arXiv cs.RO 

FORGE : généraliser l'utilisation fonctionnelle d'outils par raisonnement sur trajectoires de points clés

Une équipe de recherche publie sur arXiv (arXiv:2607.05780) un système baptisé FORGE, conçu pour résoudre un problème concret de la robotique manipulatrice : un robot entraîné à utiliser un outil précis échoue généralement à transférer cette compétence à un objet différent partageant pourtant la même fonction, par exemple utiliser une pierre ou une chaussure pour planter un clou comme le ferait un humain. Les chercheurs ont testé plusieurs représentations intermédiaires (images d'affordance, vidéos de démonstration humaine, trajectoires de points-clés en 2D) et retiennent les trajectoires de points-clés comme le meilleur compromis entre expressivité fonctionnelle et capacité à être traduites en actions robotiques. FORGE fonctionne en deux étapes distinctes : d'abord prédire des trajectoires de points-clés génériques à partir de données sans action associée, puis les ancrer en commandes motrices concrètes grâce à un nombre limité de démonstrations. Sur un banc d'essai de sept outils dédié à une tâche de type "frapper pour enfoncer", la méthode dépasse les approches de référence sur des outils jamais vus, en simulation comme en conditions réelles, avec plus du double du taux de réussite moyen. Cette avancée cible un verrou connu des politiques d'apprentissage par imitation et des modèles vision-langage-action (VLA) : la plupart généralisent mal dès qu'un outil change de forme, même si sa fonction reste identique. Pour les intégrateurs qui envisagent des robots humanoïdes ou des bras manipulateurs en environnement non structuré, où l'outil disponible n'est pas toujours celui prévu, cette capacité d'improvisation fonctionnelle est un prérequis pour sortir de la démonstration contrôlée et aller vers un déploiement réel. FORGE s'inscrit dans une tendance de recherche plus large visant à découpler le raisonnement de haut niveau de l'exécution motrice, une logique que l'on retrouve dans des systèmes comme GR00T N2, Pi-0 ou Helix, qui cherchent tous à réduire la dépendance à des démonstrations robotiques coûteuses en s'appuyant sur des données vidéo ou des données sans action. Il s'agit ici d'un travail académique publié en préprint, sans partenaire industriel identifié ni déploiement annoncé : la prochaine étape logique serait d'étendre la validation au-delà de ce banc d'essai de sept outils vers des tâches de manipulation plus variées.

Recherche❖Paper

1 source

38

1416arXiv cs.RO 

WristMimic : contrôle corps entier de l'humanoïde par manipulation guidée au poignet

Publié en juillet 2026 sur arXiv, WristMimic est un framework de contrôle corps entier pour robots humanoïdes qui transfère des démonstrations humaines de manipulation vers une simulation physique. Plutôt que de suivre intégralement la pose de la main, la méthode sépare le corps et le poignet, guidés cinématiquement, des doigts, qui apprennent leurs gestes de préhension à partir du suivi de l'objet et du résultat des contacts. Le poignet sert de charnière entre les deux régimes : peu soumis aux forces de contact, il reste suivable fidèlement tout en plaçant la main dans une configuration de prise atteignable. Des contraintes de réinitialisation et une priorisation des récompenses au poignet fiabilisent ce positionnement ; les auteurs annoncent des performances égales ou supérieures aux méthodes à supervision complète des doigts, avec un retargeting indépendant de la morphologie de la main. Le problème ciblé est connu en contrôle humanoïde : une trajectoire de main en position seule ne renseigne pas les forces de contact nécessaires à une prise réussie, et imposer un suivi complet des doigts tend à surcontraindre des comportements qui doivent rester riches en contacts, ce qui fragilise la manipulation fine. En découplant mouvement libre et manipulation, WristMimic s'inscrit dans la recherche sur l'imitation à grande échelle pour l'IA incarnée, sans dépendre d'une capture de main parfaite. Pour l'industrie, l'argument concret est qu'une approche agnostique à la morphologie de la main pourrait réduire le travail d'adaptation quand un intégrateur change de main dextérisée, un problème récurrent tant les architectures varient d'un fabricant humanoïde à l'autre. Ce travail s'inscrit dans la lignée des méthodes de contrôle guidé par la cinématique humaine pour humanoïdes, qui cherchent depuis deux ans à rapprocher téléopération et apprentissage par renforcement. L'abstract ne mentionne aucun déploiement sur robot réel ni partenariat industriel : il s'agit pour l'instant d'une validation en simulation, une contribution de recherche plutôt qu'un produit. Les suites logiques seraient une validation sur plateforme humanoïde physique et une comparaison avec les pipelines de téléopération des acteurs du secteur, qu'il s'agisse des humanoïdes commerciaux ou des modèles VLA généralistes comme Pi-0 ou GR00T N2.

Recherche❖Paper

1 source

38

1417arXiv cs.RO 

UniLM-Nav : un cadre unifié pour la navigation zero-shot du dernier kilomètre

Des chercheurs présentent UniLM-Nav, un framework unifie pour la navigation dite du dernier mètre en manipulation mobile, capable de fonctionner en zero-shot sur du vocabulaire ouvert. Le problème vise: un robot peut atteindre les abords d'un objet ou d'un meuble cible sans que sa position finale permette réellement de le manipuler. UniLM-Nav décompose la tache en trois étapes traitées par un seul modèle multimodal de langage (MLLM): sélection de la vue de référence parmi les observations récemment collectées, identification du point d'affordance pertinent pour la tache dans cette vue puis projection dans le repère du robot, et calcul d'une pose de base compatible avec sa géométrie. Sur le benchmark OVMM, la méthode dépasse l'état de l'art précédent, MoTo, de 3,13 points de pourcentage. Les auteurs ont aussi teste le système sur un robot réel, un quadrupède Unitree B2 équipe d'un bras manipulateur Unitree Z1 a 6 degrés de liberté (DoF), validant l'approche au-delà de la simulation. Ce travail s'attaque a un maillon souvent néglige de la manipulation mobile: s'approcher d'une cible ne suffit pas si la pose finale rend la prise instable ou impossible. Les méthodes existantes réglaient ce problème via une annotation manuelle des poses ou un entrainement spécifique a chaque tache, deux approches couteuses qui passent mal a l'échelle en vocabulaire ouvert. En s'appuyant sur un MLLM partage pour résoudre sélection de vue, ancrage d'affordance et raisonnement géométrique, UniLM-Nav illustre une tendance de fond: les grands modèles multimodaux remplacent progressivement des modules géométriques spécialisés construits a la main. Les auteurs notent que le choix du MLLM sous-jacent a un effet substantiel sur la performance, un point a surveiller pour tout intégrateur voulant reproduire l'approche. Le passage de la simulation a un robot physique réduit un peu l'écart persistant entre démonstrations en laboratoire et déploiement réel qui marque encore la recherche en robotique mobile. Le problème du dernier mètre est identifie de longue date dans la littérature sur la manipulation mobile, la plupart des pipelines de navigation s'arrêtant a une proximité grossière de la cible sans garantir une pose exploitable pour le bras. La comparaison avec MoTo, présente comme la référence précédente sur OVMM (Open Vocabulary Mobile Manipulation), situe UniLM-Nav dans une lignée de travaux visant a généraliser la manipulation mobile a des objets et environnements non vus a l'entrainement. Le choix du matériel de validation, un quadrupède associe a un bras a 6 DoF, s'inscrit dans une tendance plus large a coupler locomotion a pattes et manipulation pour des environnements non structures. Publie sur arXiv (2607.06537), l'article ne mentionne aucun calendrier de commercialisation: il s'agit a ce stade d'une contribution de recherche, dont la reproduction sur d'autres plateformes testera sa robustesse au-delà du benchmark.

Recherche❖Paper

1 source

37

1418arXiv cs.RO 

LAMP : apprentissage guidé par un a priori de mouvement latent pour la manipulation dextérique en conditions réelles

Les chercheurs à l'origine de LAMP (Latent Motion Prior-Guided Real-World Learning) proposent une méthode d'apprentissage en trois étapes pour piloter des mains robotiques dexterous directement dans le monde réel, sans passer par la simulation. Le système commence par pré-entraîner un module de "prior de mouvement latent", qui compresse l'historique récent des actions de la main en une représentation compacte et décodable en commandes exécutables à haute dimension. Une politique visuomotrice est ensuite entraînée pour prédire à la fois les commandes natives du bras et des corrections latentes pour la main, avant d'être affinée par apprentissage par renforcement (RL) résiduel en ligne, directement sur le robot physique. Testée sur quatre tâches réelles de manipulation dexterous, la méthode atteint un taux de réussite moyen de 56,25% après la seule phase d'imitation, porté à 98,75% après le RL en ligne, avec 100% de réussite sur trois des quatre tâches et 95% sur la dernière. L'enjeu dépasse la simple performance chiffrée: l'apprentissage de mains robotiques à haute dimensionnalité (nombreux degrés de liberté par doigt) est historiquement instable, car la moindre erreur d'imitation s'amplifie et pousse l'exploration par renforcement à casser le contact avec l'objet manipulé, un risque direct pour du matériel physique coûteux. En contraignant l'exploration RL à rester proche de mouvements démontrés et cohérents en termes de contact, plutôt que de perturber chaque articulation indépendamment, LAMP répond à un vrai goulot d'étranglement pour les intégrateurs qui veulent déployer de la manipulation fine (préhension d'objets fragiles, assemblage) sans multiplier les cycles de simulation coûteux ni les casses de vérins. Le travail s'inscrit dans la lignée des approches hybrides imitation + RL déjà explorées pour la robotique, mais cible spécifiquement l'espace d'action des mains dexterous, comparé ici à des interfaces d'action brutes, linéaires et discrètes, que LAMP surpasse selon les auteurs. Publié sur arXiv début juillet 2026, ce travail reste à ce stade une contribution de recherche académique, sans acteur industriel ni date de commercialisation annoncée; sa validation sur davantage de tâches et de plateformes matérielles reste l'étape logique suivante.

Recherche❖Paper

1 source

37

1419arXiv cs.RO 

Image2Sim : le passage à l'échelle de la navigation incarnée grâce à un simulateur neuronal génératif

Une équipe de recherche publie Image2Sim, un simulateur neuronal temps réel conçu pour entraîner des agents de navigation embarquée à partir de simples séquences d'images RGB-D posées. Le système sépare l'ancrage spatial 3D de la synthèse photoréaliste des observations: un modèle feed-forward de "feature Gaussians" reconstruit la scène en une seule passe, tandis qu'un modèle de flux de pixels en une étape, dit "geometry-aware", transforme les projections gaussiennes éparses et bruitées en images RGB-D panoramiques de haute qualité. Utilisé comme moteur de données entièrement automatisé, Image2Sim convertit de larges collections de vidéos et de photos en près de 20 000 scènes interactives et génère plus de 10 millions d'échantillons d'entraînement à la navigation, avec instructions diverses et actions exécutables associées. Les modèles entraînés uniquement dans ces environnements neuronaux affichent des gains significatifs sur les benchmarks de référence et transfèrent efficacement en conditions réelles sans fine-tuning (zero-shot). L'enjeu dépasse la simple prouesse technique: il s'agit de résoudre le compromis historique entre réalisme visuel et scalabilité qui bride l'entraînement des agents de navigation. Les jeux de données scannés en conditions réelles offrent un rendu fidèle mais restent coûteux à collecter et donc limités en volume, tandis que les simulateurs synthétiques classiques scalent facilement mais souffrent d'un écart sim-to-real important. Si les résultats de transfert zero-shot se confirment à plus grande échelle, cela validerait l'idée qu'une simulation neuronale générative, construite depuis des vidéos ordinaires plutôt que des moteurs de jeu, peut devenir un substrat d'entraînement crédible pour la navigation robotique, avec des implications directes pour les AMR et les plateformes de navigation embarquée en usine ou en logistique. Cette approche s'inscrit dans la lignée des travaux récents combinant Gaussian Splatting et modèles de diffusion pour la reconstruction de scènes, un courant de recherche actif face aux limites des NeRF classiques. Elle rejoint aussi la tendance plus large des "world models" appliqués à la robotique, où générer des environnements d'entraînement remplace progressivement leur capture manuelle. Publiée sur arXiv, cette contribution reste à ce stade une preuve de concept académique; sa reproductibilité et son passage à l'échelle sur des flottes robotiques réelles restent les prochaines étapes à observer.

Recherche❖Paper

1 source

37

1420arXiv cs.RO 

Interaction humain-robot incarnée par acoustique : approche MARL avec AcoustoBots pour physicalisation spatiale

Des chercheurs présentent AcoustoBots, une plateforme robotique mobile qui physicalise des données urbaines grâce à la lévitation acoustique. Chaque robot TurtleBot3 embarque un réseau de transducteurs ultrasonores orienté vers le haut, composé de 64 éléments (matrice 8x8), qui fait léviter une particule dont la hauteur, comprise entre 1 et 10 cm, encode en temps réel une valeur locale comme la densité de population, le niveau sonore ou le trafic d'une zone urbaine. La navigation des robots repose sur une politique d'apprentissage par renforcement multi-agent (MARL) basée sur l'algorithme MADDPG, entraînée de façon centralisée mais exécutée de façon décentralisée sur chaque robot, avec évitement de collisions. Un contrôleur acoustique à haute fréquence de rafraîchissement, basé sur l'algorithme Gerchberg-Saxton (GS-PAT), ajuste en continu la phase des transducteurs pour maintenir la particule stable en lévitation pendant le déplacement du robot. Les tests, menés sur une maquette du Royaume-Uni de 4 mètres sur 3 avec un système de localisation PhaseSpace, montrent des taux de réussite de 90% en configuration mono-robot et 80% en configuration à deux robots coopératifs, sur 10 essais par scénario, avec peu de collisions observées. Ce travail répond à une limite bien identifiée de la physicalisation de données: les dispositifs existants sont le plus souvent statiques, déconnectés de l'environnement réel qu'ils représentent, et donc peu engageants pour l'utilisateur. En couplant perception, affichage et action dans une seule boucle robotique mobile, AcoustoBots ouvre une piste concrète pour des interfaces homme-robot incarnées où la donnée devient un signal physique lisible d'un coup d'œil, sans écran. Le résultat le plus significatif n'est pas tant le rendu visuel que la preuve de stabilité: maintenir une lévitation acoustique fiable pendant qu'un robot se déplace et évite ses congénères est un problème physique et de contrôle non trivial, que l'étude montre résoluble à l'échelle de plusieurs agents coordonnés par apprentissage plutôt que par scripts centralisés. Cette recherche s'inscrit dans la continuité des travaux sur la lévitation acoustique par matrices de transducteurs, déjà exploités dans des interfaces haptiques et des affichages volumétriques, mais jusqu'ici cantonnés à des dispositifs fixes. En les rendant mobiles et coopératifs via le MARL, les auteurs visent des usages en analytique spatiale et urbanisme participatif. Les prochaines étapes annoncées concernent le passage à davantage de robots, des environnements moins contrôlés que la maquette d'essai, et des jeux de données urbaines plus complexes à représenter simultanément.

Recherche❖Paper

1 source

37

1421arXiv cs.RO 

Apprendre à lancer des objets en toute sécurité dans des environnements à obstacles multiples

Une équipe de recherche en robotique présente dans un article publié sur arXiv (2607.06388v1) une nouvelle méthode permettant à un bras robotique d'apprendre à lancer des objets dans un panier cible tout en évitant des obstacles disposés aléatoirement dans la scène. Baptisée PFR (representation par champ de potentiel), l'approche encode sur une grille de taille fixe à la fois l'attraction exercée par le panier et la répulsion générée par les obstacles, ce qui permet à des politiques d'apprentissage par renforcement de généraliser à un nombre et à des configurations d'obstacles quelconques, y compris jamais vus à l'entraînement. La politique est d'abord initialisée à partir de démonstrations kinesthésiques, puis optimisée en simulation à l'aide de trois algorithmes de référence, SAC, DDPG et TD3, SAC obtenant les résultats les plus stables. Sur robot réel, avec des objets à lancer inédits, le système atteint jusqu'à 90% de réussite dans des scènes encombrées, un transfert simulation-réel jugé robuste par les auteurs. Ce résultat comble un angle mort des travaux précédents comme TossingBot, qui apprenaient à lancer des objets à partir d'entrées visuelles mais supposaient un espace de travail dégagé, une hypothèse rarement vérifiée en environnement industriel réel (entrepôt, ligne de tri, cellule partagée avec d'autres équipements). Pour les intégrateurs et les décideurs en logistique ou en manutention, la capacité à placer un objet hors de portée directe du bras tout en évitant des obstacles dynamiques ouvre la voie à des cellules de tri plus denses et moins contraintes en termes d'agencement, sans multiplier les capteurs de sécurité périmétrique. Le taux de succès élevé sur objets et configurations non vus en fait aussi un argument en faveur des représentations d'état compactes plutôt que des encodages explicites de chaque obstacle, plus coûteux à faire passer à l'échelle. Le travail s'inscrit dans la lignée des recherches sur le lancer robotique initiées par TossingBot, en y ajoutant la dimension de l'évitement d'obstacles restée peu étudiée jusqu'ici. Les auteurs comparent explicitement leur représentation par champ de potentiel à des encodages d'état classiques pour démontrer son avantage en généralisation. Une vidéo de démonstration accompagne la publication, mais aucun calendrier de déploiement industriel ni partenariat commercial n'est mentionné à ce stade: il s'agit pour l'instant d'un résultat de recherche académique, pas d'un produit prêt à intégrer.

Recherche❖Paper

1 source

37

1422arXiv cs.RO 

Personnalisation responsable : l'épée à double tranchant de la personnalisation dans l'interaction homme-robot

Une équipe de chercheurs en interaction homme-robot (HRI) publie sur arXiv (référence 2607.06344, juillet 2026) un cadre structuré pour analyser les risques éthiques de la personnalisation des robots sociaux. Le constat de départ: la littérature existante sur la "personnalisation responsable" reste fragmentée, avec des études isolées qui décrivent des risques éthiques ponctuels sans vision d'ensemble de la façon dont ils apparaissent selon le contexte d'interaction. Les auteurs proposent un modèle basé sur le cycle de vie de la personnalisation, croisé avec deux axes caractérisant l'interaction: court terme versus long terme, et domaine ouvert versus domaine fermé. Ce croisement permet d'analyser systématiquement cinq familles de risques identifiées: l'érosion de l'autonomie de l'utilisateur, les biais dans la modélisation du profil utilisateur, la manipulation, la déshumanisation et les atteintes à la vie privée. Cette contribution compte parce que la personnalisation devient une capacité centrale des robots sociaux et compagnons, mais qu'elle repose sur un compromis rarement rendu explicite: plus un robot adapte son comportement à un individu, plus il capte de données intimes et plus il peut influencer les décisions de cette personne, parfois à son insu. Les auteurs insistent sur un point spécifique à la robotique: contrairement aux assistants vocaux ou aux recommandeurs logiciels, l'embodiment (présence physique) et la présence sociale d'un robot amplifient ou transforment ces risques, voire en créent de nouveaux, un facteur souvent sous-estimé dans les débats sur l'IA responsable centrés sur les systèmes purement logiciels. Le travail s'inscrit dans un courant de recherche croissant sur l'éthique de l'IA appliquée à la robotique sociale, à mesure que des robots compagnons et d'assistance se déploient dans des contextes domestiques, éducatifs ou de soin où l'interaction est longue et personnelle. Plutôt qu'un simple état des lieux, les chercheurs traduisent leur cadre en recommandations concrètes de conception pour les développeurs de robots et identifient des pistes de recherche ouvertes, notamment sur la manière d'évaluer et de limiter ces risques avant un déploiement à grande échelle.

Societe/Ethique⚡Actu

1 source

37

1423arXiv cs.RO 

HJCD-IK : cinématique inverse accélérée par GPU via descente de coordonnées jacobienne hybride par lots

Des chercheurs présentent HJCD-IK, un nouveau solveur de cinématique inverse (IK) accéléré par GPU, conçu pour calculer la configuration articulaire permettant à l'effecteur d'un robot d'atteindre une pose cible tout en évitant les collisions. La méthode combine une initialisation par descente de coordonnées gloutonne sensible à l'orientation avec un raffinement basé sur le jacobien et un filtre de collision exécuté en parallèle sur GPU. Selon les auteurs, cette approche hybride permet des gains allant jusqu'à un ordre de grandeur en vitesse et en précision par rapport aux solveurs de référence actuels, tout en produisant systématiquement des solutions sans collision situées sur la frontière de Pareto précision-latence, et un ensemble diversifié d'échantillons de haute qualité. Le solveur a été validé sur un bras manipulateur physique Franka Emika, et le code est publié en open source. Le papier, référencé sur arXiv (2510.07514), en est à sa deuxième version. Le calcul d'IK est un goulot d'étranglement classique en robotique manipulatrice: les solveurs analytiques sont rapides mais limités à des architectures cinématiques spécifiques, tandis que les méthodes numériques par optimisation, plus générales, restent lentes et sujettes aux minima locaux, ce qui pénalise la réplanification en temps réel face à des obstacles dynamiques. Une méthode hybride tirant parti du calcul parallèle GPU répond à un besoin concret des intégrateurs industriels: réduire les temps de cycle, fiabiliser l'évitement de collision en environnement encombré, et supporter des charges de calcul massives comme l'entraînement de politiques VLA ou la simulation à grande échelle, qui nécessitent des millions d'évaluations IK. Si les gains annoncés se confirment au-delà du cadre expérimental, une telle brique pourrait s'intégrer dans les piles logicielles de manipulation collaborative et de robots humanoïdes, où la vitesse de replanification demeure un frein reconnu. Le champ de l'IK s'appuie historiquement sur des solveurs analytiques comme IKFast, des méthodes numériques classiques par pseudo-inverse du jacobien, et des approches plus récentes comme TRAC-IK. HJCD-IK s'inscrit dans une tendance à hybrider ces techniques avec l'accélération GPU et l'échantillonnage. La validation reste toutefois circonscrite à un seul bras collaboratif de recherche; la publication du code en open source ouvrira la voie à des benchmarks indépendants sur d'autres plateformes, notamment des chaînes cinématiques plus complexes comme celles des humanoïdes, pour confirmer si les gains revendiqués se généralisent.

Recherche❖Paper

1 source

37

1424arXiv cs.RO 

Lift3D-VLA : élever les modèles VLA vers une manipulation intégrant géométrie 3D et dynamique

Des chercheurs présentent Lift3D-VLA, un nouveau framework de type Vision-Language-Action (VLA) qui intègre un raisonnement 3D explicite pour la manipulation robotique. Construit sur leurs travaux antérieurs Lift3D, le système utilise une stratégie de projection 2D-vers-3D qui aligne géométriquement les nuages de points avec les embeddings positionnels 2D déjà pré-entraînés, ce qui permet d'encoder directement les données de profondeur dans l'encodeur visuel du modèle sans perte d'information spatiale. Les auteurs y ajoutent un module baptisé GC-MAE (Geometry-Centric Masked Autoencoding), qui apprend simultanément à reconstruire le nuage de points courant et à prédire son évolution géométrique future, ainsi qu'un mécanisme de modélisation temporelle des actions réparti sur plusieurs couches du modèle de langage, pour générer des séquences de gestes cohérentes dans le temps. Testé sur 22 tâches simulées et 8 tâches de manipulation réelles, Lift3D-VLA affiche des taux de réussite supérieurs de 10,8 points sur le benchmark MetaWorld et 11,1 points sur RLBench par rapport aux meilleures méthodes VLA existantes, avec un gain de 4 points de pourcentage face à la référence la plus solide en conditions réelles. Ce résultat s'attaque à un angle mort connu des modèles VLA actuels: la plupart raisonnent en 2D et peinent à capturer la géométrie et la dynamique physique des scènes, ce qui limite leur capacité à généraliser hors des conditions d'entraînement, un problème central pour tout déploiement industriel de bras robotiques ou d'humanoïdes. En démontrant une meilleure robustesse face aux perturbations hors distribution, les travaux apportent un argument concret dans le débat sur la viabilité des architectures VLA à grande échelle, plutôt qu'une simple promesse marketing. Le papier s'inscrit dans la lignée directe de Lift3D, projet antérieur des mêmes auteurs sur l'encodage 3D pour la robotique, et vient enrichir un champ de recherche déjà occupé par des modèles VLA généralistes comme GR00T N2, Pi-0 ou Helix. Publié sur arXiv comme prépublication, sans affiliation industrielle ni annonce de déploiement, Lift3D-VLA reste à ce stade une contribution académique dont l'impact réel dépendra de son adoption par les acteurs commerciaux du secteur.

Recherche⚡Actu

1 source

37

1425arXiv cs.RO 

Les trajectoires imaginées sont cinématiques, pas dynamiques : diagnostic d'un échec des modèles du monde à long horizon

Des chercheurs proposent un nouveau diagnostic pour expliquer pourquoi les modèles du monde (world models) utilises en apprentissage par renforcement échouent sur les longs horizons de prédiction. Publie sur arXiv (2607.05966v1), le papier avance que l'explication habituelle, l'erreur qui s'accumule au fil des pas de simulation, est trop générique et ne dit rien sur la nature de cette erreur. Les auteurs proposent une distinction cinématique versus dynamique: un modèle du monde peut imaginer des trajectoires qui restent plausibles au niveau des positions et vitesses (cinématique) sans respecter les forces, frottements et contraintes physiques réelles (dynamique). Pour le mesurer, ils introduisent l'iKCE (imagined Kinematic-Consistency Error), un indicateur pas-a-pas qui compare une trajectoire imaginée a une référence cinématique en forme close, complète par un protocole de perturbation testant si l'iKCE réagit quand les conditions physiques franchissent une frontière de régime. Applique a un checkpoint public de DreamerV3 entraine sur la tache walker-walk du DeepMind Control Suite, l'iKCE des trajectoires imaginées est environ cent fois supérieur a celui de trajectoires réelles équivalentes. Le résultat le plus parlant vient d'un balayage du coefficient de friction traversant la frontière ou la marche du robot s'effondre: la récompense de la politique entraînée chute brutalement dans cette zone, mais l'iKCE du modèle reste statistiquement plat, preuve que le modèle n'a jamais vraiment intègre la dynamique physique sous-jacente et se contente d'extrapoler des formes de mouvement. Pour l'industrie qui mise sur les modèles du monde pour la planification robotique ou l'apprentissage par simulation, ce travail fournit un outil concret pour distinguer un modèle qui "a compris la physique" d'un modèle qui reproduit des motifs de surface, une nuance cruciale avant tout transfert vers du contrôle réel. Le papier s'inscrit dans la lignée des travaux sur les world models (PlaNet, Dreamer, DreamerV3) largement utilises en RL base sur modèle, ou la fiabilité des rollouts imagines conditionne directement la qualité des politiques apprises. Les auteurs précisent que leur diagnostic est surtout discriminant aux horizons dépassant la période de marche de l'agent, ouvrant la voie a des benchmarks de robustesse dynamique applicables a d'autres architectures et environnements que DMC walker-walk.

Recherche❖Paper

1 source

37

1426arXiv cs.RO 

DexTele : un système de téléopération dextre à double bras basé sur le reciblage de mouvement et le contrôle de force adaptatif

Des chercheurs viennent de publier sur arXiv (arXiv:2607.05883v1) une nouvelle architecture de télé-opération bimanuelle baptisée DexTele, conçue pour reproduire des gestes humains dextres sur des bras robotiques hétérogènes. Le système repose sur deux briques. La première est un module de retargeting de mouvement basé sur la vision, qui transforme des images humaines en trajectoires robotiques préliminaires grâce à un encodeur de graphe de mouvement et une optimisation dans l'espace latent, pensé pour fonctionner sur plusieurs plateformes robotiques sans reconception spécifique. La seconde est un module de préhension adaptative qui combine un modèle vision-langage (VLM) avec du contrôle prédictif (MPC) : le VLM estime la force de serrage nécessaire pour un objet cible, puis une optimisation en ligne par gradient ajuste cette force en temps réel. Les auteurs rapportent des expériences étendues montrant un retargeting précis et une préhension compliante généralisables à plusieurs plateformes robotiques, sans toutefois publier de chiffres de taux de réussite ou de comparaisons avec des systèmes existants dans le résumé. L'enjeu pour l'industrie est double. D'abord, l'hétérogénéité des bras et mains robotiques (nombre de degrés de liberté, cinématique, actionneurs) reste un frein majeur à la réutilisation de données de télé-opération d'une plateforme à l'autre, un problème critique pour les équipes qui collectent des démonstrations humaines afin d'entraîner des modèles vision-langage-action. Ensuite, la préhension compliante par force adaptative, plutôt que par simple asservissement en position, s'attaque directement au problème du sim-to-real et de la manipulation d'objets de forme ou de rigidité variable, un point où beaucoup de démonstrations actuelles échouent en conditions réelles. DexTele s'inscrit dans une vague de systèmes de télé-opération (type ALOHA, Mobile ALOHA, GELLO, Open-TeleVision) développés ces deux dernières années pour alimenter en données des modèles comme GR00T, Pi-0 ou Helix. Ce papier, encore au stade de prépublication sans code ni plateforme matérielle précisée, devra être confirmé par une validation indépendante et des comparaisons chiffrées face à ces solutions existantes avant toute adoption industrielle.

Recherche❖Paper

1 source

37

1427arXiv cs.RO 

Apprentissage par transfert efficace des modèles dynamiques de robots grâce à la similarité morphologique

Une équipe de recherche présente une méthode de transfert d'apprentissage pour modéliser la dynamique de robots sous-marins souples à propulsion par nageoires, selon un article publié sur arXiv le 5 juillet 2026 (arXiv:2607.05665v1). Le problème visé : un modèle de dynamique entraîné sur un robot de grande taille (domaine source) doit être adapté à un robot plus petit (domaine cible) partageant la même morphologie mais des propriétés hydrodynamiques différentes, avec très peu de données labellisées disponibles sur ce second robot. Les chercheurs développent pour cela une approche d'adaptation de domaine fondée sur un autoencodeur, qui apprend une représentation latente partagée alignant les dynamiques des deux plateformes. Testée sur deux robots sous-marins réels, la méthode permet d'estimer avec précision les vitesses dans le référentiel du corps sur la plateforme cible, sans qu'aucune donnée labellisée ne soit nécessaire pour celle-ci. L'enjeu pratique dépasse le cas d'école : collecter des données de vérité terrain sous l'eau (via systèmes de capture de mouvement, capteurs externes) est coûteux, lent et souvent impraticable en conditions réelles de déploiement. Pouvoir réutiliser un modèle de dynamique d'un robot vers un autre, dès lors qu'ils partagent une morphologie proche, réduit drastiquement le besoin de re-calibration à chaque nouvelle plateforme ou variante d'échelle. Pour les opérateurs de flottes de robots sous-marins souples (inspection, surveillance environnementale, biomimétisme), cela ouvre la voie à un déploiement plus rapide de nouveaux engins sans campagne de collecte de données dédiée, et valide l'idée que des architectures de type autoencodeur peuvent capter des invariants dynamiques transférables entre robots morphologiquement similaires. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par transfert et l'adaptation de domaine, déjà explorées pour le sim-to-real en robotique terrestre et aérienne, mais encore peu appliquées à la robotique sous-marine souple, un domaine où la modélisation hydrodynamique reste particulièrement complexe. Les robots à nageoires bio-inspirés font l'objet d'un intérêt croissant en laboratoire pour leur efficacité énergétique et leur discrétion comparés aux propulseurs classiques à hélice. Les auteurs ne précisent pas de calendrier de validation en conditions opérationnelles, l'étude relevant pour l'instant de la preuve de concept en environnement contrôlé.

Recherche❖Paper

1 source

37

1428arXiv cs.RO 

LIPP : planification de trajectoire informative sensible à la charge, par échantillonnage physique

Une équipe de recherche en robotique présente LIPP (Load-aware Informative Path Planning), une nouvelle formulation de la planification de trajectoire informative pour les robots qui collectent des échantillons physiques plutôt que de simples mesures numériques comme des images ou des relevés de radiation. Le problème identifié est concret : dans les formulations classiques (C-IPP), le coût de déplacement d'un robot reste constant peu importe quand une mesure est prise, ce qui convient aux capteurs numériques mais ignore un phénomène physique réel pour les missions de prélèvement d'échantillons, où chaque échantillon collecté ajoute de la masse et alourdit le coût énergétique de tous les déplacements suivants. Les chercheurs modélisent LIPP comme un programme quadratique en nombres mixtes entiers (MIQP) qui optimise simultanément l'emplacement des visites, leur ordre, et le nombre d'échantillons prélevés à chaque site, sous une contrainte de budget énergétique. Ils démontrent aussi des bornes théoriques sur l'allongement de trajectoire de LIPP par rapport à C-IPP, et valident l'approche sur 2 000 scénarios de mission simulés. Pour les concepteurs de robots mobiles autonomes, notamment dans les missions d'exploration planétaire, de surveillance environnementale ou de prélèvement géologique, ce travail répond à une lacune pratique : ignorer le couplage entre gain d'information et coût de charge produit des plans efficaces en distance mais sous-optimaux en énergie, ce qui se traduit concrètement par moins d'échantillons collectés que ce que le budget énergétique permettrait. Les simulations montrent que l'avantage de LIPP sur les approches classiques augmente à mesure que la masse des échantillons croît, ce qui en fait un candidat pertinent pour les rovers ou drones dont la charge utile évolue significativement pendant la mission. LIPP se positionne comme une généralisation stricte du C-IPP, ce dernier étant retrouvé comme cas particulier lorsque la masse des échantillons est nulle, ce qui garantit une compatibilité avec les formulations existantes de planification de trajectoire informative. L'article, publié sur arXiv, s'inscrit dans un courant de recherche en robotique de terrain cherchant à mieux modéliser les contraintes physiques réelles des missions de collecte, un axe distinct des approches purement perceptuelles dominantes dans la littérature IPP.

Recherche❖Paper

1 source

37

1429arXiv cs.RO 

Des fondamentaux à l'application : améliorer les modèles VLA en pratique

Les chercheurs à l'origine du modèle VLA (vision-language-action) LingBot dévoilent LingBot-VLA 2.0, une version améliorée conçue pour réduire l'écart entre les performances en laboratoire et les conditions réelles de déploiement, un problème récurrent des modèles fondation pour la robotique. Trois axes de travail sont mis en avant. D'abord, la généralisation entre tâches et morphologies de robots a été retravaillée via un nouveau pipeline de traitement de données, avec environ 60 000 heures de données de pré-entraînement, dont 50 000 heures de trajectoires robotiques couvrant 20 configurations de robots différentes et 10 000 heures de vidéos égocentriques humaines. Ensuite, l'espace d'action a été étendu au-delà des plateformes à double bras classiques, pour inclure les degrés de liberté (DOF) de la tête, du buste, de la base mobile et des mains dextres. Enfin, le système intègre une modélisation prédictive de la dynamique, en formulant la prédiction du futur comme tâche annexe, appuyée par un modèle de représentation vidéo pour les indices sémantiques et un modèle d'estimation de profondeur pour les indices géométriques. Les évaluations ont été menées sur le benchmark GM-100 en configuration généraliste. Cette annonce illustre une tendance de fond dans la robotique humanoïde et manipulatrice: le passage de bras robotiques figés à des systèmes corps entier, capables de coordonner tête, buste, base mobile et mains, à l'image des approches poursuivies par Pi-0, GR00T N2 ou Helix. L'accent mis sur la généralisation cross-embodiment et sur le raisonnement temporel prédictif répond directement à une critique fréquente des modèles VLA actuels: leur difficulté à transférer des compétences apprises entre différents robots et à anticiper les conséquences physiques de leurs actions dans des tâches longues et complexes de manipulation mobile. Il s'agit ici d'une publication de recherche (arXiv), pas d'un produit commercialisé ni d'un déploiement industriel annoncé. LingBot-VLA 2.0 s'inscrit dans la succession directe de la première version LingBot-VLA, dans un paysage où les laboratoires chinois et américains multiplient les modèles fondation généralistes pour la robotique, sans que les auteurs ne précisent à ce stade de calendrier de mise en production ou de partenariats industriels.

IA physique❧Opinion

1 source

37

1430arXiv cs.RO 

GEM-Occ : de l'évidence géométrique visuelle à la mémoire d'occupation sémantique incarnée

Résumé rédigé pour l'article scientifique arXiv 2607.05543 (GEM-Occ / HIOcc) : Une équipe de recherche publie GEM-Occ, un nouveau système de mémoire spatiale pour agents robotiques évoluant en intérieur, accompagné de HIOcc, un benchmark qui unifie trois jeux de données de référence : ScanNet, ScanNet++ et Matterport3D, sous un format commun d'occupation sémantique creuse. Contrairement aux approches existantes limitées à la prédiction sur une seule vue ou à la perception au niveau d'une pièce, HIOcc évalue la cartographie sémantique sur trois échelles : locale, au niveau de la pièce en temps réel, et au niveau du bâtiment entier à partir de vues panoramiques connectées. GEM-Occ, de son côté, traite les prédictions de géométrie visuelle comme des preuves transitoires plutôt que comme un état de carte persistant : il les convertit en évidence d'occupation gaussienne sémantique et en évidence de rayons d'espace libre, puis les fusionne dans une mémoire hiérarchique via des mises à jour causales tenant compte de la visibilité et de l'incertitude. Cette mémoire s'organise en caches locaux, sous-cartes par pièce et graphe à l'échelle du bâtiment, interrogeable à tout moment par splatting gaussien vers occupation. Cette publication s'attaque à un angle mort réel de la navigation robotique en intérieur : la plupart des méthodes actuelles de cartographie sémantique tiennent bien sur une pièce isolée mais se dégradent sur des environnements connectés de grande taille, typiquement les bâtiments à plusieurs étages qu'un robot de service ou un agent domestique doit mémoriser durablement. En démontrant une amélioration mesurable sur la stabilité de carte en ligne, la cohérence lors de revisites de lieux déjà explorés, et le raisonnement sur l'espace libre, GEM-Occ répond directement à un écart connu entre démonstrations en laboratoire sur environnement unique et déploiement réel multi-pièces. Pour les équipes qui conçoivent des piles de perception pour robots mobiles autonomes (AMR) ou humanoïdes destinés à des environnements industriels ou domestiques complexes, ce travail suggère qu'une mémoire hiérarchique explicite pourrait remplacer avantageusement les représentations par nuage de points classiques, plus coûteuses à maintenir sur le long terme. Le travail s'inscrit dans la lignée des recherches sur l'occupation sémantique, un champ qui a longtemps privilégié la prédiction ponctuelle à partir d'une image RGB-D unique, sans traiter la question de la mémoire persistante à l'échelle d'un bâtiment. GEM-Occ se positionne face aux méthodes de cartographie basées sur des représentations gaussiennes ainsi qu'aux baselines d'occupation indoor existantes, qu'il dépasse selon les auteurs sur l'ensemble des régimes d'évaluation de HIOcc. La publication de ce benchmark unifié, s'appuyant sur trois jeux de données déjà largement utilisés par la communauté (ScanNet, ScanNet++, Matterport3D), devrait faciliter les comparaisons futures entre approches de cartographie sémantique et accélérer les travaux sur la navigation longue durée des agents incarnés, un prérequis pour tout déploiement robotique au-delà du prototype de laboratoire.

Recherche❖Paper

1 source

37

1431arXiv cs.RO 

TypeGo : un runtime système pour agents incarnés

TypeGo est un nouveau runtime de type "système d'exploitation" pour agents incarnés, présenté dans un article arXiv (2607.05482v1) publié le 8 juillet 2026. Le prototype a été testé sur Kalos, un quadrupède Unitree Go2, et structure la planification par LLM en boucles asynchrones à plusieurs échelles de temps qui se chevauchent avec l'exécution physique du robot. Son composant central, le Skill Kernel, arbitre des sous-systèmes physiques typés entre plusieurs processus concurrents par tâche, tandis qu'un ordonnanceur peut préempter, reprendre ou remplacer ces processus selon leur source. Le système utilise aussi un mécanisme de "streaming" spéculatif de compétences qui masque la latence du LLM derrière le mouvement en cours, plus un chemin rapide pour la première action garantissant un retour visible en moins d'une seconde. Résultat mesuré sur la suite de tâches des chercheurs: le délai par étape chute de 50% par rapport à une planification pas-à-pas classique, et le délai avant première action baisse de 73% par rapport à une planification monolithique, avec une faible surcharge d'ordonnancement même en cas de tâches concurrentes. L'enjeu dépasse la simple optimisation de latence: TypeGo attaque un problème structurel largement ignoré par les démonstrations actuelles de robots pilotés par LLM, à savoir que traiter un modèle de langage comme un oracle requête/réponse sur le chemin critique de contrôle est incompatible avec le temps réel et la gestion de tâches concurrentes. En empruntant les principes d'un OS classique (gestion de ressources matérielles, préemption, ordonnancement) pour orchestrer un corps robotique, les auteurs proposent une réponse concrète à l'écart persistant entre les capacités de planification des VLA en démonstration et leur fiabilité en exécution réelle, sujet central pour tout intégrateur ou décideur évaluant le déploiement de robots pilotés par IA générative. Ce travail s'inscrit dans la lignée des architectures combinant LLM et contrôle robotique bas niveau, où la latence des modèles de langage reste un goulot d'étranglement majeur face aux exigences de réactivité physique. Il s'agit à ce stade d'un prototype de recherche académique, validé sur une suite de tâches restreinte avec un seul robot quadrupède, et non d'un produit commercialisé ou déployé en flotte. Les auteurs ne précisent pas de calendrier de transfert vers l'industrie, mais posent les bases conceptuelles d'un runtime générique que d'autres plateformes robotiques pourraient reprendre.

Recherche❖Paper

1 source

35

1432arXiv cs.RO 

Bras intégrés aux pattes arrière pour la loco-manipulation bimanuelle d'un quadrupède

Des chercheurs ont intégré un bras manipulateur complet dans chaque mollet avant d'un robot quadrupède Unitree Go2, transformant la plateforme en système de manipulation bimanuelle sans compromis sur la stabilité. Chaque bras combine une glissière prismatique, deux articulations rotoïdes et une pince, permettant aux deux « mains » de saisir des objets au niveau du sol pendant que les quatre pattes restent posées, sans que le robot ait besoin de se cabrer sur ses pattes arrière. Un modèle vision-langage pilote la sélection des compétences à chaque transition de tâche, à partir de l'image de la caméra frontale et de l'état de la tâche, pour permettre une autonomie sur des séquences longues. Le système a été validé en simulation sur trois tâches bimanuelles : une tâche d'ouverture de meuble à horizon long avec sélection autonome de compétences, un levage coopératif à deux mains, et un transfert d'objet d'un bras à l'autre. Ces travaux, publiés en préprint sur arXiv, n'ont pas encore été démontrés sur matériel réel. Cette approche s'attaque à un compromis structurel connu du secteur : les bras montés sur le tronc réduisent souvent la capacité à un seul bras et positionnent le centre de gravité en hauteur, tandis que l'usage des pattes elles-mêmes comme manipulateurs prive le robot d'un appui au sol. Intégrer la manipulation directement dans les mollets avant permet de conserver les quatre points d'appui tout en libérant un bras pour porter un objet pendant que la base continue de marcher. Pour les intégrateurs et les équipes de recherche en robotique mobile, c'est une piste concrète pour réconcilier locomotion quadrupède et manipulation bimanuelle sans multiplier les actionneurs, un axe encore peu exploré comparé aux humanoïdes bipèdes qui dominent les annonces commerciales du secteur. Le choix du Unitree Go2, plateforme quadrupède accessible et largement utilisée en recherche académique, s'inscrit dans une tendance à expérimenter la manipulation sur des robots à quatre pattes plutôt que sur des humanoïdes coûteux comme Figure 03 ou Optimus. Le recours à un modèle vision-langage pour l'enchaînement autonome de compétences rejoint des approches déjà testées sur des humanoïdes tels que Pi-0 ou GR00T N2. La prochaine étape logique, non abordée dans cette publication, sera le transfert du prototype simulé vers un démonstrateur physique.

Recherche❖Paper

1 source

35

1433arXiv cs.RO 

Expansion de modèle pilotée par hypothèses sous incertitude pour la planification robotique en monde ouvert

Des chercheurs proposent un nouveau cadre de planification robotique pour environnements ouverts, permettant aux robots de service de générer, vérifier et mettre à jour eux-mêmes des hypothèses sur le monde qui les entoure, plutôt que de dépendre de bases de connaissances préprogrammées. Le système s'appuie sur des modèles de fondation (foundation models) pour formuler des hypothèses initiales sur les états et les transitions possibles de l'environnement, puis utilise un planificateur automatisé classique pour produire des séquences d'actions qui remplissent un double objectif : vérifier ces hypothèses et accomplir la tâche demandée simultanément. Par cycles successifs d'exécution et de correction, le robot intègre le retour de vérification des modèles de fondation lorsqu'une hypothèse se révèle fausse, et enrichit progressivement son modèle du monde. Les auteurs rapportent des expérimentations à la fois en simulation et sur robot réel, sans toutefois préciser de chiffres de performance, de plateforme matérielle ou de nom de laboratoire dans le résumé disponible. L'enjeu dépasse la simple robotique académique : la plupart des robots de service actuels échouent dès qu'ils sortent du cadre fermé pour lequel ils ont été programmés, un scénario courant dès qu'un objet inconnu ou une configuration imprévue de foyer apparaît. En rendant explicite la gestion de l'incertitude, ce type d'approche cherche à combler l'écart entre démonstrations contrôlées en laboratoire et déploiement réel en environnement domestique non structuré, un point faible régulièrement pointé par les intégrateurs. Si l'approche tient ses promesses à plus grande échelle, elle offrirait une voie pour réduire la dépendance aux bases de connaissances codées à la main, un frein connu à l'adoption commerciale des robots de service. Ce travail s'inscrit dans la lignée des recherches combinant modèles de fondation et planification symbolique classique, un axe de plus en plus exploré face aux limites des approches purement apprises (VLA) pour des tâches longues et structurées. Le résumé ne mentionne pas de partenariat industriel ni de calendrier de déploiement commercial ; il s'agit à ce stade d'une contribution de recherche publiée sur arXiv, dont la portée pratique reste à confirmer par des évaluations indépendantes et des essais à plus grande échelle.

Recherche❖Paper

1 source

42

1434Robotics Business Review 

ABB Robotics intègre la navigation vSLAM dans son chariot élévateur autonome F712

Traduction ABB Flexley Stack F712 : ABB Robotics a dévoilé le Flexley Stack F712, un chariot élévateur autonome destiné au stockage et à la manutention en entrepôt, capable de porter jusqu'à 2 000 kg et de lever à 8,5 mètres de hauteur. Contrairement aux chariots automatisés classiques qui s'appuient sur des marqueurs ou des réflecteurs installés au sol, le F712 navigue grâce au vSLAM (localisation et cartographie simultanées par vision), sans infrastructure préalable, avec une précision positionnelle annoncée de ±10 mm. Ses fourches ajustables permettent de manipuler des palettes ouvertes ou fermées, des conteneurs ou des racks. Il rejoint le Flexley Tug (tracteur) et le Flexley Mover, décliné en P604 (plateforme omnidirectionnelle pour deux palettes) et P2603 (modèle plus petit et modulaire). Toute la flotte partage désormais la même technologie vSLAM, intégrée au logiciel AMR Studio et compatible avec le standard d'interopérabilité VDA 5050, ce qui permet au F712 de coopérer avec les bras robotisés industriels d'ABB. Le lancement a été présenté par Renaud Dubé, responsable R&D chez Sevensense by ABB, ainsi que par Ricardo Martinez et Alfonso Gonzalez, respectivement responsable produit R&D et responsable de la ligne AMR chez ABB Robotics. L'enjeu central est l'élimination de l'infrastructure de guidage, un frein historique à l'adoption des chariots automatisés dans des entrepôts qui changent souvent de configuration. En s'appuyant sur une vision 3D plutôt que sur les lidars 2D traditionnels, ABB veut que ses robots partagent des cartes et opèrent ensemble sur un même site, là où les flottes AMR restent souvent cloisonnées par constructeur ou par technologie de navigation. Pour les intégrateurs et les directeurs d'exploitation industriels, l'argument de la pénurie de caristes est concret, mais la formule d'ABB présentant ce lancement comme un « tournant pour la robotique industrielle » relève surtout du discours marketing : le vSLAM est déjà exploité par plusieurs concurrents, et la précision de ±10 mm n'a pas été vérifiée en conditions indépendantes. L'intérêt réel tient davantage à l'unification logicielle de toute la gamme (chariots, tracteurs, porteurs, bras) qui simplifie le déploiement multi-robots dans l'automobile et l'industrie lourde. Le F712 s'inscrit dans la stratégie qu'ABB nomme AVR (autonomous versatile robotics), amorcée avec le rachat de Sevensense, spin-off suisse issue de l'ETH Zurich spécialisée dans la navigation par vision, dont la technologie irrigue désormais toute la gamme Flexley. Sur ce segment, ABB Robotics affronte des acteurs établis de la manutention automatisée comme Seegrid, OTTO Motors (racheté par Rockwell Automation) ou Toyota Material Handling, tandis que des spécialistes européens de l'entrepôt automatisé comme le français Exotec occupent des créneaux voisins. ABB n'a communiqué aucune date de disponibilité commerciale ni premier site client au-delà de l'annonce, qui reste pour l'instant un lancement produit sans déploiement réel confirmé.

Industriel❧Opinion

1 source

28

1435IEEE Spectrum Robotics 

L'IEEE honore Toshio Fukuda, pionnier de la robotique

Toshio Fukuda, professeur émérite en ingénierie des micro-nano systèmes à l'université de Nagoya et actuellement vice-président de la recherche à l'Egypt-Japan University of Science and Technology d'Alexandrie, a reçu le prix Richard M. Emberson de l'IEEE le 24 avril lors d'une cérémonie à New York. Cette distinction, décernée par l'IEEE Technical Activities Board, récompense un « service distingué au bénéfice des objectifs techniques de l'IEEE, notamment en robotique ». Fukuda a publié plus de 2 000 articles de recherche et plusieurs ouvrages sur la robotique, les systèmes robotiques biomédicaux, la micro-nano robotique, la mécatronique et l'automatisation pilotée par IA. Il est aussi le fondateur de l'IROS, l'IEEE/RSJ International Conference on Intelligent Robots and Systems, une des toutes premières conférences dédiées à la robotique, lancée il y a près de 40 ans et toujours active aujourd'hui. Diplômé en ingénierie de l'université Waseda à Tokyo en 1971, il obtient ensuite un master puis un doctorat en sciences à l'université de Tokyo, avec un passage de recherche à Yale en 1973 sur la théorie de contrôle avancée. Le Japon l'a distingué à deux reprises pour ses contributions scientifiques, avec la médaille d'honneur au ruban violet en 2015 et l'Ordre du Trésor sacré en 2022. Ce prix illustre le poids institutionnel que Fukuda a construit sur plusieurs décennies dans un domaine, la robotique, qui a longtemps peiné à trouver sa légitimité académique face à l'électronique ou à l'informatique pure. En créant l'IROS, il a doté la communauté robotique d'un rendez-vous scientifique pérenne qui structure encore aujourd'hui la diffusion des avancées en robotique intelligente, mécatronique et systèmes autonomes. Son passage à la présidence de l'IEEE en 2020, une première pour une personne d'origine asiatique à ce poste, marque aussi une évolution dans la gouvernance d'une organisation historiquement dominée par les institutions nord-américaines et européennes. Pour les chercheurs et industriels du secteur, son parcours illustre également une tension structurelle du monde académique qu'il évoque lui-même: la nécessité pour un chercheur de lever des financements en continu, à la manière d'un dirigeant de petite entreprise, ce qui a orienté ses propres choix vers une robotique directement utile à l'industrie plutôt que purement théorique. Le parcours de Fukuda a été façonné dès ses études par Ichiro Kato, considéré comme le père de la recherche robotique japonaise et son mentor à Waseda, dans un pays qui allait devenir un des pôles mondiaux de la robotique industrielle et humanoïde. Après sa thèse en 1977, il a enchaîné les responsabilités scientifiques et institutionnelles, jusqu'à devenir directeur de programme du Moonshot, l'initiative japonaise qui vise à développer d'ici 2050 des robots dotés d'IA avancée, un projet qui recoupe les ambitions actuelles autour des robots humanoïdes et de l'automatisation cognitive. Aujourd'hui basé en Égypte, où il poursuit ses activités de recherche, Fukuda continue de jouer un rôle de passeur entre générations et zones géographiques dans une discipline où les États-Unis, le Japon et désormais la Chine se disputent le leadership technologique. Habitué à remettre des prix en tant qu'ancien président et maître de cérémonie de l'IEEE, il confie avoir trouvé inhabituel de se retrouver cette fois du côté des récipiendaires.

Recherche❖Paper

1 source

25

1436NVIDIA Developer Blog 

Développer des politiques de robots humanoïdes de bout en bout avec NVIDIA Isaac GR00T

No fetch tool available here, and I don't have Bash/WebFetch in this session to pull the full article. The source text you pasted is only the article's opening teaser (repeated twice), with no actual facts, no specs, dates, deployment sites, or competitive details. Writing the requested 3-paragraph article would mean inventing numbers and claims that aren't in the source, which I won't do. Could you paste the full article text, or is there a way for me to fetch the URL directly?

IA physique⚡Actu

1 source

35

1437Robotics & Automation News 

Robust.AI choisit le système de perception IA d'Aptiv pour son robot d'entrepôt Carter nouvelle génération

Aptiv, groupe technologique industriel connu pour ses systèmes de capteurs automobiles, a annoncé que Robust.AI, spécialiste des robots mobiles autonomes pour l'entrepôt, a choisi sa solution de perception intelligente pour équiper la troisième génération de son robot collaboratif Carter. Le système repose sur une fusion de capteurs pilotée par intelligence artificielle et apprentissage automatique, autour du capteur Aptiv Pulse. Cette annonce prolonge une collaboration déjà engagée entre les deux entreprises, qui associent l'expertise d'Aptiv en perception embarquée, historiquement développée pour l'automobile, aux robots mobiles collaboratifs de Robust.AI destinés aux entrepôts et centres de distribution. Pour l'industrie de l'automatisation logistique, ce partenariat illustre une tendance de fond: les fournisseurs de capteurs automobiles, confrontés à un marché des véhicules autonomes plus lent que prévu, redéploient leur technologie de perception vers la robotique industrielle et les AMR (robots mobiles autonomes). Pour les intégrateurs et décideurs B2B en logistique, l'enjeu est la fiabilité de la navigation et de la détection d'obstacles en environnement partagé avec des opérateurs humains, un point critique pour la certification sécurité des robots collaboratifs. L'annonce reste toutefois formulée en termes généraux, sans données chiffrées sur les gains de performance, la portée des capteurs ou le calendrier de déploiement, ce qui invite à la prudence sur l'ampleur réelle du changement technique. Robust.AI, fondée par Aaron Edsinger et soutenue notamment par des investisseurs de la robotique, développe sa gamme Carter depuis plusieurs années comme alternative aux AMR déjà déployés par des acteurs comme Locus Robotics ou 6 River Systems (Ocado). Aptiv, de son côté, cherche à valoriser son portefeuille de capteurs et de logiciels de perception au delà de l'automobile. La suite dépendra des premiers déploiements concrets du Carter Gen 3 chez des clients entrepôts, qui permettront de vérifier si ces gains de perception se traduisent par une adoption élargie.

Industriel⚡Actu

1 source

39

1438Robotics & Automation News 

Lumos Robotics domine un test de référence mondial pour l'IA incarnée en zero-shot

Lumos Robotics, société chinoise de robotique, affirme que son modèle d'IA incarnée industrielle Prime R0 a obtenu le meilleur score global du classement MolmoSpaces, devançant des modèles bien plus volumineux signés Nvidia et plusieurs équipes de recherche américaines. Avec seulement 2,8 milliards de paramètres, un format compact au regard des standards du secteur, Prime R0 se classe premier à la fois sur les tâches de manipulation fine à un bras et sur les tâches de collaboration coordonnée à deux bras, deux catégories jugées parmi les plus exigeantes pour évaluer la capacité d'un modèle "zero-shot" à généraliser sans réentraînement spécifique. Ce résultat, s'il se confirme, va à contre-courant de l'hypothèse dominante selon laquelle la performance en manipulation robotique nécessite des modèles massifs et coûteux à faire tourner en embarqué. Un modèle de moins de 3 milliards de paramètres capable de rivaliser avec des architectures plus lourdes intéresserait directement les intégrateurs industriels, pour qui le coût de calcul et la latence d'inférence sur site conditionnent la viabilité économique d'un déploiement. Reste que le classement provient d'un benchmark tiers dont la méthodologie et l'indépendance vis-à-vis des fournisseurs testés ne sont pas détaillées ici, ce qui invite à la prudence avant de valider la portée réelle de l'annonce. Lumos Robotics s'inscrit dans une compétition chinoise de plus en plus dense sur l'IA incarnée industrielle, où plusieurs acteurs cherchent à concurrencer Nvidia et les laboratoires américains sur le terrain des modèles vision-langage-action (VLA) appliqués à la manipulation. L'entreprise n'a pour l'instant pas communiqué de calendrier de déploiement industriel ni de partenariats concrets associés à Prime R0, l'annonce restant à ce stade centrée sur la performance benchmark plutôt que sur une mise en production vérifiable.

IA physique⚡Actu

1 source

45

1439Robotics Business Review 

Tesollo lance le processus d'introduction en bourse tout en développant des mains humanoïdes

Tesollo Inc., société sud-coréenne basée à Incheon spécialisée dans les mains robotiques et effecteurs terminaux, a lancé les préparatifs de son introduction en bourse prévue pour l'an prochain et a bouclé son tour de série B. Les actionnaires existants POSCO Technology Investment, KB Investment et Enlight Ventures ont suivi lors de ce tour, rejoints par des investisseurs industriels stratégiques, Daesung Hi-Tech et HL Mando. Fondée en 2019, l'entreprise revendique des exportations vers 19 pays et affirme que ses ventes à l'international dépassent désormais ses ventes domestiques. Son PDG, Young-Jin Kim, présente l'IPO comme un moyen de crédibiliser l'entreprise auprès de clients internationaux et de renforcer sa capacité de production de masse. Sur le plan produit, Tesollo a présenté en mars le gripper à trois doigts DG-3 lors du salon AW 2026, complétant une gamme allant du parallèle DG-2F à la main à cinq doigts DG-5F. La version DG-5F-S, dotée d'actionneurs propriétaires, pèse moins d'un kilo et serait proposée à environ 60% du coût de son prédécesseur, tout en visant un niveau de précision comparable. L'entreprise a aussi montré ses mains DG-5F-M et DG-5F-S au Robotics Summit & Expo de Boston et à ICRA Vienne, avec des démonstrations de téléopération, de bin picking, de manipulation fine et d'un modèle vision-langage-action (VLA) dédié aux humanoïdes. Cette annonce s'inscrit dans un moment charnière pour la filière des mains robotiques, considérée comme le principal goulot d'étranglement des humanoïdes. La main humaine reste l'organe le plus complexe à répliquer mécaniquement, et les intégrateurs rapportent des taux de casse élevés sur les doigts et articulations en usage industriel. Le pari de Tesollo, la réparabilité modulaire plutôt que la seule performance brute, cible directement ce problème de fiabilité plutôt que la course à la dextérité pure. Pour les décideurs B2B et intégrateurs, la baisse de coût annoncée sur le DG-5F-S est significative si elle se confirme en conditions réelles, la publicité produit restant à vérifier hors démonstrations sélectionnées. Le contexte sectoriel reste dominé par l'absence de standard fiable: aucun fabricant n'a encore atteint un MTBR certifié de 10 000 heures, seuil considéré comme déterminant pour l'adoption industrielle et commerciale des mains robotiques. Une analyse d'ENGtechnica souligne que la densité de points de défaillance, actionneurs, capteurs, câbles tendineux, explique cette difficulté structurelle commune à tous les acteurs du secteur, dont Tesollo elle-même reconnaît avoir conçu ses produits en anticipant ce problème dès l'origine.

Chine/Asie⚡Actu

1 source

35

1440Interesting Engineering 

Une université américaine renforce sa recherche en robotique et IA physique avec les systèmes OptiTrack

Carnegie Mellon University (CMU) a inauguré le 27 février 2026 son nouveau Robotics Innovation Center (RIC), un bâtiment de 150 000 pieds carrés (environ 14 000 m²) implanté à Hazelwood Green, sur l'ancien site de l'aciérie Jones & Laughlin à Pittsburgh. Pour équiper ce centre, l'université a signé un partenariat technologique pluriannuel avec la société américaine OptiTrack, spécialiste de la capture de mouvement, qui a installé 92 caméras haute performance réparties sur deux installations. Le Motion Capture Studio intérieur compte 28 caméras PrimeX41 et quatre caméras de référence Prime Color, offrant une précision de suivi de l'ordre du micron sur un volume de capture de 2 800 pieds carrés. La Drone Cage extérieure embarque 60 caméras VersaX120, le système le plus haute résolution du catalogue d'OptiTrack pour l'extérieur, certifiées IP66 pour résister aux intempéries, dans une enceinte de 38 pieds de haut sur 6 000 pieds carrés au sol. Les deux installations reposent sur la technologie propriétaire ActiveIO Tracking, capable d'identifier et de suivre simultanément des centaines d'objets en mouvement, avec une précision annoncée jusqu'à 50 microns. « Que ce soit pour suivre des systèmes multi-robots, des essaims de drones ou des mouvements humains, la gamme de caméras et de capteurs d'OptiTrack permettra une nouvelle génération de découvertes », a déclaré Martial Hebert, doyen de la School of Computer Science de CMU. Pour les intégrateurs et chercheurs en robotique, ce type d'infrastructure de capture de mouvement joue un rôle clé mais souvent sous-estimé dans le développement de l'IA physique: elle fournit la vérité terrain nécessaire pour valider les algorithmes de navigation autonome, de coordination multi-robots ou d'apprentissage par imitation, avant tout déploiement réel. Disposer d'un volume de test couvrant à la fois intérieur et extérieur avec une précision submillimétrique permet de tester des essaims de drones ou des robots humanoïdes dans des conditions proches du terrain, sans les risques ni les coûts d'essais en environnement non contrôlé. C'est un signal supplémentaire que la recherche académique américaine structure ses moyens autour de la robotique et de l'IA physique à une échelle industrielle, avec un centre dédié plutôt que des laboratoires dispersés. Pour les décideurs B2B, l'enjeu est de suivre où se construisent les futurs standards de validation et de benchmarking des systèmes autonomes, ces infrastructures universitaires servant souvent de terrain d'essai avant transfert vers l'industrie. Le RIC comprend, outre les deux installations OptiTrack, un plateau d'essais robotiques de 50 000 pieds carrés et un laboratoire de recherche aquatique. Il s'inscrit dans le Physical AI Accelerator de CMU, une initiative soutenue par l'État visant à faire converger robotique, capteurs et intelligence artificielle. Les nouveaux systèmes profiteront notamment à l'AirLab de l'université, qui travaille sur les robots aériens autonomes et la coordination multi-robots, ainsi qu'aux recherches sur l'apprentissage par imitation et la modélisation de l'activité humaine. OptiTrack a par ailleurs rejoint, en tant que sponsor industriel, le Extended Reality Technology Center (XRTC) de CMU, créé en 2023, qui réunit chercheurs, entreprises technologiques et utilisateurs finaux autour de la réalité virtuelle et augmentée. Les chercheurs comptent utiliser ces systèmes de capture pour reconstituer des mouvements réels dans des environnements virtuels immersifs, au service d'études sur l'interaction homme-machine. Aucun montant financier du partenariat n'a été communiqué.

Infrastructure⚡Actu

1 source

37

1441Interesting Engineering 

Atlas, le robot humanoïde de Boston Dynamics, vole la vedette pendant la mi-temps d'un match de la Coupe du monde de la FIFA avec un show de football

Le robot humanoïde Atlas de Boston Dynamics a fait une apparition remarquée lors de la mi-temps du match des huitièmes de finale entre la Norvège et le Brésil à la Coupe du Monde FIFA 2026, disputé au stade de New York/New Jersey. Sorti du tunnel des joueurs devant un stade comble et une audience télévisée mondiale, le robot a exécuté une chorégraphie recréant plusieurs célébrations de buts emblématiques, dont celles de Harry Kane, Erling Haaland, Matheus Cunha et Son Heung-min. Il a ensuite récupéré le ballon officiel du match et l'a porté jusqu'à l'arbitre pour signaler le début de la seconde période. Il s'agit de la première apparition d'un robot humanoïde lors d'un match de Coupe du Monde FIFA, et surtout de la première démonstration publique de la version de production d'Atlas, dévoilée plus tôt cette année au CES 2026. En amont de l'événement, Hyundai Motor, maison mère de Boston Dynamics, avait diffusé une vidéo montrant Atlas étudiant des séquences de football avant de reproduire des mouvements de joueurs, y compris le contrôle et la passe du ballon lors d'une séance d'entraînement, dans le cadre de sa campagne School of Football. Cette démonstration a une portée qui dépasse le simple coup marketing sportif. Selon Hyundai, l'intégralité de la séquence s'est déroulée en direct pendant un match officiel, ce qui, si les conditions réelles de tournage sont confirmées, prouverait qu'une version de série d'un humanoïde peut opérer de façon fiable dans un environnement bondé, imprévisible et chronométré, tout en exécutant des mouvements coordonnés du corps entier avec précision et stabilité. C'est un signal important pour l'industrie robotique et les décideurs B2B: la frontière entre démonstration contrôlée en laboratoire et déploiement en conditions réelles reste le principal point de friction du secteur humanoïde, et Boston Dynamics cherche ici à démontrer que ce fossé se réduit. Il faut toutefois noter la prudence habituelle qui s'impose face à ce type de communication d'entreprise très maîtrisée: la marge d'erreur tolérée dans une chorégraphie sportive de mi-temps n'est pas comparable aux exigences de fiabilité d'une ligne de production industrielle, même si Hyundai établit explicitement ce parallèle. L'architecture technique repose sur trois briques mises en avant par Boston Dynamics: le retargeting, qui traduit des mouvements humains de football en trajectoires adaptées à la morphologie du robot, l'apprentissage par renforcement, entraîné sur des millions d'heures de simulation GPU en faisant varier poids des objets, force de préhension, friction du sol et positionnement, et le contrôle corps entier (whole-body control), qui assure l'équilibre et la fluidité du mouvement grâce à la proprioception, soit la perception interne de la position, de l'équilibre et des forces appliquées. Les comportements validés en simulation sont ensuite transférés au robot physique, une approche classique de sim-to-real dans la robotique humanoïde actuelle. Cette performance s'inscrit dans la campagne plus large de Hyundai baptisée Next Starts Now, qui mêle football, robotique et intelligence artificielle, et prolonge la série School of Football lancée en amont du tournoi. Elle intervient alors que la concurrence sur le segment humanoïde s'intensifie, avec des acteurs comme Figure, Tesla (Optimus) ou Agility Robotics qui multiplient également les démonstrations publiques pour asseoir la crédibilité commerciale de leurs plateformes.

Humanoïdes⚡Actu

1 source

38

1442SCMP Tech 

Baisse des collisions contre le verre ? La division IA incarnée d'Ant Group revendique une avancée en perception robotique

Ant Group a présenté mardi, via sa filiale d'IA incarnée Robbyant, basée à Hangzhou, deux nouveaux modèles de perception visuelle pour robots : LingBot-Depth 2.0, un modèle de perception spatiale de nouvelle génération, et LingBot-Vision, un modèle visuel fondationnel. L'entreprise affirme que ces modèles permettent de résoudre un problème persistant en robotique : la détection fiable du verre, des miroirs et des objets transparents, des surfaces qui perturbent traditionnellement les capteurs de profondeur (LiDAR, stéréovision, temps de vol). Aucune métrique de précision, benchmark ou comparaison chiffrée n'a toutefois été communiquée dans l'annonce, ce qui invite à la prudence sur l'ampleur réelle de l'avancée revendiquée. La perception des matériaux transparents et réfléchissants reste un angle mort connu des systèmes de navigation robotique : portes vitrées, baies, miroirs faussent les mesures de distance et provoquent collisions ou arrêts d'urgence intempestifs. Un progrès réel sur ce point intéresserait directement les opérateurs d'AMR en entrepôt comme les concepteurs de robots humanoïdes destinés à évoluer en environnement de bureau, hôpital ou magasin. L'annonce confirme surtout l'entrée d'un nouvel acteur chinois, non spécialisé matériel, sur la brique logicielle de perception de la pile robotique, aux côtés d'entreprises déjà positionnées comme Unitree ou UBTech. Ant Group, connu pour Alipay et ses activités fintech, diversifie ainsi son portefeuille IA vers la robotique incarnée, dans la continuité du mouvement engagé par plusieurs géants technologiques chinois depuis 2024-2025. À l'international, la course reste dominée par des modèles vision-langage-action comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia, ou les plateformes propriétaires de Figure AI (Figure 03) et Tesla (Optimus Gen 3). Robbyant n'a pas précisé si LingBot-Depth 2.0 et LingBot-Vision seront ouverts, licenciés à des fabricants tiers, ou réservés à des projets internes, ni communiqué de calendrier de déploiement.

Chine/Asie⚡Actu

1 source

31

1443Robotics & Automation News 

Robbyant lance LingBot-Depth 2.0 et LingBot-Vision pour une perception spatiale robotique avancée

Robbyant, filiale d'IA incarnée d'Ant Group (maison mère d'Alipay), a dévoilé LingBot-Depth 2.0, un modèle de nouvelle génération dédié à la perception spatiale robotique, accompagné de LingBot-Vision, son modèle visuel fondation. Ces deux briques logicielles visent à doter les robots d'une compréhension fine de l'espace physique qui les entoure, condition préalable à une navigation autonome fiable. LingBot-Depth 2.0 succède à une première version dont Robbyant revendique le succès, sans toutefois détailler publiquement les métriques précises de précision de profondeur, la latence de traitement ou le matériel de référence compatible, éléments qui restent à confirmer par des tests indépendants. Cette annonce s'inscrit dans une course technologique où la perception spatiale constitue l'un des verrous majeurs freinant le déploiement des robots humanoïdes et des AMR en environnement réel : sans estimation de profondeur robuste, la manipulation fine et l'évitement d'obstacles restent fragiles hors laboratoire. En misant sur un modèle de vision fondation couplé à un module de profondeur dédié, Robbyant cherche à se positionner sur le segment logiciel de la pile robotique, plutôt que sur le hardware, un pari que suivent aussi des acteurs comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2). Robbyant s'appuie sur les ressources cloud et IA d'Ant Group, groupe technologique chinois pesant lourd dans la fintech et l'IA, ce qui lui donne une capacité de calcul et de distribution significative face aux start-ups occidentales du secteur. Les prochaines étapes, notamment une éventuelle ouverture à des partenaires industriels ou une intégration dans des plateformes robotiques tierces, restent à préciser.

Chine/Asie⚡Actu

1 source

50

1444Pandaily 

Le talon d'Achille de la vision spatiale de l'IA incarnée enfin résolu : la percée de CMG Lab à IROS 2026

Une équipe de recherche du LionRock AI Lab, rattaché à l'Institut de recherche en technologies avancées de China Merchants Group, publie à IROS 2026 une étude qui documente une fragilité critique des modèles Vision-Language-Action (VLA) : un déplacement de caméra de quelques millimètres seulement peut faire chuter de moitié le taux de réussite d'une tâche. Les chercheurs identifient trois formes d'apprentissage par raccourci. Le "Camera-Base Coupling" survient quand le modèle mémorise la position des objets par rapport à des coordonnées de caméra fixes plutôt que d'apprendre de vraies relations spatiales ; un changement de position de caméra fait chuter le taux de succès de 85% à 43% dans leurs tests. Le "Camera-Object Coupling" désigne une dépendance à des angles de vue spécifiques, le modèle traitant un même objet vu sous un angle différent comme une entité distincte. Le "Object-Position Coupling", le plus insidieux, apparaît même avec des données multi-vues si les relations entre objets restent fixes pendant la collecte : sur une tâche "saisir un stylo et le placer dans son support", le modèle atteint 95% de réussite tant que le support reste à sa position d'entraînement, mais chute à 72% dès que celui-ci est déplacé d'un seul diamètre, preuve que le modèle avait appris une coordonnée précise plutôt que le concept de "placer dans le support". Leur réponse, baptisée Hybrid Dynamic Data Collection (HDDC), introduit une variation contrôlée pendant la collecte de données en déplaçant dynamiquement caméra et objets, pour forcer l'apprentissage de relations spatiales réelles. Cette découverte pointe un obstacle central au déploiement de l'IA incarnée en conditions réelles : les benchmarks VLA actuels affichent des taux de succès supérieurs à 90% en conditions fixes, un chiffre qui ne dit rien de la robustesse face aux variations de position de caméra, d'éclairage ou d'agencement d'objets rencontrées hors laboratoire. En rendant explicite ce fossé entre démonstration et réalité opérationnelle, l'étude invite les intégrateurs et décideurs B2B à relativiser les métriques de succès communiquées par les fournisseurs de robots humanoïdes et de bras manipulateurs, et à exiger des tests en conditions variables avant tout déploiement industriel. L'atout de HDDC est d'être agnostique au modèle : la méthode a été validée sur plusieurs architectures VLA majeures avec une efficacité constante, ce qui en fait un correctif potentiellement générique plutôt qu'un patch propre à un seul système. Le diagnostic du LionRock AI Lab rejoint des constats similaires obtenus par des équipes de recherche conjointes Stanford-Google et Tongji-Fudan, ce qui suggère qu'il s'agit d'un problème systémique affectant l'ensemble du champ des modèles VLA, et non d'une faiblesse isolée à une architecture ou un laboratoire donné. L'article, intitulé "Hybrid Dynamic Data Collection: Breaking VLA Shortcut Learning for Spatial Generalization", ainsi que le code et les ressources associées, sont publiés en accès libre sur arXiv et GitHub, permettant à la communauté robotique de reproduire les tests de fragilité spatiale et d'évaluer HDDC sur leurs propres modèles avant l'intégration en environnement industriel.

Recherche⚡Actu

1 source

42

1445Pandaily 

LingBot-Vision d'Ant Group : 12 premières mondiales, un modèle de 1,1 milliard de paramètres bat DINOv3 (7 milliards)

Ant Group, via sa division robotique LingBot, a dévoilé LingBot-Depth 2.0, un modèle de perception spatiale construit sur un nouveau modèle de vision baptisé LingBot-Vision, présenté comme le premier modèle de fondation vision nativement conçu pour la perception spatiale en IA incarnée. L'entreprise revendique douze résultats inédits sur des benchmarks publics et privés, une affirmation à prendre avec précaution puisqu'elle émane de son propre communiqué. Avec environ 1,1 milliard de paramètres, soit environ un septième des 7 milliards de DINOv3 de Meta, et moins d'un tiers de son volume d'entraînement, LingBot-Vision affirme surpasser DINOv3 sur le benchmark d'estimation de profondeur NYUv2. Le modèle cible trois défauts classiques de l'estimation de profondeur: le flou des contours, la détection des petits objets et le bruit sur les longues distances. LingBot-Depth 2.0 revendique une clarté de contours suffisante pour de la planification de trajectoire de bras robotique au millimètre près, une meilleure détection des câbles et fils fins, un filtrage du bruit pour les obstacles distants, et des cartes de profondeur stables face aux surfaces réfléchissantes, objets transparents, obscurité et environnements encombrés. Le modèle et son code sont disponibles en open source sur Hugging Face, ModelScope et GitHub, avec un rapport technique publié sur arXiv. Ant Group a aussi noué un partenariat avec ORBBEC, fabricant chinois de capteurs 3D, dont le laboratoire Depth Vision Lab a validé le modèle; la collaboration produit un nouveau dispositif de collecte EGO-RGBD, une intégration SDK pour le matériel ORBBEC, et une future caméra intégrée sans réglage algorithmique complexe. La sortie illustre un pari de plus en plus partagé en IA incarnée: les modèles de vision entraînés sur des images web généralistes, comme DINOv3, reconnaissent des objets mais ignorent leur géométrie précise, ce qui limite leur usage pour des robots devant saisir, éviter ou manipuler des objets réels. En intégrant la compréhension spatiale dès l'entraînement, LingBot-Vision s'attaque à l'écart entre perception "de spectateur" et perception "d'acteur", un enjeu central pour les modèles vision-langage-action qui pilotent bras robotiques et humanoïdes. Le passage du papier de recherche à un partenariat matériel concret avec ORBBEC, plutôt qu'une simple démonstration, est le signal le plus tangible pour les intégrateurs: un début de commercialisation réelle plutôt qu'un prototype isolé. Gérer nativement les cas difficiles, surfaces réfléchissantes, câblage fin, objets transparents, est précisément ce qui bloque aujourd'hui le déploiement en environnement réel non contrôlé. Ant Group, mieux connu pour Alipay, a multiplié ces derniers mois les investissements en robotique et IA incarnée via LingBot, dans un contexte de compétition intense entre laboratoires chinois et américains sur les modèles de fondation pour robots. La comparaison affichée avec DINOv3, modèle phare de Meta, positionne explicitement l'entreprise face aux géants américains sur la perception, pendant que d'autres acteurs, Figure AI avec Figure 03, Tesla avec Optimus, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2 ou Google DeepMind avec Helix, se concentrent davantage sur les modèles d'action et le contrôle moteur. LingBot-Vision se positionne ainsi comme une brique de perception complémentaire, potentiellement intégrable en amont de ces systèmes. Le partenariat avec ORBBEC laisse présager un déploiement progressif dans les prochains mois, avec l'arrivée annoncée d'une caméra grand public intégrant directement le traitement 3D, un jalon qui déterminera si les gains annoncés sur benchmarks se traduisent en performance réelle chez les intégrateurs industriels.

IA physique⚡Actu

1 source

41

1446Robotics Business Review 

HIVE lève 15 millions de dollars pour développer une IA physique destinée aux machines industrielles

HIVE, startup de physical AI basée à Londres avec des bureaux en Norvège, a annoncé une levée de 15 millions de dollars en pre-série A menée par SuperSeed, avec la participation de Veriten, Skyfall et Nysnø, ainsi que des investisseurs providentiels comme Børge Hald, fondateur de Medallia, et Jørn Lyseggen, fondateur de Meltwater. L'entreprise, dirigée par le cofondateur et PDG Christoffer Jørgensvaag, développe ce qu'elle appelle un "silicon brain", une couche d'intelligence unifiée qui permet à des engins industriels existants de percevoir leur environnement, de décider et d'agir de façon autonome. Concrètement, HIVE ne construit pas de nouveaux robots mais rétrofite des véhicules déjà en service, chargeuses sur pneus, engins d'entrepôts, de lignes de production ou de chantiers, en y ajoutant capteurs et caméras. Un déploiement est déjà opérationnel sur Vikafjellet, un des cols de montagne les plus exposés de Norvège, où le déminage des zones d'avalanche nécessitait auparavant d'attendre plusieurs heures la validation d'un géologue avant d'envoyer une équipe. Avec le silicon brain installé, l'opérateur de la société Presis Vegdrift peut désormais engager une chargeuse immédiatement, pilotée à distance depuis une salle de supervision sécurisée plutôt que depuis la cabine exposée. L'approche de HIVE tranche avec la course aux robots humanoïdes qui domine l'actualité physical AI: plutôt que de fabriquer une nouvelle plateforme robotique, l'entreprise mise sur le rétrofit de flottes industrielles déjà amorties, un pari pertinent pour les intégrateurs et décideurs B2B qui cherchent un retour sur investissement rapide sans remplacer leur parc machine. Le modèle commercial repose sur une boucle d'apprentissage par renforcement mutualisée entre toutes les machines déployées: chaque heure d'exploitation alimenterait cette boucle, avec un objectif affiché de réduction de 80% du coût de l'heure-machine productive. Ce chiffre, non encore audité indépendamment, reste à confirmer à l'échelle, mais illustre la logique de mutualisation des données propre aux acteurs de la conduite autonome industrielle. HIVE a construit ses premiers déploiements en Scandinavie avant d'entamer une expansion aux États-Unis, actuellement en cours. Le positionnement de l'entreprise la distingue des laboratoires centrés sur les modèles vision-langage-action pour robots humanoïdes, comme Physical Intelligence avec Pi-0 ou NVIDIA avec GR00T, en se concentrant plutôt sur l'autonomie de véhicules lourds déjà présents sur le terrain, mines, chantiers, entrepôts. Les prochaines étapes annoncées incluent le renforcement de l'équipe fondatrice, recrutée récemment à l'international, et l'extension des déploiements commerciaux auprès de partenaires industriels nouveaux et existants.

IA physique⚡Actu

1 source

47

1447NVIDIA Blog Robotics 

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot pour la communauté robotique ouverte

NVIDIA et Hugging Face annoncent l'intégration du modèle NVIDIA Isaac GR00T 1.7 et du framework NVIDIA Isaac Teleop dans LeRobot, la bibliothèque open source de Hugging Face pour la robotique, avec l'arrivée prochaine de NVIDIA Cosmos 3, un modèle monde pour l'IA physique. Isaac Teleop capture des démonstrations humaines via des dispositifs externes dans des formats standardisés, directement dans LeRobot, pour constituer et partager des jeux de données. Isaac GR00T 1.7, présenté par NVIDIA comme le premier modèle fondation robotique open source et commercialement exploitable, facilite le post-entraînement et le déploiement via les workflows LeRobot sur de nouvelles morphologies de robots, avec des benchmarks publiés. Ces briques s'appuient sur des ressources déjà connectées à LeRobot: le plus grand jeu de données open source d'IA physique, téléchargé plus de 15 millions de fois, avec plus de 350 000 trajectoires réelles et simulées et 57 millions de prises (grasps); les frameworks de simulation Isaac Sim et Isaac Lab; Isaac Lab-Arena, intégré au LeRobot Environment Hub pour prototyper des environnements et entraîner des politiques généralistes comme GR00T, Pi ou SmolVLA; et l'intégration de Jetson Thor avec le robot humanoïde open source Reachy 2 pour déployer des modèles VLA (vision-langage-action). Thomas Wolf, cofondateur et chief science officer de Hugging Face, décrit cette collaboration comme un moyen de faire passer la recherche avancée à un stade où la communauté peut l'étudier, l'adapter et la faire évoluer. Pour les intégrateurs et équipes R&D, l'enjeu est de standardiser un pipeline jusque-là fragmenté, collecte de données, entraînement, évaluation, déploiement, en connectant les 3 millions de développeurs robotique de NVIDIA aux 16 millions de builders IA de Hugging Face. Cela réduit le coût d'entrée pour tester des modèles VLA sur du matériel réel sans dépendre d'une pile propriétaire fermée. La mise en avant du caractère "commercialement viable" de GR00T 1.7 tranche avec des modèles concurrents (Pi de Physical Intelligence, Helix de Figure) souvent montrés en démonstration mais rarement publiés en open source avec benchmarks vérifiables. Coupler cela à un futur modèle monde comme Cosmos 3, censé générer des données synthétiques quand les données réelles sont trop chères ou rares à collecter, répond directement à l'un des goulots d'étranglement les plus documentés du secteur humanoïde. Cette annonce prolonge un partenariat plus ancien entre NVIDIA et Hugging Face autour de LeRobot, devenu une référence pour le partage ouvert de données et de politiques robotiques. Elle s'inscrit dans la stratégie de verticalisation physical AI de NVIDIA, de la simulation (Isaac Sim, Isaac Lab) au calcul embarqué (Jetson Thor) en passant par les modèles fondation et, prochainement, les modèles monde. Elle positionne NVIDIA face à des acteurs misant sur des piles intégrées fermées, comme Figure ou Physical Intelligence, en jouant la carte de l'infrastructure ouverte et mutualisée. Aucun acteur français n'apparaît directement, mais Reachy 2 est développé par Pollen Robotics, racheté par Hugging Face, ce qui donne une visibilité indirecte à cet acteur français dans l'écosystème. Les prochaines étapes annoncées restent pour l'instant limitées à la sortie de Cosmos 3 dans LeRobot, sans calendrier de déploiement industriel précisé.

IA physique⚡Actu

1 source

41

1448Pandaily 

Simplexity Robotics : une start-up d'IA incarnée de 11 mois déploie 100 robots sur des lignes de production

Simplexity Robotics, startup chinoise spécialisée en IA incarnée fondée il y a moins d'un an, a annoncé la livraison d'un premier lot de 100 unités de son robot polyvalent i7 Pro, ainsi que la mise en service d'une ligne de production robotisée dédiée à l'usinage CNC. Ces 100 robots n'ont pas été livrés à un seul client mais répartis sur plusieurs scénarios réels, selon Jia Peng, PDG et directeur technique de la startup, ancien cadre de Li Auto avec une solide expérience en fabrication automobile intelligente. Le plus gros déploiement concerne des clients industriels fabriquant des composants robotiques, tandis que des livraisons significatives ont aussi été effectuées vers des lignes de production de modules optiques et de circuits imprimés flexibles, des installations liées aux infrastructures IA, ainsi qu'auprès d'instituts de recherche, de partenaires d'écosystème et de développeurs. Dans les ateliers CNC, les i7 Pro assurent le chargement et déchargement continu de pièces sur plusieurs machines-outils, des tâches qui exigent précision de mouvement, manipulation fine et fonctionnement stable prolongé sous des contraintes de sécurité strictes. Chez le fabricant Leaderdrive, plusieurs unités naviguent entre différentes machines pour réaliser des opérations de chargement, positionnement et insertion. Au-delà des usines, les robots sont aussi testés en logistique, où ils localisent et prélèvent des articles commandés sur des rayonnages pour les livrer, et en tri de colis, où deux unités collaborent pour déplacer et retourner des paquets. Cette annonce illustre un changement de phase pour le secteur des robots polyvalents : le passage de la démonstration en laboratoire au déploiement réel à l'échelle industrielle, un cap que peu d'acteurs ont franchi concrètement malgré une abondance de communiqués promettant des ruptures. Le fait que Simplexity répartisse ses 100 unités sur des scénarios variés, usinage, logistique, tri de colis, plutôt que de les concentrer chez un seul client, est présenté comme une preuve de généralisation, un argument central dans le débat sur la capacité réelle des modèles VLA (vision-langage-action) à s'adapter au-delà de tâches démontrées en conditions contrôlées. Pour les intégrateurs et décideurs industriels, l'enjeu n'est pas la performance brute mais le coût d'intégration : Simplexity revendique un déploiement opérationnel en une heure, ce qui, si vérifié en conditions réelles et non lors de démonstrations sélectionnées, romprait avec les cycles d'ingénierie et de débogage habituellement longs pour ce type d'équipement. Simplexity mise sur une intégration verticale complète, de son modèle fondation LaST0, à compréhension et génération multimodale native, à LaST-R1, qui intègre de l'apprentissage par renforcement dans le raisonnement en espace latent et revendique 99,9% de réussite sur le benchmark LIBERO, une métrique à interpréter avec prudence tant les protocoles d'évaluation varient d'un laboratoire à l'autre. Son modèle LaST-HD vise à transférer les données de manipulation humaine vers les robots de manière industrialisable. Le robot i7 Pro suit une philosophie où le modèle définit le matériel, conçue selon des standards d'ingénierie inspirés de l'automobile, intégrant mobilité, manipulation, perception à 360 degrés et calcul dans une architecture modulaire, livrée avec une plateforme de développement complète. Sur un marché dominé par les annonces de Figure, Tesla Optimus, Agility Robotics ou Physical Intelligence, Jia Peng défend une vision différente de la compétition à venir : non une rupture technologique unique, mais la capacité à entrer rapidement dans de nouveaux scénarios et générer de la valeur, l'adaptation cross-scénario primant sur la polyvalence universelle.

Chine/Asie❧Opinion

1 source

47

1449arXiv cs.RO 

Imperio, smolVLA : les conséquences de l'empoisonnement des données pour la robotique open source

Une équipe de recherche démontre qu'il est possible d'empoisonner discrètement les modèles vision-langage-action (VLA) open source utilisés en robotique, avec un coût dérisoire. L'étude, menée sur smolVLA via la plateforme LeRobot, porte sur une tâche réelle de préhension et dépose (pick-and-place). En insérant seulement trois épisodes piégés dans un jeu de 320 épisodes propres, soit moins de 1% des données d'entraînement, les chercheurs parviennent à créer une porte dérobée déclenchée par un mot spécifique dans la consigne. Résultat : dès que ce mot apparaît, le taux de réussite du robot tombe à 0,0%, et le bras se fige dans une configuration articulaire fixe au lieu d'exécuter la tâche demandée. Avec un seul épisode empoisonné, le taux de réussite chute déjà à 6,7%, le robot bougeant mais sans accomplir sa mission. Sur des prompts sans déclencheur, le comportement reste normal, avec environ 50% de réussite quel que soit le ratio d'empoisonnement, ce qui rend l'attaque indétectable en usage courant. Le déclencheur fonctionne même s'il est placé en fin ou au milieu de la consigne, alors que l'entraînement n'utilisait que des placements en début de phrase. Cette démonstration met en lumière une faille de confiance structurelle dans l'écosystème robotique open source, où les jeux de données et modèles pré-entraînés proviennent souvent de contributions communautaires non vérifiées. Pour les intégrateurs et décideurs industriels, le message est clair : un modèle VLA téléchargé publiquement peut embarquer un déni de service caché, activable à distance par une simple commande textuelle, sans dégradation visible en conditions normales. Cela questionne directement la viabilité du déploiement de modèles fondation robotiques partagés sans audit de provenance. Ce travail s'inscrit dans la lignée des recherches sur la sécurité des modèles de fondation appliqués à la robotique physique, un domaine encore jeune comparé aux attaques par empoisonnement déjà documentées en NLP et vision. Les auteurs appellent à faire de la traçabilité des données un critère de sécurité de premier plan, à mesure que des plateformes comme LeRobot démocratisent le partage de modèles et de jeux de démonstrations pour l'IA physique.

Societe/Ethique⚡Actu

1 source

47

1450arXiv cs.RO 

RoboDojo : un benchmark unifié simulation-réel pour évaluer les politiques de manipulation robotique généralistes

Une équipe de chercheurs présente RoboDojo, un banc d'essai unifié combinant simulation et monde réel pour évaluer les politiques génératives de manipulation robotique, celles capables d'exécuter des tâches variées à partir d'instructions en langage naturel. Le système comprend 42 tâches en simulation et 18 tâches en conditions réelles, couvrant des capacités complémentaires. Le volet simulation mesure cinq dimensions : la généralisation, la mémoire, la précision, l'exécution de tâches longues, et la compréhension d'instructions en vocabulaire ouvert. Le volet réel expose les politiques aux difficultés concrètes du déploiement physique. La plateforme s'appuie sur Isaac Sim pour la simulation parallèle à grande échelle, et sur RoboDojo-RealEval, un système d'évaluation réelle accessible à distance via le cloud, avec matériel standardisé, réinitialisation automatisée des scènes et protocole reproductible. Trente politiques ont été intégrées via XPolicyLab et testées sur ce banc d'essai, donnant lieu à un classement public consultable sur robodojo-benchmark.com. L'initiative répond à un problème structurel du secteur : la prolifération de politiques génératives de manipulation (VLA) ces deux dernières années s'est faite sans étalon de mesure commun, chaque laboratoire publiant ses propres métriques sur ses propres tâches. Les évaluations en simulation seule ignorent les aléas physiques du réel (éclairage, frottements, imprécisions de préhension), tandis que les tests réels restent coûteux, lents et rarement reproductibles d'un labo à l'autre. En forçant une comparaison directe entre simulation et déploiement physique sur les mêmes politiques, RoboDojo permet de quantifier l'écart entre performance démontrée et robustesse réelle, un point sensible pour tout intégrateur ou décideur industriel cherchant à choisir une politique de contrôle avant un déploiement en usine ou en entrepôt. Le projet s'inscrit dans une dynamique où plusieurs équipes de recherche ont développé des systèmes de contrôle génératifs concurrents sans cadre d'évaluation partagé. En proposant à la fois l'infrastructure logicielle (XPolicyLab) et le protocole de test standardisé, RoboDojo vise à devenir une référence commune, avec un classement public appelé à s'enrichir au fur et à mesure que de nouvelles politiques y seront soumises.

Recherche❖Paper

1 source