Aller au contenu principal

Dossier arXiv cs.RO — page 24

2609 articles · page 24 sur 53

Les preprints robotique sur arXiv cs.RO : les avancées techniques avant publication, dont planification, learning from demos, sim2real, manipulation.

SANTS : un planificateur adaptatif à l'état pour les modèles d'action du monde
1151arXiv cs.RO RechercheOpinion

SANTS : un planificateur adaptatif à l'état pour les modèles d'action du monde

Des chercheurs proposent SANTS (State-Adaptive Noise Trajectory Scheduler), un scheduler léger pour les politiques de diffusion vidéo-vers-action dans les World Action Models (WAMs). Soumis sur arXiv (2605.27947) le 28 mai 2026, le travail part d'un constat empirique : dans les WAMs pixel-space, débruiter complètement la vidéo future n'optimise pas toujours la qualité de l'action produite. Au-delà d'un seuil dépendant de l'état du robot, le raffinement supplémentaire sature ou dégrade la performance. SANTS lit la représentation vidéo-état courante et le niveau de bruit, prédit un point d'arrêt adaptatif, et est entraîné par post-training avec une récompense sur la qualité finale de l'action (et non sur la fidélité de la vidéo intermédiaire). Résultats annoncés : 94,4 % de succès sur RoboTwin 2.0, 73,1 % sur sept tâches réelles, avec une réduction de latence de 81,7 % et 79,0 % respectivement par rapport au débruitage complet. L'enjeu opérationnel est la fréquence de contrôle : les WAMs souffrent d'une latence d'inférence élevée qui limite leur déploiement dans des boucles de contrôle rapides. Diviser par cinq ce coût d'inférence sans perte majeure de performance valide l'idée que la représentation future n'a pas besoin d'être parfaitement rendue pour conditionner efficacement l'action, une hypothèse implicite des architectures WAM qui n'était pas encore démontrée à cette échelle. Cela dit, le papier reste un preprint non relu par les pairs, et sept tâches réelles constituent un set de validation étroit pour prétendre à une généralisation industrielle. Les WAMs ont émergé comme alternative aux politiques VLA classiques en intégrant une prédiction vidéo du futur pour guider la génération d'actions. SANTS se positionne comme une surcouche d'optimisation compatible avec les designs existants, sans modifier la branche action du modèle de base. Dans l'écosystème actuel, Physical Intelligence (pi0), NVIDIA (GR00T N2) et Figure (Figure 03) développent des politiques de diffusion pour la manipulation, où la réduction de la latence d'inférence devient un facteur de compétitivité commerciale. Les prochaines étapes naturelles seraient une validation sur des benchmarks plus larges comme DROID ou Open X-Embodiment, et la mise à disposition publique des poids et du code.

1 source
S-Cheetah : un robot quadrupède innovant avec une colonne vertébrale active à 3 degrés de liberté pour une locomotion agile
1152arXiv cs.RO 

S-Cheetah : un robot quadrupède innovant avec une colonne vertébrale active à 3 degrés de liberté pour une locomotion agile

Des chercheurs du laboratoire Himmy Robotics ont présenté S-Cheetah, un robot quadrupède doté d'une colonne vertébrale active à 3 degrés de liberté (DOF) reproduisant la flexion sagittale, la flexion latérale et la rotation axiale des félins. Publié le 28 mai 2026 sur arXiv (preprint 2605.27909), le système atteint 6,9 m/s en galop rotatif G2 et un taux de rotation sur place de 7,2 rad/s. Pour exploiter pleinement cette architecture mécanique, l'équipe a développé un framework d'apprentissage par renforcement (RL) combinant un curriculum d'accélération progressive et des fonctions de récompense spécifiques : récompense de galop, d'ondulation spinale et de direction spinale. Le robot exhibe également une capacité émergente de redressement aérien inspirée des félins, atterrissant sur ses quatre pattes depuis n'importe quelle orientation en chute libre. La majorité des robots quadrupèdes intègrent aujourd'hui des colonnes actives à 1 ou 2 DOF pour limiter la complexité de contrôle, sacrifiant ainsi la richesse de mouvement observée chez les animaux biologiques. S-Cheetah tente de combler cet écart : un spine tri-axial complet avait jusqu'ici été évité car il complique radicalement la planification du mouvement. Le principal apport technique réside dans le fait que le framework RL force l'engagement actif de la colonne plutôt que de la laisser passive. La capacité de redressement aérien, non programmée explicitement mais émergente, renforce la thèse que des curricula de récompense bien construits peuvent capturer des dynamiques corporelles complexes et réduire le sim-to-real gap pour des architectures mécaniques atypiques. S-Cheetah s'inscrit dans la lignée du MIT Cheetah, d'ANYmal (ETH Zurich / ANYbotics) et des plateformes Unitree (B2, Go2), dont la plupart utilisent un tronc rigide ou une articulation spinale à 1 DOF. Ce travail reste un preprint non encore évalué par les pairs, sans pilote industriel ni commercialisation annoncés. Les performances proviennent de tests en laboratoire et les vidéos sélectionnées ne permettent pas encore d'évaluer la robustesse en conditions réelles non structurées. Les prochaines étapes, selon la page projet himmy-robotics.github.io/scheetah, devraient porter sur des tâches locomotrices plus complexes et des évaluations en environnement extérieur.

RecherchePaper
1 source
SPRINT : a priori spectraux efficaces pour les sprints athlétiques des humanoïdes
1153arXiv cs.RO 

SPRINT : a priori spectraux efficaces pour les sprints athlétiques des humanoïdes

Des chercheurs ont publié en mai 2026, via arXiv (2605.28549), un framework nommé SPRINT visant à faire sprinter des robots humanoïdes à haute vitesse de manière stable et biomimétique. Le système repose sur des priors spectraux adaptatifs en fréquence : plutôt que d'entraîner le robot sur de grandes bibliothèques de captures de mouvement, SPRINT caractérise la périodicité fondamentale de la locomotion humaine dans le domaine fréquentiel à partir d'une bibliothèque de référence réduite à cinq séquences de mouvements discrets. Ces priors génèrent ensuite des trajectoires articulaires cinématiquement cohérentes sur un large spectre de vitesses, y compris des vitesses supérieures à celles présentes dans les données d'entraînement. Sur le robot Unitree G1, la politique résultante atteint 6 m/s en pointe lors d'expériences en conditions réelles, avec des transitions de foulée fluides et sans ajustement manuel post-simulation. Ce résultat est notable pour deux raisons distinctes. Premièrement, le transfert sim-to-real s'effectue en zéro-shot, c'est-à-dire sans fine-tuning entre simulation et terrain réel, ce qui reste un verrou majeur dans les pipelines d'apprentissage par renforcement pour l'humanoïde. Deuxièmement, l'efficacité des données est exceptionnelle : cinq séquences de référence suffisent là où les approches concurrentes en imitation de mouvement nécessitent généralement des centaines, voire des milliers de captures. Pour une équipe R&D ou un intégrateur, cela réduit drastiquement le coût d'entrée pour des comportements locomoteurs à haute performance. La capacité à extrapoler au-delà de la distribution d'entraînement est prometteuse, même si les conditions exactes des tests terrain (surface, charge utile, durée de sprint) restent peu documentées dans la publication. La course aux humanoïdes rapides s'est intensifiée ces deux dernières années : Boston Dynamics a publié des démonstrations d'Atlas dépassant 5 m/s, tandis que des équipes en Chine, notamment chez Unitree et Fourier Intelligence, publient régulièrement des benchmarks locomoteurs. SPRINT s'inscrit dans une tendance académique qui cherche à rendre ces capacités reproductibles avec peu de données, en opposition aux pipelines massifs type Tesla Optimus ou Figure. Le Unitree G1, plateforme commerciale disponible autour de 16 000 dollars, est devenu le banc d'essai standard pour ce type de travaux de recherche. L'article est un preprint, sans déploiement industriel annoncé ni partenariat commercial déclaré.

RecherchePaper
1 source
CogVLA : un modèle vision-langage-action aligné sur la cognition par routage et sparsification guidés par instructions
1154arXiv cs.RO 

CogVLA : un modèle vision-langage-action aligné sur la cognition par routage et sparsification guidés par instructions

Une équipe rattachée au laboratoire JiuTian-VL a publié CogVLA (Cognition-Aligned Vision-Language-Action), une architecture VLA conçue pour réduire les coûts computationnels des modèles robotiques actuels sans sacrifier les performances. Le système repose sur trois modules successifs: EFA-Routing, qui injecte les instructions dans l'encodeur visuel pour compresser les tokens visuels de façon sélective; LFP-Routing, qui élague au niveau du LLM les tokens visuellement ancrés mais jugés non pertinents à l'action visée; et CAtten (Coupled Attention), qui combine attention causale vision-langage avec décodage d'action bidirectionnel en parallèle. Sur le benchmark LIBERO, CogVLA affiche un taux de succès de 97,4%, et 70,0% sur des tâches robotiques réelles. Comparé à OpenVLA, il réduit les coûts d'entraînement d'un facteur 2,5 et la latence d'inférence d'un facteur 2,8. Le code est publié en open source sur GitHub. L'écart entre les 97,4% obtenus sur benchmark et les 70,0% en conditions réelles mérite d'être noté: il reflète le sim-to-real gap persistant que les VLA n'ont pas encore résolu à grande échelle, et nuance les performances annoncées. Sur le fond, CogVLA s'attaque à un problème structurel du domaine: les architectures VLA actuelles, construites sur des VLM de grande taille, exigent un post-training intensif et souffrent d'une latence d'inférence qui freine leur déploiement industriel. La réduction de 2,8x de la latence est potentiellement significative pour les applications temps réel comme la manipulation sur ligne de production ou le pick-and-place à cadence élevée, bien que les conditions de test exactes ne soient pas détaillées dans le papier. La réduction de 2,5x du coût d'entraînement abaisse la barrière d'entrée pour les équipes sans infrastructure GPU de grande échelle. Les VLA (Vision-Language-Action models) représentent l'une des approches les plus actives de la robotique généraliste, associant la compréhension sémantique des LLM à la génération directe de commandes motrices. Les références du domaine incluent Pi-0 (Physical Intelligence), OpenVLA (UC Berkeley), GR00T N2 (NVIDIA) et RT-2 (Google DeepMind). CogVLA se positionne explicitement contre OpenVLA comme baseline de comparaison sur les benchmarks LIBERO. Publié sur arXiv en version 3 (identifiant 2508.21046), ce travail reste à ce stade une contribution académique: aucun partenariat industriel ni calendrier de déploiement n'est mentionné. Il s'inscrit néanmoins dans une tendance de fond visant à rendre les VLA plus légers et plus rapides, condition nécessaire pour leur adoption dans des contextes de production réels.

IA physiqueOpinion
1 source
GE-Sim 2.0 : une feuille de route vers des simulateurs vidéo en boucle fermée pour la manipulation robotique
1155arXiv cs.RO 

GE-Sim 2.0 : une feuille de route vers des simulateurs vidéo en boucle fermée pour la manipulation robotique

Une équipe de recherche a publié sur arXiv (arXiv:2605.27491) GE-Sim 2.0, un simulateur vidéo en boucle fermée conçu pour l'entraînement et l'évaluation de politiques de manipulation robotique. Le système, Genie Envisioner World Simulator 2.0, prolonge l'architecture de génération vidéo conditionnée par l'action de son prédécesseur et a été ré-entraîné sur des milliers d'heures de données robotiques réelles couvrant la télé-opération, les interactions contact-rich et le déploiement de politiques embarquées. Trois nouveaux modules ferment la boucle simulation-apprentissage : un "state expert" qui décode l'état proprioceptif depuis les latents vidéo pour alimenter les politiques VLA (Vision-Language-Action) en prédiction de trajectoire ; un "world judge" qui évalue automatiquement les rollouts générés face aux instructions de tâche, produisant des signaux de réussite vérifiables sans inspection manuelle ; et un framework d'accélération capable de générer un rollout de 25 frames en 2,3 secondes sur un seul GPU H100, avec jusqu'à 4x de frame skipping à l'inférence pour les scénarios longue-portée. Avec seulement 2 milliards de paramètres, le modèle domine le classement public WorldArena, devançant à la fois des world models robotiques dédiés et des générateurs vidéo généralistes en source fermée. L'enjeu central est le sim-to-real gap, la difficulté chronique à transférer des politiques entraînées en simulation vers des robots réels. GE-Sim 2.0 tente d'y répondre sur deux fronts : en générant des données synthétiques crédibles sur lesquelles entraîner des politiques VLA, avec des gains mesurables en conditions réelles selon les auteurs, et en automatisant l'évaluation des rollouts via le world judge, un goulot d'étranglement qui nécessitait jusqu'ici infrastructure physique ou inspection humaine. Pour les équipes travaillant à l'échelle sur des politiques de manipulation, l'équation coût-délai d'itération pourrait évoluer sensiblement. La performance au benchmark WorldArena avec 2B paramètres seulement suggère une efficacité paramétrique notable, même si les benchmarks de simulation ne garantissent pas directement des performances terrain. GE-Sim 2.0 s'inscrit dans la continuité directe de Genie Envisioner, framework de génération vidéo conditionné par l'action publié par la même équipe. Le marché des world models pour la robotique s'est densifié rapidement, avec notamment UniSim et des travaux issus de Google DeepMind, IRASim, ainsi que les simulateurs développés par Physical Intelligence autour de pi_zero. Dans l'espace VLA, Lerobot (Hugging Face) et plusieurs groupes académiques de MIT et Stanford investissent des directions parallèles. Ce résultat reste une pré-publication arXiv sans révision par les pairs ; les "gains mesurables en conditions réelles" annoncés ne sont pas quantifiés précisément dans l'abstract, ce qui limite l'interprétation des performances de transfert. La prochaine étape logique serait une validation externe sur des benchmarks physiques standardisés.

RechercheOpinion
1 source
Planification de mouvement multi-robots décentralisée par diffusion informée par simulation
1156arXiv cs.RO 

Planification de mouvement multi-robots décentralisée par diffusion informée par simulation

Des chercheurs présentent SID (Simulation-Informed Diffusion), un cadre décentralisé de planification de mouvement pour flottes multi-robots, publié sur arXiv (2605.27697) en mai 2026. Le problème ciblé est fondamental en robotique mobile collaborative : chaque robot doit générer des trajectoires sans collision à partir de ses seules observations locales, sans capteur global ni communication fiable. L'approche repose sur des modèles de diffusion sensibles aux contraintes (CADM, Constraint-Aware Diffusion Models) : dans une première passe, CADM simule les trajectoires futures des robots voisins à partir de leurs états observés ; dans une seconde passe, le même modèle planifie la trajectoire propre de chaque robot sous contraintes de sécurité issues de ces simulations. Un mécanisme de communication minimaliste complète le dispositif, ne déclenchant la coordination qu'en zones de forte congestion. Les expériences montrent que SID surpasse les méthodes de référence en termes d'efficacité de planification et de respect des contraintes, et passe à l'échelle jusqu'à 108 robots simultanés évoluant parmi 160 obstacles. La limite adressée est bien documentée dans les systèmes AMR industriels : planificateurs classiques (RVO, ORCA) et approches d'apprentissage raisonnent tous sur un instantané statique de l'environnement, ce qui devient un goulot d'étranglement au-delà d'une vingtaine d'agents en densité élevée. L'apport de SID est de traiter prédiction des voisins et planification propre comme un problème unifié, résolu par le même modèle de diffusion, évitant ainsi la propagation d'erreurs entre modules séparés. La communication conditionnelle représente également un avantage pratique pour les déploiements sur réseaux contraints, un point d'intérêt direct pour les intégrateurs logistiques opérant des flottes AMR à grande échelle. Les modèles de diffusion appliqués à la robotique connaissent un essor marqué depuis 2024, avec des travaux comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) ayant démontré leur efficacité pour la manipulation. SID s'inscrit dans cette tendance mais cible la coordination décentralisée, angle moins couvert que la manipulation. La compétition directe inclut les approches MARL (multi-agent reinforcement learning) et les planificateurs hybrides comme PRIMAL ou DHC. À ce stade, SID reste une preuve de concept en simulation ; aucun déploiement sur hardware physique n'est annoncé. La prochaine étape naturelle serait une validation sur AMR réels en conditions d'entrepôt, qui constituerait le vrai test du sim-to-real gap encore ouvert pour ce type d'approche générative.

RecherchePaper
1 source
Dextérité extrinsèque émergente en scènes encombrées via l'apprentissage de politique sensible à la dynamique
1157arXiv cs.RO 

Dextérité extrinsèque émergente en scènes encombrées via l'apprentissage de politique sensible à la dynamique

Des chercheurs ont publié DAPL (Dynamics-Aware Policy Learning), un cadre d'apprentissage par renforcement destiné à la manipulation non-préhensile en environnements encombrés. L'approche exploite la "dextérité extrinsèque" - la capacité d'un robot à utiliser les contacts avec l'environnement pour déplacer des objets sans les saisir directement - dans des configurations où plusieurs objets interagissent avec des dynamiques couplées. La nouveauté centrale est une représentation apprise des dynamiques de contact, construite via un modèle du monde explicite, qui conditionne ensuite la politique de RL sans recourir à des heuristiques codées manuellement ni à un reward shaping complexe. En simulation, DAPL surpasse de plus de 25 % les approches de manipulation préhensile, la télé-opération humaine et les politiques à représentation implicite, évaluées sur des scènes encombrées à densité variable non vues à l'entraînement. En conditions réelles, le taux de succès atteint environ 50 % sur dix scènes distinctes, avec un déploiement pilote en contexte épicerie pour valider le transfert sim-to-real. Ce résultat adresse un verrou concret en robotique de manipulation : la plupart des systèmes industriels actuels évitent le désordre ou le gèrent par des stratégies d'isolement d'objets, coûteuses en infrastructure. L'émergence de comportements de contact sans ingénierie manuelle des heuristiques représente un pas vers des robots capables de travailler dans des bacs en vrac, des rayons de supermarché ou des convoyeurs non triés. Le gain de 25 % en simulation est significatif, mais les 50 % de succès en conditions réelles appellent à la prudence : les détails sur le type d'objets, la densité exacte et la vitesse d'exécution ne sont pas fournis dans le résumé, ce qui rend difficile toute comparaison directe avec des systèmes comme Sparrow d'Amazon Robotics ou les approches de Covariant AI. La dextérité extrinsèque est un axe de recherche actif depuis une décennie, porté notamment par les groupes de Carnegie Mellon, MIT et ETH Zurich autour du pushing, du pivoting et de la singulation d'objets. DAPL s'inscrit dans cette continuité en ajoutant le world modeling explicite comme composant structurant du pipeline. Le preprint, disponible en version v2 sur arXiv (2603.09882), a été révisé depuis sa soumission initiale, signe d'un affinement des résultats ou des analyses sous revue par les pairs. Aucune timeline de déploiement commercial n'est annoncée ; l'étape logique serait une validation en entrepôt réel sur des volumes plus importants et avec des contraintes de cadence industrielle.

RecherchePaper
1 source
Uni-LaViRA : traduction d'actions langage-vision-robot pour une navigation incarnée unifiée
1158arXiv cs.RO 

Uni-LaViRA : traduction d'actions langage-vision-robot pour une navigation incarnée unifiée

Des chercheurs présentent Uni-LaViRA (Language-Vision-Robot Actions Translation), une architecture de navigation incarnée publiée le 28 mai 2026 sur arXiv (2605.27582), capable de piloter quatre types de robots distincts, robots à roues, quadrupèdes, humanoïdes et un drone à voilure fixe construit sur mesure, sans aucun entraînement spécifique sur des trajectoires robot. Le système s'appuie sur des grands modèles multimodaux de langage préentraînés (MLLMs) pour décomposer la navigation en deux types de commandes : une commande directionnelle sémantique en langage naturel, et une cible visuelle au niveau pixel. En mode zéro-shot, Uni-LaViRA atteint 60,7 % de taux de succès sur VLN-CE R2R, 51,3 % sur VLN-CE RxR, 77,7 % sur HM3D-v2, 60,0 % sur HM3D-OVON, 54,7 % sur MP3D-EQA et 40,0 % sur OpenUAV. Deux mécanismes structurent la boucle d'agent : le TODO List Memory (TDM), qui maintient une liste de sous-objectifs mise à jour à chaque pas et réinjectée dans la fenêtre d'attention du modèle, et le Second Chance Backtrack (SCB), qui ramène le robot à son état précédant une erreur et force le replanning à partir de la sous-trajectoire échouée. Ce résultat interpelle directement le paradigme dominant des VLA à grande échelle, qui réclame des millions de trajectoires et des milliers d'heures GPU pour atteindre des niveaux de performance comparables. Si les chiffres se confirment en environnements non contrôlés, Uni-LaViRA suggère qu'une partie du problème de généralisation en navigation peut être résolue structurellement, via un raisonnement sur la géométrie de l'action, plutôt que par accumulation de données. Pour les intégrateurs robotiques, cela réduit potentiellement le coût d'adaptation à de nouveaux sites ou morphologies de robots, deux points de friction majeurs dans les déploiements industriels. La capacité à unifier wheeled AMR, quadrupèdes et humanoïdes sous une même architecture sans fine-tuning est particulièrement notable. L'article s'inscrit dans un contexte de compétition intense autour des architectures VLA : Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, et les approches OpenVLA ou RoboFlamingo ont chacun nécessité des pipelines de collecte de données coûteux. Uni-LaViRA ne cherche pas à remplacer ces modèles sur des tâches de manipulation précise, mais positionne le raisonnement structuré comme alternative crédible pour la navigation. Les benchmarks utilisés (HM3D, MP3D, R2R) sont des standards académiques en simulation ; la validation sur robots réels reste limitée aux quatre plateformes de l'étude, et les performances en conditions industrielles non contrôlées restent à démontrer. Aucune timeline de déploiement ni partenariat industriel n'est mentionné.

RechercheOpinion
1 source
Champs d'action neuraux implicites : des points de passage discrets aux fonctions continues pour les modèles vision-langage-action (VLA)
1159arXiv cs.RO 

Champs d'action neuraux implicites : des points de passage discrets aux fonctions continues pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié en mars 2026 sur arXiv (2603.01766) une méthode baptisée Neural Implicit Action Fields (NIAF), qui reformule la génération des commandes motrices dans les modèles VLA (Vision-Language-Action). La pratique dominante consiste aujourd'hui à prédire des "action chunks" : des séquences de waypoints discrets prélevés à fréquence fixe, héritage de la collecte de données robotiques et du paradigme token-par-token des LLM. NIAF remplace cette représentation par des fonctions d'action continues dans le temps, synthétisées via un modulateur spectral hiérarchique appuyé sur un LLM vision-langage et un prior de mouvement appris. L'architecture produit une variété d'action échantillonnable à résolution temporelle arbitraire et supporte la différentiation analytique pour superviser explicitement vitesse et dérivées d'ordre supérieur. Sur les benchmarks de manipulation CALVIN et LIBERO, NIAF obtient de bonnes performances sur plusieurs backbones. Des tests en conditions réelles confirment la compatibilité avec le contrôle d'impédance stable. L'enjeu est structurel. Les waypoints discrets génèrent des artefacts de quantification et ne fournissent pas les dérivées continues (vitesse, accélération, jerk) requises par les contrôleurs temps-réel industriels. Le contrôle d'impédance, standard dans les cobots et les cellules d'assemblage, exige précisément cette continuité pour adapter la force en temps réel. En supervisant ces grandeurs durant l'entraînement, NIAF réduit le besoin de filtrage post-traitement et améliore potentiellement le transfert simulation-réalité, point critique pour tout déploiement industriel. Pour un intégrateur ou un COO, des politiques apprises directement exploitables sur du matériel réel changent la donne. NIAF s'inscrit dans un champ très concurrentiel : Physical Intelligence (Pi-0, Pi-0.5), NVIDIA (GR00T N2), Google DeepMind (RT-2) et des startups comme Covariant développent tous des VLA confrontés au même problème de discrétisation, inhérent à leur architecture. Les approches par diffusion (DDPM) et flow matching avaient déjà cherché à l'atténuer du côté génératif ; NIAF l'attaque du côté de la représentation fonctionnelle. Aucun déploiement ni partenariat industriel n'est annoncé : les résultats restent limités aux benchmarks simulés et à quelques tests réels, et la validation à grande échelle reste à démontrer.

IA physiqueOpinion
1 source
PhyPush : une seule poussée suffit pour estimer les propriétés physiques sans capteurs grâce aux transformeurs guidés par la physique
1160arXiv cs.RO 

PhyPush : une seule poussée suffit pour estimer les propriétés physiques sans capteurs grâce aux transformeurs guidés par la physique

PhyPush, présenté dans un article arXiv (2605.18284) publié en mai 2026, est un framework basé sur un Transformer guidé par la physique, capable d'estimer la masse et le coefficient de friction d'un objet à partir d'une seule poussée. La particularité centrale : le système n'utilise que la vélocité cinématique de l'effecteur final, une donnée disponible nativement sur tout bras robotique standard, sans capteur de force/couple, sans réseau de capteurs tactiles, et sans système de capture de mouvement multi-caméras. Le modèle intègre directement les contraintes issues de la deuxième loi de Newton et du modèle de friction de Coulomb dans sa fonction de perte, ce qui renforce la cohérence physique des estimations. En simulation, PhyPush réduit l'erreur d'estimation de plus de 10 % par rapport à une baseline disposant pourtant d'un accès privilégié aux données de force complètes ; en conditions réelles, il surpasse une approche purement data-driven sur des objets et surfaces hors domaine d'entraînement. L'impact pour l'intégration industrielle est direct. L'estimation précise de la masse et de la friction est un prérequis pour la manipulation adaptative fiable, notamment dans les lignes de tri, d'assemblage ou de logistique où les objets varient constamment. Les approches existantes exigeaient soit un instrumentation coûteuse (capteurs F/T à 2 000-10 000 €/unité), soit des environnements contrôlés incompatibles avec un déploiement à l'échelle. PhyPush déplace ce prérequis vers une inférence logicielle sur hardware standard, ce qui ouvre la voie à une perception physique embarquée sur des flottes de robots sans sur-coût matériel. La preuve que l'apprentissage guidé par la physique peut surpasser une baseline disposant de plus d'information sensorielle est également un signal fort : la structure inductive correcte compense le manque de capteurs, ce qui contredit l'hypothèse selon laquelle plus de données brutes implique nécessairement de meilleures estimations. L'estimation interactive des propriétés physiques par poussée (push-based estimation) est un problème étudié depuis une décennie, mais les solutions robustes restaient dépendantes de setups lourds issus des labos de manipulation tactile (MIT, Stanford, CMU). L'émergence des Transformers appliqués à la dynamique robotique et l'intégration de prior physique dans les fonctions de perte sont des tendances récentes qui convergent ici. Côté concurrence, les travaux de perception tactile comme celles de GelSight ou des approches sim-to-real de Meta (DIGIT) adressent un problème similaire mais via du hardware dédié ; des équipes comme Physical Intelligence (Pi-0) ou Figure AI intègrent eux aussi des modules d'estimation d'état dans leurs pipelines VLA, mais sans publier les détails. PhyPush se positionne comme une brique bas coût et open science pour tout intégrateur souhaitant ajouter de l'adaptation physique à un bras existant. Les prochaines étapes logiques incluent la généralisation à des poussées multi-axes, l'intégration dans des boucles de contrôle en temps réel, et le test sur des plateformes humanoïdes où la variabilité des objets manipulés est maximale.

RecherchePaper
1 source
IA incarnée et capacités extensibles grâce aux outils
1161arXiv cs.RO 

IA incarnée et capacités extensibles grâce aux outils

Des chercheurs ont publié le 27 mai 2026 sur arXiv (2605.26637v1) une architecture pour les systèmes d'intelligence incarnée (embodied AI) appelée Embodied Tool Protocol, ou ETP. Le principe central, qualifié de "capability externalization", consiste à découpler perception, raisonnement, planification et contrôle moteur plutôt que de les fondre dans un seul modèle paramétrique bout-en-bout. Chaque capacité devient un outil indépendant, optimisé séparément et invoqué dynamiquement à l'inférence. L'équipe a constitué une base de plus de 100 outils validés couvrant quatre domaines : perception, cognition, raisonnement et exécution. Sur cette base, ils ont construit EmbodiedToolBench, un benchmark évaluant quatre dimensions de l'usage des outils : reconnaissance de la nécessité, sélection, exécution et composition de chaînes. Les expériences, menées en simulation et sur des plateformes physiques, affichent un gain moyen de 31 % sur EB-ALFRED et de 36 % sur EB-Navigation par rapport aux baselines sans augmentation d'outils. Ces chiffres sont pertinents pour un secteur où l'architecture VLA (Vision-Language-Action) bout-en-bout s'est imposée comme paradigme dominant depuis 2023. L'apport le plus concret est l'identification d'une asymétrie forte : la cognition et la perception bénéficient substantiellement de l'externalisation, tandis que les capacités d'exécution motrice restent peu améliorées par l'ajout d'outils externes. Pour un intégrateur ou un COO industriel, ce signal est utile : l'orchestration modulaire semble mature pour les couches décisionnelles et perceptuelles, mais le contrôle bas niveau conserve des contraintes structurelles que l'augmentation d'outils ne résout pas. L'article pointe également un goulot d'étranglement persistant sur tous les modèles testés : savoir quand, lequel et comment invoquer un outil, ce que les auteurs nomment "embodied tool competence". Le travail s'inscrit dans une tendance qui cherche à dépasser les limites de la politique monolithique, notamment la difficulté de généralisation hors distribution. Les approches concurrentes incluent les architectures hiérarchiques classiques (planificateur global + contrôleur bas niveau), les agents LLM à outils dans la lignée de ToolFormer, et des frameworks comme SayCan (Google DeepMind). Ni le code ni les outils ne semblent encore disponibles publiquement selon le texte du preprint, ce qui limite l'évaluation indépendante des gains annoncés. L'adoption d'EmbodiedToolBench comme référentiel commun dépendra de la qualité de la release publique. Les suites logiques seraient de tester la robustesse de la composition de chaînes d'outils dans des environnements non contrôlés, et d'étendre le protocole ETP à des plateformes hardware existantes comme les humanoïdes Figure, Unitree ou les bras manipulateurs industriels.

RechercheOpinion
1 source
AdaMorph : retargeting de mouvement unifié par transformeurs adaptatifs sensibles à l'incarnation
1162arXiv cs.RO 

AdaMorph : retargeting de mouvement unifié par transformeurs adaptatifs sensibles à l'incarnation

AdaMorph est un framework de retargeting de mouvement humain vers robot, présenté dans un preprint arXiv (arXiv:2601.07284), qui propose d'unifier sous un seul modèle le transfert de mouvements vers des robots aux morphologies hétérogènes. Les auteurs ont évalué leur approche sur 12 humanoïdes distincts aux topologies cinématiques variées. Le système traite le retargeting comme une tâche de génération conditionnelle : les mouvements sont encodés dans un espace latent "morphology-agnostic" (indépendant de la morphologie du robot cible), puis décodés via un mécanisme de prompting dual. La clé technique est l'Adaptive Layer Normalization (AdaLN), qui module dynamiquement les features du décodeur selon les contraintes d'embodiment du robot cible, plutôt que de concaténer naïvement les paramètres cinématiques en entrée. Un objectif d'entraînement par curriculum garantit la plausibilité physique, notamment la cohérence d'orientation et de trajectoire par intégration. L'enjeu central qu'adresse AdaMorph est le passage à l'échelle : les solutions existantes entraînent un modèle distinct par robot, ce qui devient ingérable à mesure que le catalogue d'humanoïdes s'élargit. Un modèle unifié exploitant des sémantiques de mouvement partagées représente un changement architectural pertinent pour les équipes déployant sur plusieurs plateformes simultanément, qu'il s'agisse d'intégrateurs industriels ou de constructeurs comme Figure, 1X ou Agility Robotics. La généralisation zero-shot sur des mouvements complexes non vus à l'entraînement est le résultat le plus significatif : elle suggère que l'espace latent capture bien l'intent moteur de façon transférable, sans réentraînement par morphologie. Le retargeting de mouvement est un problème ouvert depuis les premières captures de mouvement appliquées à la robotique. Les approches actuelles, notamment les méthodes par apprentissage par renforcement de Berkeley ou des frameworks comme PHC (Perpetual Humanoid Control), traitent généralement une morphologie à la fois. AdaMorph s'inscrit dans la tendance des foundation models appliqués au contrôle robotique, comparable dans son ambition aux politiques généralisables de Physical Intelligence avec pi0. À souligner : il s'agit d'un résultat purement académique, validé en simulation sur 12 robots sans déploiement réel annoncé ni partenariat industriel mentionné. La question du transfert sim-to-real sur des tâches physiques contraintes reste entière.

IA physiquePaper
1 source
Estimation de pose et de forme d'objets pour la saisie : est-ce que ça fonctionne ?
1163arXiv cs.RO 

Estimation de pose et de forme d'objets pour la saisie : est-ce que ça fonctionne ?

Une étude publiée en preprint sur arXiv (2605.26944, mai 2026) s'attaque à une question centrale de la manipulation robotique : les méthodes modulaires, qui estiment d'abord la pose et la forme 3D d'un objet avant de générer des préhensions par échantillonnage antipolaire, surpassent-elles les approches bout-en-bout qui synthétisent directement des poses de saisie ? Le cadre expérimental se limite aux pinces à mâchoires parallèles, aux préhensions à 7 degrés de liberté (7-DOF), et à une entrée monoculaire RGB(-D). Trois pipelines modulaires sont évalués : deux s'appuient sur des modèles encodeur-décodeur (SAM3D, LRM, CRISP), le troisième sur des modèles de reconstruction par diffusion (InstantMesh, Zero123, SceneComplete), tous capables de reconstruire des formes 3D de façon catégorie-agnostique. Ces pipelines sont comparés à une méthode bout-en-bout de référence représentant l'état de l'art. Les résultats sont sans ambiguïté : les méthodes modulaires surpassent la baseline bout-en-bout dans l'intégralité des expériences, y compris sur les petits objets où l'approche bout-en-bout échoue complètement. Ce constat remet en question l'hypothèse dominante selon laquelle les architectures bout-en-bout s'imposent naturellement en manipulation. La qualité des préhensions reste cependant conditionnée à la précision de l'estimation de pose et de forme : dans les scènes encombrées (cluttered scenes), les performances se dégradent, exposant une limite structurelle des méthodes actuelles de reconstruction 3D monoculaire. Les auteurs montrent par ailleurs que ces pipelines modulaires peuvent être augmentés avec des modèles vision-langage (VLM) pour produire des préhensions conditionnées par des instructions en langage naturel depuis une seule image RGB-D, avec des performances comparables à la baseline LERF-TOGO. Ces travaux s'inscrivent dans une dynamique plus large de reconstruction 3D open-set portée par des modèles génératifs larges. Les approches encodeur-décodeur comme SAM3D ou LRM, et les modèles par diffusion comme InstantMesh ou Zero123, ont démontré une généralisation hors-distribution qui rend la reconstruction catégorie-agnostique exploitable en robotique industrielle. Côté positionnement concurrentiel, les méthodes bout-en-bout comme GraspNet restent des références, mais ce preprint suggère qu'un paradigme modulaire combinant estimation de forme et échantillonnage géométrique peut les surpasser dès lors que la reconstruction est suffisamment précise. La robustesse en scènes encombrées reste le défi ouvert majeur pour les équipes de recherche et les intégrateurs industriels.

RecherchePaper
1 source
ParkourFormer : supervision prédictive et modélisation séquentielle pour la locomotion parkour
1164arXiv cs.RO 

ParkourFormer : supervision prédictive et modélisation séquentielle pour la locomotion parkour

Des chercheurs ont publié le 27 mai 2026 un preprint arXiv (2605.25782) présentant ParkourFormer, un système de locomotion pour humanoïdes capable de traverser des terrains variés, escaliers, fossés, pentes, surfaces irrégulières et obstacles -- sans changer de politique de contrôle. Le coeur de l'approche repose sur un Transformer qui reformule la locomotion comme un problème de décision conditionné par le futur : l'état courant du robot interroge via un mécanisme de cross-attention un historique de trajectoires sensorimotrices, tandis qu'une tête de prédiction légère anticipe les états proprioceptifs à court horizon. Ces états futurs prédits, supervisés par un signal d'apprentissage dédié, sont fusionnés avec les caractéristiques temporelles pour générer les commandes motrices. Les expériences en simulation et sur un robot humanoïde réel donnent un taux de succès moyen de 93,85 % sur l'ensemble des terrains testés, avec des gains allant jusqu'à 42,73 % par rapport aux baselines MLP, MLP à mélange d'experts (MoE) et Transformer standard. Ce résultat est notable parce qu'il cible précisément le talon d'Achille des politiques de locomotion agile actuelles : leur caractère purement réactif. La plupart des systèmes RL existants mappent directement observations vers actions, sans modéliser l'évolution du corps dans le temps. Or pour des transitions de contact rapides -- typiques du parkour ou d'un environnement industriel encombré -- anticiper la dynamique corporelle quelques centièmes de seconde à l'avance change fondamentalement la robustesse. Le fait qu'une politique unique couvre cinq classes de terrain sans spécialisation par environnement est également un signal fort pour les intégrateurs : réduire la fragmentation des politiques simplifie le déploiement sur robots physiques. ParkourFormer s'inscrit dans une vague de travaux qui cherchent à dépasser le gap simulation-réalité pour la locomotion agile humanoïde, aux côtés de systèmes comme PKU-DynaGait, Agility Robotics Digit ou les travaux open-source de Berkeley Humanoid. L'article reste un preprint non encore évalué par les pairs, et les vidéos de démonstration n'ont pas encore été rendues publiques à la date de soumission -- ce qui invite à réserver son jugement sur les performances réelles. Les auteurs n'annoncent pas de déploiement industriel ni de partenariat commercial ; les prochaines étapes naturelles seraient une évaluation sur des plateformes humanoïdes commerciales (Unitree H1/G1, Fourier GR-1) et une confrontation à des conditions extérieures non contrôlées.

RecherchePaper
1 source
Primitives de mouvement par le langage : ancrer les modèles de langage dans le mouvement robotique
1165arXiv cs.RO 

Primitives de mouvement par le langage : ancrer les modèles de langage dans le mouvement robotique

Des chercheurs du Collaborative Robotics Lab de Virginia Tech ont publié Language Movement Primitives (LMP), un framework qui relie les modèles de vision-langage (VLM) aux Dynamic Movement Primitives (DMP), une famille de contrôleurs de trajectoire établie en robotique depuis les années 2000. Le principe: les DMP définissent des trajectoires continues et stables via un faible nombre de paramètres interprétables, et les VLM configurent ces paramètres directement à partir d'instructions en langage naturel. Testé sur 31 tâches de manipulation de bureau en conditions réelles, LMP atteint un taux de succès de 65%, contre 35% pour le meilleur système de référence évalué. Le pipeline fonctionne en mode zéro-shot, sans fine-tuning spécifique aux tâches cibles. L'article est disponible sur arXiv (2602.02839, troisième révision) et accompagné de vidéos de démonstration. Le vrai problème que LMP cible est le "grounding" moteur: transformer un raisonnement abstrait en commandes physiquement cohérentes. Les VLM comme GPT-4V excellent à décomposer une tâche en étapes logiques, mais produire des trajectoires exécutables reste hors de leur portée native. À l'inverse, les modèles de fondation robotique tels que Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou RT-2 de Google génèrent des actions directement, mais nécessitent généralement un fine-tuning coûteux en données in-domain pour s'adapter à de nouvelles tâches. LMP propose une troisième voie: les DMP servent d'interface structurée entre le raisonnement LLM et le contrôle bas niveau, préservant la stabilité dynamique sans apprentissage supplémentaire. Le gain de 30 points de pourcentage en zéro-shot sur des tâches réelles est notable, même si le choix des baselines et les conditions de test précises mériteront une vérification indépendante par la communauté. Les DMP ont été formalisés par Schaal et al. dans les années 2000 et restent un outil de référence pour la manipulation grâce à leur stabilité et leur capacité de généralisation. L'approche de LMP s'inscrit dans la lignée de SayCan (Google) et Code-as-Policies (Liang et al.), mais descend plus bas dans la pile de contrôle sans passer par un réseau de politique intermédiaire. Les concurrents directs sont les VLA bout-en-bout comme OpenVLA ou le récent Helix d'Figure AI, qui offrent plus de flexibilité mais restent tributaires de larges jeux de données de démonstration. Les prochaines étapes probables incluent l'extension à des environnements non-tabulaires et à des robots à plus haute dimensionnalité, notamment la manipulation dextre sur bras 7-DOF.

RechercheOpinion
1 source
CollaBot : manipulation collaborative simultanée guidée par modèle vision-langage
1166arXiv cs.RO 

CollaBot : manipulation collaborative simultanée guidée par modèle vision-langage

Une équipe de chercheurs a publié sur arXiv (arXiv:2508.03526v2) CollaBot, un framework généraliste de manipulation collaborative simultanée par plusieurs robots. L'approche articule trois composants : un module de segmentation de scène basé sur SEEM (Segment Everything Everywhere all at once Model) pour isoler l'objet cible dans l'environnement, un framework de saisie collaborative qui décompose la tâche en génération locale de poses de préhension par chaque robot et coordination globale entre agents, et un module de planification en deux étapes pour produire des trajectoires sans collision. Testé sur des configurations variées, nombre de robots, types d'objets (dont des objets volumineux comme des tables), types de tâches, CollaBot atteint un taux de réussite de 72 %, surpassant les méthodes basées sur le behavior cloning. Des expériences en conditions réelles confirment la faisabilité de l'approche hors simulation. Ce résultat pointe un angle mort structurel de la robotique de manipulation : la quasi-totalité des frameworks existants ciblent des robots seuls opérant sur des objets de petite taille, alors que les environnements industriels et domestiques exigent fréquemment la manipulation coordonnée d'objets volumineux, tables, panneaux, charges lourdes. La décomposition explicite du problème (saisie locale + coordination globale) se révèle plus robuste que l'apprentissage bout-en-bout pur pour la généralisation multi-robot, ce qui constitue une piste d'architecture à retenir pour les intégrateurs industriels cherchant à déployer des cellules multi-bras flexibles. Le taux de 72 % mérite toutefois d'être nuancé : le papier ne détaille pas précisément la diversité des objets testés en conditions réelles ni les critères de succès retenus, ce qui limite la comparaison directe avec d'autres systèmes. La manipulation multi-robot collaborative reste un champ en structuration, sans cadre généraliste interopérable établi à ce jour. CollaBot s'inscrit dans une tendance plus large d'intégration de modèles vision-langage dans la planification robotique, dans l'esprit des architectures VLA portées par Physical Intelligence avec Pi-0, Figure AI avec Figure 03, ou Google DeepMind avec GR00T N2, mais appliqué spécifiquement à la coordination multi-agents sur objets larges, un scénario que les VLA classiques traitent mal. Les suites logiques seraient de tester le framework avec un nombre de robots plus élevé, dans des environnements encombrés, et de publier des benchmarks complets pour permettre une reproductibilité indépendante et une comparaison sérieuse avec les approches concurrentes.

RecherchePaper
1 source
Actionneurs pneumatiques souples pour la robotique molle : revue des mécanismes d'actionnement et compromis de performance
1167arXiv cs.RO 

Actionneurs pneumatiques souples pour la robotique molle : revue des mécanismes d'actionnement et compromis de performance

Une équipe de chercheurs vient de déposer sur arXiv (réf. 2605.25109) une revue systématique des actionneurs pneumatiques souples, constituant l'une des technologies centrales de la robotique souple. Le papier organise ces systèmes selon quatre classes de mouvement : linéaire, flexion, torsion et omnidirectionnel. Pour chaque classe, les auteurs analysent les paramètres structurels qui définissent le chemin de déformation : angle de tresse, géométrie des plis, orientation des fibres, arrangement des chambres, asymétrie structurelle et couches de contrainte internes. Le constat de départ est net : la réponse mécanique de ces actionneurs ne dépend pas uniquement de la pression appliquée, mais de l'ensemble de leur architecture, ce que la littérature existante traite de façon fragmentée et difficilement comparable. L'intérêt de ce travail tient à un problème concret qui ralentit les équipes de développement : l'impossibilité de comparer les résultats publiés entre études. Deux actionneurs à base de flexion peuvent produire des déplacements similaires tout en différant radicalement sur la demande en débit d'air, la répétabilité ou la durée de vie en cycles. La revue introduit un cadre de conditions de sélection explicites à évaluer lors du choix ou de la comparaison d'actionneurs : pression de travail, condition de charge, taille physique de l'actionneur, disponibilité de l'alimentation pneumatique et hystérésis. Pour un intégrateur ou un ingénieur robotique, ce cadre réduit les essais empiriques coûteux en phase de prototypage, à condition que les publications futures adoptent ces métriques de manière systématique, ce qui reste une hypothèse de travail à ce stade. La robotique souple s'est imposée comme alternative aux systèmes rigides pour des applications en contact avec le corps humain ou des environnements non structurés, en compétition directe avec les actionneurs à câbles, les élastomères diélectriques et les alliages à mémoire de forme. Les applications visées par la revue sont explicitement le biomédical, le portabilité et la robotique mobile. En Europe, des acteurs comme Wandercraft sur les exosquelettes ou Enchanted Tools sur les robots collaboratifs opèrent précisément dans des espaces où ces arbitrages de conception sont déterminants. Ce papier de classification arrive au moment où plusieurs équipes tentent le passage du prototype de laboratoire au déploiement industriel, une transition qui exige la rigueur comparative que cette revue cherche à structurer, sans toutefois proposer de benchmarks quantitatifs normalisés propres à accélérer ce saut.

UELe cadre de sélection proposé est directement exploitable par des équipes françaises comme Wandercraft (exosquelettes) et Enchanted Tools (robots collaboratifs) pour réduire les essais empiriques lors du choix d'actionneurs souples en phase de prototypage.

RecherchePaper
1 source
Combler le fossé : permettre au Soft Actor Critic des performances élevées en locomotion sur pattes
1168arXiv cs.RO 

Combler le fossé : permettre au Soft Actor Critic des performances élevées en locomotion sur pattes

Une équipe de chercheurs publie sur arXiv (preprint 2605.24975, mai 2026) une série de modifications ciblées permettant à l'algorithme Soft Actor-Critic (SAC) d'atteindre les performances de Proximal Policy Optimization (PPO) dans l'entraînement à grande échelle de robots à pattes. PPO s'impose depuis plusieurs années comme l'algorithme de référence pour la locomotion bipède et quadrupède, notamment dans les environnements de simulation massivement parallèles comme IsaacLab (NVIDIA). Son défaut structurel est son caractère on-policy : chaque mise à jour de gradient exige de nouvelles données fraîches, le rendant inutilisable pour un apprentissage continu directement sur le robot physique. SAC, algorithme off-policy capable de réutiliser l'expérience passée, était un candidat naturel, mais échouait systématiquement à rivaliser en performance dans ces mêmes conditions. Les auteurs identifient trois correctifs spécifiques : une initialisation améliorée de la politique, un calcul de la valeur cible corrigé pour les épisodes tronqués (timeout-aware critic targets), et une estimation multi-pas du retour (multi-step return estimation). Ces ajustements ferment entièrement l'écart avec PPO, validé sur plusieurs plateformes de robots à pattes et une diversité de tâches de locomotion. L'enjeu pour l'industrie robotique est concret. PPO contraint les équipes à retourner systématiquement en simulation pour chaque cycle d'amélioration, allongeant les boucles de développement et compliquant l'adaptation à des environnements physiques non anticipés. Un SAC équivalent en performance à l'entraînement offline ouvre la voie à un workflow unifié : un seul algorithme pour la phase de simulation initiale, puis pour l'adaptation en ligne sur le robot déployé, sans boucle retour sim-to-real. Pour les intégrateurs travaillant sur des robots mobiles à pattes en inspection industrielle ou logistique, cela réduit potentiellement les cycles de re-entraînement lors de changements de terrain ou de configuration. Ce résultat conteste aussi l'hypothèse selon laquelle le sim-to-real gap exige des algorithmes fondamentalement différents entre entraînement et déploiement. PPO a été popularisé pour la locomotion robotique par les travaux de l'ETH Zurich sur ANYmal (2019-2022) et s'est généralisé avec l'adoption massive d'IsaacLab comme environnement de référence. SAC avait été introduit en 2018 par Tuomas Haarnoja et ses collègues à l'UC Berkeley, mais ses applications à la locomotion à grande échelle se heurtaient à des instabilités numériques en parallèle massif. Boston Dynamics, Unitree et Agility Robotics n'ont pas divulgué leurs pipelines d'entraînement internes, mais la littérature académique récente sur les robots H1 (Unitree) ou Digit (Agility) reste majoritairement dans l'écosystème PPO. Ce preprint demeure une contribution de recherche et non un produit déployé : sa portée pratique dépendra d'implémentations publiques dans IsaacLab ou MuJoCo et de validations indépendantes par la communauté.

RecherchePaper
1 source
Quelles questions les robots devraient-ils pouvoir répondre ? Un jeu de données pour la robotique explicable
1169arXiv cs.RO 

Quelles questions les robots devraient-ils pouvoir répondre ? Un jeu de données pour la robotique explicable

Une équipe de chercheurs a publié sur arXiv (référence 2510.16435) un jeu de données de 1 893 questions posées par des utilisateurs à des robots domestiques, issu d'une collecte auprès de 100 participants recrutés via la plateforme Prolific. Les données ont été structurées en 12 catégories et 70 sous-catégories, à partir de 22 stimuli au total : 15 vidéos et 7 scénarios textuels dépeignant des robots effectuant des tâches ménagères variées. Dans le jeu de données final, les questions les plus fréquentes portent sur les détails d'exécution des tâches (21,4 %), les capacités du robot (12,6 %) et l'évaluation de ses performances (10,7 %). À noter que les questions relatives aux scénarios difficiles ou à la fiabilité du comportement sont moins nombreuses, mais que les participants les jugent comme les plus importantes auxquelles un robot devrait pouvoir répondre. Ce travail comble un angle mort structurel dans la recherche en robotique explicable : la quasi-totalité des travaux existants se concentre sur les questions de type "pourquoi" (justification d'une décision), alors que ce dataset couvre un spectre bien plus large, des détails opérationnels aux hypothèses contrefactuelles. Pour les intégrateurs et concepteurs de systèmes d'interaction humain-robot, cela signifie que les modules de question-réponse embarqués doivent gérer des requêtes que les architectures conversationnelles actuelles ne priorisent pas. Le constat que les utilisateurs novices posent des questions plus factuelles et immédiates, tandis que les utilisateurs expérimentés interrogent davantage les capacités généralisées du robot, a des implications directes pour la conception des interfaces et la gestion du niveau de détail dans les réponses. Ce dataset s'inscrit dans un contexte où les grands modèles de langage (LLMs) sont de plus en plus intégrés comme couche conversationnelle dans des systèmes robotiques, des plateformes comme Boston Dynamics Spot aux robots de service de PAL Robotics ou Enchanted Tools. Il constitue une ressource de référence pour trois usages : identifier quelles données les robots doivent logger et exposer via une interface conversationnelle, benchmarker les modules de QA en HRI, et aligner les stratégies d'explication avec les attentes réelles des utilisateurs. Les prochaines étapes naturelles incluent l'extension du dataset à d'autres contextes (industriel, médical) et son utilisation pour entraîner ou évaluer des modèles vision-langage-action (VLA) dans des scénarios d'interaction explicite.

UELe dataset pourrait servir de référence pour les équipes européennes (dont Enchanted Tools et PAL Robotics) qui intègrent des LLMs comme couche conversationnelle dans leurs robots de service, en orientant la conception de leurs modules QA vers des questions que les architectures actuelles ne priorisent pas.

RecherchePaper
1 source
NeuralTouch : des descripteurs neuronaux pour un contrôle tactile précis en transfert simulation-réel
1170arXiv cs.RO 

NeuralTouch : des descripteurs neuronaux pour un contrôle tactile précis en transfert simulation-réel

Une équipe de chercheurs a publié sur arXiv (réf. 2510.20390v2) NeuralTouch, un framework multimodal combinant les Neural Descriptor Fields (NDF) avec le retour haptique pour améliorer la précision de préhension des robots manipulateurs. Le principe repose sur deux étages : les NDF génèrent une représentation implicite de la géométrie de contact cible à partir de données visuelles, puis une politique d'apprentissage par renforcement profond (deep RL) affine la saisie en temps réel via des capteurs tactiles. Le système a été validé sur des tâches de manipulation fine, insertion de cheville dans un trou (peg-out-in-hole) et ouverture de bouchon de bouteille, avec un transfert zéro-shot du simulateur vers l'environnement physique, sans fine-tuning supplémentaire. Les études d'ablation en simulation et les tests réels montrent une amélioration significative de la précision et de la robustesse par rapport aux baselines, bien que les métriques quantitatives précises ne figurent pas dans le résumé publié. Le problème adressé est bien connu des intégrateurs : les NDF seuls souffrent d'imprécisions dues à une calibration caméra imparfaite, des nuages de points incomplets et la variabilité géométrique des objets. À l'inverse, les approches tactiles existantes restent cantonnées à des géométries de contact prédéfinies et simples, ce qui limite leur déployabilité industrielle. NeuralTouch contourne cette dualité en conditionnant la politique RL sur les descripteurs neuronaux sans nécessiter de spécification explicite du type de contact, ce qui est précisément le verrou que le secteur cherche à lever pour rendre les bras manipulateurs économiquement viables dans des environnements non structurés. La capacité de généralisation inter-catégories d'objets sans ré-entraînement représente un argument concret pour les COO industriels cherchant à réduire les coûts d'intégration. Ce travail s'inscrit dans un courant actif autour du sim-to-real pour la manipulation de précision, où Stanford, MIT et CMU rivalisent avec des acteurs industriels comme Sanctuary AI, 1X Technologies et Physical Intelligence, dont le modèle pi-0 cible également la manipulation généraliste. NeuralTouch se distingue par son approche hybride vision-tactile conditionnée sur des descripteurs neuronaux, évitant la fragmentation habituelle entre les pipelines purement visuels et les politiques haptiques spécialisées. Reste à démontrer la robustesse du framework sur une gamme plus large de géométries et sur des plateformes robotiques commerciales, étapes qui conditionneront le passage d'une démonstration académique à un outil industriellement pertinent.

RecherchePaper
1 source
HumanEgo : apprentissage robotique zéro-shot à partir de quelques minutes de vidéos égocentrées
1171arXiv cs.RO 

HumanEgo : apprentissage robotique zéro-shot à partir de quelques minutes de vidéos égocentrées

Des chercheurs ont publié le 27 mai 2026 sur arXiv (2605.24934) HumanEgo, un framework permettant d'entraîner un robot à manipuler des objets en lui montrant uniquement des vidéos egocentrées filmées par un humain, sans aucune donnée robot, sans télé-opération, et sans recollecte hardware. Avec seulement 30 minutes de vidéos humaines par tâche, le système atteint 92,5 % de taux de succès moyen sur quatre tâches de manipulation en conditions réelles. Avec 15 minutes de vidéos, ce score descend à 75 %, ce qui reste compétitif. Comparé à une collecte de données robot par télé-opération sur le même budget temps, HumanEgo surpasse cette baseline de 41 points de pourcentage. Le transfert est dit zero-shot : une politique entraînée sur des vidéos humaines s'exécute directement sur des robots, caméras et environnements non vus pendant l'entraînement. L'enjeu central que HumanEgo adresse est le "embodiment gap" : la différence d'apparence visuelle et de cinématique entre une main humaine et un effecteur robot rend l'imitation directe peu fiable. Le framework contourne ce problème en extrayant une représentation intermédiaire dite "entity-level" des interactions main-objet, puis en entraînant une politique par flow matching enrichie d'objectifs auxiliaires denses qui exploitent chaque frame de chaque trajectoire. Cela signifie que la collecte de données peut être confiée à n'importe quel humain avec une caméra egocentric (type GoPro ou lunettes), réduisant drastiquement le coût et le temps de déploiement dans un contexte industriel ou logistique. Pour les intégrateurs robotiques, c'est un levier potentiel majeur : les goulots d'étranglement liés à la télé-opération spécialisée ou aux bras de démo pourraient être contournés. HumanEgo s'inscrit dans un corpus de travaux récents cherchant à exploiter des données "in the wild" pour généraliser les politiques robot, aux côtés d'approches comme ACT, Diffusion Policy, ou pi-0 de Physical Intelligence. Contrairement à ces dernières, qui restent dépendantes de données robot, HumanEgo pousse plus loin la séparation entre collecte humaine et exécution robot. Le paper ne mentionne pas de partenaires industriels ni de timeline de déploiement commercial ; il s'agit d'une publication académique. Les prochaines questions ouvertes sont la robustesse sur des tâches à plus haute complexité gestuelle et la scalabilité au-delà de quatre tâches contrôlées.

UEImpact indirect : les intégrateurs robotiques européens pourraient bénéficier d'une réduction drastique des coûts de collecte de données si le framework est libéré en open-source, sans acteur EU impliqué à ce stade.

IA physiqueOpinion
1 source
Système LiDAR-SLAM décentralisé à optimalité certifiée pour l'optimisation de graphe de poses
1172arXiv cs.RO 

Système LiDAR-SLAM décentralisé à optimalité certifiée pour l'optimisation de graphe de poses

Des chercheurs ont publié sur arXiv (référence 2605.25051v1) un système de LiDAR-SLAM décentralisé conçu pour les missions multi-robots collaboratives, intégrant pour la première fois un backend d'optimisation de graphe de poses (PGO) certifié optimal. Le coeur de l'approche repose sur l'algorithme de descente de coordonnées par blocs riemanniens (RBCD), qui garantit mathématiquement la convergence vers une solution globalement cohérente sans nécessiter d'estimation initiale précise. Contrairement aux méthodes existantes qui s'arrêtent à des optima locaux ou n'alignent les repères qu'une seule fois en début de mission, ce système maintient une cohérence globale de trajectoire tout au long de la mission. Les expériences rapportées montrent une amélioration de la RMSE de trajectoire allant jusqu'à 48,9 % par rapport à DiSCo-SLAM, référence actuelle pour les architectures décentralisées. L'enjeu est substantiel pour les intégrateurs de flottes robotiques autonomes. Le SLAM multi-robot est un pilier des missions en environnements sans GPS : entrepôts, mines souterraines, bâtiments industriels, zones sinistrées. Le problème central est la cohérence globale : quand plusieurs robots fusionnent leurs cartes locales construites indépendamment, les dérives cumulées et les ambiguïtés géométriques (couloirs symétriques, espaces ouverts) conduisent souvent à des incohérences non détectées. Que l'optimisation soit "certifiablement optimale" signifie qu'on peut prouver formellement l'optimalité de la solution, ce que les approches à recherche locale comme iSAM2 ou DCS ne peuvent pas garantir. Pour un COO déployant des flottes d'AMR en logistique ou un intégrateur en robotique d'inspection, c'est une promesse de robustesse qualitativement différente des solutions actuelles. Le SLAM décentralisé multi-robot est un domaine de recherche actif depuis une décennie. DiSCo-SLAM, Kimera-Multi et LAMP 2.0 représentent les références récentes, mais tous s'appuient sur des heuristiques d'optimisation locale. L'introduction du RBCD dans ce contexte transpose des techniques issues de l'optimisation riemannienne vers la robotique de terrain. À ce stade, le travail reste un preprint expérimental sans déploiement industriel annoncé ni partenaire commercial identifié. Les prochaines étapes naturelles seraient une validation sur des jeux de données publics de référence comme MulRan ou KITTI, et des tests en conditions réelles avec des robots hétérogènes.

RecherchePaper
1 source
Elevator-LIO : odométrie LiDAR-inertielle robuste pour la navigation multi-étages dans les ascenseurs
1173arXiv cs.RO 

Elevator-LIO : odométrie LiDAR-inertielle robuste pour la navigation multi-étages dans les ascenseurs

Une équipe de chercheurs a publié sur arXiv (arXiv:2605.24495) Elevator-LIO, un framework d'odométrie LiDAR-inertielle conçu pour maintenir la localisation continue d'un robot pendant ses déplacements en ascenseur. Le système repose sur un modèle d'estimation d'état découplé qui modélise séparément le mouvement du robot par rapport à la cabine et le mouvement de la cabine elle-même, intégré dans un filtre de Kalman itératif à erreur d'état dépendant du mode. Un gestionnaire de mode détecte l'entrée et la sortie de l'ascenseur via des statistiques de télémétrie LiDAR, puis déclenche des mises à jour de vitesse nulle et d'accélération nulle lorsque la cabine est à l'arrêt afin de supprimer la dérive verticale accumulée. Une stratégie de sous-échantillonnage voxel adaptatif maintient un nombre stable de points efficaces lors des changements d'échelle environnementale. Les tests portent sur 20 séquences réelles comprenant 79 trajets en ascenseur, couvrant des espaces de grande dimension, de longs déplacements verticaux, des piétons en mouvement et des réflexions sur miroirs. L'erreur de hauteur terminale reste inférieure à 1 cm dans 17 séquences sur 20. Ce résultat est significatif pour les déploiements de robots mobiles autonomes (AMR) en environnement multi-étages, un cas d'usage que les systèmes LIO conventionnels gèrent mal : les accélérations non inertielles d'un ascenseur saturent le filtre IMU standard et provoquent des dérives cumulatives qui corrompent la carte et la pose estimée. Elevator-LIO démontre qu'une modélisation explicite du référentiel non inertiel, plutôt qu'un post-traitement correctif, permet une localisation robuste sans recalage a posteriori. Les auteurs indiquent également que la méthode reste compétitive sur les benchmarks Hilti 2022 et 2023, ce qui suggère qu'elle n'est pas spécialisée au détriment des scénarios intérieurs standards. La navigation multi-étages est depuis plusieurs années l'un des verrous opérationnels majeurs pour les robots de livraison et de service en milieu tertiaire ou hospitalier. Des acteurs comme Boston Dynamics (Spot), Keenon Robotics ou Savioke affrontent ce problème avec des solutions ad hoc souvent dépendantes d'infrastructure. Dans l'écosystème européen, des entreprises comme Enchanted Tools (Miroki) ou Exotec opèrent principalement en environnement mono-niveau, mais la pression vers des déploiements bâtimentaires complets s'intensifie. Elevator-LIO est pour l'instant un prototype académique sans déploiement annoncé, mais son intégration dans des stacks LIO open-source comme FAST-LIO2 ou LIO-SAM serait techniquement directe, ce qui pourrait accélérer l'adoption industrielle.

UELes acteurs français comme Enchanted Tools (Miroki) et Exotec, qui opèrent aujourd'hui principalement en environnement mono-niveau, pourraient s'appuyer sur cette technologie pour étendre leurs déploiements robotiques aux bâtiments multi-étages sans dépendre d'infrastructures dédiées.

RecherchePaper
1 source
InvariantCloud : un framework de nuage de points globalement invariant et indexé de manière unique pour le suivi robuste de pose tactile à 6 DOF
1174arXiv cs.RO 

InvariantCloud : un framework de nuage de points globalement invariant et indexé de manière unique pour le suivi robuste de pose tactile à 6 DOF

Une équipe de chercheurs a publié le 26 mai 2026 sur arXiv (arXiv:2605.25216) un framework de suivi de pose tactile 6-DoF baptisé InvariantCloud, conçu pour les capteurs tactiles visuels, ces dispositifs équipés d'une caméra interne qui observe une surface gel texturée en contact avec un objet. L'approche repose sur l'exploitation de la constellation globale des marqueurs de surface du capteur comme référentiel invariant : plutôt que de suivre localement les déplacements relatifs des marqueurs, InvariantCloud effectue un recalage de nuage de points globalement invariant en une seule passe (one-shot), ce qui supprime l'accumulation de dérive caractéristique des méthodes séquentielles. Les expérimentations montrent des performances supérieures aux benchmarks existants sur la précision du suivi en lacet (rotation autour de l'axe Z) et sur la répétabilité de la relocalisation dans des tâches longues durée. Le problème de la dérive cumulative dans l'estimation du lacet est notoire dans la littérature sur la perception tactile : les approches incrémentales perdent leur référence absolue sur les longues séquences, rendant les manipulations fines peu fiables. InvariantCloud adresse directement ce point aveugle en ancrant chaque estimation à une référence globale plutôt qu'à l'état précédent, ce qui le rend particulièrement pertinent pour les tâches de manipulation précise en robotique industrielle ou dans les bras téléopérés. La convergence actuelle entre l'apprentissage par imitation (imitation learning) et les modèles vision-langage-action (VLA) crée une demande accrue pour une perception tactile haute fidélité fiable sur des horizons longs, domaine où ce travail apporte une contribution mesurable. Les capteurs tactiles visuels de référence -- GelSight, DIGIT, Soft-Bubble -- souffrent tous de limitations similaires sur l'estimation du lacet, un problème ouvert depuis plusieurs années. InvariantCloud s'insère dans un écosystème de recherche actif incluant des travaux récents comme TactiFind ou DenseTact, avec lesquels il se compare expérimentalement. Il s'agit à ce stade d'un preprint non encore soumis à peer review, ce qui invite à la prudence sur la généralisation des résultats : les conditions expérimentales précises, la diversité des objets testés et les capteurs supportés ne sont pas détaillés dans le résumé disponible. Des travaux d'intégration dans des pipelines de manipulation open-source constitueraient une prochaine étape naturelle pour valider l'applicabilité industrielle.

RecherchePaper
1 source
Agentic-VLA : adaptation en ligne efficace pour les modèles vision-langage-action
1175arXiv cs.RO 

Agentic-VLA : adaptation en ligne efficace pour les modèles vision-langage-action

Une équipe de chercheurs présente Agentic-VLA, un framework d'entraînement agentique pour modèles Vision-Langage-Action (VLA), publié sur arXiv (2605.22896) fin mai 2026. L'approche repose sur trois mécanismes : une synthèse adaptative de récompenses qui génère dynamiquement des fonctions de récompense en décomposant les tâches complexes en sous-objectifs progressifs pour un apprentissage par curriculum ; une exploration guidée par le langage via un modèle critique qui structure la recherche de politique plutôt que de procéder par échantillonnage aléatoire ; et une mémoire d'expériences qui stocke des poids de politique pour amorcer l'adaptation à de nouvelles tâches similaires. Évalué sur le benchmark LIBERO, le framework affiche +12,3% sur les tâches longue portée, +28,5% en apprentissage one-shot, et un transfert inter-tâches passant de 0% à 31,2% sans démonstrations spécifiques aux tâches cibles. La convergence est 2,4 fois plus rapide que les méthodes d'adaptation en ligne existantes. Les résultats tiennent également sur RoboTwin 2.0, benchmark dual-bras, y compris en mode difficile randomisé. Ces performances s'attaquent à deux verrous bien identifiés du déploiement industriel des VLA : la mauvaise généralisation aux environnements non vus et la dépendance aux larges jeux de démonstrations coûteuses à collecter. Le chiffre de 31,2% de transfert sans démonstration est le plus significatif : il suggère qu'un système VLA pourrait s'adapter à une tâche inédite sans données étiquetées supplémentaires, cassant le cycle coûteux de collecte-retrain-validation. Le gain one-shot (+28,5%) est directement exploitable pour les intégrateurs robotiques qui opèrent dans des environnements variés avec peu de données disponibles. Si ces chiffres se confirment hors simulation, Agentic-VLA réduit le coût marginal de l'adaptation d'un robot à un nouveau cas d'usage, ce qui est le vrai goulot d'étranglement de la robotisation flexible. Les VLA sont des modèles combinant un encodeur vision-langage (de type LLaVA ou similaire) et un générateur d'actions motrices. Les références actuelles sont π0 de Physical Intelligence, OpenVLA et Octo. Leur talon d'Achille commun est le demo-to-reality gap : les politiques entraînées sur démonstrations se dégradent rapidement en conditions opérationnelles réelles. Agentic-VLA répond par l'adaptation en ligne continue plutôt que par pré-entraînement massif, ce qui est une orientation différente des approches à grandes données comme π0. L'article reste un preprint non relu par les pairs, sans validation sur robot physique rapportée, ce qui limite la portée immédiate des conclusions. La prochaine étape naturelle est une démonstration hardware en environnement non contrôlé.

💬 Le chiffre qui m'intéresse, c'est le 31,2% de transfert sans démonstration. Si ça tient hors simulation, ça règle le vrai problème de la robotique flexible : tu n'as plus à reconstruire un dataset complet pour chaque nouveau cas d'usage, le robot s'adapte. Reste à voir sur du vrai hardware, mais sur le papier c'est le bon angle d'attaque.

IA physiqueOpinion
1 source
SCRIPT : politique de diffusion extensible, entraînement multi-étapes, contrôle physique d'humanoïdes par le langage
1176arXiv cs.RO 

SCRIPT : politique de diffusion extensible, entraînement multi-étapes, contrôle physique d'humanoïdes par le langage

Une équipe de chercheurs a publié le 28 mai 2026 sur arXiv (2605.22894) SCRIPT, un système de contrôle de robots humanoïdes en simulation physique piloté par des instructions en langage naturel. L'architecture centrale, baptisée JAST-DiT (Joint Action-State-Text Diffusion Transformer), représente simultanément les actions du robot, ses états physiques et les commandes textuelles sous forme de flux de tokens distincts, reliés par un mécanisme d'attention conjointe. Cette conception permet une interaction directe entre la sémantique linguistique et la dynamique de contrôle, sans passer par une couche de traduction intermédiaire. Pour stabiliser le contrôle sur des horizons longs, SCRIPT intègre un conditionnement d'historique non linéaire qui conserve un contexte récent dense tout en échantillonnant des repères de plus en plus épars dans l'historique à long terme. Le pré-entraînement par imitation supervisée est ensuite renforcé par une phase RLHR (Reinforcement Learning with Hybrid Rewards), qui injecte un bruit apprenable dans le processus de diffusion pour améliorer la qualité de mouvement et le suivi d'instruction en boucle fermée. Les évaluations quantitatives montrent que SCRIPT dépasse les méthodes antérieures sur trois métriques : alignement textuel, qualité de mouvement et réalisme physique. Les études de passage à l'échelle sur le dataset MotionMillion, qui totalise 1 200 heures de données de mouvement, confirment une progression continue des performances à mesure que le modèle grossit. L'intérêt technique de SCRIPT est de s'attaquer frontalement à la tension structurelle du domaine : entre expressivité sémantique (un humanoïde qui comprend des ordres variés) et faisabilité physique (un humanoïde qui ne tombe pas). Les approches existantes sacrifient généralement l'un pour l'autre. Le fait que SCRIPT améliore simultanément les trois métriques en boucle fermée est notable, car les simulations en boucle ouverte masquent souvent les dérives accumulées. La démonstration de scalabilité sur 1 200 heures de données suggère que l'architecture n'est pas un artefact de surapprentissage sur un corpus réduit, ce qui est un signal positif pour quiconque envisage un pré-entraînement à grande échelle de fondations motrices. Pour les intégrateurs et les équipes R&D, cela valide partiellement l'hypothèse selon laquelle les politiques de diffusion à grande échelle peuvent absorber la variabilité des commandes en langage naturel sans sacrifier la stabilité physique. Ce travail s'inscrit dans la vague des VLA (Vision-Language-Action models) appliqués aux humanoïdes en simulation physique, un axe de recherche très actif depuis 2024. Il entre en concurrence directe avec des approches comme PHC, UniHSI ou les variantes récentes de contrôle par diffusion de Nvidia (GR00T N2), qui ciblent des problèmes similaires de contrôle conditionné par le langage. SCRIPT se distingue par sa composante RLHR post-entraînement et son protocole de scaling explicite, deux éléments souvent absents des publications académiques concurrentes. Il s'agit ici d'une annonce de recherche préprint, pas d'un produit déployé : le code sera rendu public mais aucun calendrier de transfert vers du matériel réel n'est mentionné. Les prochaines étapes naturelles seront le transfert sim-to-real et l'évaluation sur des plateformes physiques comme Unitree H1 ou Figure 03.

💬 Tout le monde fait du contrôle d'humanoïde en simu physique en ce moment, mais SCRIPT se distingue par quelque chose de rare en académique : une phase de renforcement post-entraînement documentée. Sur 1 200 heures de données, les perfs progressent sans s'effondrer, ce qui élimine le scénario "artefact de sur-entraînement". Maintenant faut juste que ça tienne sur un vrai robot, et là c'est une autre histoire.

IA physiqueOpinion
1 source
LACY : cycle langage-action à base de modèle vision-langage pour la manipulation robotique auto-améliorante
1177arXiv cs.RO 

LACY : cycle langage-action à base de modèle vision-langage pour la manipulation robotique auto-améliorante

Des chercheurs ont publié sur arXiv (arXiv:2511.02239) LACY, un cadre unifié reposant sur un modèle vision-langage (VLM) qui introduit une cartographie bidirectionnelle entre instructions textuelles et actions robotiques. Contrairement aux architectures VLA classiques qui se limitent à traduire du langage vers des actions (L2A), LACY entraîne simultanément trois tâches complémentaires : la génération d'actions paramétrées à partir d'une instruction (L2A), l'explication en langage naturel d'une action observée (A2L), et la vérification de cohérence sémantique entre deux descriptions (L2C). Le système a été évalué sur des tâches de pick-and-place en simulation et en environnement réel, où il améliore le taux de succès de 56,46 % en moyenne par rapport aux baselines. Un mécanisme d'augmentation active cible les cas à faible confiance pour générer et filtrer automatiquement de nouvelles données d'entraînement, sans annotation humaine supplémentaire. L'intérêt principal de LACY pour les intégrateurs et les équipes R&D tient à sa boucle auto-améliorante : le robot ne se contente plus d'exécuter, il peut rationaliser ses propres gestes, ce qui enrichit les représentations internes et réduit la dépendance aux datasets labellisés manuellement. La capacité A2L constitue une avancée pour la supervision et le débogage en production, car un système capable d'expliquer ses actions facilite la validation humaine. Sur le plan de la généralisation, le signal L2C fonctionne comme un filtre de cohérence sémantique qui élimine les augmentations bruyantes, un problème récurrent dans l'entraînement sim-to-real. Cela dit, les expériences restent limitées au pick-and-place, tâche canonique mais peu représentative de la complexité des workflows industriels réels. LACY s'inscrit dans une vague de travaux VLA post-RT-2 qui cherchent à dépasser le paradigme unidirectionnel : Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA explorent des espaces proches mais n'intègrent pas de branche A2L explicite. La page projet (vla2026.github.io/LACY) laisse entrevoir des extensions vers des tâches de manipulation plus complexes. L'absence de données sur les temps de cycle, les charges utiles ou les plateformes matérielles testées rend difficile toute évaluation directe pour un déploiement industriel, et le saut de 56,46 % mérite d'être lu avec prudence tant que les conditions expérimentales complètes ne sont pas publiées.

💬 La boucle auto-améliorante, c'est le vrai truc ici : le robot cible ses propres points faibles et génère de nouvelles données sans qu'on ait à labelliser quoi que ce soit. Le +56% de succès sonne bien, bon, il faut lire les conditions expérimentales complètes avant de s'emballer. Et la capacité A2L (le robot qui explique ses propres gestes en langage naturel) va vraiment servir en prod, pas juste dans les démos.

IA physiqueOpinion
1 source
Any2Any : transfert efficace entre plateformes pour le suivi corporel complet de robots humanoïdes
1178arXiv cs.RO 

Any2Any : transfert efficace entre plateformes pour le suivi corporel complet de robots humanoïdes

Une équipe de chercheurs publie sur arXiv (réf. 2605.23733) une méthode baptisée Any2Any pour transférer des modèles de whole-body tracking (WBT) entre différentes plateformes humanoïdes sans réentraînement complet. Le WBT désigne la capacité d'un robot humanoïde à reproduire fidèlement des mouvements complexes sur l'ensemble du corps, et constitue aujourd'hui un composant clé des pipelines de contrôle humanoïde. Any2Any procède en deux étapes: un alignement cinématique entre robot source et robot cible, puis une adaptation dynamique par fine-tuning paramétrique léger (PEFT) appliqué aux seuls modules sensibles à la dynamique du mouvement. Résultat annoncé: le transfert de modèles Sonic préentraînés sur le Unitree G1 vers deux robots de LimX Robotics, le LimX Oli et le LimX Luna, en mobilisant seulement 1% des données et du calcul nécessaires à un entraînement complet from scratch, avec des performances de suivi comparables ou supérieures. Si ces chiffres se confirment en conditions réelles, Any2Any s'attaque à l'un des principaux verrous économiques du marché humanoïde: le coût de redéveloppement du contrôle moteur bas-niveau pour chaque nouvelle plateforme. Entraîner un modèle WBT from scratch mobilise aujourd'hui d'importants volumes de données simulées et de GPU-heures, ce qui pénalise les robots à faible volume ou en phase de prototype. Un ratio de 1% de ressources représente, si validé, un changement structurel dans l'économie du développement robotique. Cette approche conforte également l'hypothèse d'un "foundation model" pour le contrôle moteur humanoïde: un modèle préentraîné sur une plateforme bien documentée pourrait devenir un socle réutilisable par des intégrateurs tiers, réduisant la barrière à l'entrée pour les acteurs disposant de ressources computationnelles limitées. Le WBT humanoïde concentre une concurrence intense, avec les travaux de Physical Intelligence autour de Pi-0, les modèles GR00T N2 de NVIDIA, et les pipelines internes de Figure AI et Agility Robotics. Unitree, acteur chinois prolixe en publications open-source, fournit son G1 comme base de préentraînement dans un nombre croissant de travaux académiques. LimX Robotics, moins médiatisé, développe humanoïdes et quadrupèdes et joue ici le rôle de cible de validation. Any2Any reste cependant un preprint arXiv sans validation industrielle publiée, et les démonstrations vidéo sélectionnées dans ce type de soumission ne reflètent pas nécessairement les performances moyennes en environnement non contrôlé. Les prochaines étapes logiques seraient une validation sur des tâches de manipulation en milieu réel et une intégration dans des pipelines open-source existants.

💬 1% des données et du calcul pour transférer un modèle de contrôle moteur entre deux humanoïdes différents, si ça se confirme hors conditions contrôlées, c'est l'un des vrais verrous du secteur qui tombe. Le coût de réentraînement par plateforme pénalise tous les acteurs qui n'ont pas le budget de Unitree ou NVIDIA depuis des années. C'est un preprint, donc on verra, mais l'argument économique est bien posé.

IA physiquePaper
1 source
TactileReflex : contrôle réflexe vision-tactile piloté par les statistiques du bruit pour la manipulation sensible à la force
1179arXiv cs.RO 

TactileReflex : contrôle réflexe vision-tactile piloté par les statistiques du bruit pour la manipulation sensible à la force

TactileReflex est un contrôleur en boucle fermée à trois canaux pour la manipulation de contenants déformables fragiles, comme des gobelets plastiques remplis de liquide. Publié sur arXiv (2605.23568), il utilise deux capteurs visuo-tactiles pour extraire, à environ 12 Hz, trois métriques image : l'intensité de cisaillement (Sy), l'intensité de contact (Fn) et le centre de pression (C), pilotant en parallèle la suppression du glissement, le relâchement adaptatif au poids et la protection contre les surcharges de force. La calibration est entièrement automatique : les seuils de contrôle sont dérivés du bruit intrinsèque des capteurs via un court protocole de maintien statique et déchargement, sans modèles physiques spécifiques aux matériaux ni réglage manuel par essais-erreurs. Les résultats sont nets : en tests d'ablation sur déformation de contenant, le système complet atteint 5/5 succès contre au maximum 1/5 pour les configurations partielles ; sur une tâche de versement dynamique, les approches à effort fixe échouent 10 fois sur 10, contre 9/10 pour TactileReflex sur deux volumes d'eau distincts. La difficulté de saisir un gobelet plastique tient à une marge de force extrêmement étroite : trop peu de pression entraîne le glissement, trop la déforme irrémédiablement. C'est un angle mort récurrent des politiques VLA (vision-language-action) et de la téléopération sans retour haptique, qui opèrent à l'aveugle face aux variations de rigidité et de poids des objets manipulés. TactileReflex est présenté comme une couche de sécurité "plug-and-play" pouvant s'intercaler sous tout pipeline de manipulation haut niveau. L'absence de calibration externe et l'interprétabilité du contrôleur réduisent le coût d'intégration, un argument concret pour les intégrateurs déployant des bras robotiques polyvalents sur des lignes incluant des produits fragiles ou déformables. Les capteurs visuo-tactiles de type GelSight ou DIGIT permettent depuis plusieurs années d'imager le contact à l'échelle millimétrique, mais leur intégration dans des boucles de contrôle temps réel avec des seuils fiables reste un défi ouvert. Dans la course actuelle à la manipulation généraliste, Figure AI, Physical Intelligence (Pi-0) et Google DeepMind (RT-2) travaillent principalement avec des objets rigides aux marges de force confortables, laissant la manipulation déformable en marge des grandes démonstrations. L'article reste un preprint non évalué par les pairs, sans affiliation institutionnelle clairement identifiée ni partenaire industriel ni timeline de déploiement annoncés. Sa compatibilité revendiquée avec les pipelines VLA et la téléopération VR ouvre néanmoins une voie vers les frameworks de collecte de données robotiques, un terrain où des acteurs européens comme Enchanted Tools (France) sont actifs.

RecherchePaper
1 source
Planification de mouvement vérifiée dans l'espace des tâches sous contraintes articulaires
1180arXiv cs.RO 

Planification de mouvement vérifiée dans l'espace des tâches sous contraintes articulaires

Une équipe de chercheurs présente dans un preprint arXiv (2605.22991, mai 2026) une méthode pour certifier formellement la planification de mouvement des bras manipulateurs face aux limites articulaires. Les planificateurs réactifs dans l'espace cartésien comme Bug2 opèrent avec des pas fixes sans tenir compte des butées angulaires ; lorsque la jacobienne est mal conditionnée, même un petit déplacement cartésien peut forcer un mouvement articulaire hors limites, provoquant une dérive de suivi et l'échec d'atteinte de l'objectif. La solution calcule, à chaque pas, le plus grand hyperrectangle cartésien certifiablement atteignable via une approximation polynomiale du second ordre de la cinématique inverse et la procédure S, qui forment un programme semi-défini positif (SDP) résolu par bisection en moins d'une milliseconde ; ce certificat est intégré à Bug2 pour adapter dynamiquement le pas au conditionnement cinématique local. Sur 94 scénarios adversariaux couvrant six configurations de limites articulaires, le planificateur SOS-vérifié atteint zéro violation articulaire et 100 % de taux de succès, contre 6 à 11 % de violations et jusqu'à 18 % d'échecs pour le Bug2 standard. Ce résultat comble une lacune bien connue : la planification dans l'espace de travail et la gestion des contraintes articulaires sont traitées séparément dans la plupart des architectures, ce qui génère des comportements indésirables près des singularités cinématiques. La résolution sous-milliseconde rend le module intégrable dans des boucles de contrôle temps réel, le positionnant comme couche de sécurité potentielle au-dessus des planificateurs existants sur des bras industriels comme le KUKA iiwa, l'Universal Robots UR10 ou le Franka Emika Panda. Bug2 est un algorithme réactif classique des années 1980-90, robuste mais agnostique aux propriétés cinématiques du robot, dont l'adaptation aux manipulateurs modernes multi-DDL a toujours souffert de ce manque de cohérence entre espaces cartésien et articulaire. L'usage de la procédure S et des programmes semi-définis pour certifier des atteignabilités locales s'inscrit dans une tendance plus large d'intégration de la vérification formelle (barrières de contrôle, Lyapunov, SOS) dans la planification de mouvement. Ce travail reste un preprint de recherche sans implémentation open-source ni déploiement industriel annoncé ; la validation sur robots physiques multi-DDL en conditions dynamiques réelles demeure l'étape manquante avant toute adoption industrielle.

UEKUKA (Allemagne) et Universal Robots (Danemark) sont cités comme cibles d'intégration directe, ce qui positionne les constructeurs de bras industriels européens comme premiers bénéficiaires potentiels si une implémentation open-source est publiée.

RecherchePaper
1 source
USIM et U0 : un jeu de données et un modèle vision-langage-action pour robots sous-marins polyvalents
1181arXiv cs.RO 

USIM et U0 : un jeu de données et un modèle vision-langage-action pour robots sous-marins polyvalents

Une équipe de chercheurs a publié USIM et U0, un dataset de simulation et un modèle vision-langage-action (VLA) conçus pour doter les robots sous-marins d'une intelligence généraliste multi-tâches. Le dataset USIM regroupe plus de 905 000 images issues de 2 275 trajectoires simulées, soit environ 25 heures d'interactions enregistrées sur le robot BlueROV2, un ROV à six degrés de liberté largement utilisé en recherche. Le modèle U0, entraîné sur ces données, est capable d'exécuter des tâches allant de la navigation par évitement d'obstacles à la manipulation mobile en trois dimensions, le tout piloté par des instructions en langage naturel. En évaluation, U0 atteint un taux de succès global de 43,1 % sur des tâches en ligne, soit une amélioration de 5,5 points de pourcentage par rapport aux meilleures baselines existantes (plafonnées à 37,6 %), avec des performances particulièrement élevées en navigation pure, où le taux monte à 87,5 %. L'erreur moyenne de prédiction d'action hors ligne est réduite à 0,0359. Ces résultats ont une portée directe pour les intégrateurs et opérateurs de systèmes sous-marins autonomes : ils démontrent qu'un modèle généraliste entraîné sur données synthétiques peut effectivement franchir le sim-to-real gap dans un environnement aussi contraignant que le milieu aquatique, où la visibilité est réduite, les courants perturbent la stabilité et les repères visuels sont ambigus. Pour le secteur, c'est une validation de l'approche VLA à l'échelle sous-marine, un domaine où la quasi-totalité des travaux antérieurs s'était cantonnée à des méthodes spécialisées tâche par tâche. L'intégration d'un module de perception convolution-attention (CAP) avec estimation de pose cible comme tâche auxiliaire renforce explicitement la conscience spatiale du modèle, ce qui est critique pour la manipulation en 3D dans des scènes non structurées. Jusqu'ici, la robotique sous-marine autonome reposait majoritairement sur des systèmes de contrôle classiques ou des réseaux de neurones entraînés sur des jeux de données tâche-spécifiques, souvent collectés en conditions réelles à coût élevé. L'approche USIM mise sur la synthèse de données simulées à grande échelle pour contourner ce goulot d'étranglement, une stratégie déjà validée en robotique terrestre par des frameworks comme IsaacGym ou Genesis. Du côté des concurrents directs, les travaux sur les robots sous-marins généralistes restent rares : les projets OpenDive ou les plateformes de Woods Hole Oceanographic Institution n'ont pas encore publié d'équivalent VLA. Aucun acteur européen n'est cité dans cet article, bien que des entreprises comme ECA Group (France) ou Saab Seaeye (Suède) opèrent sur le marché ROV industriel. Le papier, disponible sur arXiv (2510.07869v4), pose un cadre d'évaluation standardisé incluant métriques hors ligne et exécution en ligne, ce qui facilitera les comparaisons futures. Les prochaines étapes annoncées concernent le transfert vers des plateformes physiques et l'extension du dataset à des scénarios plus complexes.

UEImpact indirect potentiel pour des acteurs européens du ROV industriel comme ECA Group (France) ou Saab Seaeye (Suède), mais aucun partenariat ni déploiement européen n'est annoncé dans ce travail de recherche.

💬 43 % de succès global, bon, c'est le début. Mais 87 % en navigation pure et zéro données réelles collectées en mer, c'est la preuve que la stratégie simulation-à-grande-échelle fonctionne sous l'eau exactement comme en terrestre : plus besoin d'envoyer un ROV filmer des épaves pendant des mois pour constituer un dataset. ECA Group a un truc sérieux à surveiller.

IA physiqueOpinion
1 source
Planification de mouvements par logique temporelle de signaux via des graphes d'ensembles convexes
1182arXiv cs.RO 

Planification de mouvements par logique temporelle de signaux via des graphes d'ensembles convexes

Une équipe de chercheurs a publié sur arXiv (arXiv:2605.23240) un cadre de planification de trajectoires en temps continu combinant la logique temporelle de signaux (STL, Signal Temporal Logic) et les graphes d'ensembles convexes (GCS, Graphs of Convex Sets). L'objectif est de générer des trajectoires lisses satisfaisant à la fois des contraintes logico-temporelles de haut niveau, par exemple "atteindre la zone A entre t=2 s et t=5 s tout en évitant B", et des limites cinématiques de bas niveau comme les bornes de vitesse. La méthode encode d'abord la spécification STL sous forme d'automate temporisé, le couple à une décomposition convexe de l'espace de configuration, puis reformule l'ensemble comme un problème de plus court chemin sur un GCS. La solution produit des trajectoires en B-splines de Bézier, validées expérimentalement sur un quadrirotor 3D, un humanoïde à 30 degrés de liberté (DoF) et un bras industriel UR-3 testé en conditions matérielles réelles. La contribution principale est de rendre tractable un problème historiquement difficile. Les approches classiques de planification sous STL s'appuient sur la programmation mixte entière (MILP), dont la complexité est exponentielle avec la dimension de l'espace ou la longueur de l'horizon temporel. Ce travail démontre qu'une fois l'automate temporisé et la décomposition convexe fixés, la relaxation convexe évolue polynomialement avec la dimension de l'espace de configuration et le degré des splines de Bézier, ce qui constitue une garantie de passage à l'échelle concrète. Le test sur un humanoïde à 30 DoF est significatif : c'est précisément la gamme de systèmes où les planificateurs STL classiques échouent. La validation hardware sur UR-3 confirme que les trajectoires produites sont directement exécutables, sans post-traitement supplémentaire. Le cadre GCS a été introduit vers 2022 par Marcucci, Tedrake et leurs collaborateurs au MIT comme outil d'optimisation de trajectoires dans des espaces fragmentés en régions convexes. Ce papier étend l'approche aux spécifications temporelles contraintes, une jonction entre vérification formelle et robotique opérationnelle. Les approches concurrentes incluent la MPC non linéaire sous STL et les planificateurs par échantillonnage avec satisfaction de contraintes temporelles. L'article reste un preprint non relu par les pairs ; les benchmarks présentés couvrent essentiellement des espaces de basse à moyenne dimension, et l'extension aux environnements dynamiques ou à la replanification en temps réel n'est pas encore abordée.

UELa validation matérielle sur bras UR-3 (Universal Robots, Danemark/UE) offre une pertinence indirecte pour les équipes R&D européennes en planification de trajectoires, mais la recherche est conduite au MIT sans implication directe d'acteurs français ou européens.

RecherchePaper
1 source
Apprendre sans perdre son identité : l'évolution des capacités des agents incarnés
1183arXiv cs.RO 

Apprendre sans perdre son identité : l'évolution des capacités des agents incarnés

Des chercheurs ont publié sur arXiv (arXiv:2604.07799) un cadre baptisé "capability-centric evolution paradigm" qui permet aux agents robotiques incarnés d'acquérir continuellement de nouvelles compétences sans modifier leur architecture centrale. Le concept pivot est celui des Embodied Capability Modules (ECMs): des unités modulaires et versionnées de fonctionnalité, qui peuvent être apprises, affinées et composées indépendamment de l'identité cognitive de l'agent. Le processus fonctionne en boucle fermée -- exécution de tâche, collecte d'expérience, raffinement du modèle, mise à jour du module -- le tout supervisé par une couche d'exécution (runtime layer) appliquant en permanence les contraintes de sécurité. En simulation, le taux de réussite des tâches est passé de 32,4% à 91,3% en 20 itérations, avec zéro dérive de politique et zéro violation de sécurité signalées. Le problème adressé est concret: dans les systèmes robotiques à longue durée de vie (entrepôts, manufactures, logistique hospitalière), chaque mise à jour du modèle risque de dégrader des comportements précédemment validés -- un frein majeur au déploiement à l'échelle. En découplant l'identité de l'agent de l'évolution de ses capacités, l'approche ECM ouvre la voie à des mises à jour incrémentales et auditables sans régression. Les performances annoncées surpassent SPiRL et SkiMo, deux méthodes de référence en apprentissage de compétences. Il faut cependant souligner que l'ensemble des résultats est obtenu en simulation uniquement: le franchissement du sim-to-real gap, défi central de la robotique incarnée, n'est pas démontré dans ce travail. Cette recherche s'inscrit dans un courant plus large autour du lifelong learning et de la modularité en robotique, en réponse directe aux limites du fine-tuning de politique classique et du prompt engineering, qui induisent ce que les auteurs nomment une "instabilité d'identité" dans les systèmes durables. Elle dialogue avec les travaux sur les VLA (Vision-Language-Action models) comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, où la question de la mise à jour continue sans régression est également ouverte. Pour les intégrateurs et les décideurs industriels, la prochaine étape déterminante sera la validation sur hardware réel, en environnements non contrôlés, avant toute considération de déploiement.

RecherchePaper
1 source
Mémoire spatiale pour la manipulation hors champ de vision dans les modèles VLA
1184arXiv cs.RO 

Mémoire spatiale pour la manipulation hors champ de vision dans les modèles VLA

Une équipe de chercheurs a publié en mai 2026 (arXiv:2605.22283) SOMA, un framework de mémoire spatiale conçu pour résoudre un angle mort structurel des modèles Vision-Language-Action (VLA) : leur incapacité à manipuler des objets hors du champ visuel. Le système s'appuie sur une caméra de tête mobile pour acquérir des observations multi-vues, qu'il agrège en une représentation spatiale et sémantique persistante. SOMA repose sur trois modules : une construction de mémoire spatiale par balayage angulaire, un raffinement dynamique pour maintenir la cohérence globale au fil du temps, et une récupération contextuelle qui active les indices spatiaux pertinents à l'instruction en cours d'exécution. Les chercheurs l'ont évalué sur cinq tâches réelles de manipulation hors champ, incluant des scénarios multi-étapes et à deux bras où les objets cibles sont initialement invisibles. Les résultats montrent une amélioration du taux de succès, une localisation plus rapide des cibles, moins de recherche de point de vue, et un comportement proche du "one-shot grasping" en conditions d'observabilité partielle. Des expériences complémentaires sur les benchmarks RoboCasa GR1 et SimplerEnv confirment l'efficacité du design mémoire en contexte pleinement observable. Ce travail s'attaque à un verrou souvent ignoré dans la littérature VLA : l'hypothèse implicite que tous les objets pertinents sont dans le champ de vision au moment de l'action. Cette hypothèse rend les systèmes actuels fragiles dès qu'on sort des configurations de démonstration. Le fait que SOMA induise des comportements qualitativement différents, et non de simples gains de score, est notable : une localisation en quasi-une-passe sous observabilité partielle est un résultat concret pour tout intégrateur robotique travaillant en environnement non structuré. Cela suggère que la mémoire spatiale persistante peut s'ajouter comme couche modulaire à un VLA existant, sans refonte complète de l'architecture, ce qui abaisse le seuil d'adoption. Les VLAs ont émergé comme approche dominante en robotique de manipulation depuis fin 2023, portés par Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, et OpenVLA issu de Stanford et Berkeley. Ces modèles héritent de l'architecture vision-langage mais restent fondamentalement réactifs : ils traitent un flux visuel instantané sans mémoire de scène. Des travaux parallèles sur la mémoire épisodique existent en navigation mobile (méthodes SLAM-like, NeRF tactique), mais leur intégration dans des pipelines VLA de manipulation reste peu explorée. SOMA comble ce gap sur une plateforme à bras réel. Le code n'est pas encore disponible au moment de la publication, ce qui limite la reproductibilité immédiate ; son déploiement sur d'autres plateformes humanoïdes, au-delà de GR1, constituera l'étape de validation industrielle clé.

RechercheOpinion
1 source
Pre-VLA : vérification préemptive à l'exécution pour fiabiliser les déroulements de modèles VLA et du monde
1185arXiv cs.RO 

Pre-VLA : vérification préemptive à l'exécution pour fiabiliser les déroulements de modèles VLA et du monde

Une équipe de chercheurs a soumis sur arXiv (réf. 2605.22446, mai 2026) Pre-VLA, une architecture de vérification préemptive conçue pour filtrer les actions de mauvaise qualité générées par les modèles VLA (Vision-Language-Action) avant qu'elles ne soient exécutées physiquement ou simulées dans un world model génératif. Concrètement, Pre-VLA s'intercale comme un garde-fou en amont de l'exécution : il exploite un backbone multimodal avec pooling adaptatif par modalité et une tête dual-branch légère pour prédire à la fois un score de confiance sécuritaire et un advantage score dérivé d'un critique, sur des chunks d'actions candidats. L'entraînement combine trois objectifs simultanés : classification Focal (robuste aux déséquilibres de classes), régression d'avantage, et calibration par seuil souple. À l'inférence, un scheduler de rééchantillonnage dual-mode filtre les actions jugées sous-seuil et déclenche un rééchantillonnage adaptatif dans un budget de calcul contraint. Sur le benchmark LIBERO (quatre suites de tâches en boucle fermée), Pre-VLA améliore le taux de succès moyen de 30,79 % à 37,62 % par rapport au modèle de base RynnVLA-002, réduit le nombre d'étapes d'exécution, et affiche un temps de vérification de 183,9 ms par chunk d'action en moyenne. Le gain de 6,8 points de pourcentage sur LIBERO est notable dans un domaine où les benchmarks en boucle fermée restent difficiles à progresser de façon fiable. La valeur industrielle réelle de Pre-VLA ne réside pas dans la performance brute, mais dans la réduction des échecs physiques coûteux et dans la limitation de l'accumulation d'erreurs dans les rollouts de world models génératifs, dont le coût de rendu est élevé. Pour un intégrateur ou un COO industriel, un tel mécanisme de vérification préemptive représente un levier de fiabilité sans refonte du modèle principal, ce qui est compatible avec des pipelines de déploiement réels. La question non résolue reste la généralisation : LIBERO est un benchmark de manipulation tabletop relativement contrôlé, et les résultats sur des environnements plus chaotiques ne sont pas démontrés ici. Pre-VLA s'inscrit dans une tendance croissante visant à sécuriser les politiques VLA pour le déploiement réel, dans le sillage de modèles comme Pi-0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA), qui peinent tous à franchir le "demo-to-reality gap". Le benchmark LIBERO, développé par une équipe de l'Université de Washington et Stanford, est devenu une référence standard pour évaluer les politiques d'imitation multi-tâches. RynnVLA-002, le modèle de référence utilisé ici, est un VLA récent dont les détails publics restent limités. Ce travail est un preprint, non encore soumis à peer review, ce qui invite à une lecture prudente des chiffres annoncés. Les prochaines étapes naturelles seraient une validation sur des environnements réels hors laboratoire et une comparaison avec d'autres approches de vérification runtime comme les méthodes basées sur les ensembles de confiance ou la vérification formelle légère.

💬 Un garde-fou entre le modèle VLA et l'exécution physique, sans refonte du modèle principal, c'est le genre de solution qu'on aurait voulu avoir avant de casser du matériel. +6,8 points sur LIBERO en boucle fermée, c'est pas rien dans un domaine où les benchmarks avancent à coups de virgule. Reste à voir hors labo, parce que LIBERO c'est du tabletop propre, pas une chaîne de production.

IA physiqueOpinion
1 source
SONIC : un système de suivi du mouvement étendu pour le contrôle corporel intégral des humanoïdes
1186arXiv cs.RO 

SONIC : un système de suivi du mouvement étendu pour le contrôle corporel intégral des humanoïdes

Des chercheurs présentent SONIC (arXiv:2511.07820), un modèle fondateur pour le contrôle corporel complet de robots humanoïdes, construit autour d'une mise à l'échelle agressive le long de trois axes : la capacité réseau (de 1,2 million à 42 millions de paramètres), le volume de données (plus de 100 millions de frames issues de 700 heures de capture de mouvement) et le calcul (21 000 heures GPU). La tâche centrale est le suivi de mouvement (motion tracking), utilisé comme proxy d'entraînement pour inculquer des priors sur le mouvement humain sans ingénierie manuelle de récompenses. Deux applications aval sont démontrées : un planificateur cinématique temps réel reliant le suivi de mouvement à des tâches de navigation, et un espace de tokens unifié permettant à une seule politique de gérer à la fois la téléopération VR et des modèles vision-langage-action (VLA). Dans ce second mode, le système réalise de la loco-manipulation autonome en coordonnant simultanément position des mains et des pieds. L'apport principal est d'étendre les lois de scaling, jusqu'ici réservées aux grands modèles de langage, au contrôle humanoïde à corps complet. Les auteurs montrent que les performances progressent de manière régulière avec la quantité de données et le calcul, et que les politiques apprises généralisent à des mouvements non vus à l'entraînement, sans nécessiter de reward shaping manuel. Pour les intégrateurs, l'interface unifiée VR-VLA dans un seul modèle réduit le coût d'adaptation entre téléopération humaine et autonomie. Il convient néanmoins de noter qu'il s'agit d'une publication académique, non d'un produit déployé, et que les démonstrations vidéo sélectionnées ne permettent pas encore d'évaluer la robustesse en conditions industrielles réelles. SONIC s'inscrit dans une course au scaling qui agite l'ensemble de la filière humanoïde. Physical Intelligence a publié Pi-0, un modèle VLA polyvalent ; NVIDIA a lancé GR00T N2 en s'appuyant sur des données synthétiques massives ; Figure et Tesla visent des architectures propriétaires à grande échelle avec Optimus Gen 3. Les 42 millions de paramètres de SONIC restent modestes comparés aux VLA les plus ambitieux, et le travail ne mentionne pas d'affiliation à un fabricant de robot ni de calendrier de déploiement physique. La prochaine étape logique serait une validation sur hardware réel avec des évaluations quantitatives standardisées, un exercice que les benchmarks émergents du secteur commencent tout juste à formaliser.

IA physiqueOpinion
1 source
Action par primitives visuelles
1187arXiv cs.RO 

Action par primitives visuelles

Une équipe de chercheurs a publié en mai 2026 sur arXiv (réf. 2605.22183) AVP, Action with Visual Primitives, une nouvelle architecture end-to-end pour la manipulation robotique généraliste. Le système repose sur une séparation explicite des responsabilités : le modèle de vision-langage (VLM) infère l'état cible de la prochaine étape et génère des tokens dits "visuels primitifs", qui conditionnent ensuite un module d'action basé sur le flow matching, supervisé par la cinématique de l'effecteur final. Sur des tâches réelles de pick-and-place, AVP améliore le taux de succès de 27,61 % par rapport à pi0.5, le modèle de référence de Physical Intelligence, avec des gains mesurés en efficacité de données, en généralisation spatiale et compositionnelle, ainsi qu'en transfert à de nouveaux objets. L'enjeu central que pointe ce travail est celui de l'enchevêtrement des objectifs d'apprentissage dans les VLA actuels : dans les architectures dominantes, compréhension du langage, analyse spatiale de la scène et contrôle moteur sont fondus dans un seul passage forward, forçant le module d'action à réapprendre des capacités perceptives déjà présentes dans le VLM préentraîné. AVP découple ce pipeline via une interface à base de tokens visuels primitifs, ce qui réduit la redondance d'apprentissage et améliore l'efficacité des données d'entraînement, un facteur critique dans un domaine où la collecte de démonstrations robotiques reste coûteuse. L'amélioration de 27,61 % sur pi0.5, si elle se confirme sur des benchmarks plus larges, représente un écart significatif pour des intégrateurs industriels qui évaluent des solutions de manipulation flexible. Les modèles VLA ont connu une accélération notable depuis 2024 avec l'émergence de pi0 et pi0.5 (Physical Intelligence), GR00T N2 (NVIDIA) et Helix (Figure AI), tous positionnés sur la manipulation généraliste. La tendance dominante jusqu'ici consistait à empiler VLM et head d'action en bout de chaîne, héritant des représentations visuelles sans structuration intermédiaire. AVP propose une voie alternative en introduisant une représentation symbolique intermédiaire, les visual primitives, comme pont entre perception et action. Le papier reste un preprint sans validation externe à ce stade ; les expériences sont conduites sur des tâches de pick-and-place, ce qui limite la portée des conclusions à des scénarios de manipulation relativement contraints. Les prochaines étapes naturelles seront une extension à des tâches à longue horizon temporel et une comparaison sur des benchmarks standardisés comme LIBERO ou Open X-Embodiment.

IA physiqueOpinion
1 source
Au-delà des pixels : apprendre des récompenses invariantes pour la robotique réelle à partir de quelques démonstrations
1188arXiv cs.RO 

Au-delà des pixels : apprendre des récompenses invariantes pour la robotique réelle à partir de quelques démonstrations

Des chercheurs ont publié fin mai 2026 (arXiv:2605.22123) un framework permettant d'apprendre des fonctions de récompense symboliques invariantes à partir de seulement cinq démonstrations pour des tâches de manipulation robotique. Le système repose sur deux composants couplés : une formulation structurelle de récompense encodant des stratégies de niveau tâche et des contraintes physiques, et une procédure hybride symbolique-numérique qui distille des invariants comportementaux depuis ces démonstrations sans requérir d'interaction en ligne avec l'environnement. La méthode a été évaluée sur huit tâches du benchmark Meta-World et trois tâches de manipulation sur bras Franka, affichant de meilleures capacités d'alignement procédural et de classement de rollouts de politique par rapport aux baselines existantes. Trois expériences réelles out-of-distribution valident une généralisation zero-shot à des variations de position, de point de vue caméra et d'instances d'objets inédites. Le problème adressé est structurel : les modèles de récompense basés sur la vision tendent à mémoriser des distributions de pixels spécifiques et s'effondrent dès que les conditions visuelles changent, qu'il s'agisse d'un objet déplacé, d'un angle de caméra différent ou d'une variante d'objet inconnue. Pour un intégrateur déployant un système de manipulation en milieu industriel, cela impose de recollectecter des démonstrations ou de réentraîner le modèle à chaque variation du contexte opérationnel. Le passage aux invariants symboliques, c'est-à-dire des propriétés comportementales constantes indépendamment de l'apparence visuelle, propose une représentation de récompense réutilisable sur de multiples variantes de tâche sans interaction supplémentaire, ce qui réduit significativement le coût itératif du déploiement en apprentissage par renforcement. Ce travail s'inscrit dans une dynamique de recherche active visant à résoudre le goulot d'étranglement du reward engineering en RL robotique. Les approches récentes fondées sur des embeddings visuels issus de VLMs, comme VIP ou RoboCLIP, ont progressé sur la généralisation visuelle mais restent fragilisées par les variations de distribution en dehors des conditions d'entraînement. La méthode proposée se distingue en substituant aux embeddings bruts une abstraction symbolique de la tâche. Des laboratoires comme Berkeley BAIR, Stanford ou le CMU Robotics Institute travaillent sur des directions similaires d'abstraction pour le RL. La capacité à bootstrapper une récompense généralisable depuis cinq démonstrations seulement ouvre la voie à des pipelines de fine-tuning robotique plus accessibles, potentiellement utilisables par des intégrateurs sans expertise RL avancée.

RecherchePaper
1 source
Imagine2Real : vers l'interaction robot humanoïde-objet sans apprentissage préalable grâce aux priors génératifs vidéo
1189arXiv cs.RO 

Imagine2Real : vers l'interaction robot humanoïde-objet sans apprentissage préalable grâce aux priors génératifs vidéo

Une équipe de chercheurs présente Imagine2Real, un framework zéro-shot pour la manipulation humanoïde d'objets, publié sur arXiv en mai 2026. L'Humanoid-Object Interaction (HOI) en corps entier, soit la capacité d'un humanoïde à interagir physiquement avec des objets en coordonnant l'ensemble de ses degrés de liberté, reste historiquement freinée par la rareté des données 3D haute fidélité. Imagine2Real contourne cette limitation en s'appuyant sur des vidéos génératives comme priors de mouvement, sans recourir à des modèles CAO explicites. Les déplacements du robot et des objets sont formalisés comme des trajectoires 4D en points discrets. Un module appelé Keypoints Tracker suit uniquement trois repères critiques (base, mains, objet), court-circuitant le retargeting morphologique, source classique d'amplification d'erreurs. Pour maintenir des allures naturelles malgré ces signaux épars, le système exploite l'espace latent d'un Behavior Foundation Model (BFM), un modèle de fondation entraîné sur des comportements locomoteurs. Une stratégie d'entraînement progressive complète le pipeline, permettant un déploiement physique zéro-shot en environnement de capture de mouvement (mocap). Le travail s'attaque à deux verrous documentés dans la littérature : le "Representation Misalignment", décalage entre les priors géométriques et la réalité physique du robot, et la "Retargeting Complexity", difficulté d'adapter des mouvements humains à une morphologie robotique différente. En réduisant le retargeting à trois points-clés et en supprimant la dépendance aux modèles CAO, Imagine2Real compresse le pipeline de données nécessaire pour générer de nouveaux comportements. Le zéro-shot démontré en déploiement physique, et non uniquement en simulation, distingue la contribution des approches antérieures. Pour un intégrateur ou un décideur industriel, l'enjeu est clair : bootstrapper de nouvelles compétences de manipulation sans dataset 3D dédié ni séquences mocap par tâche. Imagine2Real s'inscrit dans un courant de recherche exploitant les video diffusion models comme source de connaissance pour la robotique, en parallèle des travaux de Physical Intelligence (pi0, pi0-FAST), de NVIDIA (GR00T N2) et des approches VLA de Google DeepMind. La distinction revendiquée est l'abandon des priors géométriques là où les méthodes concurrentes les jugent incontournables. Aucun partenaire industriel ni calendrier de déploiement réel n'est mentionné dans ce preprint : il s'agit d'une contribution de recherche fondamentale, dont les suites naturelles incluront l'extension à des catégories d'objets plus larges et une validation hors environnement mocap contrôlé.

RechercheOpinion
1 source
Des politiques de mouvement géométrique sûres et pilotables pour la manipulation dextérique robotique
1190arXiv cs.RO 

Des politiques de mouvement géométrique sûres et pilotables pour la manipulation dextérique robotique

Des chercheurs de Stanford (TML, Tamara Manipulation Lab) ont publié sur arXiv (arXiv:2605.21811) un cadre mathématique baptisé SafePBDS (Safe Pullback Bundle Dynamical Systems) destiné à la manipulation dextre robotique. Le système opère sur des espaces géométriques hétérogènes simultanément : une configuration en R^7 pour le bras, des poses d'effecteur en SE(3), et des marges d'évitement d'obstacles en R. Validé sur une plateforme Franka Panda avec main Allegro à 23 degrés de liberté, SafePBDS atteint 92,5 % de succès sur 120 essais de saisie couvrant 20 objets du quotidien. Une interface d'action permet en outre d'exclure n'importe quel doigt de la préhension via une action unidimensionnelle, avec 94,4 % de succès en saisie à trois doigts sur 36 essais. Plus significatif encore : les auteurs revendiquent la première réorientation in-hand palm-down entièrement actionnée et basée sur un modèle, atteignant plus de 360° de rotation en lacet dans les deux sens, sous différents poids d'objet et mouvements de poignet. La contribution centrale de SafePBDS est double. D'abord, une construction de "pullback control barrier function" qui convertit les conditions de sécurité définies sur n'importe quelle variété tâche en contraintes linéaires sur les accélérations en espace de configuration, ce qui permet des garanties de sécurité certifiables, pas seulement empiriques. Ensuite, une interface d'action qui laisse une politique de haut niveau (un VLA, un planificateur, un opérateur humain) injecter des résidus de mouvement de faible dimension, sans jamais violer les contraintes de sécurité. Entrée nulle = comportement autonome préservé. Ce découplage entre planification stratégique et contrôle précis répond à un problème récurrent des architectures VLA : la difficulté à garantir formellement la sécurité physique lors de la phase d'exploration en monde réel. Le travail s'inscrit dans une tradition de dynamical systems pour la manipulation, prolongeant des approches comme les DS-based motion policies de l'EPFL et les travaux de Riemannian motion policies (RMP). Les concurrents directs incluent les méthodes d'apprentissage par imitation avec contraintes CBF (type Berkeley Humanoid, Physical Intelligence pi0) et les architectures modèle-libre qui sacrifient les garanties formelles à la généralisation. SafePBDS reste pour l'instant un résultat de laboratoire sur preprint non relu par les pairs, validé en simulation et sur banc de test mono-robot. Les prochaines étapes annoncées pointent vers l'intégration avec des politiques d'apprentissage de haut niveau et la généralisation à d'autres morphologies de mains.

RecherchePaper
1 source
Réduction des fixations guidée par l'influence des composants pour une conception simplifiée et démontable par robot
1191arXiv cs.RO 

Réduction des fixations guidée par l'influence des composants pour une conception simplifiée et démontable par robot

Une équipe de chercheurs a publié sur arXiv (arXiv:2605.21026) un cadre analytique visant à rendre les produits manufacturés plus faciles à démonter par des robots, en ciblant précisément les fixations à supprimer dès la phase de conception. Le système prend en entrée un modèle CAO et génère automatiquement un graphe de contacts-connexions-contraintes (CCC), qui encode les dépendances structurelles entre composants. À partir de là, un algorithme de planification de séquences de désassemblage robotique calcule des scores d'influence par composant : plus une fixation génère souvent des violations de contraintes ou dégrade les objectifs d'optimisation dans les séquences calculées, plus son score est élevé. Ces scores sont ensuite projetés sur la géométrie CAO sous forme de heatmaps 3D, signalant visuellement les points de friction structurels. Le système simule ensuite analytiquement la suppression des fixations les plus problématiques et prédit les gains attendus en termes de réduction de contraintes, de changements d'outil et de distances parcourues par le robot, tout en bloquant les modifications structurellement dangereuses via des métriques de stabilité géométrique. Les expériences portent sur sept appareils électroménagers. Ce travail répond à un angle mort réel dans la conception industrielle orientée fin de vie : les ingénieurs n'ont aujourd'hui aucun retour quantitatif sur le coût robotique de leurs choix de fixation. Sur les sept produits testés, la suppression des fixations recommandées a éliminé entre 8 et 132 contraintes structurelles dans le graphe CCC selon la complexité du produit, supprimé des changements d'outil inutiles, et réduit les distances de déplacement robot de 165 à 1675 millimètres là où la stabilité le permettait. Ces chiffres restent hétérogènes selon les configurations, et l'étude ne rapporte pas de temps de cycle ni de taux de succès en conditions réelles, ce qui limite la portée opérationnelle immédiate des résultats. L'approche prouve néanmoins qu'une boucle de retour CAO-vers-planification est techniquement faisable et peut guider le design-for-disassembly de façon non-experte. Le contexte est celui d'une pression réglementaire et économique croissante sur le remanufacturing, notamment en Europe avec les directives écoconception et la taxonomie verte. La désassemblabilité robotique est un prérequis pour industrialiser la revalorisation des produits en fin de vie à coût compétitif. Du côté académique, plusieurs groupes travaillent sur la planification de séquences de désassemblage (notamment les équipes autour des graphes AND/OR), mais peu couplent ces résultats à des recommandations actionnables de redesign. Côté industrie, des acteurs comme Bosch ou Renault investissent dans des lignes de démontage semi-automatisées, tandis que des startups européennes comme Ecochain ou Lizeo opèrent sur la traçabilité des composants. La prochaine étape naturelle pour ces travaux serait une validation sur des assemblages industriels réels (moteurs, modules électroniques) et l'intégration dans un outil CAO commercial.

UELes directives écoconception et la taxonomie verte européennes créent une pression directe sur les industriels comme Renault pour automatiser le démontage en fin de vie ; ce cadre CAO-vers-planification offre une voie technique concrète pour répondre à ces exigences réglementaires.

RecherchePaper
1 source
PointACT : des modèles vision-langage-action (VLA) avec interaction multi-échelle point-action
1192arXiv cs.RO 

PointACT : des modèles vision-langage-action (VLA) avec interaction multi-échelle point-action

Une équipe de chercheurs a soumis en mai 2026 sur arXiv (2605.21414) PointACT, un modèle VLA (Vision-Language-Action) dual-système qui intègre des représentations 3D par nuages de points directement dans le processus de décodage d'actions. Contrairement aux VLAs existants quasi-exclusivement fondés sur des représentations visuelles 2D, PointACT couple un backbone vision-langage préentraîné à un mécanisme d'interaction multi-échelle point-action utilisant une attention fenêtrée bottleneck. Évalué sur les benchmarks LIBERO et RLBench, le modèle améliore le taux de réussite de 10 points de pourcentage sur la suite RLBench-10Tasks par rapport aux VLAs de l'état de l'art. Les gains sont encore plus importants lorsque le backbone est gelé et que l'expert d'action est entraîné from scratch, ce qui suggère une forte modularité de l'architecture. Ce résultat valide une hypothèse longtemps débattue : coupler des représentations géométriques 3D hiérarchiques avec des représentations sémantiques 2D préentraînées est essentiel pour un contrôle robot spatialement ancré. Pour les intégrateurs et les décideurs industriels, cela pointe vers un angle mort structurel des VLAs génériques actuels (OpenVLA, pi-0, GR00T N2) sur les tâches de manipulation de précision : saisie d'objets minces, assemblage, tri serré. La progression de +10% sur RLBench-10Tasks est significative dans un domaine où les gains se mesurent souvent en points uniques. Les études d'ablation confirment que c'est le couplage serré des deux modalités, et non le simple ajout d'un nuage de points, qui génère la performance. Les VLAs à backbone vision-langage dominent la manipulation généraliste depuis 2023, avec OpenVLA (UC Berkeley), pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA) comme références sectorielles. Tous partagent la même limitation héritée : une représentation 2D du monde. PointACT s'inscrit dans un courant moins médiatisé qui cherche à injecter de la géométrie 3D dans ces pipelines, aux côtés de travaux comme RoboPoint. L'étape critique restante est de valider ces architectures hors simulation, sur des capteurs bruités réels (RGB-D, LiDAR), pour confirmer si les gains tiennent face au gap sim-to-real. Ce preprint n'a pas encore été évalué par les pairs.

IA physiqueOpinion
1 source
SUGAR : cadre d'apprentissage généralisable et extensible pour la loco-manipulation humanoïde par vidéos humaines
1193arXiv cs.RO 

SUGAR : cadre d'apprentissage généralisable et extensible pour la loco-manipulation humanoïde par vidéos humaines

Des chercheurs présentent SUGAR (Scalable hUman-video-driven GenerAlizable humanoid loco-manipulation leaRning), un framework publié en préprint sur arXiv (arXiv:2605.20373, mai 2026), conçu pour entraîner des robots humanoïdes à des tâches de loco-manipulation à partir de vidéos humaines non structurées, sans ingénierie de récompenses propre à chaque tâche. Le pipeline se décompose en trois étapes : extraction automatisée de priors cinématiques (trajectoires humain-objet et labels de contact) depuis des vidéos brutes ; raffinement physique via un mimic reward unifié et un progressive state pool qui transforment ces priors imparfaits en mouvements physiquement cohérents ; puis distillation dans une politique hiérarchique composée d'un générateur et d'un suiveur de commandes. Le système a été évalué sur six tâches de loco-manipulation, en simulation et sur matériel humanoïde réel, avec transfert zero-shot vers le monde physique, récupération autonome après échec, et robustesse aux perturbations externes. L'enjeu central est la scalabilité : là où la téléopération humaine, méthode utilisée par Figure AI, Apptronik ou 1X, reste coûteuse et difficile à industrialiser, SUGAR exploite le corpus massif de vidéos humaines disponibles. Le verrou technique était que les priors cinématiques extraits de ces vidéos sont intrinsèquement bruités (occlusions, artefacts de contact, erreurs de retargeting) et inutilisables en l'état pour l'apprentissage. L'étape de raffinement physique est ici la contribution principale. Le fait que la performance scale clairement avec le volume de données vidéo est un résultat significatif : il oriente la recherche vers l'augmentation de données plutôt que l'ingénierie manuelle de récompenses, un changement de paradigme pour les équipes travaillant sur des humanoïdes généralistes. SUGAR s'inscrit dans la vague de contrôle humanoïde piloté par les données, en concurrence directe avec les approches VLA de Physical Intelligence (Pi-0), Google DeepMind, et Nvidia (GR00T N2). Le sim-to-real zero-shot revendiqué reste le défi emblématique du secteur ; les auteurs affirment l'atteindre de manière fiable avec récupération autonome des échecs, mais la sélection de seulement six tâches de démonstration mérite d'être notée. À ce stade, il s'agit d'un résultat académique sans timeline de déploiement commercial : les limites immédiates concernent la diversité des tâches et des environnements testés, qui conditionneront la généralisation à des déploiements industriels réels.

IA physiquePaper
1 source
SPARC : planification de trajectoire spatiale par communication robotique attentive
1194arXiv cs.RO 

SPARC : planification de trajectoire spatiale par communication robotique attentive

Une équipe de chercheurs a publié sur arXiv (référence 2603.02845v3) SPARC, un système de planification de trajectoires pour flottes de robots autonomes décentralisées, centré sur un nouveau mécanisme de communication baptisé RMHA (Relation enhanced Multi Head Attention). Le constat de départ est précis : dans les approches d'apprentissage multi-agents existantes, chaque robot traite les messages de ses voisins de manière uniforme, sans tenir compte de leur distance réelle. En environnement dense, cette indifférence spatiale dilue l'attention là où la coordination est justement la plus critique. RMHA intègre directement les distances de Manhattan par paires dans le calcul des poids d'attention, permettant à chaque robot de prioriser dynamiquement les messages des voisins les plus proches. Ce mécanisme est couplé à un masque d'attention contraint par distance et à une fusion de messages par réseau GRU (Gated Recurrent Unit), le tout entraîné en bout en bout via MAPPO, un algorithme d'apprentissage par renforcement multi-agents. Sur des grilles de 40x40 cases avec 30 % de densité d'obstacles, SPARC atteint environ 75 % de taux de succès, surpassant la meilleure méthode de référence de plus de 25 points de pourcentage. Le résultat le plus structurant est la généralisation zéro-shot : le système est entraîné sur des scénarios à 8 robots et testé directement sur des configurations à 128 robots, sans ré-entraînement. Cette capacité de mise à l'échelle sans supervision supplémentaire est un verrou majeur pour les déploiements industriels réels, notamment en logistique entrepôt où les flottes AMR peuvent dépasser plusieurs dizaines d'unités. Les ablations confirment que l'encodage de la relation de distance est le facteur déterminant du gain de performance en haute densité, ce qui valide l'hypothèse que le biais spatial manquait aux architectures à attention standard appliquées à la coordination robotique. MRPP est un champ de recherche actif depuis une décennie, avec des approches classiques comme CBS (Conflict-Based Search) et des variantes apprises reposant sur QPLEX, MAPPO ou des graph neural networks. SPARC s'inscrit dans la lignée des travaux combinant attention multi-têtes et apprentissage multi-agents coopératif, en corrigeant un angle mort de conception commun à la majorité de ces systèmes. Il n'y a pas, à ce stade, de déploiement annoncé ni de partenariat industriel mentionné : il s'agit d'une contribution de recherche académique. Les prochaines étapes attendues dans ce domaine incluent la validation sur environnements physiques réels et l'extension à des grilles de plus grande dimension, deux conditions nécessaires avant toute intégration dans des systèmes AMR commerciaux.

RecherchePaper
1 source
Demo-JEPA : architecture prédictive à enchâssement conjoint pour l'imitation inter-robots en une seule démonstration
1195arXiv cs.RO 

Demo-JEPA : architecture prédictive à enchâssement conjoint pour l'imitation inter-robots en une seule démonstration

Une équipe de chercheurs publie Demo-JEPA (arXiv:2605.20811, mai 2026), un cadre d'imitation robotique inter-morphologies fondé sur une architecture prédictive à représentation jointe (JEPA). L'approche s'attaque au problème du "cross-embodiment" : permettre à un robot d'apprendre depuis des démonstrations réalisées par un humain ou un robot aux cinématiques radicalement différentes. Plutôt que de copier les actions du démonstrateur, Demo-JEPA infère l'état cible que celui-ci cherchait à atteindre. Le système traduit des démonstrations visuelles brutes en trajectoires latentes futures dans un espace de représentation partagé ; l'agent cible planifie ensuite vers ces sous-objectifs via sa propre dynamique forward apprise par interaction. Les évaluations sur le benchmark RLBench et des tâches de manipulation réelles montrent que Demo-JEPA égale des planificateurs entraînés sur la même morphologie et généralise à des configurations inédites où les méthodes antérieures échouent. L'impact pour les équipes de robotique est potentiellement significatif. Les approches d'imitation existantes requièrent soit un espace d'action commun, soit des heuristiques de retargeting cinématique, soit de larges corpus multi-morphologies cotraînés, comme ceux mobilisés par Physical Intelligence pour pi-0 ou par NVIDIA pour GR00T N2. Demo-JEPA ramène le problème à deux ingrédients : des vidéos de démonstration (humain ou autre robot) et l'expérience propre de l'agent cible. L'aspect "one-shot" revendiqué mérite une nuance : il s'agit d'une seule démonstration par tâche, pas d'un système zéro-shot sans calibration préalable. Reste que la capacité à généraliser à des morphologies non vues lors de l'entraînement représente un pas concret vers des pipelines plus flexibles, où un même corpus vidéo pourrait alimenter des flottes hétérogènes. L'architecture JEPA est issue des travaux de Yann LeCun chez Meta : au lieu de prédire des pixels, elle prédit des représentations latentes compressées, ce qui la rend plus robuste aux détails visuels non pertinents pour la tâche. Dans le paysage du cross-embodiment, les approches dominantes sont actuellement la coformation à grande échelle (RDT-1B, OpenVLA) et le retargeting cinématique par heuristiques. Demo-JEPA propose une troisième voie, plus frugale en données supervisées. L'article demeure un preprint non validé par les pairs, sans partenariat industriel ni timeline de déploiement annoncés.

IA physiqueOpinion
1 source
Contrôle critique de sécurité pour la dynamique de contact implicite lissée
1196arXiv cs.RO 

Contrôle critique de sécurité pour la dynamique de contact implicite lissée

Des chercheurs ont publié en mai 2026 un preprint sur arXiv (2605.21138) proposant un cadre de contrôle sécurisé pour les robots effectuant des tâches à contact riche, telles que la manipulation d'objets ou la locomotion sur terrain irrégulier. Le coeur du problème : les approches dites de dynamique de contact implicite lissée permettent de planifier par gradient sans définir à l'avance les séquences de contact, mais elles introduisent un paramètre de lissage κ qui relaxe les contraintes de complémentarité de contact, créant une erreur entre la force de contact calculée et la force réelle. L'équipe démontre que les violations de contraintes sont non-monotones en κ : réduire κ diminue l'erreur d'approximation de force, mais ne garantit pas une meilleure performance de sécurité. Pour y remédier, ils introduisent des "boundary-focused rollouts" permettant de sélectionner κ en comparant la marge de sécurité à l'erreur d'approximation, puis développent une fonction de barrière de contrôle (CBF) en temps discret fondée sur une approximation de Taylor du premier ordre de la force de contact implicite, augmentée d'une marge robuste fixe. Sur quatre systèmes simulés à contact riche, la méthode élimine les violations de force observées avec un CBF standard. Ce résultat intéresse directement les équipes qui tentent de déployer des contrôleurs basés sur l'apprentissage ou la planification différentiable dans des contextes industriels où la sécurité est critique, comme l'assemblage, le soudage ou la chirurgie assistée. La démonstration que κ plus petit n'implique pas moins de violations est contre-intuitive et remet en cause une hypothèse implicite répandue dans la littérature sur la simulation différentiable. Le framework CBF proposé offre une garantie formelle de borne sur la force de contact, une propriété rare dans les pipelines de contrôle par apprentissage, et potentiellement exploitable sans reformuler entièrement le planificateur sous-jacent. La dynamique de contact implicite lissée s'inscrit dans une vague de travaux sur la simulation différentiable pour la robotique (MuJoCo MJX, Drake, DiffTaichi), qui cherchent à remplacer les automates hybrides à modes discrets par des formulations continues et différentiables. Les CBF sont un outil mature issu de la théorie du contrôle, popularisé pour la robotique par des groupes comme Caltech (Aaron Ames) et Georgia Tech. La méthode concurrente classique repose sur l'énumération explicite des modes de contact, plus sûre mais bien moins flexible. Limite importante à noter : les validations restent à ce stade entièrement en simulation ; aucun déploiement matériel n'est rapporté, et le gap sim-to-real pour les forces de contact reste un obstacle non résolu. Les prochaines étapes naturelles incluent une validation sur hardware et une extension aux systèmes à plus haut degré de liberté.

RecherchePaper
1 source
Apprentissage d'une manipulation dextérique robuste en main à partir de capteurs articulaires avec un transformeur proprioceptif
1197arXiv cs.RO 

Apprentissage d'une manipulation dextérique robuste en main à partir de capteurs articulaires avec un transformeur proprioceptif

Des chercheurs publient sur arXiv (2605.21330, mai 2026) le Proprioceptive Transformer (PT), une architecture de contrôle pour la manipulation dextre en main fondée exclusivement sur les capteurs articulaires, sans vision ni retour tactile. Testée sur la main ténosynoviale ORCA, l'approche réalise une rotation continue de cube à une vitesse 3,1 fois supérieure aux méthodes de référence, et estime la position de l'objet avec une erreur quadratique moyenne (RMSE) inférieure de 23,4 % à celle d'un perceptron multicouche (MLP). La politique de contrôle est obtenue par distillation enseignant-élève : une politique enseignante est d'abord entraînée par apprentissage par renforcement avec accès privilégié à l'état de l'objet, puis ses connaissances sont distillées vers le PT, qui opère uniquement sur l'historique de positions et de vitesses articulaires. Ce résultat questionne une hypothèse largement répandue dans le domaine : la nécessité d'une perception externe pour fermer la boucle d'estimation d'état lors de manipulations en main. Les encodeurs articulaires sont présents sur toutes les mains robotiques, y compris les architectures ténosynoviales où la transmission élastique complique l'estimation de la posture réelle des doigts. Que le Transformer extraie implicitement des informations extrinsèques à partir de patterns temporels proprioceptifs constitue une validation partielle du sim-to-real appliqué à la manipulation dextre, un problème longtemps considéré non résolu à l'échelle réelle. La robustesse sur des objets de géométrie variable ou sous charge perturbée reste à démontrer : le preprint ne rapporte de résultats que sur le cube, et les métriques de vitesse de rotation manquent de contexte sur les conditions expérimentales exactes. La manipulation dextre en main est un problème ouvert depuis les années 1990, relancé par OpenAI Dactyl (2019) qui combinait vision externe et simulation massivement distribuée. Les approches concurrentes recourent aujourd'hui à des capteurs tactiles haute résolution (Shadow Hand avec BioTac, Leap Hand, GelSight sur Allegro) ou à des pipelines vision-langage-action de type Pi-0 ou GR00T N2. L'ORCA hand, plateforme académique à actionnement par tendons, reste moins présente dans les benchmarks publiés que l'Allegro ou la Shadow Hand, ce qui limite la comparaison directe avec l'état de l'art. Le preprint ne mentionne ni partenaires industriels ni calendrier de transfert : il s'agit d'une contribution de recherche fondamentale, sans déploiement annoncé.

RecherchePaper
1 source
Contrôle neuromorphique d'un robot à ailes battantes sur matériel à ressources limitées
1198arXiv cs.RO 

Contrôle neuromorphique d'un robot à ailes battantes sur matériel à ressources limitées

Des chercheurs ont présenté un framework de contrôle neuromorphique hiérarchique permettant le vol autonome embarqué d'un micro-robot à ailes battantes inspiré du papillon, pesant moins de 30 grammes. L'architecture déploie deux réseaux de neurones impulsionnels (Spiking Neural Networks, SNNs) directement sur un microcontrôleur ESP32 disponible dans le commerce pour environ 5 dollars : le premier SNN assure l'estimation d'état à partir des retours sensoriels bruts, le second pilote les ailes via modulation d'un Générateur de Patron Central (CPG). Entraîné par imitation learning, le système démontre un suivi stable des angles de tangage et de cap en vol libre non attaché (untethered), sans infrastructure externe. Sur le plan des performances, le contrôleur SNN réduit la latence d'inférence de 36 % (de 1 059 µs à 680 µs) et la consommation de 18 % (de 0,033 W à 0,027 W) par rapport à une baseline réseau de neurones artificiel (ANN) classique. Ce résultat est significatif car il démontre qu'un calcul de type spike-based est viable sans hardware spécialisé (neuromorphic chips type Intel Loihi ou SpiNNaker), en s'appuyant uniquement sur du silicium grand public. Pour les acteurs du secteur des micro-drones et de la robotique embarquée, cela ouvre une voie crédible vers l'autonomie embarquée sur plateformes ultra-contraintes en masse et en énergie (SWaP), un verrou reconnu de la filière. La combinaison estimation d'état + contrôle moteur en un seul pipeline neuromorphique léger, tournant en boucle fermée en temps réel, valide une hypothèse longtemps contestée : les SNNs peuvent rivaliser avec les ANNs sur des tâches de contrôle dynamique à haute fréquence sans sacrifier la précision. Les micro-véhicules à ailes battantes (FWMAVs) sont étudiés depuis une vingtaine d'années pour leur efficacité aérodynamique supérieure aux quadrotors à faible vitesse, mais leur adoption est freinée par la complexité des dynamiques non-linéaires et l'impossibilité historique d'embarquer suffisamment de puissance de calcul. Des projets comme le RoboBee de Harvard ou le DelFly de TU Delft ont établi les bases mécaniques, sans parvenir à la pleine autonomie embarquée. Sur le front concurrent, les approches à base d'ANNs classiques restent dominantes mais se heurtent aux mêmes contraintes énergétiques. Les auteurs revendiquent une première mondiale pour le contrôle neuromorphique entièrement embarqué sur FWMAV en vol autonome, affirmation qui devra être confirmée par pair review complet ; l'article est actuellement un preprint arXiv (2605.19430, mai 2025). Les prochaines étapes attendues concernent la robustesse aux perturbations extérieures et l'extension à des manœuvres 3D plus complexes.

RecherchePaper
1 source
Améliorer automatiquement la physique de simulation des objets articulés
1199arXiv cs.RO 

Améliorer automatiquement la physique de simulation des objets articulés

Une thèse publiée sur arXiv en mai 2026 (identifiant 2605.19136) propose une méthode automatisée pour corriger les propriétés physiques des objets articulés destinés aux simulateurs de robotique. L'approche introduit le concept d'"interaction-readiness", qui caractérise la capacité d'un objet à être simulé de façon fiable lors de tâches de manipulation. Le constat de départ est précis : les grands datasets 3D existants, comme PartNet-Mobility ou Objaverse, fournissent des représentations géométriques et cinématiques riches, mais omettent les paramètres physiques indispensables à une simulation stable (masse, friction, amortissement, limites d'articulations), contraignant les équipes à un travail manuel coûteux. La méthode proposée fusionne des informations géométriques, visuelles et sémantiques dans une boucle itérative avec le simulateur, qui affine ces propriétés automatiquement jusqu'à atteindre une cohérence physique suffisante pour des tâches de manipulation. L'enjeu est concret pour les équipes qui entraînent des politiques de contrôle robotique par apprentissage en simulation. Les expériences conduites sur des objets articulés variés montrent que la qualité des assets influe directement sur la stabilité de la simulation, le comportement lors des interactions, et les performances des politiques apprises, validant empiriquement ce que beaucoup d'équipes observaient sans pouvoir le quantifier. Construire manuellement un objet simulation-ready (tiroir, porte, boîte à couvercle) représente un effort d'ingénierie significatif qui freine la diversification des scénarios d'entraînement. Une pipeline automatisée réutilisant des assets géométriques existants pour y injecter des propriétés physiques réalistes pourrait débloquer la mise à l'échelle des données de simulation, un goulot d'étranglement reconnu dans la course aux VLA (Vision-Language-Action models) et aux politiques de manipulation généralistes. Cette problématique s'inscrit dans un effort collectif pour réduire le sim-to-real gap, domaine où NVIDIA (Isaac Lab) et Google DeepMind (MuJoCo) investissent massivement via la domain randomization et la génération procédurale d'environnements. Le cadre d'évaluation proposé, qui décompose l'"interaction-readiness" en composantes mesurables, constitue aussi une contribution méthodologique indépendante, potentiellement utile comme benchmark pour comparer des pipelines de génération d'assets. Aucune affiliation industrielle n'est précisée dans le préprint, et la méthode n'a pas encore été validée à l'échelle industrielle ; les prochaines étapes naturelles iraient vers des applications de bin-picking ou d'assemblage, où les objets articulés restent un défi ouvert pour les intégrateurs.

UEImpact indirect : les équipes de recherche françaises et européennes (INRIA, CEA-List) travaillant sur la manipulation robotique et les politiques VLA pourraient exploiter cette pipeline pour réduire le coût d'ingénierie lié à la création d'assets simulation-ready.

RecherchePaper
1 source
Modélisation monde-ego pour l'évolution à long horizon dans les tâches hybrides incarnées
1200arXiv cs.RO 

Modélisation monde-ego pour l'évolution à long horizon dans les tâches hybrides incarnées

Des chercheurs ont publié sur arXiv en mai 2026 (arXiv:2605.19957) un nouveau paradigme appelé World-Ego Modeling, accompagné d'une implémentation concrète, le World-Ego Model (WEM). Le problème ciblé : les world models actuels prédisent l'évolution de la scène et du robot dans un flux unique, confondant deux dynamiques de nature différente, les régularités persistantes de l'environnement d'un côté et la dynamique propre à l'agent conditionnée par ses instructions de l'autre. Ce couplage dégrade les performances sur les tâches hybrides longue horizon, où navigation autonome et manipulation d'objets s'entrelacent. WEM sépare explicitement ces deux composantes via un planificateur implicite dual, couplé à un générateur de diffusion CP-MoE (cascade-parallel mixture-of-experts). Les auteurs publient également HTEWorld, présenté comme le premier benchmark dédié à ce type de tâches, avec 125 000 clips vidéo totalisant plus de 4,5 millions de frames et 300 trajectoires multi-tours représentant plus de 2 000 instructions. WEM atteint l'état de l'art sur HTEWorld et reste compétitif sur les benchmarks de manipulation seule. L'enjeu touche directement les systèmes de manipulation mobile : robots logistiques à bras, humanoïdes polyvalents, AMR avec capacités de saisie. La majorité des world models sont entraînés soit sur de la navigation pure, soit sur de la manipulation fixe, rarement sur des séquences hybrides longues où l'agent doit enchaîner déplacement, identification et manipulation sans intervention humaine. WEM formalise la désambiguation monde-ego et propose trois stratégies de désenchevêtrement (post-, pré- et complet), ouvrant un cadre de comparaison structuré pour les futures architectures VLA ; la création d'HTEWorld comble simultanément un manque concret, l'absence de référence commune pour les tâches hybrides rendant jusqu'ici les comparaisons entre approches difficiles à établir. Ce travail s'inscrit dans l'effervescence autour des world models incarnés, aux côtés de projets comme UniSim (Google DeepMind) ou Genie, et en parallèle des efforts des constructeurs d'humanoïdes comme Figure AI, Agility Robotics et NVIDIA (GR00T N2) sur la planification longue horizon. WEM reste un résultat académique : la validation sur robot réel n'est pas documentée dans l'article, et le code ainsi que les données HTEWorld n'étaient pas encore disponibles à la date de dépôt. Les suites naturelles sont l'évaluation sim-to-real et l'intégration avec des VLA à grande échelle comme pi-0 (Physical Intelligence) ou GR00T N2.

RechercheOpinion
1 source