Actualités robotique — page 98

5 677 articles au fil, du plus récent au plus ancien.

36

4851arXiv cs.RO 

Distill : comprendre les intentions réelles dans la communication humain-robot

Une équipe de chercheurs présente dans un article déposé sur arXiv en mai 2026 (arXiv:2605.14262) une approche baptisée Distill, conçue pour extraire l'intention réelle d'un utilisateur lorsqu'il formule une tâche à un robot. Le problème de départ est bien documenté : le langage naturel, aussi intuitif soit-il, reste ambigu et imprécis, tandis que la programmation par l'utilisateur final tend à l'inverse à être trop littérale, incapable de capturer la généralité de ce que l'utilisateur souhaite réellement accomplir. Distill opère en trois étapes sur une spécification de tâche fournie par l'utilisateur : il supprime les étapes superflues, généralise le sens derrière chaque étape individuelle, et relâche les contraintes d'ordonnancement entre ces étapes. L'approche a été implémentée sous forme d'interface web et évaluée via une étude crowdsourcée auprès d'utilisateurs réels. L'enjeu pour l'industrie robotique est concret : la distance entre ce qu'un opérateur dit et ce qu'il veut réellement constitue l'un des principaux freins au déploiement de robots autonomes dans des environnements non structurés. Les interfaces à langage naturel prolifèrent, portées par les modèles VLA (Vision-Language-Action) et les LLMs embarqués dans des plateformes comme Figure 02, Spot ou les robots collaboratifs industriels, mais elles buttent systématiquement sur cette ambiguïté sémantique. Une approche capable de distiller l'intention générale derrière une instruction floue ou sur-spécifiée réduirait le besoin de reformulation itérative et abaisserait la barrière d'adoption pour des opérateurs non-experts en programmation. Ce type de raffinement d'intention est également utile pour la génération automatique de programmes comportementaux dans des architectures de type task planning. Ce travail s'inscrit dans une vague de recherches visant à combler le fossé entre langage humain et représentations formelles exploitables par les robots, un champ actif impliquant des laboratoires comme Stanford, MIT CSAIL ou le groupe Human-Robot Interaction de l'Inria en France. Les approches concurrentes incluent la correction de programme par retour utilisateur (LLM Repair), la programmation par démonstration (PbD) et les interfaces de dialogue multi-tours. Distill se distingue par son orientation vers la généralisation automatique plutôt que la simple transcription ou la correction d'erreurs. Les prochaines étapes attendues concernent l'intégration sur des plateformes robotiques physiques et l'évaluation de robustesse face à des tâches à longue séquence ou à contraintes temporelles strictes. Il s'agit pour l'instant d'un preprint non évalué par les pairs, sans déploiement industriel annoncé.

Recherche❖Paper

1 source

35

4852arXiv cs.RO 

Imitation ergodique pour une exploration adaptative autour des démonstrations

Une équipe de recherche vient de publier sur arXiv (référence 2605.13996) une méthode intitulée "Ergodic Imitation", conçue pour rendre les robots capables de s'adapter lorsqu'ils échouent à reproduire fidèlement une démonstration. Le problème ciblé est classique en apprentissage par imitation : une trajectoire apprise sur des démonstrations peut devenir inopérante dès que les conditions de déploiement diffèrent légèrement, qu'il s'agisse d'un changement d'environnement, d'une imprécision de capteur, ou d'une erreur de contrôle. Plutôt que de se bloquer sur la trajectoire nominale, le système proposé construit une distribution cible à partir de la géométrie des démonstrations récupérées, puis génère des trajectoires qui interpolent de façon adaptative entre suivi strict et exploration locale. Le coeur de la contribution est l'extension du contrôle ergodique, une technique jusqu'ici utilisée principalement pour la couverture de zones et la recherche en environnements inconnus, à un cadre de recalage par horizon glissant ancré dans les démonstrations. Le contrôle ergodique garantit que le robot passe du temps dans les régions proportionnellement à leur "importance" selon la distribution cible, ce qui permet d'explorer autour de la démonstration sans s'en éloigner trop. Pour les intégrateurs et les équipes d'automatisation industrielle, cela représente un levier concret contre le "demo-to-deployment gap" : une politique apprise n'a plus besoin d'être réapprise ou ré-annotée chaque fois que les conditions dérivent légèrement par rapport au setup de collecte des données. Le contrôle ergodique en robotique mobile remonte à des travaux des années 2010 (en particulier ceux du groupe de Todd Murphey à Northwestern), mais son application à l'imitation reste rare. Les approches concurrentes dans ce segment incluent DAgger et ses variantes (correction en ligne via un expert), ainsi que les méthodes de diffusion conditionnelle comme Diffusion Policy ou Pi-0 (Physical Intelligence), qui gèrent aussi l'incertitude par exploration stochastique mais nécessitent en général des volumes de données bien supérieurs. Cette publication est un preprint non encore évalué par des pairs, sans benchmark comparatif publié ni déploiement hardware annoncé ; les résultats expérimentaux mentionnés dans l'abstract restent à évaluer dans la version complète du papier.

Recherche❖Paper

1 source

35

4853arXiv cs.RO 

EARL : un cadre unifié guidé par l'analyse pour le raisonnement d'interaction égocentrique et l'ancrage au pixel

Des chercheurs publient sur arXiv (réf. 2605.14742) EARL, un cadre d'apprentissage par renforcement guidé par analyse pour la compréhension d'interactions humain-environnement en vision égocentrique, c'est-à-dire depuis une caméra portée à la première personne. L'architecture repose sur deux étages séquentiels : une phase d'interprétation globale qui produit une description textuelle structurée des interactions observées, suivie d'une phase de réponse fine qui génère simultanément une réponse textuelle, des boîtes englobantes et un masque de segmentation au niveau pixel. Le lien entre ces deux étages est assuré par un module original, l'Analysis-guided Feature Synthesizer (AFS), qui extrait un descripteur sémantique global et l'injecte comme prior lors du raisonnement orienté requête. La phase de réponse est optimisée par GRPO (Group Relative Policy Optimization), une variante d'apprentissage par renforcement popularisée récemment par les travaux DeepSeek. Sur le benchmark Ego-IRGBench, EARL atteint 65,48 % de cIoU pour le pixel grounding, soit +8,37 points au-dessus des meilleures méthodes RL comparables. Le test de généralisation hors-distribution sur EgoHOS, un benchmark de segmentation mains-objets, confirme une transférabilité satisfaisante sur des scènes non vues à l'entraînement. Ce résultat souligne une limite structurelle des grands modèles multimodaux de langage (MLLMs) actuels : ils décrivent correctement les scènes, mais peinent à localiser avec précision les zones d'interaction au niveau pixel, une granularité pourtant indispensable pour qu'un robot assistif saisisse un objet ou qu'un système embarqué guide un geste en temps réel. EARL démontre qu'injecter un prior sémantique structuré avant la phase de grounding améliore significativement cette précision sans sacrifier la compréhension globale. La robustesse OOD mesurée sur EgoHOS est un signal positif pour des déploiements en conditions variées, même si l'article reste un preprint académique et non un système industriellement déployé, ce qui invite à la prudence sur la portée des métriques annoncées. La vision égocentrique connaît une forte dynamique, portée par des dispositifs comme les lunettes Meta Orion, l'Apple Vision Pro et les casques industriels RealWear, tandis que le dataset Ego4D (Meta/FAIR) reste la référence d'entraînement du domaine. EARL s'inscrit dans une vague de travaux combinant MLLMs et RL pour dépasser les limitations du fine-tuning supervisé classique, aux côtés de systèmes comme SpatialVLM ou EgoVLP. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans le preprint ; les extensions naturelles incluent l'intégration dans des pipelines robotiques temps-réel et l'évaluation sur des environnements industriels ou médicaux, où la précision du grounding pixel conditionne directement la sécurité opérationnelle.

Recherche❖Paper

1 source

35

4854arXiv cs.RO 

Partager la charge : transport autonome de fret par flotte de rovers

Dans le cadre du programme Artemis de la NASA, des chercheurs canadiens ont publié sur arXiv (arXiv:2510.18766v2) une étude portant sur le transport coopératif de charges lourdes par deux rovers autonomes sur la surface lunaire. Le scénario cible est celui d'un habitat lunaire permanent, où des modules d'assemblage devront être acheminés depuis la zone d'atterrissage jusqu'au site d'habitat, à des distances pouvant atteindre 5 km. Pour répondre à cette contrainte, l'équipe a développé un contrôleur prédictif distribué (MPC distribué) permettant à deux Lunar Utility Vehicles (LUV) de 800 kg chacun de transporter solidairement une charge de 475 kg. Un couplage mécanique sur mesure assure le support intégral de la masse tout en découplant la cinématique de chaque véhicule, leur laissant une liberté de mouvement relative. Lors des tests terrain, les rovers ont maintenu une erreur de séparation relative moyenne de 9,2 cm, avec une erreur maximale de 33,4 cm. Ce résultat est notable pour plusieurs raisons. D'abord, il valide l'approche "teach and repeat" par lidar dans un contexte multi-véhicule : chaque rover conserve individuellement la qualité de suivi de trajectoire propre à cette méthode, sans dégradation due à la coordination. Ensuite, l'architecture MPC distribuée évite un point de défaillance central, ce qui est critique pour des missions où la redondance est une exigence de sécurité non négociable. Enfin, le fait qu'un seul contrôleur puisse gérer des opérations variées (transport, repositionnement, manoeuvres) démontre une généricité utile au-delà du seul transport de fret, ouvrant la voie à des rovers multifonctions pour des missions à longue durée. Le Canada participe activement au programme Artemis via l'Agence spatiale canadienne, notamment à travers le projet de rover lunaire Canadarm3 et les études sur les véhicules utilitaires lunaires. Les LUV étudiés ici s'inscrivent dans cette feuille de route nationale. Sur le plan concurrentiel, la NASA développe en parallèle ses propres rovers de surface (MAPP, MGRU), tandis que des acteurs privés comme Astrobotic ou Intuitive Machines se positionnent sur la logistique de surface. La prochaine étape pour cette architecture sera son intégration dans des simulations de missions complètes et, potentiellement, des tests en environnement analogue lunaire (volcanique ou arctique), avant toute qualification vol.

Recherche❖Paper

1 source

35

4855arXiv cs.RO 

CoCo-InEKF : estimation d'état avec covariances de contact apprises dans des scénarios dynamiques à contacts multiples

Une équipe de recherche vient de déposer sur arXiv (arXiv:2605.15122, mai 2026) CoCo-InEKF, un filtre de Kalman étendu invariant différentiable pour l'estimation d'état des robots à pattes en mouvement dynamique. La contribution centrale consiste à remplacer les états de contact binaires traditionnels (pied au sol ou non) par des covariances continues de vitesse de contact, calculées par un réseau de neurones léger entraîné de bout en bout via une fonction de perte sur l'erreur d'état. Ce réseau prédit des covariances pour des points candidats de contact prédéfinis, sans nécessiter d'étiquettes manuelles de vérité terrain. Une procédure de sélection automatique de ces points est également proposée, et les auteurs montrent que les résultats sont peu sensibles à leur positionnement exact. Les expériences ont été conduites sur un robot bipède, avec des démonstrations de danse et d'interactions complexes avec le sol, aussi bien en simulation qu'en environnement réel. La distinction entre états de contact binaires et covariances continues touche un verrou technique récurrent de la locomotion dynamique. Les filtres classiques peinent à gérer le contact partiel (un pied posé partiellement sur un obstacle) ou le glissement directionnel (la semelle dérape latéralement tout en maintenant une charge normale). En modulant dynamiquement la confiance accordée à chaque point de contact, CoCo-InEKF produit une meilleure estimation de vitesse linéaire et une consistance de filtre améliorée par rapport aux approches de référence, ce qui conditionne directement la robustesse des mouvements sur terrains complexes. L'absence de labels manuels de contact facilite également le portage vers de nouveaux châssis sans recalibrage supervisé. L'InEKF (filtre de Kalman étendu invariant sur groupes de Lie SE(3)) s'est imposé depuis les travaux du MIT sur le contact-aided InEKF (2019) comme cadre de référence pour l'odométrie des robots à pattes, avec des intégrations dans des systèmes comme ANYmal d'ANYbotics. CoCo-InEKF y intègre l'apprentissage machine pour estimer les covariances de contact plutôt que de les fixer heuristiquement, une évolution incrémentale mais utile face aux approches purement géométriques. Les démonstrations restent à ce stade sur un prototype de laboratoire bipède non identifié dans le preprint ; le code n'est pas encore publié, et le transfert vers des plateformes commerciales comme Unitree H1 ou Agility Robotics Digit demandera une validation sur une plus grande diversité de surfaces et de dynamiques.

Recherche❖Paper

1 source

28

4856arXiv cs.RO 

Contrôle par planification réactive pour robots mobiles en environnements encombrés d'obstacles

Une équipe de chercheurs a publié en mai 2026 sur arXiv (arXiv:2605.14232v1) une méthode de contrôle de mouvement pour robots mobiles évoluant dans des environnements encombrés d'obstacles. L'approche, baptisée RPCS (Reactive Planning based Control Strategy), s'attaque à un problème classique de la robotique mobile : déplacer un robot d'un point de départ à une cible sans collision, en ne disposant que d'une information partielle sur l'environnement, c'est-à-dire sans carte globale préalable. Le système fonctionne en deux couches combinées : une trajectoire de référence est d'abord tracée en ligne droite entre les deux points, puis un module de planification réactive (RPS) la modifie localement à la volée lorsque des obstacles sont détectés. Un contrôleur de suivi adaptatif (ATCS), basé sur des techniques de discrétisation, assure ensuite l'exécution effective de cette trajectoire potentiellement modifiée. Les résultats présentés s'appuient uniquement sur des simulations numériques, sans validation hardware reportée. L'intérêt de cette architecture réside dans la séparation claire entre planification réactive et contrôle de suivi, ce qui permet théoriquement d'adapter chaque couche indépendamment selon le robot cible. Pour les intégrateurs travaillant sur des AGV ou AMR dans des entrepôts à géométrie variable, la capacité à opérer sans carte globale complète reste un enjeu réel, les approches purement réactives souffrent souvent de blocages locaux, et les approches globales peinent face aux environnements dynamiques. L'ATCS adaptatif suggère une robustesse potentielle aux perturbations de modèle, mais l'absence d'expérimentation physique limite la portée des conclusions à ce stade. Ce travail s'inscrit dans une longue tradition de recherche sur la navigation réactive, depuis les champs de potentiel de Khatib (1986) jusqu'aux approches VFH et DWA largement déployées dans ROS. Les chercheurs ne positionnent pas explicitement leur méthode face aux planificateurs modernes appris (RL, imitation learning) qui commencent à équiper des plateformes commerciales comme Spot de Boston Dynamics ou les AMR de MiR. La prochaine étape naturelle serait une validation sur robot réel en environnement semi-structuré, condition sine qua non pour que la méthode pèse dans le débat industriel.

Recherche❖Paper

1 source

47

4857Pandaily 

Derrière le marathon robotique d'Honor : 7 fournisseurs chinois au service du robot Lightning

Le 19 avril, sur le parcours semi-marathon de 21,0975 kilomètres du district de Yizhuang à Pékin, le robot humanoïde "Lightning" d'Honor, engagé sous l'étiquette de l'équipe Qitian Daxiansen, a franchi la ligne d'arrivée en 50 minutes et 26 secondes nets. Ce temps réduit de près des deux tiers le record de la compétition établi l'année précédente à 2 heures 40 minutes, et passe sous la barre du record du monde du semi-marathon masculin humain, fixé à 57 minutes et 20 secondes. Ce qui retient davantage l'attention que la performance brute, c'est la chaîne d'approvisionnement entièrement domestique qui sous-tend le robot : GigaDevice (兆易创新) fournit les puces NOR Flash et MCU pour le calcul et le stockage embarqués ; Lingyi iTech (领益智造) livre les composants structuraux de précision et les boîtiers assurant la gestion thermique ; Lens Technology (蓝思科技) produit les optiques de perception visuelle ; AAC Technologies (瑞声科技) contribue aux capteurs haute précision et aux composants acoustiques. Plusieurs autres fournisseurs non nommés couvrent les systèmes de motorisation, de gestion d'énergie et de capteurs de précision. Pour les intégrateurs et décideurs industriels, ce résultat constitue un signal plus structurel que conjoncturel. Il invalide en partie l'hypothèse du "demo gap" : "Lightning" a performé sous les contraintes d'un événement chronométré public, pas en environnement lab. Plus significatif encore, l'ensemble de la chaîne de valeur critique (semi-conducteurs, optique, acoustique, mécanique de précision) provient d'acteurs cotés en Chine, indiquant une autonomie croissante vis-à-vis des fournisseurs occidentaux ou japonais pour les composants humanoides. Ce n'est pas anecdotique dans un contexte de restrictions export sur puces avancées. Honor, connu comme fabricant de smartphones et ex-marque de Huawei, s'est positionné dans la robotique humanoïde depuis 2024, période de montée en puissance massive du secteur en Chine. La compétition de Yizhuang s'inscrit dans une série de benchmarks outdoor visant à différencier les constructeurs capables d'endurance réelle des acteurs encore en phase de démonstration vidéo. Les concurrents directs dans la course humanoïde incluent Unitree, Agibot et Fourier Intelligence côté chinois, ainsi que Figure (Figure 03), Tesla (Optimus Gen 3) et Physical Intelligence (pi0) côté américain. L'article source ne précise ni roadmap de déploiement commercial pour "Lightning" ni pilotes industriels annoncés, ce qui invite à traiter ce résultat comme un jalon technique plutôt qu'un produit shipé.

Chine/Asie❧Opinion

1 source

42

4858Pandaily 

L'ex-PDG de Kepler Robotics lance Sota Unlimited, misant sur un cerveau robotique pour les marchés étrangers

Hu Debo, ancien PDG de Kepler Robotics, a annoncé le 14 mai 2026 la création de sa deuxième entreprise dans le domaine de l'IA incarnée : Sota Unlimited. Contrairement à Kepler, qui misait sur des robots humanoïdes bipèdes complets destinés à des scénarios industriels, Sota Unlimited se concentre exclusivement sur la couche logicielle et cognitive, ce que l'industrie appelle le «cerveau» du robot. La société développe des world action models, des systèmes VLA (Vision-Language-Action) multimodaux, et des infrastructures de collecte de données. Elle prévoit de présenter ses capacités complètes cet été, avec des démonstrations en laboratoire couvrant l'ensemble du processus commercial, ainsi que son système d'exploitation robotique baptisé Physica-Claw. Aucun chiffre de performance, prix ou volume de déploiement n'a été communiqué à ce stade. Ce pivot de la machine complète vers le «cerveau seul» repose sur une hypothèse stratégique précise : le principal goulet d'étranglement de la robotique incarnée n'est pas mécanique mais cognitif, soit la capacité à comprendre le contact, le mouvement, l'espace et la physique, et non simplement percevoir l'environnement par vision. Pour les intégrateurs et les fournisseurs de plateformes robotiques internationaux, cela ouvre la possibilité d'acquérir une couche d'intelligence sans développer en interne un modèle VLA compétitif. La stratégie de fournisseur de «cerveau» pour constructeurs tiers pourrait réduire les barrières à l'adoption, à condition que les performances se confirment en conditions réelles et pas uniquement en laboratoire contrôlé. Hu Debo avait co-fondé Kepler Robotics en 2023, au début de l'accélération de la course aux humanoïdes en Chine. En avril 2026, Kepler avait levé un tour A++ d'un milliard de yuans, s'imposant comme l'une des références nationales dans les scénarios industriels. Sota Unlimited prend un chemin radicalement différent : là où la quasi-totalité des entreprises chinoises de robots humanoïdes ciblent le marché domestique, Sota vise les marchés internationaux dès son lancement, se positionnant comme fournisseur B2B pour les constructeurs robotiques étrangers. Les concurrents directs sur ce créneau incluent Physical Intelligence (Pi-0) aux États-Unis et, dans une moindre mesure, les laboratoires académiques européens travaillant sur des architectures VLA généralisables. Les premières démonstrations commerciales complètes sont attendues pour l'été 2026.

Chine/Asie❧Opinion

1 source

51

4859Interesting Engineering 

Les robots humanoïdes Figure AI atteignent un jalon de 24h/7 de travail continu en conditions réelles

Trois robots humanoïdes de Figure AI ont dépassé 24 heures de fonctionnement autonome continu le 14 mai 2026, sur une tâche de tri de colis dans un entrepôt dont la localisation exacte n'a pas été précisée. L'opération, initialement prévue comme un test de 8 heures, a été prolongée sans interruption après une première journée sans incident signalé. Brett Adcock, fondateur et PDG de la startup californienne, a diffusé l'opération en direct sur internet, où les internautes ont surnommé les trois machines "Bob", "Frank" et "Gary". Les robots, pilotés par le système embarqué Helix-02, ont trié plus de 28 000 colis pendant l'opération, à raison d'environ 3 secondes par colis, soit la parité annoncée avec un opérateur humain. La tâche consiste à détecter les codes-barres par caméra, saisir les paquets et les déposer face vers le bas sur des tapis roulants, sans aucune télé-opération. Helix-02 est décrit comme un réseau de neurones unifié intégrant vision, toucher, proprioception et contrôle du corps entier, fonctionnant entièrement en embarqué. Figure AI affirme également que si un robot se retrouve hors de sa distribution d'entraînement, Helix-02 déclenche une réinitialisation autonome, et que les machines peuvent quitter la zone de travail d'elles-mêmes en cas de problème matériel, pendant qu'un congénère prend le relais. Ce résultat constitue une réponse directe au reproche chronique du secteur : le "demo-to-reality gap", l'écart entre démonstrations de quelques minutes en conditions maîtrisées et déploiements industriels réels. Une opération de 24 heures sur une tâche répétitive à cadence humaine dépasse ce que la majorité des concurrents a rendu public à ce jour, et change structurellement l'argumentaire commercial : un intégrateur ou un COO logistique peut commencer à modéliser un ROI sur des shifts complets plutôt que sur des pilotes vitrines. L'architecture à modèle unique de Helix-02, qui fusionne déplacement, manipulation et coordination dans un seul réseau, s'inscrit dans la tendance VLA (Vision-Language-Action) et contraste avec les approches modulaires classiques de la robotique industrielle. Il convient néanmoins de noter que les métriques présentées sont autodéclarées par Figure AI, dans un environnement filmé et contrôlé par l'entreprise ; la diversité réelle des colis, les conditions ambiantes et le taux d'échec détaillé restent insuffisamment documentés pour une validation rigoureuse. Figure AI a été fondée en 2022 à Sunnyvale et avait précédemment testé ses humanoïdes sur les lignes de BMW en Caroline du Sud, une référence industrielle qui lui a apporté visibilité et crédibilité. La startup se positionne sur le même segment que Tesla avec Optimus Gen 3, Agility Robotics (filiale d'Amazon) avec Digit, et Apptronik avec Apollo, tous en lice pour les marchés de la logistique entrepôt et de l'assemblage industriel. L'annonce intervient dans un contexte de course à la preuve opérationnelle, avant les premiers déploiements commerciaux à l'échelle, dont Figure AI n'a pas encore communiqué de dates ni de volumes précis. En Europe, des acteurs comme Enchanted Tools avec Mirokaï ou Wandercraft progressent sur des segments adjacents, mais aucun n'a publié de métriques d'endurance comparables à ce stade.

Humanoïdes❧Opinion

1 source

38

4860Robotics & Automation News 

GreyOrange lance un simulateur d'entrepôt par IA pour modéliser les performances et les coûts de l'automatisation

GreyOrange a lancé GreyMatter Foundry, une plateforme de simulation d'entrepôts destinée aux opérateurs logistiques souhaitant modéliser des déploiements d'automatisation avant tout engagement sur site. L'outil regroupe dans un environnement unique la conception des flux d'entrepôt, la planification des layouts et le dimensionnement des systèmes d'automatisation. Il supporte la modélisation de flottes hétérogènes de robots, permettant ainsi d'estimer les coûts opérationnels et de prédire les performances système en amont de l'implémentation physique. Aucun chiffre précis sur les temps de cycle, les volumes traités ou les tarifs de la plateforme n'a été communiqué lors de cette annonce. Pour les intégrateurs et les directeurs logistiques, ce type d'outil répond à un problème récurrent : les déploiements d'AMR (autonomous mobile robots) en environnement réel génèrent des coûts d'ajustement post-installation significatifs lorsque le dimensionnement initial est mal calibré. Un simulateur intégré au même écosystème logiciel que l'orchestration des robots réduit théoriquement le gap entre conception et exploitation, à condition que les modèles physiques sous-jacents soient suffisamment fidèles, ce que GreyOrange n'a pas encore documenté publiquement. GreyOrange, fondée en 2011 et dont le siège est à Atlanta, s'est imposée dans la logistique automatisée via sa suite GreyMatter d'orchestration multi-robots et ses robots Ranger. La société concurrence des acteurs comme Symbotic, Locus Robotics, et, dans l'espace simulation, des plateformes spécialisées comme Anylogic ou les outils intégrés de Dematic. GreyMatter Foundry s'inscrit dans une tendance plus large du secteur à proposer des jumeaux numériques pré-déploiement, une approche que Honeywell Intelligrated et KION Group ont également développée ces deux dernières années.

Industriel❧Opinion

1 source

47

4861Robotics & Automation News 

Ai2 publie un modèle de robotique ouvert conçu pour l'automatisation réelle par IA

L'Allen Institute for AI (Ai2), centre de recherche indépendant basé à Seattle et fondé par Paul Allen en 2014, a publié cette semaine MolmoAct 2, un modèle de fondation robotique open source conçu pour améliorer l'exécution de tâches physiques en environnement réel. Contrairement aux approches précédentes centrées sur des scénarios de laboratoire hautement contrôlés, MolmoAct 2 cible la généralisation à des environnements non structurés, en s'appuyant sur l'architecture multimodale de Molmo, le modèle vision-langage qu'Ai2 avait rendu public en 2024. Le modèle est diffusé sous licence ouverte, avec poids et code disponibles publiquement. L'enjeu pour l'industrie est direct : les modèles de fondation robotiques à diffusion ouverte réduisent la barrière d'entrée pour les intégrateurs et les équipes R&D qui ne disposent pas des ressources pour entraîner des politiques de zéro. MolmoAct 2 s'inscrit dans la lignée des travaux sur les VLA (Vision-Language-Action models), une architecture qui couple perception visuelle, compréhension du langage naturel et génération de commandes motrices. L'ouverture du modèle permet des audits indépendants et une adaptation à des morphologies robotiques variées, ce qui est difficile avec des modèles propriétaires comme GR00T N2 de NVIDIA ou π0 de Physical Intelligence. Ai2 est surtout connu pour ses contributions au NLP (AllenNLP, Semantic Scholar) avant de pivoter vers la robotique incarnée. MolmoAct 2 le place directement en concurrence avec les initiatives open source existantes comme OpenVLA (Berkeley) et les modèles RT-X de Google DeepMind, dans un secteur où Physical Intelligence, Figure AI et 1X Technologies se disputent le leadership sur les déploiements industriels. L'article source étant partiellement tronqué, les métriques de performance (taux de succès, benchmarks sur manipulation) et les éventuels partenariats de déploiement n'ont pas pu être vérifiés.

IA physique❧Opinion

1 source

34

4862Robotics & Automation News 

Vention étend sa plateforme convoyeur avec un système d'automatisation de fin de ligne intégré

Vention, plateforme canadienne d'automatisation industrielle basée à Montréal, a annoncé l'extension de son écosystème convoyeurs pour couvrir l'automatisation complète de fin de ligne. La solution intègre la manutention de matériaux dans trois segments distincts : les lignes d'assemblage, la logistique d'entrepôt et les applications d'emballage end-of-line. L'offre s'inscrit dans l'approche plateforme de Vention, qui unifie sur un seul environnement les étapes de conception, de commande, de déploiement et d'exploitation. L'article source ne fournit pas de métriques spécifiques (cadences, charges utiles, délais de mise en service), ce qui limite l'évaluation indépendante des performances annoncées. Pour les intégrateurs et les décideurs industriels, l'intérêt réside dans la réduction des interfaces entre fournisseurs : un convoyeur conçu dans le même outil que le reste de la cellule automatisée réduit le temps d'ingénierie et les risques d'incompatibilité mécanique ou logicielle. L'extension vers l'emballage end-of-line signale une montée en gamme de Vention au-delà des cellules robotiques standalone, vers des lignes complètes, marché à fort volume où les cycles d'achat sont plus longs mais les contrats plus structurants. Fondée en 2017, Vention s'est imposée avec son approche "automation-as-a-platform" et son MachineLogic comme OS d'automatisation. Elle concurrence directement Bosch Rexroth, FlexLink et Mk Technology Group sur les convoyeurs industriels modulaires, ainsi que des acteurs comme Bastian Solutions ou Dematic sur la logistique d'entrepôt. L'annonce ne précise pas de calendrier de disponibilité ni de déploiements clients confirmés.

Industriel⚡Actu

1 source

31

4863Robotics & Automation News 

GMEX Robotics reçoit sa première commande de robots culinaires Bon Vivant 3.0 pour près de 3 millions de dollars

GMEX Robotics, société australienne développant des systèmes robotiques pilotés par IA, a annoncé la réception de sa première commande commerciale dans le cadre d'un accord-cadre de A$4,2 millions (environ 2,7 millions USD) signé avec un groupe non nommé de restauration et de boissons australien. Ce bon de commande initial porte sur plusieurs systèmes de cuisson automatisée Bon Vivant 3.0 pour une valeur de A$504 000, soit environ 12 % du contrat global. Les modalités de livraison et le nombre d'unités commandées n'ont pas été précisés dans le communiqué. Cette première commande ferme marque le passage d'un accord-cadre signé à un déploiement effectif, étape souvent critique dans le secteur de l'automatisation en restauration où les cycles de vente sont longs et les preuves de concept nombreuses. Le Bon Vivant 3.0 s'inscrit dans un segment en croissance : l'automatisation des tâches de cuisson répétitives en restauration collective et rapide, où la pression sur les coûts de main-d'oeuvre et la régularité de la production restent des enjeux majeurs pour les opérateurs. Cela dit, le communiqué reste avare en métriques techniques (débit, nombre de recettes gérées, temps de cycle), ce qui rend difficile toute évaluation indépendante des performances annoncées. GMEX Robotics opère sur un marché de plus en plus concurrentiel, face à des acteurs comme Miso Robotics (Flippy, déployé chez White Castle aux États-Unis) ou Nala Robotics, qui cible également la restauration multi-format. Côté européen, des initiatives comme celles de Pazzi (pizza robotisée, France) ont montré les limites de la scalabilité dans ce secteur. L'accord-cadre de A$4,2 millions laisse entendre plusieurs tranches de commandes à venir : la capacité de GMEX à les convertir en déploiements opérationnels sera le vrai indicateur de maturité commerciale.

Industriel⚡Actu

1 source

42

4864Robotics Business Review 

Mind Robotics lève 400 millions de dollars pour déployer ses robots à IA dans l'industrie manufacturière

Mind Robotics, startup américaine basée à Palo Alto, a annoncé le 13 mai 2026 une levée de fonds de 400 millions de dollars, portant son financement total à plus d'un milliard de dollars depuis sa création. Ce tour a été mené par Kleiner Perkins, avec la participation de nouveaux investisseurs comme Meritech Capital, Redpoint Ventures, SV Angel et Garuda Ventures, aux côtés d'acteurs déjà présents tels qu'Andreessen Horowitz, Accel, Bain Capital Ventures et Greenoaks. La startup, fondée par RJ Scaringe, avait enchaîné un seed de 115 millions de dollars fin 2025 puis une Série A de 500 millions en mars 2026, soit trois tours en moins de six mois. Mind Robotics se positionne comme constructeur d'une "plateforme full-stack" combinant modèles de fondation pour la robotique physique, hardware dédié et infrastructure de déploiement, ciblant l'automatisation de tâches manufacturières dextres et à fort contenu décisionnel. Rivian, le constructeur de véhicules électriques, est à la fois premier client, partenaire stratégique et actionnaire, fournissant un environnement de production à haut volume pour l'entraînement des modèles et alimentant ce que la société appelle un "data flywheel" d'itération continue. À ce stade, Mind Robotics reste une annonce plus qu'un produit déployé : le site de la société ne publie aucune image de robot, aucune fiche technique n'est disponible (payload, degrés de liberté, cadence de cycle), et les démonstrations publiques sont absentes. Ce point mérite d'être noté, car la plupart des levées comparables dans le secteur humanoïde ou manufacturing (Figure, 1X, Apptronik, Agility) s'accompagnent au minimum de vidéos opérationnelles. L'accès à l'usine Rivian comme terrain d'entraînement est un avantage réel pour réduire le sim-to-real gap, mais la promesse de généralisation inter-tâches et inter-domaines reste à valider empiriquement. Pour les décideurs industriels, la question centrale n'est pas le montant levé mais la capacité à démontrer une fiabilité en conditions réelles avant 2027, dans un secteur où le fossé entre démo et déploiement à l'échelle reste le principal obstacle commercial. RJ Scaringe, qui a co-fondé Rivian en 2009 et conduit l'entreprise jusqu'à son introduction en bourse en 2021, a créé Mind Robotics en novembre 2025 en s'appuyant sur l'expertise manufacturière accumulée chez Rivian. La société s'insère dans une vague de financements massifs autour de la "physical AI" : Boston Dynamics, Figure (2,6 milliards levés à date), Physical Intelligence avec Pi-0, ou encore 1X Technologies en Europe. En France et en Europe, des acteurs comme Wandercraft (exosquelettes), Enchanted Tools (Miroki) ou Pollen Robotics (Reachy) avancent sur des segments plus ciblés avec des modèles économiques plus définis. Les prochaines étapes à surveiller pour Mind Robotics : une première démonstration publique de son hardware, l'annonce d'un second client industriel hors Rivian, et la publication de métriques de déploiement concrètes qui permettront de juger si l'ambition "general-purpose" tient face à la réalité de la chaîne de production.

Business❧Opinion

1 source

35

4865Robotics Business Review 

Adoptez une vision systémique pour le déploiement à grande échelle des humanoïdes au Robotics Summit

Le Robotics Summit & Expo se tiendra les 27 et 28 mai 2026 à Boston, et l'un de ses temps forts techniques sera la session intitulée "Humanoids That Scale: A Systems and Semiconductor Perspective", programmée le second jour à 14h30 ET. L'intervenant principal sera Giovanni Campanella, directeur général du segment robotique chez Texas Instruments, ingénieur diplômé de l'Université de Bologne et du Politecnico di Torino. Sa présentation s'appuiera sur des architectures de référence et des cas de conception réels pour adresser quatre verrous techniques centraux dans le développement des humanoïdes : la fusion de capteurs à haute bande passante, le traitement IA embarqué en temps réel, le contrôle moteur de précision, et la fiabilité des communications entre sous-systèmes distribués. L'événement accueillera plus de 70 intervenants confirmés, issus notamment de Tesla, Toyota Research Institute, PickNik Robotics, Robust AI, Harmonic Drive et Fictiv, répartis sur plus de 50 sessions couvrant l'IA, le design, les technologies habilitantes, la santé et la logistique. La valeur de cette session tient à son niveau d'abstraction : alors que la plupart des annonces dans le secteur humanoïde portent sur les modèles de fondation, les VLA (Vision-Language-Action models) ou les benchmarks de locomotion, Campanella aborde la question par le bas de la pile, au niveau des chaînes de signal analogiques, de la gestion de puissance et du traitement embarqué. Pour un intégrateur ou un directeur technique qui doit concevoir un système déployable, c'est précisément là que se jouent les compromis décisifs : latence bout-en-bout, consommation énergétique par cycle de tâche, et fiabilité des communications dans un environnement industriel bruité. Le message implicite de Texas Instruments est que le "scaling" des humanoïdes n'est pas uniquement un problème logiciel, et que les semi-conducteurs restent un goulot d'étranglement sous-estimé dans la course à la commercialisation. Il faut noter que cet article est avant tout un communiqué promotionnel pour le sommet, sans métriques de déploiement ni annonce produit. Sur le fond, le Robotics Summit est produit par The Robot Report et WTWH Media, et constitue l'un des principaux rendez-vous techniques pour les développeurs de robotique commerciale aux États-Unis. Il est colocalisé cette année avec DeviceTalks Boston, dédié aux dispositifs médicaux. Dans le contexte plus large, la session TI s'inscrit dans une phase où les acteurs humanoïdes majeurs (Figure avec son robot 03, Tesla avec Optimus Gen 3, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2) ont tous publié des démonstrations convaincantes mais où les déploiements industriels à l'échelle restent rares. La question de savoir si l'infrastructure semiconducteur est prête à suivre la cadence des ambitions logicielles sera au coeur des échanges à Boston fin mai.

Humanoïdes⚡Actu

1 source

34

4866TechNode 

Elon Musk qualifie le mech chevauchable GD01 de Unitree de « cool »

Unitree Robotics, société basée à Hangzhou (Chine), a lancé mardi 13 mai 2026 le GD01, un engin mécanisé à pilotage humain à bord que l'entreprise présente comme le premier "mech transformable à production de masse" au monde. L'engin pèse environ 500 kg en configuration roulante, s'élève à la hauteur de deux adultes debout, et est doté d'un bras robotique. Son prix de départ est fixé à 3,9 millions de yuans, soit environ 540 000 dollars. Le lendemain, Elon Musk a relayé le produit sur les réseaux sociaux en le qualifiant simplement de "cool". L'engouement médiatique autour du GD01 mérite d'être contextualisé avec prudence. Les vidéos promotionnelles montrent le bras robotique démolir un mur, mais aucune spécification technique indépendante n'a été publiée : pas de DOF, pas de payload vérifié, pas de données d'autonomie ou de manoeuvrabilité en conditions réelles. Unitree le positionne comme "véhicule de transport civil", une catégorie nouvelle et non réglementée. À 540 000 dollars l'unité, la cible n'est pas l'industrie logistique classique, mais potentiellement les parcs d'attraction, la défense légère ou le divertissement haut de gamme. Unitree est surtout connu pour ses robots quadrupèdes à bas coût, comme le Go1 ou le B2, qui ont bousculé le marché dominé par Boston Dynamics. Avec le GD01, la société explore une catégorie entièrement différente. Sur ce segment des méchas habitables, les concurrents directs sont rares : Archax (Tsubame Industries, Japon, 3 millions de dollars) et Prostheon restent des objets de niche. L'intérêt de Musk amplifie la visibilité internationale du produit, mais ne valide pas sa viabilité commerciale.

Chine/Asie❧Opinion

1 source

34

4867Pandaily 

IA incarnée : la startup Zenbot lève près de 100 millions de yuans lors de son tour d'amorçage

La startup chinoise Zenbot, spécialisée dans l'infrastructure d'IA embodied, a bouclé un tour de financement d'amorçage de près de 100 millions de yuans (environ 14 millions de dollars). Le tour est co-piloté par trois industriels cotés de la fabrication de précision : ChangYing Precision (300115.SZ), Kedali (002850.SZ) et Zhaoming Technology (301000.SZ), auxquels s'ajoutent le fonds entrepreneurial L2F Light Source et Sirius Capital. L'utilisation des fonds cible quatre axes : le développement d'un world model à vocation généraliste pour l'IA embodied, la production en série de modules articulaires exploitant des drivers GaN de troisième génération, le déploiement d'une architecture de communication temps réel dite "cerveau-colonne vertébrale" (brain-spine), et le renforcement des capacités de conception full-stack pour la production de masse de produits complets. Ce financement signale une tendance structurelle dans l'écosystème robotique chinois : les équipementiers de précision entrent directement au capital des startups d'IA embodied, cherchant à sécuriser un accès précoce aux briques technologiques critiques. L'intégration de drivers GaN dans les modules articulaires est un pari technique notable, ces composants semi-conducteurs de troisième génération promettent une densité de puissance supérieure et des pertes réduites par rapport au silicium classique, ce qui est déterminant pour l'autonomie et la compacité des robots humanoïdes. L'architecture brain-spine en temps réel répond à un verrou bien identifié du secteur : la latence de communication entre le contrôleur central et les actionneurs périphériques, souvent citée comme obstacle au déploiement industriel fiable. Zenbot s'inscrit dans une vague dense de startups chinoises d'IA embodied qui cherchent à concurrencer Figure, Boston Dynamics ou 1X Technologies sur le terrain des briques d'infrastructure plutôt que sur celui des robots finis. Le co-fondateur Dr. Jia Zhenzhong, diplômé du département d'instruments de précision de Tsinghua et docteur de l'Université du Michigan, positionne l'entreprise à l'intersection de la robotique, de la vision par ordinateur et des grands modèles d'IA. Aucun prototype public, ni timeline de production en série, ni client annoncé à ce stade : ce tour reste une annonce d'intention, avec des jalons technologiques ambitieux encore à démontrer.

Chine/Asie❧Opinion

1 source

43

4868Pandaily 

Founder Motor atteint la production en petite série de moteurs d'articulation pour robots

Founder Motor (cotée à la Bourse de Shenzhen, code 002196.SZ) a confirmé le 14 mai 2026 dans un document de relations investisseurs que ses moteurs de joints robotiques ont atteint le stade de la production en petite série pour certains produits. D'autres références sont encore en phase de co-développement et de prototypage avec des clients. La société dispose d'une capacité de production sur son site de Lishui d'environ 1 million d'unités par an, et prévoit d'étendre son site de Deqing à 3 millions d'unités par an ; la capacité opérationnelle actuelle consolidée atteint environ 1,5 million d'unités par an. Sur le segment des contrôleurs intelligents, l'entreprise signale deux années consécutives de croissance du chiffre d'affaires sans progression des marges, conséquence directe d'une pression concurrentielle intense dans les industries clientes. Des projets individuels ont néanmoins déjà entamé une production en petite série. Ce signal industriel mérite attention : la bascule de "prototype" à "petite série" est précisément le seuil où les intégrateurs de robots humanoïdes commencent à planifier des approvisionnements récurrents. Une capacité annoncée de 1,5 million d'unités existantes -- et un objectif de 4 millions à terme -- positionne Founder Motor comme fournisseur potentiel de composants critiques pour l'ensemble du secteur humanoïde chinois. L'absence de calendrier précis pour la montée en volume reste cependant un signal prudent : la demande effective des constructeurs (BYD, Unitree, AgiBot...) conditionne tout le déploiement. La compression des marges sur les contrôleurs intelligents indique par ailleurs que la guerre des prix sur les composants robotiques est déjà engagée. Founder Motor est historiquement fabricant de moteurs électriques pour l'automobile et l'industrie. La montée en régime sur les joints robotiques s'inscrit dans un mouvement plus large de reconversion des motoristes traditionnels chinois vers la robotique humanoïde, terrain où Maxon, Harmonic Drive (Japan) et des acteurs comme Nabtesco restent les références mondiales sur les actionneurs de précision. Face à eux, l'argument de Founder Motor est le volume et le coût : les deux bases de production visent une échelle industrielle que peu de spécialistes occidentaux peuvent égaler. Les prochaines étapes observables seront les annonces de contrats-cadres avec des constructeurs nommés, seul indicateur permettant de distinguer un positionnement commercial d'une capacité réellement absorbée par le marché.

Chine/Asie⚡Actu

1 source

47

4869arXiv cs.RO 

Un stack d'autonomie unifié : vers un schéma directeur pour l'autonomie robotique généralisable

Des chercheurs du Norwegian University of Science and Technology (NTNU), au sein de leur Autonomous Robots Lab (ARL), ont publié et mis en open source un framework d'autonomie modulaire baptisé Unified Autonomy Stack (arXiv:2605.12735, mai 2025). L'architecture repose sur trois modules interdépendants : perception multimodale (LiDAR, radar, vision, centrale inertielle), planification multi-comportements, et navigation sécurisée multicouche. La fusion sensorielle s'appuie sur un graphe de facteurs pour la localisation et la cartographie simultanées (SLAM), complétée par une compréhension sémantique de la scène. La planification utilise des techniques d'échantillonnage adaptatif à différentes échelles spatiales, tandis que la sécurité de navigation combine reconstruction de carte en ligne, politiques exoceptives par deep learning et filtres de dernier recours via des fonctions de barrière de contrôle (Control Barrier Functions, CBF). Le système a été validé sur le terrain avec deux classes de robots : aériens (rotorcraft multirotors) et terrestres à pattes, dans des environnements GNSS-dégradés, enfumés, géométriquement complexes et à forte densité d'obstacles. La contribution principale n'est pas un algorithme isolé mais une architecture système complète, validée dans des conditions réellement dégradées, ce qui reste rare dans la littérature académique. La capacité à opérer sans GPS dans des espaces à textures auto-similaires (couloirs industriels, tunnels) ou sous visibilité réduite répond directement aux besoins de l'inspection robotisée en milieux contraints : sites miniers, infrastructures énergétiques, espaces confinés. L'ouverture totale du code source, modules perception, planification et sécurité inclus, abaisse la barrière d'entrée pour les intégrateurs qui ne souhaitent pas reconstruire cette couche d'autonomie de zéro. La portabilité cross-morphologies, le même stack pour un drone et un quadrupède, est une proposition de valeur forte pour les plateformes hybrides. L'NTNU ARL dispose d'un historique solide en navigation autonome en milieux dégradés, notamment à travers sa participation à la DARPA Subterranean Challenge. Ce projet positionne le laboratoire norvégien comme acteur open source dans un espace jusqu'ici dominé par des solutions propriétaires américaines telles que le Nav SDK de Boston Dynamics, la suite Clearpath, ou le système ANYmal d'ANYbotics. Les datasets de validation sont également mis à disposition, signal d'une ambition d'adoption communautaire active. Les extensions naturelles concerneraient l'intégration avec des couches de commande haute performance (MPC, whole-body control) et les flottes multi-robots hétérogènes.

Recherche❖Paper

1 source

46

4870arXiv cs.RO 

L'expression émotionnelle des robots à faibles degrés de liberté : évaluation de la perception avec Reachy Mini

Une étude parue sur arXiv (2605.12786) analyse comment des humains interprètent les expressions émotionnelles du Reachy Mini, robot à faible nombre de degrés de liberté (low-DoF) développé par Pollen Robotics et Hugging Face. Le protocole, mené en ligne avec 100 participants en design intra-sujets, exposait chacun à 10 clips vidéo du robot exprimant différentes émotions ; les participants devaient identifier l'émotion perçue, évaluer sa valence et son éveil (arousal), et noter le robot sur des traits de perception sociale. La reconnaissance exacte s'est révélée globalement modeste : la colère, la tristesse et l'intérêt ont été identifiées de façon fiable, tandis que l'amour, le plaisir, la honte et le dégoût ont été bien moins reconnus. En revanche, les participants ont mieux capté le sens affectif global, sur les axes valence et arousal, que l'étiquette émotionnelle précise. Ces résultats interrogent un postulat courant en robotique sociale : faut-il de nombreux degrés de liberté pour communiquer une émotion crédible ? La réponse est nuancée. Si la finesse expressive reste hors de portée d'un robot low-DoF, le signal affectif général, positif ou négatif, calme ou activé, passe suffisamment pour influencer la perception sociale : les expressions positives ont été perçues comme plus chaleureuses et sociables que les négatives. Pour les intégrateurs de robots de service ou d'assistance, cela suggère qu'un design expressif minimaliste peut produire des effets relationnels mesurables, sans nécessiter une tête animatronique à haute complexité mécanique. Pollen Robotics, startup française basée à Bordeaux, a conçu Reachy Mini comme plateforme ouverte pour la recherche en interaction homme-robot (HRI). Son partenariat avec Hugging Face, acteur français de l'IA open-source, vise à connecter le robot à des modèles de perception et de langage accessibles. Dans le paysage concurrentiel, Reachy Mini se positionne face à NAO et Pepper (SoftBank Robotics) sur le segment recherche/éducation, avec un ancrage open-source plus marqué, et s'écarte des androïdes expressifs à haute fidélité comme ceux de Hanson Robotics. Les auteurs proposent d'établir Reachy Mini comme benchmark standardisé pour la communication affective sur robots contraints, et identifient l'interaction physique directe (versus vidéo seule) comme prochaine étape expérimentale.

FR/EU ecosysteme❖Paper

1 source

46

4871arXiv cs.RO 

Vers des agents incarnés à long horizon avec des modèles vision-langage-action (VLA) alignés sur les outils

Des chercheurs ont déposé en mai 2026 sur arXiv un papier proposant "VLAs-as-Tools", une architecture modulaire pour dépasser les limites des modèles vision-langage-action (VLA) sur des tâches robotiques à long horizon. Le principe repose sur une division des rôles : un agent VLM (vision-language model) de haut niveau prend en charge la planification temporelle, l'analyse de scène et la récupération sur erreur, tandis qu'une famille d'outils VLA spécialisés exécutent chacun une sous-tâche physique bornée. Une interface dédiée expose la sélection explicite d'outils et un retour de progression en cours d'exécution, permettant au planificateur de se reconfigurer sur événement plutôt que de surveiller le robot en continu. Pour entraîner ces outils spécialisés à suivre fidèlement les invocations de l'agent, l'équipe propose TAPT (Tool-Aligned Post-Training), qui construit des unités d'entraînement alignées et s'appuie sur des adaptateurs résiduels par famille d'outils. Appliqué au modèle π0.5 de Physical Intelligence, ce pipeline améliore le taux de succès de 4,8 points sur LIBERO-Long et de 23,1 points sur RoboTwin, et augmente la fidélité d'invocation de 15,0 points mesurée par le Non-biased Rate. Ce résultat s'attaque à l'un des goulots d'étranglement les mieux documentés des VLA : leur incapacité à enchaîner des séquences d'actions longues et hétérogènes sans dérive ou blocage. Le gain de 23,1 points sur RoboTwin est particulièrement significatif, ce benchmark simulant des tâches de manipulation complexes proches des conditions industrielles. Là où les approches précédentes soumettaient en boucle le contexte complet au modèle planificateur, VLAs-as-Tools découple strictement planification et exécution, ce qui réduit la latence de replanification et évite la saturation du contexte. Pour un intégrateur ou un COO industriel, cela signifie que des fondations généralistessont en train de franchir le seuil des workflows multi-étapes sans orchestration comportementale ad hoc -- territoire jusqu'ici réservé aux systèmes classiques de type BT ou FSM. Il faut néanmoins souligner que les résultats restent confinés à la simulation : aucune validation sur hardware réel n'est présentée dans le papier. π0.5 est le modèle VLA généraliste de Physical Intelligence (Pi), startup fondée en 2023 par Sergey Levine, Chelsea Finn et d'autres anciens de Google et Berkeley, avec plus de 400 millions de dollars levés. Pi est l'un des rares acteurs à proposer un VLA pré-entraîné sur données réelles à large échelle, en concurrence directe avec GR00T N2 de NVIDIA, les efforts de Google DeepMind, et les approches open-source comme OpenVLA (Stanford). La course se joue désormais sur la généralisation zero-shot et la robustesse hors distribution, deux critères que les benchmarks actuels n'évaluent que partiellement. Les auteurs annoncent la publication du code, ouvrant la voie à l'adaptation de TAPT sur d'autres VLA de base; une validation sur plateforme réelle, annoncée implicitement comme prochaine étape, sera déterminante pour confirmer les gains observés en simulation.

IA physique❧Opinion

1 source

46

4872arXiv cs.RO 

Estimation de la vitesse angulaire avec gestion de la saturation : renforcement de la robustesse du SLAM lors de mouvements brusques

Des chercheurs du Northern Robotics Laboratory (NorLab) de l'Université Laval, au Québec, publient une méthode d'estimation de vitesse angulaire baptisée SAAVE (Saturation-Aware Angular Velocity Estimation) conçue pour maintenir le bon fonctionnement des algorithmes SLAM lorsque les gyroscopes saturent pendant des mouvements brusques. La cause typique : un robot qui chute, bascule, ou descend un escalier à grande vitesse. Dans ces situations, les gyroscopes -- premiers capteurs à atteindre leur plage de mesure maximale -- deviennent inopérants, corrompant la carte que le robot se construit en temps réel. La méthode proposée contourne ce problème en utilisant les accéléromètres pour reconstituer la vitesse angulaire durant ces rotations extrêmes. Sur le jeu de données TIGS (Tumbling-Induced Gyroscope Saturation), constitué d'expériences en extérieur avec un lidar mécanique soumis à des vitesses angulaires quatre fois supérieures aux datasets comparables disponibles, la méthode réduit l'erreur médiane de localisation de 71,5 % en translation et de 65,5 % en rotation, et élimine les échecs de cartographie qui survenaient dans 37,5 % des expériences sans cette correction. L'enjeu dépasse la performance académique : en robotique de terrain, un robot physiquement intact après une chute peut se retrouver incapable de poursuivre sa mission simplement parce que sa représentation de l'environnement est corrompue. C'est un angle mort documenté des pipelines SLAM modernes, qu'ils soient basés sur lidar (LIO-SAM, LOAM, CT-ICP) ou sur vision. La contribution ici n'est pas une refonte du SLAM, mais un module de robustesse qui s'intègre en amont -- ce qui la rend directement exploitable sans remplacer l'ensemble du stack de localisation. Pour les intégrateurs qui déploient des robots d'inspection en milieux non structurés (mines, chantiers, zones sinistrées), c'est une brique concrète, pas un teaser. NorLab est connu pour ses travaux sur la localisation en conditions hivernales et ses librairies open source (libpointmatcher, norlab-icp). Ce papier, initialement soumis en octobre 2023 et mis à jour depuis (v2), s'inscrit dans une tendance de fond : renforcer les SLAM existants face aux défaillances capteurs plutôt que de les remplacer. Le dataset TIGS est disponible publiquement sur GitHub, ce qui facilite la reproductibilité et le benchmark futur. Dans le paysage concurrentiel, les approches comme KISS-ICP ou VILENS adressent la robustesse en mouvement nominal, mais la saturation gyroscopique par chute reste peu couverte -- ce que NorLab comble ici de façon ciblée.

Recherche❖Paper

1 source

45

4873arXiv cs.RO 

Realtime-VLA FLASH : un cadre d'inférence spéculative pour les modèles VLA à base de diffusion

Une équipe de chercheurs a publié le 19 mai 2025 sur arXiv (ref. 2605.13778) un cadre d'inférence baptisé Realtime-VLA FLASH, conçu pour réduire drastiquement la latence des modèles de type dVLA (diffusion-based vision-language-action). Le problème de départ est précis : chaque cycle d'inférence complète d'un dVLA prend typiquement 58,0 ms, ce qui est incompatible avec un replanning haute fréquence en conditions réelles. FLASH introduit un modèle "brouillon" léger qui génère des propositions d'actions, vérifiées en parallèle par l'Action Expert du modèle principal, composant dédié à la validation des séquences motrices. Un mécanisme de fallback "phase-aware" bascule automatiquement sur l'inférence complète lorsque la proposition brouillon est jugée insuffisamment fiable. Sur le benchmark LIBERO, la latence moyenne par tâche descend à 19,1 ms, soit une accélération de 3,04x, avec des cycles spéculatifs aussi rapides que 7,8 ms. Les auteurs valident également l'approche sur une tâche réelle de tri sur tapis convoyeur, environnement latency-critical par nature. L'intérêt industriel est direct : le goulot d'étranglement des VLA diffusion n'était pas leur capacité à généraliser, mais leur incapacité à répondre à la fréquence de contrôle des robots physiques (typiquement 10-50 Hz). Descendre sous les 20 ms de latence moyenne ouvre la voie à un déploiement sur des manipulateurs industriels ou des robots mobiles opérant en environnement dynamique. Ce que FLASH prouve concrètement, c'est que le "reality gap" des dVLA est au moins partiellement un problème d'architecture d'inférence, pas uniquement de données ou de sim-to-real. La méthode préserve les performances sur LIBERO sans compromis visible sur la fiabilité, ce qui est l'argument le plus solide de la publication, à condition que les auteurs rendent publics leurs taux de succès détaillés par tâche, absents du résumé. Les dVLA sont devenus un axe central de la robotique généraliste depuis les travaux de Physical Intelligence sur pi0 (2024) et de NVIDIA sur GR00T N2, qui reposent tous deux sur des architectures diffusion pour la génération d'actions. OpenVLA et d'autres approches autorégressives contournent ce problème différemment, au prix d'une expressivité moindre sur les tâches de manipulation fine. FLASH se positionne comme une surcouche d'optimisation compatible avec les dVLA existants, sans nécessiter de réentraînement complet du modèle principal, ce qui en fait un candidat naturel pour les équipes travaillant sur pi0 ou des architectures dérivées. Les prochaines étapes attendues sont une validation sur des systèmes à plus haute dynamique (robots bimanes, manipulation dextre) et une mesure de la dégradation sur des distributions out-of-distribution, point encore non traité dans cette version préprint.

IA physique❧Opinion

1 source

45

4874arXiv cs.RO 

Quels sont les facteurs limitants de la navigation vision-langage ?

Une équipe de chercheurs publie StereoNav (arXiv:2605.13328, mai 2026), un framework Vision-Language-Action (VLA) conçu pour la navigation robotique guidée par instructions en langage naturel, domaine désigné sous le terme Vision-and-Language Navigation (VLN). Sur les benchmarks standards R2R-CE et RxR-CE, le système atteint des taux de succès (SR) de 81,1 % et 67,5 %, avec des scores SPL (Success weighted by Path Length) de 68,3 % et 52,0 % respectivement, positionnant StereoNav en état-de-l'art sur RGB égocentrique. Ces performances sont obtenues avec nettement moins de paramètres et de données d'entraînement que les approches concurrentes fondées sur la mise à l'échelle. Des déploiements physiques sur robot dans des environnements non structurés réels confirment une amélioration substantielle de la fiabilité de navigation. La contribution centrale de StereoNav est de remettre en cause le paradigme dominant du scaling: les auteurs soutiennent que le vrai goulot d'étranglement pour combler le sim-to-real gap ne réside pas dans la taille des modèles ou le volume de données d'entraînement, mais dans l'absence d'un ancrage spatial robuste (spatial grounding) et de représentations cross-domaines stables. Ils introduisent en réponse des Target-Location Priors, représentations visuelles persistantes invariantes entre simulation et déploiement réel, qui stabilisent la navigation même lorsque les instructions verbales sont vagues ou incomplètes. La vision stéréo complète le dispositif en construisant une représentation unifiée sémantique et géométrique, résistante aux perturbations visuelles fréquentes en environnement industriel: flou de mouvement, variations d'éclairage, changements de perspective. Pour un intégrateur ou un COO industriel, le signal est clair: atteindre ces performances sans modèles XXL réduit significativement les coûts de déploiement et d'inférence. La VLN s'appuie historiquement sur le benchmark Room-to-Room (R2R) introduit en 2018, mais le passage du simulateur Matterport3D au monde physique restait un défi largement ouvert. StereoNav entre en compétition directe avec des VLA généralistes misent sur l'échelle paramétrique: pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, et Helix de Figure AI. L'architecture proposée choisit une voie opposée, fondée sur l'efficience et les priors géométriques explicites plutôt que la capacité brute. Il s'agit à ce stade d'un résultat académique sans déploiement commercial annoncé, mais les expériences physiques documentées dépassent le registre de la démonstration en laboratoire et constituent une base sérieuse pour des pilotes industriels à venir.

IA physique❧Opinion

1 source

45

4875arXiv cs.RO 

Mise en cache adaptative par blocs pour accélérer les politiques de diffusion

Une équipe de chercheurs a publié sur arXiv (2506.13456) BAC, pour Block-wise Adaptive Caching, une méthode d'accélération de l'inférence pour Diffusion Policy. Le principe : mettre en cache les features d'action intermédiaires générées lors des étapes répétitives de débruitage (denoising), puis les réutiliser sélectivement selon un schéma adaptatif au niveau de chaque bloc du transformeur. Résultat annoncé : jusqu'à 3x de speedup à l'inférence, sans dégradation des performances en génération d'action. BAC est training-free et compatible avec les architectures Diffusion Policy à base de transformeur ainsi qu'avec les modèles vision-language-action (VLA). Les expériences couvrent plusieurs benchmarks robotiques standards, sans déploiement matériel réel annoncé dans ce papier. L'enjeu est direct pour le déploiement industriel : Diffusion Policy est l'une des approches les plus solides pour le contrôle visuomoteur de robots manipulateurs, mais son coût computationnel élevé la rend impraticable en contrôle temps-réel embarqué. Un facteur 3x sans re-training représente un gain opérationnel concret, il suffit d'intégrer BAC sur un modèle existant déjà entraîné. Deux mécanismes y contribuent : un Adaptive Caching Scheduler qui identifie les pas de temps optimaux pour rafraîchir le cache en maximisant la similarité globale des features, et un Bubbling Union Algorithm qui corrige la propagation d'erreurs entre blocs FFN (Feed-Forward Network), principale limite des approches naïves de caching. Diffusion Policy, introduite par Chi et al. en 2023, s'est imposée comme référence pour la manipulation précise, mais son inférence multi-step la pénalise face aux politiques autorégressives ou MLP sur les contraintes de latence. Les techniques d'accélération des modèles de diffusion conçues pour la génération d'images (DDIM, DeepCache) ne se transfèrent pas directement à la robotique en raison de divergences architecturales et de la nature séquentielle des données d'action, c'est précisément le gap que BAC prétend combler. La méthode est compatible avec les VLA récents comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), ce qui lui confère un périmètre d'application large sur l'écosystème actuel. La validation reste cependant limitée aux benchmarks simulés ; une confirmation sur hardware réel en conditions d'inférence embarquée sera nécessaire pour évaluer l'impact opérationnel réel.

Recherche❖Paper

1 source

45

4876arXiv cs.RO 

QuickLAP : apprentissage rapide des préférences langage-action pour systèmes semi-autonomes

Des chercheurs du MIT CLEAR Lab ont publié QuickLAP (Quick Language-Action Preference Learning), un cadre bayésien conçu pour apprendre les préférences d'un utilisateur en combinant deux types de retours : les corrections physiques (gestes, ajustements de trajectoire) et les instructions en langage naturel. L'article, déposé sur arXiv (2511.17855v2), présente des résultats obtenus dans un simulateur de conduite semi-autonome. L'approche utilise un LLM pour extraire, à partir d'énoncés libres, deux signaux distincts : un masque d'attention sur les caractéristiques de la fonction de récompense (quels critères comptent) et un vecteur de déplacement de préférence (dans quelle direction). Ces signaux sont intégrés avec les corrections physiques via une règle de mise à jour en forme fermée, sans nécessiter d'optimisation itérative à chaque cycle. Les résultats quantitatifs sont notables : QuickLAP réduit l'erreur d'apprentissage de la récompense de plus de 70 % par rapport à des baselines utilisant uniquement le retour physique ou des fusions multimodales heuristiques. Une étude utilisateur menée avec 15 participants confirme que le système est perçu comme plus compréhensible et collaboratif, et que le comportement appris est préféré à celui des baselines. Pour les intégrateurs de systèmes semi-autonomes (robotique d'assistance, véhicules autonomes, cobots industriels), cela pointe vers une voie concrète pour réduire la charge de supervision humaine : au lieu d'imposer des interfaces de correction rigides, le système réconcilie des feedbacks ambigus en temps réel. La combinaison LLM + inférence bayésienne contourne l'ambiguïté classique des corrections gestuelles seules. Le problème adressé est bien identifié dans la littérature sur l'apprentissage par renforcement interactif (IRL, RLHF, preference learning). Les approches précédentes traitaient soit le langage (via RLHF ou instruction following), soit le retour physique (DAgger, kinesthetic teaching), rarement les deux de façon cohérente. QuickLAP se positionne dans la lignée des travaux sur les VLAs et les reward models multimodaux, avec un angle applicatif sur les systèmes à supervision humaine partielle. Le code est disponible sur GitHub (MIT-CLEAR-Lab/QuickLAP). Les prochaines étapes naturelles seraient une validation sur robot physique et des expériences dans des domaines au-delà de la conduite, comme la manipulation ou la navigation en entrepôt.

Recherche❧Opinion

1 source

44

4877arXiv cs.RO 

Manipulation robotique par imitation de vidéos générées, sans démonstrations physiques

Une équipe de chercheurs a publié sur arXiv (2507.00990) un système baptisé RIGVid (Robots Imitating Generated Videos) permettant à un robot de réaliser des tâches de manipulation complexe, comme verser un liquide, essuyer une surface ou mélanger des ingrédients, en imitant uniquement des vidéos générées par IA, sans aucune démonstration physique ni données d'entraînement spécifiques au robot. Le pipeline fonctionne en trois étapes : à partir d'une commande en langage naturel et d'une image de la scène initiale, un modèle de diffusion vidéo génère des vidéos de démonstration candidates, un VLM (vision-language model) filtre automatiquement celles qui ne correspondent pas à la commande, puis un tracker de pose 6D extrait les trajectoires d'objets. Ces trajectoires sont ensuite retargetées vers le robot de manière agnostique à l'embodiment, c'est-à-dire sans nécessiter de recalibration spécifique à la morphologie du bras utilisé. L'impact est notable pour les intégrateurs et les équipes de recherche en manipulation robotique : supprimer la collecte de démonstrations physiques, étape longue et coûteuse dans les pipelines d'imitation learning, est un verrou industriel majeur. Les évaluations en conditions réelles montrent que les vidéos générées et filtrées atteignent une efficacité équivalente aux démonstrations humaines réelles, et que la performance progresse avec la qualité du modèle génératif utilisé. Le système surpasse également des alternatives plus compactes comme la prédiction de keypoints via VLM, et le tracking 6D de pose s'avère supérieur au tracking dense de points de features. Ces résultats valident expérimentalement l'hypothèse que les générateurs vidéo state-of-the-art constituent une source de supervision viable pour la manipulation robotique, au moins sur des tâches de difficulté modérée. Ce travail s'inscrit dans un champ de recherche en effervescence autour du "learning from video" sans interaction physique, en concurrence directe avec des approches comme les VLA (vision-language-action) de Physical Intelligence (pi-0), les politiques de diffusion type Diffusion Policy, ou encore l'usage de données synthétiques issues de simulateurs. L'approche RIGVid se distingue par son absence totale de données robot et son pipeline entièrement basé sur des modèles généralistes off-the-shelf. À noter que ce papier est une prépublication arXiv (v3, donc ayant déjà subi plusieurs révisions), sans validation par peer-review complet à ce stade, et que les tâches évaluées restent relativement contraintes en termes de variabilité de scène et de généralisation out-of-distribution.

Recherche❧Opinion

1 source

44

4878arXiv cs.RO 

Quand l'état absolu échoue : évaluation des encodages proprioceptifs pour une manipulation robuste

Une équipe de chercheurs publie sur arXiv (référence 2605.13067) une étude systématique sur l'encodage de l'état proprioceptif des robots pour améliorer la robustesse des politiques de manipulation de bout en bout. Le constat de départ est précis : les politiques entraînées avec des données en conditions contrôlées échouent fréquemment lors du déploiement réel, notamment lorsque le référentiel du robot change entre l'entraînement et l'inférence. Les auteurs évaluent plusieurs stratégies d'encodage des positions et angles articulaires, depuis les représentations absolues classiques jusqu'à des formulations relatives, et identifient qu'un référentiel relatif défini à l'épisode, c'est-à-dire ancré sur l'état initial des articulations au début de chaque séquence de tâche, offre le meilleur compromis entre performance nominale et généralisation hors distribution. Ces résultats sont validés sur un banc d'essai physique en conditions réalistes, avec des expériences multi-configurations sur robot réel. L'enjeu industriel est concret : les robots à cadre de référence mobile (bras montés sur AMR, robots repositionnables sur ligne, cobots déplacés entre postes) représentent une part croissante des déploiements, mais les politiques end-to-end existantes, y compris les VLA (Vision-Language-Action models) récents comme pi-0 ou GR00T N2, sont généralement entraînées avec des hypothèses de cadre fixe. Cette étude fournit une piste d'implémentation directement exploitable sans modifier l'architecture du modèle ni relancer de collecte de données massive : changer simplement la convention d'encodage proprioceptif suffit à améliorer la robustesse out-of-distribution. C'est un résultat rare dans la littérature VLA, qui tend à préconiser le scaling de données comme seule réponse à la distribution shift. Ce travail s'inscrit dans une tendance de fond : après l'emballement autour des politiques diffusion et des modèles fondation pour la robotique en 2023-2024, la communauté revient sur des questions d'ingénierie bas-niveau souvent négligées. La proprioception, longtemps traitée comme un signal trivial, redevient un sujet de recherche actif face aux exigences du déploiement réel. Aucun partenaire industriel n'est mentionné dans l'abstract, ce qui en fait une contribution académique ouverte, sans timeline de productisation annoncée. Les prochaines étapes logiques seraient des tests avec des architectures VLA complètes et des configurations de bases mobiles plus variées.

Recherche❧Opinion

1 source

44

4879arXiv cs.RO 

TinySDP : optimisation semi-définie en temps réel pour une robotique embarquée certifiable et agile

Des chercheurs ont publié sur arXiv (preprint 2605.13748, mai 2025) TinySDP, qu'ils présentent comme le premier solveur de programmation semi-définie (SDP) conçu explicitement pour les systèmes embarqués à ressources contraintes. L'objectif : permettre un contrôle prédictif en temps réel (MPC) sur microcontrôleurs, en intégrant des contraintes d'obstacles non convexes jusqu'ici réservées à des machines de calcul bien plus puissantes. Le solveur associe des projections de cônes semi-définis positifs à un algorithme ADMM (Alternating Direction Method of Multipliers) avec factorisation de Riccati mise en cache. Un certificat de rang 1 a posteriori convertit à chaque pas de temps les solutions relaxées en garanties géométriques explicites. Les expériences portent sur des scénarios d'évitement d'obstacles dynamiques et de cul-de-sac, où les méthodes locales classiques échouent ; TinySDP y produit des trajectoires sans collision et jusqu'à 73 % plus courtes que les baselines de référence. La validation matérielle est conduite sur un quadrirotor Crazyflie, nano-drone de recherche développé par Bitcraze. L'enjeu industriel est réel : les relaxations SDP offrent depuis des années des garanties de certification pour la planification de mouvement, mais leur coût computationnel les confinait aux stations de calcul hors-ligne ou aux serveurs de cloud. Les embarquer sur un microcontrôleur ouvre la voie à des robots autonomes certifiés opérant sans infrastructure réseau : drones d'inspection, AMR en environnement dynamique, bras cobots sans liaison cloud. Le gain de 73 % sur la longueur de chemin dans des scénarios difficiles dépasse ce que la littérature locale obtient habituellement, bien qu'il faille noter que ces benchmarks sont choisis par les auteurs, et que les conditions réelles d'industrialisation restent à établir. La programmation semi-définie est un outil établi en robotique depuis les travaux sur les relaxations de Lasserre et les problèmes de manipulation certifiée, mais aucun solveur embarqué n'en avait rendu le déploiement praticable avant ce travail. Côté concurrents, les solveurs embarqués dominants comme OSQP ou ECOS ciblent les problèmes quadratiques ou coniques de second ordre, sans support natif des contraintes SDP. Le papier reste un preprint non relu par les pairs ; les prochaines étapes naturelles seraient une validation sur des plateformes plus contraintes encore (STM32, Cortex-M) et des scénarios multi-obstacles en environnement non structuré.

Recherche❖Paper

1 source

44

4880arXiv cs.RO 

Self-CriTeach : auto-enseignement et auto-critique d'un LLM pour améliorer la planification robotique

Des chercheurs ont publié en 2025 via arXiv (2509.21543) un cadre baptisé Self-CriTeach, conçu pour améliorer la planification robotique par grands modèles de langage (LLM) sans supervision humaine coûteuse. Le principe central : un LLM génère automatiquement des domaines de planification symbolique au format PDDL, qui servent ensuite à deux fins distinctes. Dans la phase d'auto-enseignement, ces domaines produisent des milliers de paires problème-plan, converties en trajectoires chain-of-thought (CoT) enrichies exploitées en fine-tuning supervisé. Dans la phase d'auto-critique, ces mêmes domaines sont réutilisés comme fonctions de récompense structurées pour l'apprentissage par renforcement (RL), sans ingénierie manuelle des récompenses. Les résultats publiés font état de taux de succès en planification plus élevés, d'une meilleure généralisation inter-tâches, d'une réduction des coûts d'inférence et d'une robustesse accrue aux états logiques imparfaits ou bruités par la perception. L'intérêt de cette approche tient à son autonomie : elle brise deux goulots d'étranglement majeurs de l'outillage LLM pour la robotique. D'une part, la collecte de données CoT pour les LLMs raisonneurs est notorieusement coûteuse en annotation humaine, surtout pour des séquences de manipulation complexes. D'autre part, la conception de fonctions de récompense en RL robotique reste un travail d'ingénierie long et fragile, souvent spécifique à chaque tâche. Self-CriTeach unifie ces deux pipelines autour d'une seule source synthétique générée automatiquement, ouvrant la voie à une spécialisation scalable d'un LLM sur des workflows robotiques sans intervention humaine à chaque étape. Pour un responsable R&D ou un intégrateur, cela représente une réduction potentielle substantielle du coût de personnalisation. Ce travail s'inscrit dans un courant actif cherchant à remplacer la programmation explicite des robots par des LLMs capables de raisonner sur des représentations symboliques. Des approches antérieures comme SayCan (Google) ou CodeAsPolicies (Google DeepMind) ont utilisé des LLMs pour la planification de haut niveau, mais sans exploiter les domaines générés comme source d'entraînement en retour. La contribution de Self-CriTeach est précisément cette boucle fermée entre génération de domaines, supervision CoT et signal de récompense RL. Il s'agit d'une contribution de recherche académique publiée sur arXiv, sans déploiement industriel annoncé à ce stade. Le code et les résultats sont accessibles via la page GitHub du projet.

Recherche❖Paper

1 source

44

4881arXiv cs.RO 

AttenA+ : corriger l'inégalité des actions dans les modèles fondation pour la robotique

Une équipe de chercheurs propose AttenA+, un framework d'entraînement pour modèles de fondation robotiques publié sur arXiv (2605.13548) en mai 2026. Le constat de départ est simple : les modèles Vision-Language-Action (VLA) et World-Action Models (WAM) actuels héritent du paradigme d'entraînement des LLMs, qui traite chaque token -- ici chaque action -- avec le même poids dans la fonction de perte. Or une trajectoire de manipulation robotique n'est pas homogène : les segments à faible vitesse (préhension précise, insertion, contact fin) conditionnent le succès de la tâche, tandis que les phases à haute vitesse (transitions entre positions) tolèrent l'erreur. AttenA+ corrige ce déséquilibre en repondérant dynamiquement la loss d'entraînement via un champ de vitesse inverse, sans modifier l'architecture ni ajouter de paramètres. Sur le benchmark Libero, le modèle OpenVLA-OFT passe de 97,1 % à 98,6 % (+1,5 points) ; FastWAM atteint 92,4 % sur RoboTwin 2.0 (+0,6 points). Des validations sur bras Franka en conditions réelles confirment la généralisation inter-tâches. L'enjeu dépasse les chiffres de benchmark. Le domaine robotique investit massivement dans le scaling -- plus de données, plus de paramètres, plus de compute -- comme levier principal de performance. AttenA+ suggère qu'une partie du plafond actuel des VLA n'est pas liée à la taille du modèle mais à un biais structurel d'optimisation, ignorant la physique de la manipulation. Pour un intégrateur ou un équipementier qui déploie des bras dans des lignes d'assemblage, cela signifie potentiellement de meilleures performances sur des gestes précis (vissage, pick-and-place serré) sans coût de réentraînement supplémentaire -- le framework se greffe sur les backbones existants en plug-and-play. Les VLA ont connu une accélération notable depuis pi0 (Physical Intelligence, 2024) et GR00T N2 (NVIDIA, 2025), mais la majorité des gains publiés reposaient sur l'augmentation de données ou de paramètres. AttenA+ s'inscrit dans une tendance émergente : exploiter les priors structurels des séquences d'action plutôt que brute-forcer le scaling. Les benchmarks utilisés -- Libero et RoboTwin 2.0 -- restent des environnements simulés, et l'expérimentation Franka décrite dans le papier est limitée. La robustesse à des environnements industriels moins contrôlés reste à démontrer. Aucun partenaire industriel ni timeline de déploiement n'est mentionné dans ce preprint académique.

IA physique❧Opinion

1 source

44

4882arXiv cs.RO 

FrameSkip : apprendre à partir de moins de frames mais plus informatifs dans l'entraînement des modèles VLA

Une équipe de chercheurs a publié le 19 mai 2025 sur arXiv (2605.13757) une méthode baptisée FrameSkip, conçue pour améliorer l'entraînement des politiques de type Vision-Language-Action (VLA) en sélectionnant les images les plus informatives dans les trajectoires de démonstration robotique. Plutôt que d'échantillonner uniformément chaque frame enregistrée lors de sessions de télé-opération, FrameSkip attribue un score à chaque image selon quatre critères : la variation d'action, la cohérence visuo-motrice, des priors de progression de tâche, et la préservation des transitions de préhenseur (ouverture/fermeture du gripper). Le système réoriente ensuite l'échantillonnage d'entraînement vers les frames à haute valeur informative, selon un ratio de rétention cible fixé à 20 % dans la configuration principale. Sur trois benchmarks standards, RoboCasa-GR1, SimplerEnv et LIBERO, FrameSkip atteint un taux de succès moyen de 76,15 %, contre 66,50 % pour l'entraînement sur trajectoires complètes, soit un gain absolu de 9,65 points de pourcentage en n'utilisant qu'un cinquième des frames uniques. Ce résultat est significatif parce qu'il pointe un problème structurel longtemps ignoré dans la construction des datasets VLA : le déséquilibre temporel de supervision. Les longues phases statiques ou de déplacement libre dominent statistiquement les trajectoires téléopérées, noyant les instants critiques comme l'alignement d'approche, l'établissement du contact et le relâchement. FrameSkip n'exige aucune modification d'architecture, de tête d'action ni d'objectif d'entraînement, ce qui en fait une couche data-curation plug-and-play compatible avec OpenVLA, pi-0 (Physical Intelligence) ou tout autre VLA existant. Pour les équipes qui constituent des datasets coûteux via télé-opération, réduire à 20 % le volume de frames tout en gagnant en performance change directement le calcul coût/performance de collecte de données. Les VLA ont connu une accélération marquée depuis 2023 avec des modèles comme RT-2 (Google DeepMind), Octo (Berkeley), OpenVLA et pi-0 de Physical Intelligence, chacun misent sur des volumes croissants de démonstrations téléopérées. La question de la qualité versus la quantité des données de démonstration est un sujet de recherche actif, avec des approches concurrentes axées sur le filtrage par récompense, le data augmentation ou les trajectoires synthétiques en simulation. FrameSkip prend le parti du filtrage temporel pur, sans génération de données supplémentaires. Les auteurs ne mentionnent pas de déploiement physique hors simulation dans ce preprint, ce qui limite pour l'instant les conclusions au domaine sim-to-sim ; des validations sur hardware réel resteraient à produire pour confirmer le transfert des gains observés.

IA physique❧Opinion

1 source

44

4883arXiv cs.RO 

Unifier les actions du robot dans le référentiel caméra

Des chercheurs ont publié sur arXiv (référence 2511.17001v2) une méthode baptisée CalibAll, conçue pour unifier la représentation des actions robotiques en recadrant celles-ci dans le repère de la caméra plutôt que dans celui propre à chaque plateforme. L'approche repose sur l'estimation automatique des paramètres extrinsèques de la caméra (position et orientation dans l'espace) pour des jeux de données existants, puis sur la conversion de chaque action en coordonnées TCP (Tool Center Point) standardisées dans ce repère caméra commun. Le pipeline a été appliqué à 16 jeux de données couvrant 4 plateformes robotiques différentes, bras simple et bras bimanuel inclus, pour produire environ 97 000 épisodes étalonnés. CalibAll fonctionne en deux étapes : une initialisation grossière via un algorithme PnP temporel (Perspective-n-Point), suivie d'un raffinement à haute précision par rendu différentiable. Aucun entraînement préalable ni données spécifiques à un robot n'est requis, ce qui distingue la méthode des approches d'étalonnage classiques. L'enjeu est direct pour les équipes qui travaillent sur des politiques robotiques généralisées de type VLA (Vision-Language-Action). Le problème de fond du cross-embodiment learning, soit le fait d'entraîner un seul modèle sur des robots morphologiquement différents, est que les actions n'ont pas la même sémantique géométrique d'une plateforme à l'autre : un déplacement de 10 cm en coordonnées articulaires n'a pas le même sens sur un UR5 et sur un Franka. Les solutions actuelles, têtes d'action spécifiques à chaque morphologie ou espaces d'action latents appris, contournent le problème sans le résoudre. En ancrant toutes les actions dans le repère caméra, CalibAll impose une sémantique géométrique cohérente indépendante du robot. Les expériences en simulation et sur robot réel montrent que le pré-entraînement cross-embodiment avec ces actions unifiées atteint des performances état de l'art, bien que les benchmarks précis et les taux de succès par tâche ne soient pas détaillés dans l'abstract. Le contexte est celui de la course aux politiques robotiques généralisables, portée par des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, ou OpenVLA. Ces architectures ont besoin de données massives et diversifiées, et la fragmentation des jeux de données existants selon les plateformes constitue un frein majeur à la mise à l'échelle. CalibAll s'attaque précisément à ce goulot d'étranglement en rendant rétrocompatibles des datasets existants sans re-annotation manuelle, ce qui est non négligeable quand on considère le coût de collecte téléopérée. La question ouverte reste la robustesse de l'étalonnage sur des datasets dont les conditions d'acquisition sont hétérogènes, notamment lorsque l'environnement visuel est peu structuré ou que les caméras sont embarquées sur le robot en mouvement. Les suites logiques incluent une intégration dans des pipelines de pré-entraînement ouverts comme Open X-Embodiment, et potentiellement une extension aux robots mobiles manipulateurs où le référentiel caméra change dynamiquement.

Recherche❧Opinion

1 source

43

4884arXiv cs.RO 

Quoi ignorer, quoi traiter : affinage par renforcement des modèles VLA robustes aux distracteurs visuels

Des chercheurs ont publié mi-mai 2026 sur arXiv (2605.13105) PAIR-VLA (Paired Action Invariance & Sensitivity for Visually Robust VLA), un framework de fine-tuning par apprentissage par renforcement (RL) destiné à rendre les modèles Vision-Language-Action (VLA) robustes aux variations visuelles à l'heure du déploiement. La méthode ajoute deux objectifs auxiliaires pendant l'optimisation PPO (Proximal Policy Optimization) : un terme d'invariance qui réduit l'écart entre distributions d'actions pour des paires visuellement distinctes mais dont la tâche reste identique (distracteurs différents en arrière-plan, par exemple), et un terme de sensibilité qui encourage des distributions séparables lorsque le changement visuel modifie effectivement la tâche requise (objet cible en pose différente). Évalué sur le benchmark de simulation ManiSkill3 avec deux architectures VLA représentatives, OpenVLA et π₀.₅ de Physical Intelligence, le framework affiche des gains moyens de 16,62 % sur π₀.₅ et 9,10 % sur OpenVLA face à cinq catégories de shifts visuels hors distribution : distracteurs inédits, changements de texture, variations de pose de l'objet cible, changements de point de vue et variations d'éclairage. Ce résultat adresse un angle mort structurel du déploiement industriel des VLA : les récompenses de tâche standard supervisent le succès d'une manipulation, mais ne distinguent pas entre un changement visuel anodin et un changement qui exige une adaptation comportementale de la part du robot. PAIR-VLA convertit les variantes visuelles en signal comportemental au moment du RL, et non en simple augmentation d'observations. L'aspect le plus saillant est la généralisation croisée relevée en ablations : une guidance d'invariance apprise sur des variantes de distracteurs et de textures se transfère aux shifts de pose et d'éclairage, ce qui suggère que le framework capture quelque chose de structurel dans la distinction pertinent/non-pertinent plutôt qu'un surapprentissage de domaine. Le contexte est celui d'une course intense autour des VLA pour la manipulation robotique. OpenVLA (UC Berkeley, 2024) s'est imposé comme référence open-source ; π₀ et π₀.₅ de Physical Intelligence (San Francisco) visent des applications industrielles à plus grande échelle, tandis que les travaux de Google DeepMind sur RT-2, et les modèles Octo et RoboFlamingo, densifient le paysage concurrent. PAIR-VLA est pour l'instant un preprint sans déploiement annoncé ni validation sur robot physique, ce qui constitue la limite principale à noter. La méthode s'applique en post-training RL au-dessus de checkpoints VLA existants sans réentraînement complet, avantage pratique non négligeable pour les intégrateurs qui s'appuient sur des modèles publics. La confirmation que ces gains en simulation résistent au reality gap reste l'étape décisive à venir.

IA physique❧Opinion

1 source

42

4885arXiv cs.RO 

RotVLA : action latente de rotation pour les modèles vision-langage-action (VLA)

Un groupe de chercheurs a publié en mai 2026 RotVLA (arXiv:2605.13403), un framework Vision-Language-Action (VLA) qui substitue la quantification discrète des modèles d'action latente (LAM) existants par une représentation continue dans l'espace de rotation SO(n). Entraîné sur plus de 1 700 heures de données robotiques multi-embodiment et de vidéos humaines, le modèle compte 1,7 milliard de paramètres. Son architecture associe un backbone de modèle vision-langage et une tête d'action par flow-matching, étendue en aval en un "action expert" unifié qui dénoise simultanément actions latentes et actions robot. Sur LIBERO, RotVLA atteint 98,2 % de taux de succès ; sur RoboTwin2.0, il obtient 89,6 % en configuration propre et 88,5 % en configuration randomisée, surpassant les modèles VLA antérieurs dans les deux cas. Des expériences sur des tâches de manipulation réelle confirment ces résultats hors simulation. L'enjeu est architectural : les LAMs actuels, basés sur des pipelines VQ-VAE ou similaires, induisent une reconstruction de frames souvent triviale et n'imposent aucune contrainte géométrique cohérente avec la physique du mouvement. En modélisant les actions latentes comme des éléments de SO(n), RotVLA garantit continuité et compositionnalité absentes des espaces discrets, avec un triplet frame learning qui force une dynamique temporelle non dégénérée. Pour les équipes d'intégration robotique, cela ouvre la voie à un modèle de fondation plus robuste au sim-to-real, l'un des goulots d'étranglement centraux des VLAs en conditions industrielles. L'approche suggère que la structure géométrique de l'espace d'action peut compter autant que l'échelle des données d'entraînement. Le domaine des politiques robotiques généralistes a été structuré par Pi-0 (Physical Intelligence, 2024) et GR00T N2 (NVIDIA, 2025), qui misaient sur des corpus cross-embodiment massifs pour entraîner des politiques généralisables. RotVLA s'inscrit dans cette lignée mais parie sur une représentation latente géométriquement structurée plutôt que sur le volume brut de paramètres, avec 1,7B contre plusieurs dizaines de milliards pour les modèles concurrents les plus ambitieux. Les scores LIBERO et RoboTwin2.0 sont des benchmarks académiques standardisés ; leur transposition sur des cellules industrielles réelles (bras collaboratifs, tri et picking) reste à démontrer. Aucun partenaire de déploiement ni calendrier commercial ne figure dans la publication : RotVLA est, à ce stade, une contribution de recherche.

Recherche❧Opinion

1 source

42

4886arXiv cs.RO 

Guide, Pense, Agit : le raisonnement incarné interactif dans les modèles vision-langage-action (VLA)

Des chercheurs ont déposé sur arXiv (arXiv:2605.13632, mai 2026) GTA-VLA (Guide, Think, Act), un framework Vision-Language-Action interactif qui permet d'injecter des indices visuels explicites dans le raisonnement d'un robot avant l'exécution. Contrairement aux VLA classiques qui appliquent un mapping direct perception-action appris sur données d'entraînement, GTA-VLA introduit une étape de raisonnement spatial conditionné : l'opérateur peut fournir des points d'affordance, des boîtes englobantes ou des trajectoires dessinées sur l'image, que le modèle intègre dans une chaîne de pensée (Chain-of-Thought, CoT) avant de générer les commandes motrices. Une tête d'action légère ("reactive action head") assure ensuite l'exécution. Sur le benchmark SimplerEnv WidowX en conditions in-domain, le système atteint un taux de succès de 81,2 %, présenté comme état de l'art sur cette tâche. Les auteurs rapportent qu'une seule interaction visuelle suffit à améliorer substantiellement les performances sous perturbations visuelles ou ambiguïtés spatiales hors distribution (OOD). Ce résultat pointe une limite structurelle des VLA actuels : leur fragilité face aux shifts de distribution, c'est-à-dire dès que l'environnement de déploiement diffère des données d'entraînement. Les approches CoT existantes exposent le raisonnement intermédiaire mais restent aveugles à la guidance humaine, rendant la reprise sur erreur difficile sans réentraînement. GTA-VLA propose une troisième voie : maintenir l'autonomie du modèle tout en ouvrant un canal de correction humain minimal, ciblé sur l'espace visuel. Pour un intégrateur industriel, c'est un argument concret contre le demo-to-reality gap : si le robot échoue, l'opérateur désigne visuellement l'objet cible plutôt que de réécrire une instruction texte. La métrique de 81,2 % sur SimplerEnv mérite toutefois d'être contextualisée : ce benchmark reste un environnement simulé contrôlé, et aucun résultat sur hardware réel n'est communiqué dans le papier. GTA-VLA s'inscrit dans l'effervescence des architectures VLA depuis Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui ont tous cherché à coupler raisonnement de haut niveau et exécution robotique fluide. L'apport spécifique est de rendre ce raisonnement "steerable" via des priors spatiaux explicites, là où Pi-0 ou GR00T N2 restent essentiellement autonomes une fois déployés. Publié en preprint non encore évalué par des pairs, le papier ne mentionne ni déploiement sur plateforme physique ni partenariats industriels annoncés. Les prochaines étapes naturelles seraient une validation sur manipulateurs réels (WidowX physique, Franka) et une évaluation de la robustesse de l'interface de guidance en conditions industrielles réelles.

IA physique❧Opinion

1 source

42

4887arXiv cs.RO 

HCSG : raisonnement sémantique-géométrique centré sur l'humain pour la navigation vision-langage

Des chercheurs ont publié en mai 2026 HCSG (Human-Centric Semantic-Geometric Reasoning), un cadre de navigation en langage naturel (VLN) conçu pour les environnements intérieurs dynamiques peuplés de piétons, déposé sur arXiv sous la référence 2605.13321. Contrairement aux approches existantes qui traitent les humains comme de simples obstacles mobiles détectés par indices visuels, HCSG introduit un module unifié de compréhension humaine combinant deux capacités complémentaires : la prévision géométrique, qui anticipe poses et trajectoires futures des personnes, et l'interprétation sémantique, qui exploite un modèle vision-langage (VLM) pour générer des descriptions textuelles des actions et intentions perçues. Ces représentations sont fusionnées dans une carte topologique sur laquelle l'agent planifie ses déplacements en fonction des instructions reçues. Une fonction de perte de distance sociale (social distance loss) contraint le robot à maintenir des distances d'interaction socialement acceptables. Sur le benchmark HA-VLNCE, le framework affiche un gain de 14 % sur le taux de succès et une réduction de 34 % du taux de collision face à l'état de l'art, des chiffres à interpréter avec la prudence habituelle réservée aux préprints non encore évalués en pair-à-pair. Ces résultats pointent un changement de paradigme pertinent pour la robotique de service en espace ouvert. La distinction clé de HCSG est de passer d'un évitement passif (détecter puis contourner) à une compréhension active des comportements : le robot infère si un piéton s'apprête à changer de direction, à s'arrêter ou à interagir, ce qui permet une planification plus fluide. L'intégration d'un VLM est cohérente avec la montée en puissance des architectures vision-langage-action (VLA), mais l'article valide ici leur utilité spécifique pour la navigation sociale, pas seulement la manipulation. Pour les intégrateurs de robots de livraison intérieure ou de guidage hospitalier, c'est un signal que les approches purement géométriques atteignent leurs limites dans des environnements non contrôlés. La navigation VLN a progressé rapidement depuis les benchmarks R2R et REVERIE, portée par les transformers de vision et des modèles comme CLIP. HA-VLNCE, sur lequel HCSG est évalué, est une extension de VLN-CE intégrant des agents humains dynamiques, le rapprochant davantage des conditions de déploiement réelles. Les approches concurrentes en navigation sociale incluent des travaux issus de Stanford, CMU ou MIT, et des frameworks comme NaviSTAR. Côté industriel, les robots de Keenon, Aethon ou Savioke opèrent encore largement dans des couloirs semi-contrôlés précisément pour éviter ces problèmes de cohabitation. HCSG reste une contribution académique sans validation industrielle annoncée, mais une page de projet dédiée laisse entrevoir des travaux futurs sur robot physique.

Recherche❧Opinion

1 source

42

4888arXiv cs.RO 

ViTacFormer : apprentissage de représentations cross-modales pour la manipulation dextérique vision-tactile

Une équipe de chercheurs a publié en juin 2025 ViTacFormer, une architecture d'apprentissage de représentations multi-modales pour la manipulation dextre robotique. Le système couple un encodeur cross-attention fusionnant vision haute résolution et données tactiles avec une tête de prédiction autoregressive des signaux de contact futurs, entraîné selon un curriculum progressif allant des tâches simples aux plus complexes. La représentation apprise pilote un module d'imitation learning pour des mains anthropomorphes multi-doigts. Sur des benchmarks réels en laboratoire, ViTacFormer dépasse les systèmes état de l'art précédents d'environ 50 %, enchaîne jusqu'à 11 étapes séquentielles sans intervention humaine et maintient une opération continue de 2,5 minutes sur des tâches de manipulation de précision. L'architecture répond à un verrou concret de la manipulation fine : les occlusions visuelles rendent la vision seule insuffisante lorsque la main cache l'objet, un problème que les capteurs tactiles résolvent mais que peu de systèmes intègrent de façon apprenante. La prédiction anticipée des contacts plutôt que leur simple détection réactive réduit la latence de contrôle, décisive pour les gestes de précision. La capacité à enchaîner 11 sous-tâches ouvre une voie pour l'assemblage multi-étapes industriel, où les robots classiques nécessitent actuellement une programmation explicite à chaque étape. Ces résultats restent cependant des benchmarks de laboratoire contrôlés ; la distance avec un déploiement en ligne de production réelle, où la variabilité des pièces et la robustesse du capteur tactile dans le temps sont critiques, demeure entière. ViTacFormer s'inscrit dans une vague de travaux combinant modèles VLA (Vision-Language-Action) et retour haptique, explorée également par Google DeepMind (Robotic Transformer), Physical Intelligence (Pi-0) et des startups comme Dexterous AI. Côté matériel, la dépendance aux mains anthropomorphes multi-doigts reste un frein à la commercialisation : Shadow Robot (UK) et Inspire-Robots (CN) dominent ce segment, mais à des coûts et avec une fiabilité mécanique qui limitent encore les déploiements industriels à grande échelle. Le travail est publié sous forme de preprint arXiv (arXiv:2506.15953), sans code ni dataset public annoncé à ce stade ; la transition vers des résultats reproductibles et des pilotes hors laboratoire constitue l'étape critique à surveiller.

Recherche❧Opinion

1 source

42

4889arXiv cs.RO 

SECOND-Grasp : préhension dextérique guidée par le contact sémantique

Des chercheurs ont publié en mai 2025 sur arXiv (2605.13117) SECOND-Grasp (SEmantic CONtact-guided Dexterous Grasping), un cadre unifié permettant à des mains robotiques multi-doigts d'adapter leurs stratégies de préhension à des consignes en langage naturel tout en garantissant la stabilité physique du contact. Le pipeline enchaîne un raisonnement vision-langage pour identifier les zones de contact probables, une segmentation multi-vues, puis un module baptisé SGCR (Semantic-Geometric Consistency Refinement) qui raffine ces prédictions par cohérence inter-vues et suppression des régions géométriquement invalides, produisant des cartes de contact 3D exploitables. Ces cartes alimentent un apprentissage de politique via cinématique inverse, entraîné sur le dataset DexGraspNet. Sur des catégories d'objets vus en entraînement, le système atteint 98,2 % de taux de succès au levage ; sur des catégories non vues, 97,7 % ; la préhension guidée par l'intention progresse de 12,8 % et 26,2 % respectivement face aux baselines, validé sur Shadow Hand et Allegro Hand. Le résultat le plus significatif est précisément cette quasi-absence de dégradation entre catégories vues et non vues : cela suggère que le couplage sémantique-géométrique produit des représentations suffisamment abstraites pour généraliser hors distribution, un verrou classique du dexterous grasping. L'intégration native du langage dans la planification de contact, plutôt qu'en couche de sélection aval, place SECOND-Grasp dans la lignée des architectures VLA appliquées à la manipulation fine, comme Pi-0 (Physical Intelligence) ou les travaux récents de DeepMind. Pour un décideur industriel, la promesse est lisible : un système capable de comprendre où et comment saisir selon une tâche verbalisée, sans ré-entraînement par catégorie d'objet. Les métriques restent toutefois issues de benchmarks contrôlés ; le transfert sim-to-real en environnement industriel non structuré n'est pas encore démontré. Le dexterous grasping est un chantier ouvert depuis les années 1990, longtemps fragmenté entre approches analytiques (calcul de wrench space) et méthodes data-driven. L'essor des modèles vision-langage a rouvert la question en conditionnant la préhension par le langage naturel. Les concurrents directs dans cet espace incluent GraspGPT, FoundationGrasp et les travaux de Stanford sur DexArt. En Europe, Enchanted Tools (robot Miroki) explore la manipulation expressive mais n'a pas publié de résultats comparables sur le grasping structuré. La prochaine étape naturelle pour SECOND-Grasp serait une validation sur plateforme physique en scène non contrôlée, potentiellement intégrée dans un pipeline humanoïde ou sur bras industriel polyvalent.

IA physique❧Opinion

1 source

42

4890arXiv cs.RO 

TeleGate : téléopération corps entier d'un humanoïde par sélection d'experts avec prior de mouvement

Des chercheurs ont publié TeleGate (arXiv:2602.09628, preprint non encore revu par les pairs), un cadre de télé-opération corps entier pour robots humanoïdes, déployé sur le Unitree G1. Le système permet le contrôle à distance en temps réel de l'ensemble du corps du robot - membres supérieurs, inférieurs et tronc - sur un spectre de mouvements dynamiques complexes: course, récupération après chute et saut. L'entraînement n'a nécessité que 2,5 heures de données de capture de mouvement (mocap), un volume faible comparé aux approches concurrentes. L'architecture repose sur deux composants: un réseau de sélection (gating network) léger qui active dynamiquement des politiques expertes spécialisées en fonction des états proprioceptifs du robot et des trajectoires de référence, et un module de prior de mouvement basé sur un VAE (variational autoencoder) qui infère l'intention de mouvement future à partir des observations historiques, assurant un contrôle anticipatif pour les gestes nécessitant de la prédiction. L'enjeu que TeleGate cherche à résoudre est central dans la robotique humanoïde actuelle: les approches classiques fusionnent plusieurs politiques expertes en une politique générale par distillation de connaissances, ce qui entraîne une dégradation des performances sur les mouvements très dynamiques. TeleGate contourne ce compromis en préservant les politiques expertes spécialisées intactes, le réseau de sélection se contentant d'arbitrer entre elles en temps réel. Les résultats rapportés, en simulation et sur robot réel, indiquent une précision de suivi et un taux de succès supérieurs aux méthodes de référence, sans que les auteurs ne fournissent de métriques chiffrées détaillées dans l'abstract. Pour les intégrateurs, cela suggère qu'une architecture de sélection d'experts est préférable à la distillation lorsque le portefeuille de comportements est hétérogène et inclut des gestes physiquement contrastés. Unitree Robotics, fabricant chinois dont le G1 est commercialisé aux alentours de 16 000 USD, s'est imposé comme la plateforme de référence des publications académiques en télé-opération humanoïde grâce à son accessibilité tarifaire. TeleGate s'inscrit dans une effervescence de travaux publiés en 2024-2025 autour de ce thème, en parallèle d'approches comme ACT, UMI, ou les systèmes développés par Figure AI et 1X Technologies. La prochaine étape naturelle pour ce type de framework est la collecte de démonstrations de haute qualité pour l'apprentissage par imitation, goulot d'étranglement majeur sur le chemin vers l'autonomie humanoïde.

Humanoïdes❖Paper

1 source

42

4891arXiv cs.RO 

D-VLA : un cadre d'apprentissage par renforcement distribué et asynchrone à haute concurrence pour les modèles vision-langage-action

Des chercheurs ont publié sur arXiv (référence 2605.13276) un framework distribué baptisé D-VLA, conçu pour entraîner par renforcement les modèles Vision-Language-Action (VLA) à très grande échelle. Le problème central qu'ils adressent est un goulot d'étranglement systémique : lorsqu'on applique du reinforcement learning (RL) à des VLA de plusieurs milliards de paramètres dans un environnement distribué, la simulation physique haute-fidélité et les calculs d'inférence se disputent les mêmes ressources GPU (VRAM, bande passante), ce qui dégrade le débit global. D-VLA répond par trois mécanismes : un "Plane Decoupling" qui isole physiquement les données d'entraînement haute fréquence du contrôle des poids basse fréquence, un pipeline asynchrone à quatre fils d'exécution ("Swimlane") permettant le chevauchement complet des phases de sampling, d'inférence, de calcul de gradient et de distribution des paramètres, et un système dual-pool de gestion VRAM couplé à une réplication "topology-aware". Sur le benchmark LIBERO, le framework surpasse significativement les solutions RL dominantes en débit et en efficacité d'échantillonnage pour des modèles à l'échelle du milliard de paramètres. Des tests de passage à l'échelle trillion de paramètres indiquent une stabilité maintenue et un speedup linéaire. L'enjeu industriel est concret : les modèles VLA sont désormais au coeur des architectures robotiques génériques (manipulation, navigation, planification multimodale), mais leur entraînement par RL reste prohibitif en ressources. Un framework qui résout le conflit simulation/optimisation et atteint un speedup linéaire à l'échelle du trillion de paramètres lève l'un des principaux verrous pour entraîner des agents polyvalents sans multiplier les clusters GPU de façon exponentielle. C'est une brique infrastructure, pas un robot, mais elle conditionne directement la vitesse à laquelle des systèmes comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou les VLA internes de Figure AI peuvent être affinés par RL dans des environnements simulés réalistes. Ce travail s'inscrit dans une course à la scalabilité du RL pour l'embodied AI, où les frameworks existants (IsaacLab, RLlib, sample-factory) n'ont pas été conçus pour les contraintes spécifiques des VLA massifs. Les auteurs ne mentionnent pas d'affiliation institutionnelle clairement identifiable dans l'abstract, et le papier est un preprint non encore évalué par les pairs. Aucun déploiement réel ni partenariat industriel n'est annoncé à ce stade. Les prochaines étapes naturelles seraient une validation sur des tâches robotiques plus complexes que LIBERO et une intégration avec des simulateurs comme Isaac Sim ou MuJoCo à grande échelle.

IA physique❧Opinion

1 source

42

4892arXiv cs.RO 

Collaboration humain-robot : analyse des modalités d'interaction dans les tâches complexes

Des chercheurs ont soumis sur arXiv un préprint comparant trois modalités d'interaction en collaboration humain-robot sur une tâche d'assemblage contrainte. Dix-huit participants reconstruisaient de mémoire une tour colorée de sept couches à partir de briques proches et éloignées. La modalité passive les plaçait seuls face à la tâche ; la réactive activait l'assistance d'un robot mobile uniquement sur demande explicite ; la proactive permettait au robot d'initier lui-même les livraisons de briques et les signalements d'erreurs sans sollicitation. Résultat contre-intuitif : l'assistance robotique a allongé le temps de complétion dans les deux modalités actives, mais 67 % des participants ont préféré le comportement proactif et 78 % l'ont jugé le plus utile. Ce résultat met en évidence une tension centrale dans la conception des systèmes HRC : efficacité chronométrique et préférence subjective peuvent diverger significativement. Pour les intégrateurs industriels, la question pratique devient immédiate : optimiser le throughput ou l'expérience opérateur ? La supériorité perçue du mode proactif suggère que le support anticipatif réduit la charge cognitive et l'incertitude, deux facteurs critiques en production. L'échantillon restreint de 18 participants en contexte de laboratoire limite toutefois sérieusement la généralisation à une échelle industrielle réelle. Cette étude s'inscrit dans une littérature croissante sur les AMR (robots mobiles autonomes) dotés de comportements adaptatifs, en dialogue direct avec les approches basées sur des architectures VLA (Vision-Language-Action) pour la planification d'intention. En Europe, des acteurs comme Enchanted Tools et des équipes académiques comme le LAAS-CNRS explorent des interfaces humain-robot de nature comparable. Les suites logiques de ce travail incluent un échantillon élargi, des tests hors laboratoire et l'évaluation de la fatigue cognitive sur des horizons temporels plus longs.

Recherche❖Paper

1 source

42

4893arXiv cs.RO 

BlockVLA : accélérer les modèles VLA autorégressifs par affinage avec diffusion par blocs

Une équipe de recherche propose BlockVLA, un framework publié en preprint sur arXiv (identifiant 2605.13382, mai 2026) qui adapte des modèles Vision-Language-Action (VLA) autorégressifs préentraînés en politiques de diffusion discrète efficaces via un paradigme de "diffusion par blocs". Plutôt que de décoder les tokens d'action séquentiellement, BlockVLA maintient les dépendances autorégressives au niveau des blocs tout en activant un débruitage parallèle au sein de chaque bloc. Ce mécanisme permet la réutilisation du cache KV (key-value) sur les blocs complétés, réduisant le coût des itérations de débruitage (NFE, number of function evaluations) sans sacrifier la cohérence causale globale. Évalué sur les benchmarks LIBERO et SimplerEnv, le modèle atteint une accélération d'inférence de 3,3x par rapport aux baselines de diffusion discrète standards, et converge significativement plus vite à l'entraînement, avantage particulièrement marqué sur les tâches longues et complexes. Ce résultat touche directement l'un des verrous opérationnels du déploiement industriel des VLA : la latence d'inférence. Un modèle autorégressif classique décode les tokens d'action un à un, imposant des délais incompatibles avec un contrôle robotique haute fréquence. La réduction du budget de calcul à l'entraînement est également notable d'un point de vue pratique : elle compresse les cycles d'adaptation d'un modèle à une nouvelle tâche, ce qui peut peser dans les décisions d'intégration. Cela dit, les évaluations restent cantonnées à des environnements simulés standard, sans validation en boucle fermée sur robot physique, ce qui laisse ouverte la question du sim-to-real gap. BlockVLA s'inscrit dans un mouvement plus large visant à rendre les grands VLA exploitables en conditions réelles. Des modèles comme OpenVLA, Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA ont démontré des capacités généralisées impressionnantes, mais restent freinés par leur vitesse d'inférence. De l'autre côté, les politiques de diffusion continues, popularisées par Diffusion Policy (Chi et al., 2023), offrent une génération parallèle mais peinent à capitaliser sur les poids de backbone de langage préentraînés à grande échelle. BlockVLA tente de combler ce fossé via un fine-tuning ciblé sur un backbone AR existant, sans nécessiter un réentraînement complet. Il s'agit à ce stade d'un preprint académique sans déploiement annoncé sur hardware réel, mais les gains mesurés sur benchmarks de référence en font une contribution à suivre pour les équipes travaillant sur le déploiement haute cadence de politiques visuomotrices.

Recherche❧Opinion

1 source

42

4894arXiv cs.RO 

UniJEPA : amélioration des politiques robotiques via l'apprentissage unifié de représentations continues et discrètes

Une équipe de chercheurs propose UniJEPA (arXiv:2510.10642, troisième révision), un framework de politique robotique généraliste pré-entraîné sur plus d'un million de vidéos de manipulation instruite issues d'internet, puis affiné sur des données collectées directement sur le robot cible. L'architecture repose sur une approche JEPA (Joint Embedding Predictive Architecture) étendue pour modéliser des représentations visuelles continues de haute dimension. Les résultats expérimentaux annoncent un gain de 9 % en environnements de simulation et de 12 % sur des tâches réelles hors-distribution par rapport aux méthodes de référence actuelles. Il s'agit d'un preprint de recherche, pas d'un déploiement industriel. L'enjeu central est un angle mort persistant dans les politiques VLA (Vision-Language-Action) : elles s'appuient soit sur des VLM (modèles de langage visuels, forts en compréhension sémantique) soit sur des modèles génératifs (forts en modélisation de dynamiques visuelles), rarement les deux simultanément. Pour un intégrateur ou un COO industriel, cela se traduit par des politiques qui peinent à s'adapter à un nouvel atelier, un nouvel éclairage ou de nouvelles pièces sans re-collecte de données coûteuse. Le gain de 12 % sur les tâches hors-distribution est précisément la métrique critique ici : elle mesure la capacité de généralisation sans données supplémentaires, le graal opérationnel pour tout déploiement multi-site. UniJEPA répond en apprenant des représentations prédictives continues des futurs états visuels, converties ensuite en tokens d'action, validant l'applicabilité des architectures JEPA, originellement développées par Yann LeCun et son équipe chez Meta AI (I-JEPA, V-JEPA), au domaine de la politique robotique. Ce travail s'inscrit dans un paysage VLA très actif : Pi-0 de Physical Intelligence (combinant diffusion et VLM), OpenVLA, Octo et les modèles RT-X de Google DeepMind constituent les concurrents directs les plus cités. UniJEPA se distingue par son ancrage dans les architectures unifiées compréhension-génération, un territoire également exploré par des modèles comme Janus de DeepSeek. Publié en version 3 sur arXiv, le papier n'a pas encore passé la révision par les pairs d'une conférence de référence (ICRA, CoRL, RSS), ce qui invite à une lecture prudente des chiffres annoncés, dont le contexte exact des benchmarks n'est pas détaillé dans le résumé. Les prochaines étapes naturelles seraient une validation sur des embodiments commerciaux et un benchmark élargi au-delà des simulateurs utilisés dans les expériences actuelles.

IA physique❧Opinion

1 source

41

4895arXiv cs.RO 

BiPneu : conception et contrôle d'un système pneumatique à pression bipolaire pour robots souples

Des chercheurs ont publié sur arXiv (ref. 2605.12804) BiPneu, un système pneumatique multicanal capable de gérer simultanément des pressions positives et négatives pour actionner des robots souples. L'architecture repose sur un contrôleur à modes glissants dual (DM-SMC, Dual-Mode Sliding-Mode Controller) couplé à une sélection de mode supervisée par hystérésis, dérivé d'un modèle électro-pneumatique hybride. En tests expérimentaux, le DM-SMC atteint une erreur absolue moyenne de 1,44 kPa sur des références en échelon, et de 4,23 kPa en suivi sinusoïdal, soit des réductions respectives de 11,9 % et 35,6 % par rapport à un PID bien calibré. Le système surpasse également un contrôleur prédictif (MPC) avancé, tout en réduisant l'effort de commande, le taux de commutation des électrovannes et le temps de réponse transitoire. Deux démonstrations physiques valident l'approche : manipulation dynamique d'une balle avec un manipulateur parallèle souple, et téléopération en temps réel d'un actionneur à soufflets piloté par éléments finis (FEM). La régulation bipolaire -- pression positive pour gonfler, pression négative pour aspirer -- est le point dur de la robotique souple : les dynamiques d'inflation et de dégonflement sont asymétriques, les électrovannes introduisent des non-linéarités, et les transitions génèrent des perturbations de débit difficiles à compenser. BiPneu s'attaque directement à ces trois problèmes dans un seul framework scalable et économique, compatible avec les écosystèmes logiciels standards (ROS implicitement). Pour un intégrateur ou un laboratoire de R&D, cela signifie qu'il devient possible de déployer des actionneurs souples bipolaires sans développer un contrôleur bas niveau sur mesure, ce qui était jusqu'ici le principal frein à la standardisation de ces systèmes. La robotique souple pneumatique s'appuie depuis une décennie sur des régulateurs PID éprouvés, mais les limites de cette approche face aux dynamiques non linéaires des actionneurs à chambre variable ont poussé plusieurs équipes vers le MPC ou les contrôleurs adaptatifs. BiPneu positionne le DM-SMC comme une alternative plus robuste et moins coûteuse en calcul que le MPC, tout en restant plus précis que le PID. Il n'existe pas à ce stade de déploiement industriel annoncé ni de partenariat commercial mentionné -- il s'agit d'une contribution académique de type preprint, dont la robustesse reste à valider hors laboratoire sur des cycles prolongés et des géométries d'actionneurs variées.

Recherche❖Paper

1 source

40

4896arXiv cs.RO 

Quand agir, interroger ou apprendre : le pilotage de politique par gestion de l'incertitude

Une équipe de chercheurs a publié sur arXiv (réf. 2602.22474) un cadre nommé UPS (Uncertainty-Aware Policy Steering), conçu pour adapter le comportement d'un robot au moment du déploiement sans nécessiter de réentraînement complet. Le "policy steering" consiste à utiliser un vérificateur appris qui analyse les échantillons d'actions proposés par une politique pré-entraînée (typiquement une diffusion policy) et ne retient que celles jugées conformes à la tâche. UPS utilise un Vision-Language Model (VLM) comme vérificateur général, mais y ajoute une calibration par prédiction conforme (conformal prediction) pour corriger le biais de surconfiance caractéristique de ces modèles. Le système distingue trois régimes de décision : exécuter une action avec haute confiance, demander une clarification en langage naturel si la consigne est ambiguë, ou solliciter une intervention humaine sur l'action lorsque la politique de base est jugée incapable d'exécuter la tâche. Des expériences ont été menées en simulation et sur plateforme physique. Le problème de la surconfiance des VLMs est concret et rarement traité dans la littérature sur le déploiement robotique. En pratique, un vérificateur qui ne sait pas qu'il ne sait pas valide des actions incorrectes ou bloque des actions valides, dégradant directement la performance opérationnelle. UPS apporte une garantie statistique formelle sur le choix de stratégie, ce qui est significatif pour des intégrateurs industriels qui ont besoin de bornes de fiabilité chiffrées. La composante de residual learning permet au système de progresser à partir des interventions collectées en déploiement, avec un objectif explicite de minimiser le feedback humain coûteux. Cette combinaison calibration plus apprentissage continu différencie UPS des pipelines d'apprentissage actif classiques, qui ne pondèrent pas le coût réel des interruptions. Le policy steering s'est accéléré avec la disponibilité de politiques pré-entraînées génériques comme la diffusion policy, ACT ou pi-0, et de VLMs capables de raisonnement visuel. Les approches précédentes (SayCan, inner-monologue, RT-2) traitaient généralement la planification de haut niveau et l'exécution de bas niveau comme des modules séparés, sans calibration jointe de l'incertitude. UPS tente de combler ce gap en traitant simultanément l'incertitude sémantique et l'incertitude d'action dans un seul cadre probabiliste avec garanties statistiques. Les concurrents directs incluent les frameworks human-in-the-loop comme TAMER ou les approches de gating robotique d'OpenVLA, qui s'appuient sur des heuristiques moins formelles pour décider quand escalader vers un opérateur. Les travaux sont portés par une équipe académique (site de démonstration : jessie-yuan.github.io/ups) ; aucun partenaire industriel ni calendrier de transfert n'est annoncé à ce stade.

Recherche❧Opinion

1 source

40

4897arXiv cs.RO 

TouchAnything : jeu de données et framework pour l'estimation tactile bimanuelle en vidéo égocentrique

Une équipe de chercheurs a publié EgoTouch (arXiv 2605.13083), un dataset égocentrique à grande échelle combinant vidéo multi-vues et supervision tactile dense pour l'interaction bimanuelle main-objet. Le jeu de données couvre 208 tâches de manipulation réparties en 1 891 épisodes collectés en environnements intérieurs et extérieurs variés, synchronisés avec trois flux RGB simultanés (une caméra montée sur la tête et deux caméras fixées aux poignets), une estimation 3D de la pose des deux mains et des cartes de pression continues issues de capteurs tactiles portables. Sur cette base, les auteurs proposent TouchAnything, un modèle de prédiction vision-to-touch qui utilise la vue égocéntrique comme entrée principale et intègre optionnellement les vues poignet à l'inférence. Les gains mesurés atteignent 5,0% en Contact IoU et 6,1% en Volumetric IoU par rapport à la vue égocentrique seule. Le dataset, le code et un benchmark seront publiés en open source, sans date précise annoncée. L'absence de modalité tactile dans les datasets égocentriques existants constitue un frein reconnu à l'apprentissage de représentations physiquement ancrées : la vidéo seule ne transmet pas les signaux de contact, de force ou de pression nécessaires pour modéliser les dynamiques réelles d'interaction avec les objets. EgoTouch adresse ce verrou en montrant qu'il est possible d'inférer le retour tactile depuis la seule observation visuelle, ouvrant la voie à une supervision tactile scalable sans déploiement coûteux de matériel instrumenté. Pour les équipes travaillant sur des robots manipulateurs ou des politiques de saisie, cela représente une voie d'entraînement potentiellement peu onéreuse pour des comportements sensibles au contact, problème central dans l'assemblage délicat, le tri de pièces fragiles ou la manipulation de souples. Ce travail prolonge l'essor des datasets égocentriques type Ego4D (Meta, 2022), qui ont établi la valeur des flux vidéo à la première personne pour l'apprentissage embodied. Les datasets tactiles antérieurs, notamment autour de GelSight (MIT) ou DIGIT (Meta), restaient de petite échelle et difficiles à généraliser hors contexte de doigts robotiques instrumentés. TouchAnything se positionne comme une alternative scalable via des capteurs portables grand public. Les concurrents directs incluent les équipes travaillant sur le transfert tactile sim-to-real chez Meta AI et MIT CSAIL, ainsi que les projets VLA tels que pi0 de Physical Intelligence ou OpenVLA, qui intègrent progressivement la modalité tactile dans leurs pipelines d'apprentissage par imitation. Aucun acteur français ou européen n'est impliqué dans ce preprint.

Recherche❖Paper

1 source

40

4898arXiv cs.RO 

Modèle du monde multimodal pour interactions physiques : prédictions visuelles et tactiles simultanées pour une précision accrue

Des chercheurs ont publié sur arXiv (2304.11193v2) une étude portant sur l'intégration du retour tactile dans les modèles prédictifs de perception pour la manipulation robotique. L'approche, baptisée "visuo-tactile prediction", consiste à entraîner un modèle de monde capable de générer simultanément des prédictions visuelles et tactiles à partir d'observations de poussée d'objets. Pour alimenter ces travaux, deux jeux de données inédits ont été constitués à l'aide d'un capteur tactile à base magnétique : le premier contient des objets visuellement identiques mais aux propriétés physiques différentes (masse, rigidité), isolant explicitement l'ambiguïté physique ; le second reproduit les benchmarks classiques de robot-pushing avec des regroupements d'objets du quotidien. Le code source et les données sont mis à disposition publiquement. Le résultat central de cette recherche remet en question un postulat implicite de nombreux systèmes de world models robotiques : la vision seule ne suffit pas pour prédire fidèlement les interactions physiques dès lors que les objets sont visuellement indiscernables. Dans ces régimes ambigus, l'intégration tactile améliore significativement la précision et la robustesse des prédictions. En revanche, lorsque la dynamique est visuellement déductible, les gains tactiles restent limités. Pour les intégrateurs et équipes de R&D en manipulation, cela signifie que le retour tactile n'est pas un luxe mais une nécessité sélective : son déploiement est justifié précisément là où la vision échoue, typiquement lors de la manipulation d'objets déformables, transparents ou de densité variable. Ce travail s'inscrit dans un effort plus large de la communauté robotique pour dépasser les modèles de monde purement visuels, qui montrent leurs limites dans les tâches de contact. Des travaux concurrents comme ceux de Meta AI (v-jepa), de Google DeepMind (RT-2) ou de Physical Intelligence (Pi-0) explorent également les représentations multimodales, mais restent majoritairement centrés sur la vision et le langage. L'usage d'un capteur magnétique plutôt que optique (comme ceux de GelSight/Digit popularisés par Meta) constitue un choix technique notable, potentiellement plus robuste en conditions industrielles. La mise à disposition des données en accès libre ouvre la voie à des évaluations comparatives plus rigoureuses, un manque criant dans le domaine de la manipulation tactile.

Recherche❖Paper

1 source

40

4899arXiv cs.RO 

Prismatic World Model : apprentissage de la dynamique compositionnelle pour la planification dans les systèmes hybrides

Une équipe de recherche a publié sur arXiv (arXiv:2512.08411v2, décembre 2025) le Prismatic World Model (PRISM-WM), une architecture de modèle du monde destinée à améliorer la planification dans les systèmes robotiques à dynamiques hybrides. Le problème central que PRISM-WM cherche à résoudre est structurel : les mouvements continus sont régulièrement interrompus par des événements discrets, contacts, impacts, transitions de phases (vol vs appui, glissement vs adhérence), qui créent des discontinuités difficiles à modéliser. Les architectures classiques à réseaux neuronaux monolithiques, comme les modèles latents de type RSSM ou DreamerV3, imposent une continuité globale qui lisse ces transitions et génère des erreurs cumulatives lors des simulations à long horizon (rollouts), rendant la planification peu fiable aux frontières physiques. PRISM-WM y répond par un cadre Mixture-of-Experts (MoE) contextuel : un mécanisme de gating identifie implicitement le mode physique courant, et des experts spécialisés prédisent la dynamique de transition associée. Une contrainte d'orthogonalisation latente force la diversité des experts, prévenant l'effondrement de modes. Les expériences portent sur des benchmarks de contrôle continu incluant des humanoïdes haute dimension et des configurations multi-tâches, couplés à l'algorithme d'optimisation de trajectoires TD-MPC. Les résultats montrent que PRISM-WM réduit le drift en simulation lors des rollouts étendus, offrant un substrat de haute fidélité pour les algorithmes d'optimisation de trajectoires. Pour les équipes de contrôle en robotique humanoïde, cela adresse directement le gap simulation-réalité lié à la gestion des contacts, une limitation structurelle des approches model-based existantes. La décomposition en primitives composables ouvre aussi une piste vers des architectures plus interprétables, un enjeu concret pour les déploiements industriels où la robustesse aux variations de terrain ou de tâche est critique. PRISM-WM s'inscrit dans la dynamique des world models pour la robotique, domaine en forte progression depuis les travaux de Hafner et al. sur DreamerV3 et les avancées de TD-MPC sur des tâches de locomotion complexe. L'approche MoE transposée à la dynamique physique rejoint des tendances observées dans les grands modèles de langage (Mixtral, GPT-4). Il n'est pas associé à une entreprise commerciale identifiée ; il s'agit d'une contribution académique pure, sans pilote industriel annoncé. La prochaine étape logique serait une validation sur hardware réel, notamment sur des plateformes humanoïdes où la gestion des contacts reste un verrou technique central de la sim-to-real transfer.

Recherche❖Paper

1 source

38

4900arXiv cs.RO 

SID : glissement dans la distribution pour une manipulation robotique robuste à partir de peu de démonstrations

Des chercheurs ont présenté SID (Sliding into Distribution), un cadre structuré pour la manipulation robotique capable de généraliser à partir de seulement deux démonstrations humaines. Évalué sur six tâches réelles variées (saisies, manipulations d'objets), SID atteint environ 90 % de taux de succès dans des configurations hors-distribution (OOD), c'est-à-dire avec des poses d'objets, des points de vue ou des conditions d'éclairage non vus lors de l'entraînement. La dégradation reste inférieure à 10 % en présence de distracteurs visuels ou de perturbations physiques externes. Le système s'appuie sur deux composants clés : un champ de mouvement centré sur l'objet, appris depuis des démonstrations "canonicalisées" (normalisées en pose), et une politique d'exécution égocentrique légère entraînée par flow matching conditionné, complétée par une augmentation de données par reprojection de nuage de points cinématiquement cohérente. L'intérêt de SID tient à sa frugalité en données : là où les politiques visuomotrices end-to-end standard (type ACT, Diffusion Policy) réclament des dizaines à centaines de démonstrations, SID opère à deux. C'est un signal fort pour les intégrateurs industriels qui peinent à collecter des données en volume sur cellule réelle. Le mécanisme de correction distributional est particulièrement notable : le champ de mouvement génère de larges corrections quand le robot s'écarte de la trajectoire démontrée, puis s'annule naturellement à l'approche de la zone fiable, avant de passer la main à la politique locale. Ce découplage explicite entre récupération hors-distribution et exécution fine constitue une alternative architecturale aux approches purement régressives. Les résultats suggèrent que le "sim-to-real gap" n'est pas le seul problème à résoudre : gérer le glissement distributional en ligne, sans recollecte de données, est un levier sous-exploité. Cette publication s'inscrit dans une vague de travaux sur la manipulation à faible donnée qui cherchent à dépasser les limites des transformeurs d'actions (ACT, π0 de Physical Intelligence, GR00T N2 de NVIDIA) en introduisant des structures géométriques explicites plutôt que de tout apprendre de bout en bout. Le flow matching, popularisé ces deux dernières années comme alternative plus stable à la diffusion pour la génération de trajectoires, est ici combiné à une représentation canonique de l'objet, une approche qui rappelle les travaux sur les réseaux de catégorie neurale (NCF) ou les politiques basées sur des keypoints. Le papier ne mentionne pas de partenaires industriels ni de timeline de déploiement, et reste pour l'instant au stade de preuve de concept académique sur banc réel. Les prochaines étapes naturelles seraient une extension à des objets déformables et une validation sur des bras commerciaux (Franka, xArm) dans des environnements moins contrôlés que le labo.

Recherche❖Paper

1 source