Aller au contenu principal

Dossier arXiv cs.RO — page 30

2642 articles · page 30 sur 53

Les preprints robotique sur arXiv cs.RO : les avancées techniques avant publication, dont planification, learning from demos, sim2real, manipulation.

1451arXiv cs.RO RechercheActu

Représentation Alignée pour l'Ancrage Tactile en Manipulation Robotique à Contact Riche

Le capteur tactile reste le parent pauvre des politiques vision-langage-action (VLA) pour la manipulation robotique, alors que les phases de contact critiques (préhension, insertion, glissement) échappent souvent à la caméra. Une équipe de recherche propose dans un article publié sur arXiv (2607.14609) une méthode pour mieux exploiter le toucher: au lieu de prédire directement le signal tactile brut, souvent bruité, le système apprend à anticiper de futurs états tactiles à partir des représentations internes du modèle. Par une analyse en sonde linéaire (linear probe), les chercheurs montrent que ce sont les caractéristiques intermédiaires de l'expert en action, la partie du réseau qui traduit une décision en mouvement, qui prédisent le mieux l'état tactile futur, bien mieux que les couches de perception vision-langage ou que l'état d'action final. Sur cette base, ils introduisent le Latent Tactile Predictor (LTP), un module léger qui prédit des embeddings tactiles compacts à partir de cette couche intermédiaire plutôt que le signal tactile brut. Des expériences sur des tâches de manipulation réelles à fort contact confirment que cet alignement représentationnel surpasse les approches de prédiction tactile moins ciblées ou multi-interfaces. Cette contribution touche à un point sensible du secteur robotique: la plupart des politiques VLA actuelles (Pi-0, GR00T N2, Helix) reposent presque exclusivement sur la vision et le langage, avec un toucher traité comme un canal secondaire greffé après coup. Montrer qu'il existe un endroit précis, dans l'architecture, où la supervision tactile est réellement utile change la manière de concevoir ces modèles multimodaux: cela suggère que brancher un capteur tactile n'importe où dans le réseau, sans réflexion sur l'alignement des représentations, gaspille l'information. Pour les intégrateurs travaillant sur des tâches à contact fin, assemblage, insertion de connecteurs, manipulation d'objets déformables, c'est un signal que la robustesse ne viendra pas seulement de plus de données mais d'une meilleure architecture de fusion des modalités. Le travail s'inscrit dans la lignée des VLA tactiles apparus ces deux dernières années pour combler l'angle mort de la seule vision. L'article ne détaille pas de déploiement industriel ni de partenariat avec un fabricant de robots, il s'agit d'une contribution de recherche fondamentale destinée à orienter la conception des futures générations de politiques VLA plutôt qu'un produit prêt à l'emploi.

1 source
1452arXiv cs.RO 

Mondes en une seule démo : un moteur de données synthétiques pour la manipulation mobile en monde ouvert

Des chercheurs présentent WANDA (learning open-World mobile mANipulation from one Demonstration via a synthetic DAta engine), un moteur de génération de données synthétiques permettant d'entraîner des politiques de manipulation mobile à partir d'une seule démonstration humaine. Décrit dans un preprint arXiv publié mi-juillet 2026 (arXiv:2607.13154), le système reconstruit d'abord une scène sous forme de Gaussian splats et extrait les trajectoires d'interaction robot-objet à partir d'observations RGBD. Ces segments d'interaction riches en contacts sont ensuite réagencés dans de multiples configurations spatiales grâce à une planification de mouvement corps entier, qui les enchaîne en nouvelles trajectoires. Une méthode nommée Corrective State Expansion augmente la diversité des états du robot et des objets à chaque étape de la tâche. Pour généraliser au-delà d'un seul environnement, WANDA synthétise aussi des trajectoires sur des mondes 3D générés à partir de simples photos du quotidien, puis compose des rendus photoréalistes en combinant meshes de robot et d'objets avec des fonds en Gaussian splatting. Les auteurs valident l'approche sur des tâches simulées et réelles dans des scènes variées, et démontrent un transfert zero-shot vers un second manipulateur mobile de morphologie différente, sans réentraînement. L'enjeu central est le goulot d'étranglement des données pour les politiques de manipulation mobile en monde ouvert : la téléopération et les interfaces type UMI (Universal Manipulation Interface) exigent un effort humain considérable et ne passent pas à l'échelle. En démontrant qu'une seule démonstration réelle peut être démultipliée en un jeu de données couvrant robustesse long-horizon, généralisation spatiale et généralisation inter-environnements, WANDA s'attaque directement à l'hypothèse dominante du secteur selon laquelle les politiques VLA (vision-language-action) nécessitent des milliers d'heures de téléopération pour généraliser. Le support natif du cross-embodiment, illustré par un déploiement zero-shot sur un manipulateur différent, intéresse particulièrement les intégrateurs qui cherchent à réutiliser des données d'entraînement entre plusieurs plateformes robotiques plutôt que de recollecter pour chaque nouveau châssis. Ce travail s'inscrit dans une vague de recherches sur la donnée synthétique en robotique, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui explorent chacune des voies différentes pour réduire la dépendance à la téléopération massive. À la différence de ces systèmes déjà déployés commercialement, WANDA reste à ce stade un preprint arXiv de juillet 2026, sans affiliation industrielle mentionnée dans l'abstract, et ses résultats n'ont pas encore été validés par une revue par les pairs ni testés en conditions de production. Les auteurs ne précisent ni le nombre de tâches évaluées ni de chiffres de performance quantifiés, ce qui invite à la prudence avant d'extrapoler ces résultats à un contexte industriel. Les prochaines étapes attendues incluent une publication en conférence et des comparaisons plus poussées face aux méthodes de collecte existantes.

RecherchePaper
1 source
1453arXiv cs.RO 

Vérification en temps réel de modèles pour la planification réactive en boucle fermée de robots

Une équipe de recherche a publié une version mise à jour (v2) sur arXiv (2508.19186) d'un article intitulé « Real-Time Model Checking for Closed-Loop Robot Reactive Planning », qui propose une méthode de vérification de modèles (model checking) pour la planification réactive multi-étapes d'un robot autonome. Le constat de départ : les méthodes classiques d'évitement d'obstacles ne raisonnent qu'un pas en avant et se retrouvent souvent piégées dans des minima locaux, par exemple face à une impasse (cul-de-sac) ou un obstacle isolé. Les auteurs ont conçu un petit algorithme de model checking, exécuté directement dans le code du robot, qui génère des plans en temps réel sur un appareil à faible puissance de calcul, sans données pré-calculées ni entraînement préalable. La méthode s'appuie sur des systèmes de contrôle temporaires, activés en chaîne pour contrer les perturbations locales qui écartent le robot de son comportement ou état de repos préféré, et limite l'explosion combinatoire de l'espace d'états en ne travaillant que sur des instantanés temporaires de l'environnement immédiat. La planification multi-étapes repose sur des contre-exemples générés par recherche en profondeur d'abord (depth-first search) et une propriété de chemin en logique temporelle linéaire (LTL) négée. L'intérêt pratique tient à la promesse d'un raisonnement multi-étapes low-cost, sans base de données ni apprentissage profond, embarquable sur du matériel modeste : un argument qui tranche avec la tendance dominante des approches de navigation gourmandes en données et en puissance de calcul. Pour les intégrateurs de robots mobiles critiques (véhicules autonomes, robots de mission), cela ouvre une piste de navigation sûre et déterministe, avec des garanties formelles issues du monde de la vérification logicielle plutôt que des heuristiques d'apprentissage. Les auteurs revendiquent des gains de performance mesurables face à un agent purement réactif limité à un seul pas de raisonnement. Le model checking est historiquement une technique de vérification formelle de logiciels et de systèmes critiques, ici détournée vers la planification de trajectoire en temps réel plutôt que vers l'analyse a posteriori. L'article, positionné comme une étude de cas pédagogique, ne revendique pas de déploiement industriel ni de produit commercialisé : il s'agit de résultats empiriques et de preuves informelles sur deux scénarios contrôlés (impasse et obstacle isolé), présentés comme base pour des travaux futurs en navigation embarquée sûre, notamment pour les véhicules autonomes et la robotique mobile mission-critique.

RecherchePaper
1 source
1454arXiv cs.RO 

Exploration structurée pour un ajustement fin par renforcement efficace des modèles vision-langage-action (ExToken)

Des chercheurs présentent ExToken (RL Exploration Token), une méthode d'apprentissage par renforcement conçue pour affiner plus efficacement les modèles vision-langage-action (VLA) sur des tâches de manipulation robotique complexes, selon un article publié sur arXiv le 15 juillet 2026. Les auteurs identifient d'abord un goulot d'étranglement dans les frameworks VLA-RL actuels: l'exploration stagne rapidement, et la diversité des trajectoires collectées compte davantage pour l'efficacité d'apprentissage que leur simple volume. Pour y remédier, ExToken conditionne la politique du robot sur des tokens discrets dérivés de démonstrations hors ligne, représentant différents modes comportementaux. En variant ces tokens pendant la collecte de trajectoires, le système pousse l'agent à explorer des comportements plus variés et à mieux couvrir l'espace des états et actions possibles. Un sélecteur de tokens conditionné par l'état est ajouté pour choisir automatiquement le mode comportemental le plus adapté lors du déploiement, où l'inférence doit rester déterministe. Les expériences, menées à la fois en simulation et sur des tâches réelles de manipulation, montrent une convergence accélérée et de meilleures performances, notamment avec un budget d'interactions limité. L'enjeu est concret pour tout le secteur du VLA: le fine-tuning par renforcement est aujourd'hui le principal levier pour dépasser les performances de l'apprentissage par imitation pur, mais son coût en interactions environnementales freine son adoption à grande échelle, que ce soit pour des modèles comme Pi-0, GR00T ou des architectures propriétaires chez les acteurs de la robotique humanoïde. Une méthode qui réduit ce coût d'échantillonnage touche directement la viabilité économique du RL pour l'industrie, au-delà des démonstrations en laboratoire. Il s'agit toutefois d'un travail de recherche académique publié en preprint, sans affiliation commerciale revendiquée ni déploiement industriel annoncé. ExToken s'inscrit dans une lignée de travaux cherchant à rendre le RL praticable pour la robotique après la phase d'apprentissage par imitation, aux côtés d'approches comme le curriculum learning ou l'exploration guidée par démonstrations, sans qu'aucun calendrier d'intégration dans un produit commercial ne soit précisé.

RechercheActu
1 source
1455arXiv cs.RO 

Un aperçu de la coexistence physique à long terme avec des robots intelligents

PHILIA est un système agent multi-robots présenté dans un article publié sur arXiv (2607.11377, soumission nouvelle) et conçu pour la coexistence physique de longue durée entre humains et robots au domicile. Son architecture repose sur une abstraction appelée « robot gateway », qui expose de façon unifiée les runtimes locaux de chaque robot, la perception embarquée, la navigation, la synthèse vocale et les politiques de contrôle, tout en conservant l'écosystème d'interaction et d'outils d'OpenClaw, un framework agent existant dont PHILIA hérite les capacités conversationnelles. Le système a été validé sur des robots Astribot S1, plateforme de manipulation humanoïde développée par la startup chinoise Astribot, et le contrat de la gateway a été pensé pour accueillir à terme d'autres plateformes robotiques hétérogènes via une interface commune couvrant observation, exécution de tâches, navigation, lecture vocale, supervision d'état et annulation de tâche. Les auteurs présentent des scénarios domestiques allant du simple rangement d'objets à des tâches longues et dextres comme remplir un sac à dos ou soulever un sac poubelle. L'intérêt de cette architecture tient à sa séparation explicite entre le raisonnement agent, peu fréquent et fortement sémantique, et l'exécution robotique bas niveau, à haute fréquence. Cette séparation rend l'expérience utilisateur compositionnelle: une amélioration de l'interface, de l'embodiment robotique, de la politique de contrôle ou de l'algorithme de navigation peut profiter au système sans le redessiner entièrement. C'est une réponse directe à un problème récurrent du secteur des robots humanoïdes domestiques, où les démonstrations spectaculaires reposent souvent sur des pipelines figés et peu réutilisables. En intégrant une mémoire longue durée des préférences utilisateur et une confirmation humaine en boucle pendant l'exécution, PHILIA cible aussi l'écart de confiance entre politiques de contrôle performantes en laboratoire et fiabilité réelle attendue en environnement domestique. Le travail s'inscrit dans la vague de recherche sur les agents robotiques généralistes combinant modèles de langage et politiques vision-langage-action, aux côtés d'efforts comme Gemini Robotics ou Helix. Il reste à ce stade une contribution de recherche à l'état d'article, testée sur une seule plateforme matérielle, sans annonce de déploiement commercial ni de partenaire industriel identifié.

RecherchePaper
1 source
1456arXiv cs.RO 

Ce que révèlent réellement les méthodes RL pour la navigation vers un objectif : étude empirique et cadre unifié

Traduction et synthèse en français, format article autonome : Une équipe de recherche publie une étude empirique à grande échelle sur les systèmes de navigation vers un objet cible (Object-Goal Navigation, ObjectNav) basés sur l'apprentissage par renforcement (RL), une capacité clé pour déployer des robots mobiles dans des environnements du quotidien comme les foyers, les écoles ou les lieux de travail. La tâche consiste, pour un agent équipé uniquement de perception embarquée, à localiser un objet cible dans un environnement inconnu, ce qui combine compréhension sémantique, raisonnement spatial et planification à long horizon. Les chercheurs décomposent le pipeline de navigation en trois modules, perception, politique de décision et stratégies d'amélioration au moment de l'inférence, et mènent des expériences contrôlées pour isoler la contribution de chacun. Sur cette base, ils construisent un système unifié qui établit un nouvel état de l'art sur le benchmark Gibson, avec un gain de 6,6% en SPL (Success weighted by Path Length) et de 2,7% en taux de réussite par rapport aux méthodes précédentes. Ils introduisent également une référence humaine, atteignant 98% de réussite. Le papier est disponible sur arXiv (2510.01830, version révisée) avec une page projet dédiée. Le résultat le plus significatif pour le secteur tient au diagnostic des leviers de performance: contrairement à une hypothèse répandue selon laquelle les gains proviennent surtout de politiques de décision plus sophistiquées, l'étude montre que la qualité de la perception et les stratégies appliquées au moment du test apportent des gains souvent supérieurs. Pour les équipes qui conçoivent des robots domestiques ou de service, cela oriente l'investissement en ingénierie vers la perception et l'inférence plutôt que vers la seule complexification des architectures de politique. L'écart persistant entre les meilleurs agents RL actuels et les 98% de réussite humaine rappelle aussi que la navigation en environnement inconnu reste loin d'être résolue malgré les progrès affichés sur les benchmarks. Le RL s'est imposé comme paradigme dominant pour l'ObjectNav ces dernières années, mais la multiplication des choix de conception, modules de perception, architectures de politique, techniques d'inférence, rendait difficile d'identifier ce qui compte réellement. En structurant ces choix dans un cadre unifié et en publiant des recommandations pratiques module par module, les auteurs visent à orienter les prochains travaux de recherche sur des bases plus rigoureuses que l'empilement de composants ad hoc.

RecherchePaper
1 source
1457arXiv cs.RO 

Vestibule bipède robuste sur pentes meubles grâce à la manipulation du terrain par les pieds

Une équipe de recherche a étudié la marche bipède sur pentes granulaires meubles (sable, gravier) à l'aide d'un robot robophysique miniature de 1,4 kg équipé de pieds à crampons, fines plaques fixées sous la semelle qui modifient l'interaction avec le sol. Des essais systématiques ont montré que des crampons trop espacés provoquent un affaissement excessif du terrain, tandis que des crampons trop rapprochés génèrent une résistance excessive, les deux configurations dégradant la marche jusqu'à l'échec. Un espacement intermédiaire, en revanche, répartit les forces de contact de façon à maintenir les contraintes du substrat sous le seuil de rupture, permettant au robot de marcher sur des pentes granulaires inclinées jusqu'à 30 degrés. Sur cette base, les chercheurs ont conçu un pied capable d'ajuster activement la profondeur de ses crampons pour s'adapter aussi bien aux sols rigides qu'aux terrains meubles, et ont validé les mêmes principes sur un bipède autonome de 15 kg, nettement plus grand que le prototype initial. Les résultats sont publiés en prépublication sur arXiv (2607.11855). Cette avancée s'attaque à un angle mort persistant de la robotique humanoïde : la quasi-totalité des démonstrations commerciales de bipèdes, y compris celles mises en avant par les grands acteurs du secteur, se déroulent sur sols plats et rigides d'usine ou d'entrepôt, un environnement où la mécanique de contact est bien maîtrisée. Dès que le sol devient meuble, sableux ou en pente, comme sur un chantier, une plage, une zone sinistrée ou un terrain d'exploration planétaire, les transitions solide-fluide induites par le contact pied-sol déstabilisent rapidement les contrôleurs actuels. En démontrant qu'une conception du pied, plutôt qu'un simple ajustement de la trajectoire du corps, peut résoudre ce problème, l'étude ouvre une piste concrète pour étendre le champ d'action des humanoïdes au-delà des sols industriels standards, un enjeu direct pour les intégrateurs visant des déploiements en extérieur ou en environnement non structuré. Le travail s'inscrit dans la continuité des recherches en terradynamique, qui modélisent les interactions entre appendices robotiques et matériaux granulaires, un domaine où les outils de contrôle restent moins matures que pour les terrains rigides. Contrairement à l'approche dominante dite « body-centric », qui régule les perturbations du terrain via les mouvements du tronc et des jambes, cette étude promeut une approche « limb-centric » agissant directement au niveau du pied. La validation sur un robot dix fois plus lourd suggère une transférabilité au-delà du prototype de laboratoire, sans toutefois constituer encore une démonstration sur plateforme commerciale.

RecherchePaper
1 source
1458arXiv cs.RO 

SegDiff : diffusion de trajectoires segmentées pour une manipulation robotique cohérente et adaptative

SegDiff, présenté dans un article déposé sur arXiv (2607.11027v1), est une nouvelle politique visuomotrice en boucle fermée pour l'apprentissage par imitation en robotique manipulation. La méthode découpe les démonstrations humaines en segments de mouvement délimités par des keyposes (poses clés), puis apprend à prédire la trajectoire continue reliant l'état courant à la prochaine keypose. Elle s'appuie sur des modèles de diffusion combinés à l'inversion DDIM pour introduire un mécanisme appelé Dynamic Temporal Ensembling, conçu pour répondre efficacement aux environnements dynamiques et lisser les discontinuités provoquées par un échantillonnage multi-modal incohérent. Les auteurs rapportent des gains de performance significatifs par rapport aux approches existantes, testés à la fois en simulation et sur des scénarios réels de manipulation robotique. L'enjeu technique visé est concret : les méthodes actuelles d'apprentissage par imitation doivent choisir entre deux limites. La prédiction continue à court horizon accumule des erreurs qui se propagent au fil de l'exécution et gère mal les distributions d'actions multi-modales (plusieurs façons valides d'atteindre un objectif). Les méthodes par keyposes évitent ce problème mais nécessitent un planificateur externe pour relier les points clés, ce qui casse le temps réel. SegDiff prétend combiner les deux avantages, hypothèse centrale pour l'industrie : produire une politique robotique capable de raisonner sur des horizons temporels longs tout en restant réactive et stable, sans dépendance à un module de planification séparé, un point clé pour les intégrateurs qui cherchent des politiques déployables directement sur du matériel. Le travail s'inscrit dans la lignée des politiques de diffusion appliquées à la robotique (type Diffusion Policy), déjà largement adoptées comme alternative aux transformeurs d'action classiques. Il ne s'agit pas ici d'un produit commercial ni d'un déploiement industriel : c'est un article de recherche fraîchement publié, sans affiliation industrielle mentionnée dans l'abstract, et ses résultats restent à confirmer par la communauté et par des essais indépendants avant toute reprise en conditions de production.

RecherchePaper
1 source
1459arXiv cs.RO 

PUMA : un modèle de terrain à base de perception pour l'agilité augmentée du parkour quadrupède

Le PUMA (Perception-driven Unified Foothold Prior for Mobility Augmented Parkour) est un nouveau cadre d'apprentissage de bout en bout destine aux robots quadrupedes pratiquant le parkour, decrit dans une version revisee d'un article arXiv (2601.15995v2). Contrairement aux approches classiques qui separent perception et controle via des controleurs hierarchiques suivant des appuis precalcules, PUMA fusionne perception visuelle et estimation des appuis au sein d'un seul processus d'entrainement. Le systeme exploite les caracteristiques du terrain pour estimer des "priors" de pose du pied en coordonnees polaires egocentriques, c'est a dire la distance relative et le cap par rapport a l'obstacle, ce qui guide en temps reel l'adaptation posturale du robot. Les auteurs rapportent des experiences menees a la fois en simulation et sur robot reel, sur une variete de terrains discrets et complexes (marches, gaps, obstacles disperses), avec des resultats d'agilite et de robustesse superieurs aux methodes de reference dans ces scenarios difficiles. L'enjeu pour l'industrie robotique tient a la limite structurelle des pipelines hierarchiques encore dominants sur les quadrupedes commerciaux: un module de perception estime la carte du terrain, un planificateur choisit des points d'appui, puis un controleur bas niveau execute la trajectoire. Cette chaine rigidifie la reactivite du robot face a des changements de terrain imprevus et brise le lien direct entre ce que le robot voit et ce qu'il fait, ce qui restreint aussi la capacite de l'apprentissage par renforcement a explorer des strategies motrices originales. En fusionnant perception et priors d'appui dans un entrainement unique, PUMA s'inscrit dans une tendance plus large vers des politiques visuomotrices integrees, deja explorees pour la manipulation avec les architectures VLA, et applique cette logique a la locomotion agile. Si les resultats se confirment hors du cadre de publication, cela renforcerait l'hypothese que l'apprentissage end-to-end peut remplacer des pipelines modulaires plus lourds a maintenir pour les integrateurs. Le parkour quadrupede s'est impose ces dernieres annees comme un benchmark standard pour evaluer l'agilite des robots a pattes, dans la lignee de travaux comme Extreme Parkour ou les demonstrations sur plateformes de type ANYmal et Unitree Go. PUMA se positionne dans cette competition academique en ciblant specifiquement le probleme du foothold selection, souvent traite separement de la politique de locomotion. L'article reste a ce stade une contribution de recherche publiee sur arXiv, sans plateforme materielle commerciale nommee ni annonce de deploiement industriel; les prochaines etapes attendues seraient une validation sur des quadrupedes du commerce et une comparaison plus directe avec les pipelines hierarchiques encore utilises en production.

RecherchePaper
1 source
1460arXiv cs.RO 

SKooP : prédictions Koopman symétriques pour une locomotion plus rapide et généralisable des robots à pattes, via apprentissage par renforcement

Des chercheurs présentent SKooP (Symmetric Koopman Predictions), une méthode d'apprentissage par renforcement (RL) pour la locomotion de robots à pattes, détaillée dans un article récemment mis en ligne sur arXiv (2607.11624v1). L'approche combine deux leviers : les symétries morphologiques du robot et un modèle de Koopman appris via un autoencodeur, qui capture la dynamique du système sous une forme linéarisée. Ce modèle de Koopman génère des prédictions utilisées comme observations privilégiées pour le critique de l'algorithme acteur-critique, ce qui lui permet d'apprendre à partir de représentations plus lisses et informatives que les observations brutes. Les auteurs intègrent aussi des symétries de groupe dans les quatre réseaux du système (acteur, critique, encodeur, décodeur), produisant une politique fortement équivariante. Testée sur un robot quadrupède confronté à plusieurs tâches de locomotion bipède complexes, SKooP réduit systématiquement le temps de convergence et améliore la récompense obtenue par rapport aux approches de référence. Les politiques apprises se transfèrent en outre à différents environnements de simulation sans réentraînement complet. Ce résultat s'attaque à un point de friction connu du RL appliqué à la robotique : les méthodes qui encodent des a priori physiques dans l'apprentissage sont généralement validées sur des systèmes de faible dimension, bien définis, rarement sur des robots réels à dynamique non linéaire complexe comme les quadrupèdes ou de futurs humanoïdes. En démontrant un gain d'efficacité d'échantillonnage sur un système à haute dimension, SKooP apporte une preuve que ces techniques passent à l'échelle, un enjeu direct pour réduire le coût de calcul et le temps d'entraînement avant transfert sim-to-real, un goulot d'étranglement critique pour les intégrateurs qui doivent adapter des politiques à de nouvelles morphologies ou tâches sans repartir de zéro. La méthode s'inscrit dans une lignée de travaux récents cherchant à injecter des a priori physiques dans le RL pour compenser sa faible efficacité d'échantillonnage, en s'appuyant sur la théorie de l'opérateur de Koopman, déjà explorée en robotique pour linéariser des dynamiques non linéaires, ainsi que sur les travaux existants sur les symétries morphologiques en apprentissage de politiques. Les auteurs fournissent une analyse détaillée des modèles de Koopman appris et des politiques symétriques pour isoler la contribution de chaque composant. Le code et les résultats complémentaires sont accessibles via la page de projet dédiée.

RecherchePaper
1 source
1461arXiv cs.RO 

SUREFlow : appariement de flux résiduel adapté à l'incertitude dans l'espace d'états pour une manipulation robotique robuste

Des chercheurs publient sur arXiv (2607.10504v1) SUREFlow, une nouvelle politique de manipulation robotique fondée sur le state-space model Mamba plutôt que sur les architectures Transformer habituelles. Le nom complet, State-space Uncertainty-aware REsidual Flow matching, résume l'idée centrale: le modèle prédit conjointement les vitesses d'action et une incertitude résiduelle dépendant de l'entrée, ce qui lui permet de raffiner sélectivement les dimensions d'action jugées peu fiables, sans retour de l'environnement, tout en gardant un coût de calcul contenu. Sur le benchmark de simulation LIBERO, SUREFlow atteint un taux de réussite moyen de 92,5%, contre un score inférieur de 34,2 points pour MaIL, l'autre politique bâtie sur Mamba. Sur la variante plus difficile LIBERO-PRO, il obtient environ 49% de réussite avec seulement 179 millions de paramètres, un résultat que les auteurs présentent comme comparable à celui de grands modèles VLA (vision-langage-action) pesant entre 3 et 7 milliards de paramètres. Le code source est publié sur GitHub. L'enjeu dépassé le simple gain de score: les politiques génératives par diffusion ou flow matching, aujourd'hui dominantes pour piloter des bras robotiques à partir d'images et de langage, souffrent d'instabilité lors de rollouts longs, où de petites erreurs de vitesse s'accumulent et dégradent l'exécution. La plupart des approches existantes supposent une incertitude homogène et ne la modélisent pas explicitement pendant la génération d'action. En ciblant ce point précis, SUREFlow s'attaque directement au fossé entre démonstration en simulation et fiabilité en conditions réelles, un problème central pour les intégrateurs qui cherchent des politiques VLA robustes sans devoir recourir à des modèles massifs coûteux à faire tourner en embarqué. Le travail s'inscrit dans la lignée des politiques de manipulation compactes inspirées de Mamba, alternative aux Transformers pour réduire la complexité de calcul sur des séquences longues, après des tentatives comme MaIL. Il se positionne aussi face aux grands VLA généralistes tels que Pi-0 ou GR00T N2, en misant sur l'efficacité paramétrique plutôt que sur l'échelle. À ce stade, il s'agit d'une publication de recherche évaluée uniquement en simulation sur LIBERO et LIBERO-PRO, sans validation annoncée sur robot physique ni partenariat industriel identifié.

RechercheActu
1 source
1462arXiv cs.RO 

SensorPerch : détecter partout et à tout moment où c'est important

SensorPerch est un système présenté dans un article publié le 14 juillet 2026 sur arXiv (référence 2607.10682v1), qui propose une nouvelle approche de la perception robotique active. Contrairement aux capteurs classiques, montés sur le robot ou fixés en un point de l'environnement, SensorPerch traite les capteurs comme des entités physiques indépendantes que le robot peut détacher et refixer de manière autonome sur diverses surfaces. La plateforme est légère, sans fil et reconfigurable, et s'accompagne d'un module de sélection de point de vue qui détermine, pour chaque tâche, le placement optimal du capteur. Les chercheurs démontrent le concept sur deux familles de tâches : la perception couplée à un objet, où SensorPerch détecte de façon persistante l'état d'un objet même quand le robot s'en est éloigné, et la perception couplée à une politique de contrôle, où le système construit des points de vue adaptés à différentes politiques robotiques, avec des taux de réussite comparables à ceux obtenus avec des points de vue idéaux définis a priori. L'intérêt de cette approche est de résoudre un vrai goulot d'étranglement pour les robots autonomes en environnement industriel ou logistique : le point de vue le plus utile change d'une tâche à l'autre, et ni les capteurs embarqués ni l'infrastructure fixe ne peuvent toujours s'y adapter. En découplant la perception à la fois du corps du robot et de l'environnement, SensorPerch ouvre la voie à une surveillance persistante de zones ou d'objets sans mobiliser un robot en continu, et à une flexibilité de point de vue par tâche qui pourrait intéresser les intégrateurs en logistique, en inspection industrielle ou en robotique mobile multi-tâches. Le papier s'inscrit dans le courant de recherche sur la perception active, qui cherche depuis plusieurs années à dépasser la rigidité des capteurs statiques. Il s'agit à ce stade d'une contribution académique fraîchement soumise, testée sur un nombre limité de scénarios expérimentaux, et non d'un produit commercialisé ou déployé sur site industriel. Les prochaines étapes attendues porteraient sur le passage à l'échelle du nombre de capteurs déployables simultanément et sur la robustesse du système face à des environnements moins contrôlés qu'en laboratoire.

RecherchePaper
1 source
1463arXiv cs.RO 

EDAR : apprentissage de représentations d'actions dépendantes de l'environnement pour la manipulation robotique

EDAR (Environment-Dependent Action Representation) est une nouvelle méthode d'apprentissage de représentations d'actions pour la manipulation robotique, présentée dans un article publié sur arXiv (référence 2607.11427v1). Le problème que les auteurs cherchent à résoudre est que les trajectoires de contrôle brutes utilisées pour entraîner des politiques robotiques sont bruitées, redondantes et difficiles à modéliser telles quelles. Les approches existantes se contentent généralement d'encoder la structure du flux d'actions lui-même, sans tenir compte explicitement de l'environnement dans lequel ces actions sont exécutées. EDAR propose au contraire de coupler les commandes moteur avec leurs effets visuels attendus, conditionnés par le contexte de la scène, afin que la représentation apprise capture la sémantique de l'interaction plutôt que de simples motifs au niveau des commandes. Les auteurs ont testé leur méthode sur des bancs d'essai de manipulation à la fois simulés et sur robot réel. Cette approche s'attaque à un angle mort connu des architectures VLA (vision-language-action) actuelles: le même segment d'action peut produire des résultats radicalement différents selon la disposition des objets, les propriétés physiques de la scène ou l'état initial de l'environnement. En ancrant les tokens d'action dans les conséquences visuelles attendues plutôt que dans la seule structure de commande, EDAR vise à améliorer la généralisation des politiques apprises, en particulier sur des tâches de manipulation à long horizon, où les erreurs de représentation s'accumulent au fil des étapes. Pour les équipes qui développent des politiques de manipulation généralistes, ce type de travail illustre une tendance de fond: le passage d'une modélisation purement centrée sur le contrôle vers des représentations conjointes action-perception, jugées nécessaires pour que les modèles de fondation robotiques (dans la lignée de GR00T N2, Pi-0 ou Helix) tiennent leurs promesses au-delà des démonstrations en environnement contrôlé. Le papier s'inscrit dans un courant de recherche plus large sur les représentations d'actions pour la robotique, où plusieurs travaux récents ont exploré la tokenisation d'actions, l'apprentissage par imitation conditionné par la vision, ou les modèles du monde pour anticiper les conséquences des actions. EDAR se positionne comme une contribution méthodologique plutôt qu'un produit ou un système déployé: il n'y a pas d'annonce de déploiement industriel ni de partenariat commercial associé à ce travail, qui reste à ce stade une publication de recherche évaluée sur des bancs d'essai académiques. Les prochaines étapes attendues pour ce type de travaux sont généralement l'intégration dans des pipelines VLA plus larges et des tests de transfert sur des plateformes robotiques commerciales, mais aucune feuille de route de ce type n'est mentionnée dans l'abstract.

RecherchePaper
1 source
1464arXiv cs.RO 

AutoPath : apprendre un a priori de chemin stochastique conditionné par objectif et transférable pour une navigation sûre sans démonstrations humaines

Des chercheurs proposent AutoPath, une méthode de navigation robotique décrite dans un article publié le 14 juillet 2026 sur arXiv (référence 2607.11739v1). Le système apprend un modèle probabiliste conditionné par objectif, capable de générer plusieurs trajectoires locales possibles autour d'obstacles à partir des seules observations locales du robot, sans recourir à des démonstrations humaines. L'innovation technique centrale est une représentation d'état canonique alignée sur l'objectif, qui supprime l'ambiguïté de rotation dans le plan et normalise la géométrie locale par rapport au but à atteindre, rendant l'apprentissage de la distribution de trajectoires invariant à la rotation. Le modèle utilise une paramétrisation des actions par une variété polaire sensible à la géométrie, combinée à un ajustement du risque et à des simulations multi-objectifs pour stabiliser la planification. Les auteurs ont testé la méthode dans des environnements statiques denses et des scénarios dynamiques avec piétons, avec des taux de réussite élevés et une efficacité jugée compétitive. L'apport le plus significatif pour l'industrie des robots mobiles concerne le transfert inter-plateformes: un seul modèle de trajectoires entraîné sur un robot à entraînement différentiel a pu être réutilisé sur une plateforme quadrupède sans réentraînement. Cela répond à un problème récurrent pour les intégrateurs d'AMR (robots mobiles autonomes) et de robots de service, où chaque nouvelle plateforme matérielle exige habituellement un cycle d'entraînement ou d'ajustement spécifique. En s'affranchissant des démonstrations humaines, la méthode réduit aussi la dépendance aux coûteuses collectes de données par téléopération, un goulot d'étranglement classique des approches par imitation utilisées par exemple pour l'apprentissage de politiques de navigation ou de manipulation. Ce travail s'inscrit dans la lignée des recherches sur la planification de mouvement par apprentissage, qui cherchent à dépasser les limites des planificateurs géométriques classiques (trop rigides face à l'incertitude) et des méthodes par clonage comportemental (coûteuses en données et peu transférables). Reste à voir si cette approche, validée pour l'instant en simulation et sur plateformes de recherche, sera reprise par des acteurs commerciaux de la robotique mobile ou humanoïde, où la question du transfert sim-to-real et cross-plateforme demeure un axe de différenciation majeur.

RecherchePaper
1 source
1465arXiv cs.RO 

Coudre un manteau : habillage assisté par robot à deux bras avec simulation différentiable du tissu

Une équipe de recherche propose un nouvel algorithme de contrôle pour robots d'assistance à l'habillage, appliqué à une tâche complexe : enfiler un manteau à une personne à l'aide d'un robot à deux bras. Publié sur arXiv (2607.10999v1), le travail s'attaque à un point de blocage connu du secteur : la plupart des algorithmes existants traitent le vêtement comme un assemblage de segments discrets, ce qui les rend incapables de gérer correctement les vêtements partiellement enfilés sous contraintes de contact avec les membres du patient. Les chercheurs introduisent à la place une simulation de tissu différentiable fonctionnant en temps réel, basée sur un schéma itératif explicite intégrant des perturbations d'ordre supérieur pour rester stable même avec de grands pas de temps, tout en restant peu coûteux en calcul. Cette simulation permet de résoudre l'état du vêtement sous contraintes de contact, ce qui alimente une stratégie de contrôle multi-phase pour l'habillage complet du manteau. Pour tenir la cadence en temps réel, les auteurs ajoutent un modèle local contraint avec son propre solveur d'optimisation, qui vient compenser à haute fréquence le contrôleur global basé sur la simulation différentiable. L'approche est validée à la fois en simulation et sur un robot physique. L'enjeu dépasse le simple exercice académique : la manipulation de tissus déformables reste l'un des problèmes les plus résistants en robotique, bien plus difficile que la préhension d'objets rigides, et l'habillage assisté est un cas d'usage concret pour l'autonomie des personnes en situation de handicap ou dépendantes. En résolvant le problème des vêtements partiellement portés sous contact, plutôt qu'en simplifiant le tissu en segments indépendants, ce travail comble un écart persistant entre les démonstrations en simulation et la réalité physique du contact peau-tissu, un des points faibles classiques des approches purement data-driven. Ce résultat s'inscrit dans une lignée de recherches sur la simulation physique différentiable appliquée à la robotique, un axe qui gagne du terrain face aux approches par apprentissage pur, précisément parce qu'il permet de modéliser explicitement la physique du contact. L'article, classé comme nouvelle soumission, ne précise pas encore de calendrier de transfert vers un produit ou un essai clinique ; il s'agit à ce stade d'une preuve de concept destinée à la communauté de recherche.

RecherchePaper
1 source
1466arXiv cs.RO 

AgenticFocus : synthèse de réalité mixte préservant les objets à partir de vidéo FPV humaine pour l'apprentissage humanoïde dextérique

AgenticFocus, un pipeline de synthèse en réalité mixte, transforme des vidéos ordinaires filmées à la première personne (FPV) par des humains en démonstrations exploitables pour l'apprentissage de robots humanoïdes. Présenté dans un article arXiv publié cette semaine (2607.08857), le système s'attaque à trois obstacles récurrents des pipelines existants: l'occlusion des objets par la main pendant la manipulation, les mouvements simplifiés à l'excès dans les jeux de données synthétiques, et la dépendance à du matériel de capture spécialisé coûteux. Concrètement, AgenticFocus reconstruit la géométrie des objets masqués par la main, restitue le mouvement complet des doigts, puis retargete l'ensemble vers un corps humanoïde via un alignement relatif à la caméra et un compositing en couches. Le résultat est un jeu de données synchronisant observations visuelles recentrées et actions ou états du robot. Sur le plan quantitatif, la trajectoire produite affiche une erreur plus faible et un mouvement du poignet plus lisse que des méthodes de référence cross-embodiment, avec des scores SPARC de -5,18 contre -5,56 et -6,05 pour les baselines (plus proche de zéro signifiant un geste plus fluide). L'enjeu dépasse la seule métrique technique. L'apprentissage de politiques pour humanoïdes bute depuis des années sur le manque de données de manipulation dexterity à grande échelle: la téléopération et la capture en réalité virtuelle sont précises mais lentes à produire, tandis que la vidéo humaine ordinaire est abondante mais bruitée et difficile à retargeter fidèlement. En améliorant la qualité de reconstruction de la main et de l'objet à partir de simples vidéos FPV, ce type de pipeline vise à débloquer un gisement de données quasi illimité, sans capteurs dédiés, pour entraîner des modèles vision-langage-action (VLA). C'est une brique d'infrastructure plutôt qu'un produit fini, mais elle touche directement au goulot d'étranglement identifié par la plupart des laboratoires travaillant sur la manipulation dexterity chez l'humanoïde. Cette approche s'inscrit dans une tendance plus large de l'industrie, où plusieurs équipes cherchent à exploiter la vidéo humaine égocentrique comme source de supervision scalable, en complément des données de téléopération utilisées pour entraîner les modèles VLA de nouvelle génération. L'article ne précise ni affiliation institutionnelle ni plan de mise à disposition du code ou du jeu de données, ce qui limite pour l'instant la reproductibilité et l'adoption par des équipes tierces.

RecherchePaper
1 source
1467arXiv cs.RO 

PhysV2A : complétion de faisabilité guidée par l'atteignabilité et contrainte par masque sémantique, pour la manipulation vidéo-vers-robot

PhysV2A est un nouveau framework de recherche présenté dans un article publié sur arXiv (2607.09365) qui s'attaque à un problème central de la manipulation robotique pilotée par vidéo : convertir un mouvement d'objet en 6 degrés de liberté, extrait de démonstrations humaines, de vidéos générées ou d'observations RGB-D, en une trajectoire réellement exécutable par un robot donné. Le principe clé est de traiter la faisabilité de la prise non pas localement, mais comme conditionnée par la trajectoire entière : chaque candidat de préhension à 6-DoF issu d'une image RGB-D est rigidement couplé au mouvement d'objet reconstruit pour former une hypothèse de trajectoire du point central de l'outil (TCP). Le système applique ensuite une sélection hiérarchique "reachability-gated" qui rejette les paires prise-trajectoire irréalisables via des vérifications cinématiques propres au robot, puis classe les candidats survivants selon leur aptitude à l'exécution. Pour la trajectoire retenue, un masque sémantique S-Mask, assisté par un modèle vision-langage et validé par des règles, distingue les composantes cartésiennes critiques pour la tâche de celles qui peuvent être assouplies, permettant un raffinement de la manipulabilité par optimisation priorisant la redondance et relaxation cartésienne bornée. Sur quatre tâches de manipulation de table testées avec un robot réel, PhysV2A améliore le taux de réussite par rapport aux méthodes de référence fondées sur des a priori vidéo ou sur la seule cinématique inverse, tout en réduisant les échecs liés à la faisabilité cinématique. L'enjeu dépasse la simple démonstration technique : les priors extraits de vidéos sont par nature agnostiques à l'incarnation du robot, ce qui constitue un des principaux verrous empêchant l'usage à grande échelle de vidéos humaines ou générées comme source de données d'apprentissage pour la manipulation, un défi central pour les approches de type VLA (vision-language-action) qui cherchent à exploiter des corpus vidéo massifs plutôt que des démonstrations téléopérées coûteuses. En montrant qu'un traitement de la faisabilité au niveau trajectoire plutôt qu'au niveau de chaque prise réduit les échecs cinématiques, PhysV2A apporte un élément concret au débat sur l'écart entre priors vidéo prometteurs en simulation et exécution fiable sur robot réel. Ce travail s'inscrit dans une tendance de recherche plus large où vidéos humaines et vidéos générées sont envisagées comme source de données scalable pour l'apprentissage de politiques robotiques, en écho aux efforts de modèles comme Pi-0 ou GR00T N2 qui cherchent à exploiter des données hétérogènes au-delà de la téléopération classique. L'article, classé comme nouvelle soumission arXiv, reste à ce stade une contribution académique validée sur banc d'essai restreint (quatre tâches, un seul robot), sans indication d'industrialisation ni de partenaire déployant la méthode ; les prochaines étapes attendues concernent l'extension à davantage d'embodiments et de tâches de manipulation plus complexes.

RecherchePaper
1 source
1468arXiv cs.RO 

Une approche par échantillonnage incrémental et segmentation pour l'infaisabilité en planification de mouvement

Des chercheurs ont publié une troisième révision sur arXiv (2501.11434v3) d'un algorithme destiné à détecter l'infaisabilité d'un plan de mouvement en robotique, c'est-à-dire à prouver rapidement qu'aucun chemin ne relie une configuration de départ à une configuration d'arrivée. La méthode discrétise l'espace des configurations du robot, chaque degré de liberté (DOF) ne prenant qu'un nombre fini de valeurs. L'espace obstacle divise cet espace en régions connexes distinctes : pour qu'un chemin existe, départ et arrivée doivent appartenir à la même région. L'algorithme construit progressivement une carte de cet espace, initialement supposé entièrement libre, en échantillonnant des points dans la zone obstacle et en mettant à jour une bitmap correspondante. Il segmente ensuite cet espace partiellement rempli pour identifier ses composantes connexes et vérifier la connectivité entre départ et arrivée. Les auteurs valident l'approche sur cinq scénarios allant jusqu'à 5 DOF, puis démontrent expérimentalement son passage à l'échelle sur des robots à 6 et 7 DOF, avec des optimisations visant à accélérer significativement les calculs. L'enjeu dépasse la simple curiosité académique : prouver qu'un mouvement est impossible est structurellement plus difficile que d'en trouver un possible, car les planificateurs par échantillonnage les plus répandus (RRT, PRM et leurs variantes) sont conçus pour converger vers une solution quand elle existe, mais tournent indéfiniment ou échouent silencieusement en son absence. Pour un intégrateur industriel programmant une cellule robotisée, savoir en amont qu'une trajectoire est irréalisable évite un temps de calcul infini et permet de reconfigurer l'environnement ou la pose du robot plus tôt dans le cycle de conception. La démonstration sur des configurations à 6 et 7 DOF est le point notable : elle indique que la méthode ne reste pas cantonnée à des cas jouets de basse dimension, un écueil fréquent pour les approches de segmentation d'espace de configuration. La détection de complétude et d'infaisabilité en planification de mouvement est un sujet de recherche ancien, où les méthodes par grille ou par décomposition cellulaire coexistent avec les approches probabilistes plus rapides mais incomplètes. Cette publication, revue une troisième fois avant réévaluation, s'inscrit dans cette lignée en proposant une alternative simple à implémenter plutôt qu'une preuve théorique lourde, ouvrant la voie à une intégration dans des pipelines de planification existants pour des bras robotiques à haute dimensionnalité.

RecherchePaper
1 source
1469arXiv cs.RO 

GenVid2Robot : de la génération vidéo à la manipulation robotique par cohérence rigide-géométrique

Des chercheurs ont publié le 13 juillet 2026 sur arXiv (2607.09191v1) GenVid2Robot, un système qui transforme des vidéos générées par IA en trajectoires exécutables sur un robot manipulateur réel. Le problème de départ: une vidéo générée peut sembler visuellement plausible sans être physiquement exécutable, faute de géométrie métrique, d'ancrage de préhension, de faisabilité cinématique ou de retour d'exécution. GenVid2Robot part d'une observation RGB-D initiale et d'une instruction de tâche, échantillonne des ancres sémantiques pertinentes sur la première image réelle, puis suit ces ancres à travers les candidats vidéo générés. Un modèle SE(3) relatif et épars vérifie si le mouvement 2D observé est cohérent avec la géométrie 3D des ancres; seul le mouvement validé géométriquement est transféré au robot. Ce mouvement est ensuite appliqué à la pose réelle de l'organe terminal (TCP) au moment de la saisie, déterminée par une préhension contrainte par masque, et un module de compensation de profondeur borné corrige les erreurs locales dues au bruit RGB-D ou aux déplacements de contact. L'enjeu dépasse la démonstration technique isolée: les modèles de génération vidéo (type Sora, Veo ou Genie) sont de plus en plus présentés comme des sources de "priors" de mouvement pour la robotique, mais l'écart entre vidéo plausible et action exécutable reste l'un des obstacles majeurs à leur usage réel, aux côtés du problème classique du sim-to-real. En filtrant les hypothèses de mouvement par cohérence géométrique plutôt qu'en rejouant directement une trajectoire, GenVid2Robot répond directement au risque d'échec en conditions réelles que redoutent intégrateurs et équipes R&D travaillant sur les architectures vision-langage-action (VLA). Le travail s'inscrit dans la lignée des approches combinant modèles génératifs et politiques robotiques, aux côtés d'efforts comme Pi-0, GR00T N2 ou Helix qui cherchent à exploiter des priors visuels ou vidéo à grande échelle. À ce stade, il s'agit d'une publication de recherche avec expériences sur robot réel, non d'un produit commercialisé; les auteurs ne précisent pas de calendrier de déploiement industriel.

RecherchePaper
1 source
1470arXiv cs.RO 

OIPP : prédicteur adaptatif du point d'impact pour intercepter des objets en vol variés

Des chercheurs publient sur arXiv (soumission remplacée, v3) un système baptisé OIPP (Object-Adaptive Impact Point Predictor), conçu pour permettre à un robot quadrupède équipé d'un panier de rattraper des objets en vol. L'objectif est de prédire précisément le point d'impact, c'est-à-dire l'endroit où l'objet va atterrir, avant même la fin de sa trajectoire. Pour entraîner ce système, faute de jeu de données public couvrant des objets divers soumis à une aérodynamique instable, l'équipe a constitué son propre corpus: 8 000 trajectoires réelles issues de 20 objets différents. OIPP repose sur deux modules, un encodeur adaptatif aux objets (OAE) qui extrait des représentations dépendantes de l'objet à partir de l'historique de mouvement, et un prédicteur de point d'impact (IPP) qui en déduit la position finale. Deux variantes de l'IPP ont été testées, l'une (NAE) qui prédit l'accélération puis reconstruit la trajectoire complète, l'autre (DPE) qui produit directement le point d'impact sans étape intermédiaire. Les résultats montrent une performance supérieure aux méthodes de référence sur 15 objets connus et 5 objets jamais vus à l'entraînement, avec des gains de succès de capture confirmés en simulation et lors d'essais sur robot réel. Pour l'industrie robotique, ce travail s'attaque à un problème resté largement non résolu: la manipulation dynamique d'objets en vol, un domaine différent de la préhension statique déjà largement maîtrisée par les bras robotiques. La difficulté centrale que les auteurs mettent en avant, à savoir que les trajectoires de différents objets se ressemblent en début de vol, est précisément ce qui limite les systèmes existants à des scénarios avec un seul type d'objet connu à l'avance. Démontrer qu'un modèle unique généralise à des objets inédits, sans réentraînement, est un signal utile pour les intégrateurs qui envisagent des applications de tri, de logistique ou de sécurité où la nature de l'objet capté n'est pas toujours prévisible à l'avance. Cela reste toutefois un résultat de recherche académique, validé sur un jeu d'objets limité et un robot quadrupède spécifique, loin d'un produit commercial déployé. Le travail s'inscrit dans la lignée des efforts récents sur la manipulation dynamique par apprentissage, où l'accès à des données réelles diversifiées est le principal goulot d'étranglement plutôt que l'algorithme lui-même, un constat similaire à celui qui a poussé des laboratoires travaillant sur des politiques de type VLA (vision-langage-action) à investir massivement dans la collecte de données avant l'entraînement des modèles. Les auteurs positionnent explicitement leur contribution en deux temps, d'abord la construction d'un dataset plus riche et complexe que l'existant, ensuite l'architecture OIPP elle-même. Une démonstration vidéo est disponible en ligne, et les essais sur robot réel suggèrent une prochaine étape naturelle vers des tests en conditions moins contrôlées, avec potentiellement davantage d'objets et de configurations de lancer, avant d'envisager une application industrielle concrète.

RecherchePaper
1 source
1471arXiv cs.RO 

Modèle vision-langage-action débiaisé causalement pour modèles du monde conditionnés par l'action incarnée

Des chercheurs publient sur arXiv (arXiv:2607.09185v1) un nouveau framework baptisé CD-LAM, destiné à améliorer les modèles du monde conditionnés par l'action (ACWM), ces systèmes qui simulent les observations futures d'un robot en fonction des actions qu'il pourrait exécuter. Ces modèles reposent sur des données massives étiquetées avec les actions correspondantes, coûteuses à collecter en conditions réelles. Pour contourner ce goulot d'étranglement, les modèles d'action latente (LAM) infèrent des actions directement depuis des vidéos non étiquetées, mais souffrent d'un biais connu : entraînés uniquement sur des objectifs de reconstruction, ils mélangent la dynamique liée à l'action avec des éléments visuels non pertinents comme l'arrière-plan ou des objets non manipulés. CD-LAM introduit trois objectifs de fine-tuning complémentaires, une reconstruction centrée sur le corps du robot, un apprentissage contrastif centré sur l'action, et une calibration de l'espace latent, pour produire des représentations plus fidèles et non dégénérées. Testé sur des backbones ACWM de 2 et 14 milliards de paramètres, CD-LAM améliore la contrôlabilité des actions latentes, le suivi des commandes en aval, la fidélité visuelle, et ne nécessite que 6 000 étapes de fine-tuning, soit plus de 12 fois moins de mises à jour d'adaptation que la méthode de référence. L'enjeu dépasse la seule performance technique : réduire d'un facteur 12 le coût d'adaptation d'un modèle du monde à un nouveau robot ou une nouvelle tâche s'attaque directement au principal frein à l'échelle des politiques robotiques actuelles, la rareté des données actions-étiquetées réelles. Ce type de travail nourrit la course aux modèles VLA (vision-language-action) comme Pi-0, GR00T N2 ou Helix, où la capacité à généraliser à partir de peu de démonstrations conditionne la viabilité commerciale des humanoïdes. Il faut toutefois distinguer clairement ce résultat, une contribution de recherche à l'échelle du benchmark, d'un déploiement en production. CD-LAM s'inscrit dans la lignée des travaux récents sur les modèles d'action latente, une direction de recherche née du constat que l'étiquetage manuel des actions robotiques ne passera jamais à l'échelle des humanoïdes commerciaux. L'abstract ne cite ni laboratoire ni entreprise précise, signe d'une publication académique classique plutôt que d'une annonce produit. Les auteurs évoquent des pistes de suite via l'adaptation à davantage de plateformes robotiques et de backbones plus larges, sans calendrier de déploiement communiqué.

RecherchePaper
1 source
Navigation par objectif à vocabulaire ouvert : généraliser la cartographie sémantique avec CLIP dense
1472arXiv cs.RO 

Navigation par objectif à vocabulaire ouvert : généraliser la cartographie sémantique avec CLIP dense

Des chercheurs ont publié une nouvelle version (v2) de l'article arXiv 2407.09016, qui présente OVExp, un framework d'exploration en vocabulaire ouvert pour la navigation robotique vers des objets-cibles non catégorisés au préalable. Le système s'appuie sur des modèles Dense CLIP pour généraliser la cartographie sémantique, sans recourir à l'inférence coûteuse de grands modèles de langage (LLM) ni à un entraînement intensif par apprentissage par renforcement (RL) de bout en bout. L'innovation centrale est une stratégie de transfert cross-modal sur cartographie sémantique : le réseau apprend d'abord uniquement à partir de texte, puis transfère ces représentations, au moment du test, vers une cartographie multimodale combinant localisation spatiale précise des objets et représentations visuelles généralisables. Les auteurs annoncent une généralisation robuste vers des objets-cibles inédits, validée sur les benchmarks établis d'ObjectNav, malgré un entraînement reposant sur des mises en page textuelles limitées en nombre d'objets. Pour l'industrie robotique et les intégrateurs, ce travail cible un problème concret de coût et de latence : les approches actuelles de navigation en vocabulaire ouvert, qui appellent un LLM à chaque décision ou nécessitent des heures d'entraînement RL par environnement, restent difficiles à déployer à grande échelle sur des robots mobiles autonomes (AMR) ou des plateformes d'inspection. En montrant qu'un réseau de prédiction d'objectifs basé sur une carte sémantique peut généraliser sans réentraînement lourd ni appel LLM en boucle, OVExp propose une alternative aux architectures VLA gourmandes en ressources, ce qui intéresse directement tout acteur cherchant à doter des robots de capacités de recherche d'objets flexibles sans exploser les coûts d'inférence en production. Ce travail s'inscrit dans la lignée des recherches sur ObjectNav, la tâche de navigation vers un objet-cible désigné par catégorie ou par image dans un environnement inconnu, un benchmark phare de la navigation embarquée depuis plusieurs années. Il se positionne face à deux familles de méthodes concurrentes : celles qui exploitent des LLM sans entraînement supplémentaire pour raisonner sur la scène, coûteuses en inférence, et celles qui affinent des politiques par RL de bout en bout, limitées en généralisation hors distribution. En s'appuyant sur CLIP, déjà largement utilisé pour l'ancrage vision-langage, et sur un entraînement texte-seul transférable au moment du test, les auteurs proposent une voie plus économe en ressources. Publié en v2 sur arXiv, l'article reste à ce stade une contribution académique évaluée en simulation, sans annonce de déploiement matériel ni de partenariat industriel.

RecherchePaper
1 source
SeFA-Policy : apprentissage rapide et précis de politiques visuomotrices par alignement de flux sélectif
1473arXiv cs.RO 

SeFA-Policy : apprentissage rapide et précis de politiques visuomotrices par alignement de flux sélectif

Une équipe de recherche a publié SeFA-Policy (Selective Flow Alignment), une nouvelle méthode d'apprentissage de politiques visuomotrices par imitation pour la robotique, décrite dans une version révisée sur arXiv (2511.08583v2) et accompagnée d'un code source disponible sur GitHub (RongXueZoe/SeFA). Le problème ciblé concerne les approches récentes de "rectified flow", qui accélèrent la génération d'actions robotiques mais souffrent d'un défaut connu : après distillation itérative, les actions générées finissent par dévier des actions réelles associées à l'observation visuelle en cours, ce qui accumule l'erreur au fil des cycles de reflow et déstabilise l'exécution des tâches. SeFA introduit un mécanisme de correction de cohérence qui réaligne sélectivement les actions générées sur les démonstrations expertes, tout en conservant la capacité du modèle à représenter plusieurs solutions possibles (multimodalité). Sur des tâches de manipulation simulées et réelles, les auteurs annoncent une précision et une robustesse supérieures aux politiques de référence basées sur la diffusion ou sur le flow, avec une latence d'inférence réduite de plus de 98%. Pour l'industrie robotique, l'enjeu dépasse la performance académique brute : le goulot d'étranglement des politiques par diffusion a toujours été le nombre d'étapes de débruitage nécessaires à chaque décision, incompatible avec du contrôle temps réel sur bras manipulateurs ou robots mobiles. Les méthodes à un seul pas d'inférence promettent de lever ce verrou, mais au prix, jusqu'ici, d'une fidélité dégradée aux observations réelles. En traitant explicitement ce compromis précision/vitesse plutôt qu'en l'ignorant, SeFA apporte un signal utile aux intégrateurs qui évaluent si les politiques de type flow sont mûres pour un déploiement embarqué, au-delà des démonstrations en laboratoire. Ce travail s'inscrit dans la lignée des Diffusion Policy puis des politiques par rectified flow, apparues ces deux dernières années comme alternative aux architectures de type transformer pour l'apprentissage par imitation en robotique. Il se positionne explicitement contre les méthodes de diffusion et de flow "state of the art" existantes, sans toutefois nommer d'acteur industriel ni annoncer de déploiement commercial : il s'agit d'une contribution de recherche, publiée en v2 après une première soumission, avec code ouvert pour reproduction par la communauté.

RechercheActu
1 source
Adaptation biomécanique guidée par la physique de la démarche pour la locomotion humanoïde sur terrains extrêmement pentus
1474arXiv cs.RO 

Adaptation biomécanique guidée par la physique de la démarche pour la locomotion humanoïde sur terrains extrêmement pentus

Des chercheurs présentent HumoSlope, un framework d'apprentissage par renforcement en deux étapes conçu pour la locomotion humanoïde sur pentes raides, détaillé dans un article publié sur arXiv (référence 2607.07830v1). Le constat de départ : avec des formulations de récompense génériques, les politiques de RL convergent souvent vers des démarches lentes et prudentes, en position accroupie et centre de masse abaissé, pour compenser le biais gravitationnel constant imposé par un terrain incliné. La première étape du framework introduit un régularisateur ZMP (Zero Moment Point) adapté à la pente, évalué directement sur le plan de support incliné local plutôt que sur une référence horizontale globale, ce qui établit un a priori d'équilibre cohérent avec le terrain. La seconde étape, baptisée Biomechanical Slope Gait Adapter (BSGA), exploite des descripteurs macroscopiques du terrain comme signaux privilégiés, disponibles uniquement à l'entraînement, pour moduler dynamiquement la hauteur du centre de masse et la coordination des membres inférieurs selon la géométrie de pente estimée, favorisant une propulsion dominée par la hanche en montée et un freinage piloté par le genou en descente. Point notable : l'acteur finalement déployé reste entièrement proprioceptif, sans capteur extéroceptif embarqué. Les essais sim-to-real ont permis une traversée aveugle et continue de pentes herbeuses extérieures atteignant 62,7 % d'inclinaison, soit 32,1 degrés. L'intérêt principal tient à la démonstration qu'un contrôle purement proprioceptif, sans vision ni LiDAR embarqués, peut gérer des pentes extrêmes en conditions réelles extérieures, réduisant la dépendance à une perception embarquée coûteuse et fragile hors environnement contrôlé. Le résultat contredit aussi l'idée qu'un RL générique suffit : sans priors physiques et biomécaniques explicites, les politiques dégénèrent vers des démarches accroupies sous-optimales. Pour les acteurs de l'humanoïde, dont la plupart des déploiements actuels restent cantonnés aux sols plats d'usine ou d'entrepôt, ce travail pointe une voie concrète pour élargir la robustesse en terrain extérieur non structuré, une faiblesse encore largement non résolue du secteur. La locomotion humanoïde par apprentissage par renforcement a fortement progressé ces dernières années sur terrains plats ou discrets, marches et escaliers notamment, mais les pentes raides restent un axe peu exploré comparé à d'autres défis comme les obstacles ou les terrains accidentés. Aucune plateforme robotique commerciale n'est nommée dans l'article, qui reste à ce stade une contribution de recherche validée en simulation puis en conditions réelles. Les suites naturelles évoquées incluent l'intégration à des piles de contrôle plus larges et des tests sur d'autres surfaces comme la neige, le gravier ou la boue.

RecherchePaper
1 source
D-CLIPSE : localisation par consensus distribué avec écoute passive sur échange d'état partagé
1475arXiv cs.RO 

D-CLIPSE : localisation par consensus distribué avec écoute passive sur échange d'état partagé

Le nom complet du papier est D-CLIPSE, pour "Distributed Consensus-based Localization with Passive Listening on Shared State Exchange" (arXiv:2607.07995v1). Il s'agit d'un nouveau cadre de filtrage distribué pour la localisation multi-robots, conçu pour rester cohérent (au sens statistique du terme) tout en limitant la charge de communication entre robots. Le principe: chaque robot embarque son propre filtre et estime à la fois son état et celui de ses voisins, en échangeant de l'odométrie préintégrée ainsi que des états partagés pertinents via communication inter-robot. Contrairement à une architecture centralisée qui fusionnerait de façon optimale toutes les mesures de capteurs de l'équipe mais qui reste rarement viable en pratique (contraintes matérielles, de bande passante et de puissance de calcul), D-CLIPSE cherche à s'en approcher sans passer par un nœud central. Les auteurs valident leur méthode à la fois en simulation et lors d'expériences réelles, avec des résultats de précision et surtout de cohérence proches d'une solution centralisée. L'enjeu dépasse la simple prouesse académique: la localisation multi-robots est un prérequis direct pour la planification de trajectoire et le contrôle dans toute flotte coordonnée, qu'il s'agisse d'AMR en entrepôt, d'essaims de drones ou de robots d'inspection travaillant en équipe. Le problème classique des filtres décentralisés est la sous-estimation de l'incertitude quand les mêmes informations sont comptées plusieurs fois dans le réseau, ce qui rend les estimations de position trop confiantes et potentiellement dangereuses pour la prise de décision en aval. En visant explicitement la cohérence statistique en plus de la précision, et en réduisant le volume de données échangées entre robots, D-CLIPSE s'attaque directement à ce qui limite aujourd'hui le déploiement de flottes robotiques réellement décentralisées à grande échelle, sans dépendre d'une infrastructure de calcul centrale fragile ou coûteuse en latence. Le papier se positionne explicitement contre l'état de l'art actuel des approches décentralisées, dont il revendique dépasser les performances en cohérence tout en restant efficace en communication, un compromis que la littérature peine généralement à tenir simultanément. Les approches distribuées existantes s'appuient typiquement sur des variantes de filtres de Kalman étendus ou des méthodes d'intersection de covariance pour éviter le double comptage d'information, souvent au prix d'une dégradation de précision ou d'un surcoût de calcul. En publiant à la fois des résultats simulés et expérimentaux, les auteurs cherchent à démontrer une applicabilité concrète plutôt qu'un simple gain théorique, ouvrant la voie à des tests sur des flottes physiques plus larges et à une intégration potentielle dans des piles de navigation multi-robots existantes.

RecherchePaper
1 source
VOTE : optimisation vision-langage-action par vote d'ensemble de trajectoires
1476arXiv cs.RO 

VOTE : optimisation vision-langage-action par vote d'ensemble de trajectoires

Le papier VOTE ("Vision-Language-Action Optimization with Trajectory Ensemble Voting"), publié sur arXiv sous la référence 2507.05116, propose une nouvelle méthode d'entraînement pour les modèles Vision-Language-Action (VLA) utilisés en robotique manipulatrice. Les auteurs, dont le code est disponible sur GitHub (LukeLIN-web/VOTE), s'attaquent à deux limites des VLA actuels : la génération de tokens d'action très nombreux, qui alourdit la latence d'inférence et le coût d'entraînement, et une exploitation insuffisante des actions déjà générées, qui dégrade les performances. Leur framework finetune les modèles pour produire beaucoup moins de tokens d'action, en parallélisant fortement le décodage, puis combine les prédictions courantes et passées via une stratégie de vote d'ensemble au moment de l'inférence. Résultat annoncé : des taux de réussite supérieurs à l'état de l'art, avec une inférence 39 fois plus rapide qu'OpenVLA et un débit de 46 Hz sur plateformes embarquées. Ce gain de vitesse cible directement le principal frein au déploiement réel des VLA : leur latence, souvent incompatible avec un contrôle robotique en temps réel sur du matériel embarqué à ressources limitées. Si les chiffres se confirment en dehors des benchmarks propriétaires des auteurs, cela renforcerait l'idée qu'on peut réduire drastiquement la latence sans changer d'architecture ni ajouter de puissance de calcul, simplement en repensant le nombre de tokens générés et leur exploitation post-inférence. C'est un argument concret pour les intégrateurs qui cherchent à faire tourner des politiques VLA sur des bras robotiques ou plateformes mobiles sans GPU serveur. Le travail s'inscrit dans une course plus large à l'efficacité des VLA, où OpenVLA sert de référence open source largement citée, aux côtés d'approches comme Pi-0 (Physical Intelligence), GR00T (NVIDIA) ou Helix (Figure), toutes confrontées au même compromis entre richesse de représentation et vitesse d'exécution. VOTE se positionne comme une optimisation d'inférence complémentaire à ces modèles plutôt qu'un concurrent direct, avec pour prochaine étape l'adoption par la communauté via son code publié.

IA physiqueActu
1 source
UniLM-Nav : un cadre unifié pour la navigation zero-shot du dernier kilomètre
1477arXiv cs.RO 

UniLM-Nav : un cadre unifié pour la navigation zero-shot du dernier kilomètre

Des chercheurs presentent UniLM-Nav, un framework unifie pour la navigation dite du dernier metre en manipulation mobile, capable de fonctionner en zero-shot sur du vocabulaire ouvert. Le probleme vise: un robot peut atteindre les abords d'un objet ou d'un meuble cible sans que sa position finale permette reellement de le manipuler. UniLM-Nav decompose la tache en trois etapes traitees par un seul modele multimodal de langage (MLLM): selection de la vue de reference parmi les observations recemment collectees, identification du point d'affordance pertinent pour la tache dans cette vue puis projection dans le repere du robot, et calcul d'une pose de base compatible avec sa geometrie. Sur le benchmark OVMM, la methode depasse l'etat de l'art precedent, MoTo, de 3,13 points de pourcentage. Les auteurs ont aussi teste le systeme sur un robot reel, un quadrupede Unitree B2 equipe d'un bras manipulateur Unitree Z1 a 6 degres de liberte (DoF), validant l'approche au-dela de la simulation. Ce travail s'attaque a un maillon souvent neglige de la manipulation mobile: s'approcher d'une cible ne suffit pas si la pose finale rend la prise instable ou impossible. Les methodes existantes reglaient ce probleme via une annotation manuelle des poses ou un entrainement specifique a chaque tache, deux approches couteuses qui passent mal a l'echelle en vocabulaire ouvert. En s'appuyant sur un MLLM partage pour resoudre selection de vue, ancrage d'affordance et raisonnement geometrique, UniLM-Nav illustre une tendance de fond: les grands modeles multimodaux remplacent progressivement des modules geometriques specialises construits a la main. Les auteurs notent que le choix du MLLM sous-jacent a un effet substantiel sur la performance, un point a surveiller pour tout integrateur voulant reproduire l'approche. Le passage de la simulation a un robot physique reduit un peu l'ecart persistant entre demonstrations en laboratoire et deploiement reel qui marque encore la recherche en robotique mobile. Le probleme du dernier metre est identifie de longue date dans la litterature sur la manipulation mobile, la plupart des pipelines de navigation s'arretant a une proximite grossiere de la cible sans garantir une pose exploitable pour le bras. La comparaison avec MoTo, presente comme la reference precedente sur OVMM (Open Vocabulary Mobile Manipulation), situe UniLM-Nav dans une lignee de travaux visant a generaliser la manipulation mobile a des objets et environnements non vus a l'entrainement. Le choix du materiel de validation, un quadrupede associe a un bras a 6 DoF, s'inscrit dans une tendance plus large a coupler locomotion a pattes et manipulation pour des environnements non structures. Publie sur arXiv (2607.06537), l'article ne mentionne aucun calendrier de commercialisation: il s'agit a ce stade d'une contribution de recherche, dont la reproduction sur d'autres plateformes testera sa robustesse au-dela du benchmark.

RecherchePaper
1 source
WristMimic : contrôle corps entier de l'humanoïde par manipulation guidée au poignet
1478arXiv cs.RO 

WristMimic : contrôle corps entier de l'humanoïde par manipulation guidée au poignet

Publié en juillet 2026 sur arXiv, WristMimic est un framework de contrôle corps entier pour robots humanoïdes qui transfère des démonstrations humaines de manipulation vers une simulation physique. Plutôt que de suivre intégralement la pose de la main, la méthode sépare le corps et le poignet, guidés cinématiquement, des doigts, qui apprennent leurs gestes de préhension à partir du suivi de l'objet et du résultat des contacts. Le poignet sert de charnière entre les deux régimes : peu soumis aux forces de contact, il reste suivable fidèlement tout en plaçant la main dans une configuration de prise atteignable. Des contraintes de réinitialisation et une priorisation des récompenses au poignet fiabilisent ce positionnement ; les auteurs annoncent des performances égales ou supérieures aux méthodes à supervision complète des doigts, avec un retargeting indépendant de la morphologie de la main. Le problème ciblé est connu en contrôle humanoïde : une trajectoire de main en position seule ne renseigne pas les forces de contact nécessaires à une prise réussie, et imposer un suivi complet des doigts tend à surcontraindre des comportements qui doivent rester riches en contacts, ce qui fragilise la manipulation fine. En découplant mouvement libre et manipulation, WristMimic s'inscrit dans la recherche sur l'imitation à grande échelle pour l'IA incarnée, sans dépendre d'une capture de main parfaite. Pour l'industrie, l'argument concret est qu'une approche agnostique à la morphologie de la main pourrait réduire le travail d'adaptation quand un intégrateur change de main dextérisée, un problème récurrent tant les architectures varient d'un fabricant humanoïde à l'autre. Ce travail s'inscrit dans la lignée des méthodes de contrôle guidé par la cinématique humaine pour humanoïdes, qui cherchent depuis deux ans à rapprocher téléopération et apprentissage par renforcement. L'abstract ne mentionne aucun déploiement sur robot réel ni partenariat industriel : il s'agit pour l'instant d'une validation en simulation, une contribution de recherche plutôt qu'un produit. Les suites logiques seraient une validation sur plateforme humanoïde physique et une comparaison avec les pipelines de téléopération des acteurs du secteur, qu'il s'agisse des humanoïdes commerciaux ou des modèles VLA généralistes comme Pi-0 ou GR00T N2.

RecherchePaper
1 source
FORGE : généraliser l'utilisation fonctionnelle d'outils par raisonnement sur trajectoires de points clés
1479arXiv cs.RO 

FORGE : généraliser l'utilisation fonctionnelle d'outils par raisonnement sur trajectoires de points clés

Une équipe de recherche publie sur arXiv (arXiv:2607.05780) un système baptisé FORGE, conçu pour résoudre un problème concret de la robotique manipulatrice : un robot entraîné à utiliser un outil précis échoue généralement à transférer cette compétence à un objet différent partageant pourtant la même fonction, par exemple utiliser une pierre ou une chaussure pour planter un clou comme le ferait un humain. Les chercheurs ont testé plusieurs représentations intermédiaires (images d'affordance, vidéos de démonstration humaine, trajectoires de points-clés en 2D) et retiennent les trajectoires de points-clés comme le meilleur compromis entre expressivité fonctionnelle et capacité à être traduites en actions robotiques. FORGE fonctionne en deux étapes distinctes : d'abord prédire des trajectoires de points-clés génériques à partir de données sans action associée, puis les ancrer en commandes motrices concrètes grâce à un nombre limité de démonstrations. Sur un banc d'essai de sept outils dédié à une tâche de type "frapper pour enfoncer", la méthode dépasse les approches de référence sur des outils jamais vus, en simulation comme en conditions réelles, avec plus du double du taux de réussite moyen. Cette avancée cible un verrou connu des politiques d'apprentissage par imitation et des modèles vision-langage-action (VLA) : la plupart généralisent mal dès qu'un outil change de forme, même si sa fonction reste identique. Pour les intégrateurs qui envisagent des robots humanoïdes ou des bras manipulateurs en environnement non structuré, où l'outil disponible n'est pas toujours celui prévu, cette capacité d'improvisation fonctionnelle est un prérequis pour sortir de la démonstration contrôlée et aller vers un déploiement réel. FORGE s'inscrit dans une tendance de recherche plus large visant à découpler le raisonnement de haut niveau de l'exécution motrice, une logique que l'on retrouve dans des systèmes comme GR00T N2, Pi-0 ou Helix, qui cherchent tous à réduire la dépendance à des démonstrations robotiques coûteuses en s'appuyant sur des données vidéo ou des données sans action. Il s'agit ici d'un travail académique publié en préprint, sans partenaire industriel identifié ni déploiement annoncé : la prochaine étape logique serait d'étendre la validation au-delà de ce banc d'essai de sept outils vers des tâches de manipulation plus variées.

RecherchePaper
1 source
Estimation de pose 6D par régression de cartes de chaleur de points-clés avec réseaux de neurones résiduels RGB-D
1480arXiv cs.RO 

Estimation de pose 6D par régression de cartes de chaleur de points-clés avec réseaux de neurones résiduels RGB-D

Une équipe de chercheurs a publié en mai 2026 sur arXiv un framework modulaire pour l'estimation de pose 6D fondé sur la régression de cartes de chaleur de points-clés. L'architecture proposée, baptisée HeatNet, articule deux blocs distincts : YOLOv10m pour la détection d'objets dans l'image, suivi d'un réseau ResNet18 qui prédit des heatmaps 2D à partir d'images RGB. Les coordonnées des points-clés extraites de ces cartes alimentent ensuite l'algorithme PnP RANSAC pour calculer la pose complète à six degrés de liberté (trois translations, trois rotations). Les auteurs ont par ailleurs développé une extension RGB-D intégrant les données de profondeur via une architecture dite de cross-fusion, permettant une interaction entre features visuelles et de profondeur à plusieurs niveaux du réseau. Ils ont également exploré des améliorations d'entraînement classiques, notamment des fonctions d'activation alternatives et des stratégies de scheduling du taux d'apprentissage. Sur le benchmark LINEMOD, le modèle RGB-seul atteint 84,50% de précision selon la métrique ADD, tandis que la version RGB-D monte à 92,41%. Le code source est disponible en open source sur GitHub (ameermasood/HeatNet). L'estimation de pose 6D reste un verrou opérationnel pour la manipulation robotique industrielle, le bin picking, le contrôle qualité automatisé et les systèmes de réalité augmentée. Le gain de 7,9 points entre le modèle RGB-seul et la fusion RGB-D traduit le bénéfice concret de la donnée de profondeur, un argument direct pour les intégrateurs équipant leurs cellules de caméras RGB-D de type Intel RealSense ou Azure Kinect. L'architecture modulaire heatmap-PnP RANSAC présente un avantage pratique : chaque brique est indépendante, ce qui simplifie l'adaptation à de nouveaux objets sans reprendre l'ensemble du pipeline. La mise à disposition du code facilite la reproductibilité, ce qui distingue ce travail d'un nombre important de publications académiques sans implémentation publique. L'estimation de pose 6D est un champ très actif, avec des approches concurrentes récentes comme FoundPose, GigaPose et les méthodes exploitant des fondations visuelles telles que DINOv2. Il convient de noter que LINEMOD, le dataset d'évaluation utilisé ici, est aujourd'hui considéré comme relativement accessible par rapport aux benchmarks plus exigeants du BOP Challenge ou à YCB-Video, qui comprend des objets en occlusion partielle et des configurations plus proches des conditions industrielles réelles. HeatNet se positionne donc davantage comme une baseline solide et reproductible que comme une proposition à l'état de l'art absolu. Les prochaines étapes naturelles seraient une évaluation sur ces benchmarks plus sévères et une intégration dans des pipelines de manipulation temps-réel pour mesurer la latence effective en conditions opérationnelles.

RecherchePaper
1 source
EA-WM : un modèle du monde génératif intégrant des champs d'action cinématique-visuel structurés
1481arXiv cs.RO 

EA-WM : un modèle du monde génératif intégrant des champs d'action cinématique-visuel structurés

Des chercheurs ont déposé le 8 mai 2026 sur arXiv (2605.06192) un préprint présentant EA-WM (Event-Aware Generative World Model), un modèle de monde génératif pour la robotique fondé sur les modèles de diffusion vidéo préentraînés. L'originalité technique centrale réside dans l'introduction de "Structured Kinematic-to-Visual Action Fields" : plutôt que d'injecter les états articulaires ou les positions d'effecteur terminal sous forme de tokens abstraits de faible dimension, le modèle projette directement les actions et états cinématiques dans l'espace de la caméra cible, produisant une représentation géométriquement ancrée. Les auteurs introduisent également des blocs de fusion bidirectionnelle sensibles aux événements ("event-aware bidirectional fusion blocks"), qui modulent l'attention croisée entre branches et capturent les changements d'état des objets ainsi que la dynamique fine des interactions robot-objet. Évalué sur le benchmark WorldArena, EA-WM dépasse les baselines existantes par une marge que les auteurs qualifient de significative, sans préciser les écarts numériques dans l'abstract. L'enjeu est celui du "problème inverse" dans les world models robotiques : la plupart des approches actuelles traitent la génération vidéo comme une représentation auxiliaire au service de l'apprentissage de politiques, sans exploiter les signaux d'action pour guider la synthèse visuelle. EA-WM retourne cette perspective et produit des rollouts simulés qui préservent mieux la géométrie spatiale du robot et la dynamique des interactions, un défaut récurrent des world models qui génèrent des séquences visuellement plausibles mais cinématiquement incohérentes. Pour les équipes travaillant sur le sim-to-real, une meilleure fidélité géométrique dans les rollouts peut directement améliorer la qualité des politiques apprises sans données réelles supplémentaires, ce qui est l'un des arguments centraux de ce type d'approche. Les modèles de diffusion vidéo utilisés comme fondation pour les world models robotiques font l'objet d'une activité de recherche intense depuis 2024, avec des travaux comparables comme UniSim, IRASim ou Genie 2 de DeepMind. EA-WM se distingue par son traitement explicite de la géométrie cinématique projetée dans la vue caméra, là où la plupart des approches restent dans des espaces latents abstraits. Il s'agit strictement d'un article académique en préprint : aucun code public n'est mentionné, aucun partenariat industriel ni déploiement n'est annoncé. Les étapes suivantes attendues sont la validation sur des benchmarks de manipulation réels et l'intégration dans des pipelines de policy learning fondés sur des modèles VLA (Vision-Language-Action).

RechercheActu
1 source
TriRelVLA : structure relationnelle triadique pour la manipulation incarnée généralisable
1482arXiv cs.RO 

TriRelVLA : structure relationnelle triadique pour la manipulation incarnée généralisable

Les modèles Vision-Language-Action (VLA), qui combinent perception visuelle, langage naturel et génération d'actions motrices, butent sur un problème connu : leur incapacité à généraliser à des scènes ou des objets non vus à l'entraînement. Une équipe de chercheurs propose TriRelVLA (arXiv:2605.05714, mai 2026), une architecture qui remplace les représentations visuelles implicites des VLA actuels par une structure relationnelle triadique explicite articulée autour de trois pôles : l'objet manipulé, la main du robot, et la tâche à accomplir. En pratique, le système construit ces représentations triadiques depuis des entrées multimodales, les organise dans un graphe relationnel via un graph transformer, puis compresse la structure dans un espace goulot (bottleneck) avant de l'injecter dans le LLM pour la prédiction d'action. Les auteurs introduisent également un jeu de données robotiques en environnement réel pour le fine-tuning et rapportent des gains en généralisation inter-scènes, inter-objets et inter-tâches. L'enjeu pour les intégrateurs industriels est direct : un système de manipulation qui échoue dès que la lumière change ou qu'une nouvelle référence produit apparaît n'est pas déployable à l'échelle. En découplant la structure relationnelle action-pertinente de l'apparence visuelle brute, TriRelVLA vise à rendre les politiques de contrôle portables entre environnements et configurations. La compression en espace bottleneck force le modèle à abstraire plutôt qu'à mémoriser, une approche qui, si elle tient à l'échelle, réduirait significativement les coûts de redéploiement dans de nouveaux ateliers ou avec de nouvelles références produit. Ce travail s'inscrit dans une vague de recherches sur les représentations structurées pour VLA, après des approches qui objectifiaient le contenu visuel sans capturer les relations pertinentes pour l'action. Les concurrents directs incluent pi-0 (Physical Intelligence), OpenVLA (UC Berkeley), RT-2 et sa suite chez Google DeepMind, et GR00T N2 de NVIDIA, qui partagent tous le même défaut de sensibilité visuelle que TriRelVLA cherche à corriger. Ce papier reste un preprint non relu par les pairs, et les gains en généralisation annoncés n'ont pas encore été reproduits de manière indépendante. La mise à disposition du jeu de données réel représente la prochaine étape clé pour que la communauté puisse valider ces résultats.

IA physiqueOpinion
1 source
DexSim2Real : transfert simulation-réel guidé par un modèle fondation pour la manipulation dextérique généralisable
1483arXiv cs.RO 

DexSim2Real : transfert simulation-réel guidé par un modèle fondation pour la manipulation dextérique généralisable

DexSim2Real est un framework de recherche publié en preprint arXiv (arXiv:2605.05241, mai 2026) visant à réduire le "sim-to-real gap" pour la manipulation dextre -- l'écart de performance entre politiques entraînées en simulation et leur déploiement sur robots réels. L'architecture combine trois modules : FM-DR, qui utilise un modèle de vision-langage comme critique de réalisme visuel pour optimiser automatiquement les paramètres de simulation via l'algorithme CMA-ES ; TVCAP, une politique de contrôle fusionnant données tactiles et visuelles par mécanisme cross-attention pour un transfert zero-shot ; et PSC, un curriculum progressif basé sur la décomposition de tâches par LLM, conçu pour les tâches à fort contact. Évalué en aveugle sur six tâches de manipulation difficiles, le système affiche un taux de succès moyen en conditions réelles de 78,2%, avec un écart sim-to-real résiduel de 8,3% -- contre des performances inférieures revendiquées pour DrEureka et DeXtreme. Le sim-to-real gap est historiquement l'un des freins majeurs à la commercialisation de robots manipulateurs dextres. L'approche différenciante de DexSim2Real consiste à fermer la boucle d'optimisation des paramètres de simulation via un retour visuel direct d'un modèle fondation, là où les méthodes existantes comme DrEureka reposent sur des descriptions textuelles ou une randomisation conçue manuellement. Utiliser un VLM comme juge de réalisme pour guider la randomisation est une piste prometteuse -- mais les résultats restent des benchmarks de laboratoire non encore soumis à revue par les pairs ni validés en déploiement industriel. Les métriques annoncées (78,2% de succès, 8,3% de gap résiduel) devront être reproduites par des équipes indépendantes pour confirmer leur portée réelle. La manipulation dextre sim-to-real est un champ très concurrentiel depuis la démonstration Dactyl d'OpenAI en 2019, avec des acteurs majeurs comme NVIDIA (DrEureka, Isaac Lab) et Meta AI (DeXtreme) en première ligne. DexSim2Real se positionne en unifiant trois leviers -- randomisation guidée par fondation, fusion tactile-visuelle, curriculum adaptatif -- que les travaux antérieurs traitaient séparément. Aucun acteur européen n'est impliqué dans ce travail. Le code n'est pas encore public au moment du preprint ; les prochaines étapes naturelles seraient une soumission à CoRL, IROS ou RSS et, si les résultats se confirment, une ouverture du code pour permettre la reproductibilité.

RecherchePaper
1 source
GA3T : jeu de données de traversabilité pour équipes de robots sol-aériens hétérogènes en milieux non structurés
1484arXiv cs.RO 

GA3T : jeu de données de traversabilité pour équipes de robots sol-aériens hétérogènes en milieux non structurés

Une équipe de chercheurs a publié GA3T (Ground-Aerial Team for Terrain Traversal), un jeu de données de perception collaborative multi-robots ciblant les environnements non structurés, déposé sur arXiv en mai 2026. La collecte a mobilisé deux plateformes complémentaires : un robot terrestre Clearpath Husky (UGV) équipé de LiDAR 3D, caméra stéréo, IMU et GPS, et un drone Autel EVO II fournissant images RGB, observations thermiques/infrarouges et GPS depuis un point de vue aérien surplombant. Quatre environnements distincts ont été couverts -- sentiers forestiers, chemins rocheux, terrains boueux, congères et prairies -- pour un total de plus de 13 000 frames synchronisées sur environ 29 minutes d'opération. Le jeu de données intègre une segmentation zero-shot basée sur SAM 3 (Segment Anything Model v3, Meta) et plus de 8 000 images labellisées manuellement. Sa particularité tient à la période de collecte, en début de printemps : la canopée encore peu dense permet au drone d'observer partiellement le robot terrestre à travers les arbres, enrichissant la perception collaborative d'une dimension explicite de gestion des occlusions. GA3T comble un vide documenté dans la recherche sur la perception multi-robots en conditions réelles hors route. La quasi-totalité des datasets multi-robots existants se concentre sur le SLAM en environnements structurés ou sur la conduite coopérative simulée, sans fournir de capteurs multi-modaux chevauchants entre plateformes sol et air. La combinaison LiDAR terrestre et infrarouge aérien ouvre des pistes directes pour l'estimation de traversabilité -- problème central pour les déploiements autonomes en agriculture de précision, foresterie ou gestion de crise -- où les modèles doivent distinguer sol franchissable, boue instable et végétation dense sans balisage préalable. C'est précisément ce gap sim-to-real sur terrain non balisé que ce type de dataset vise à réduire, en fournissant des données brutes issues de conditions météo et de sol réelles. Clearpath Robotics, filiale de Rockwell Automation depuis 2023 et fournisseur de référence pour les UGV de recherche universitaire, est associé ici à l'Autel EVO II, drone commercial grand public repositionné en plateforme de collecte scientifique. Aucun acteur européen n'est impliqué dans cette publication. Sur le plan concurrentiel, GA3T se positionne face à des datasets établis comme RUGD, RELLIS ou le corpus DARPA SubT, mais avec l'angle inédit de la fusion cross-view air-sol sur terrain naturel non aménagé. Les auteurs ciblent explicitement comme applications prioritaires la fusion de points de vue hétérogènes, l'estimation de traversabilité et la compréhension de scènes collaboratives -- tâches directement pertinentes pour l'entraînement de modèles VLA (Vision-Language-Action) appliqués à la navigation hors route, un axe de recherche en forte accélération depuis 2024 dans plusieurs laboratoires américains et asiatiques.

RecherchePaper
1 source
Apprendre à piloter en quelques minutes : Infoprop Dyna sur le Mini Wheelbot
1485arXiv cs.RO 

Apprendre à piloter en quelques minutes : Infoprop Dyna sur le Mini Wheelbot

Des chercheurs ont publié en mai 2025 sur arXiv (2605.01096) les résultats d'une expérience dans laquelle le Mini Wheelbot, un robot unicycle sous-actionné aux dynamiques fortement non linéaires et instables, apprend à effectuer des tours de piste en seulement 11 minutes d'interactions dans le monde réel. Le système repose sur Infoprop Dyna, un framework de reinforcement learning basé sur des modèles (MBRL) intégrant une estimation explicite de l'incertitude. Aucun simulateur physique n'a été utilisé : l'entraînement se fait entièrement à partir de données collectées en conditions réelles, sans domain randomization. Ce résultat interpelle car la quasi-totalité des approches RL en robotique repose aujourd'hui sur des simulateurs haute-fidélité pour accélérer l'entraînement et garantir le transfert sim-to-real. Cette dépendance représente un coût d'ingénierie significatif et introduit un "reality gap" particulièrement difficile à combler pour des dynamiques rapides ou mal modélisées. Le fait qu'un robot à dynamique instable atteigne des performances de course en moins d'un quart d'heure de données réelles suggère qu'Infoprop Dyna peut court-circuiter cette étape, ce qui serait une avancée tangible pour les équipes sans les ressources nécessaires pour construire des simulateurs précis. À noter : l'abstract ne précise ni la longueur du circuit ni la complexité de la trajectoire, ce qui limite la comparabilité du chiffre des 11 minutes. Le cadre MBRL uncertainty-aware n'est pas nouveau en soi, mais son application à un unicycle sous-actionné, réputé parmi les plateformes les plus difficiles à stabiliser, constitue un test de robustesse sérieux. Les approches concurrentes en apprentissage réel incluent PETS, POLO ou DreamerV3, qui cherchent également à réduire la dépendance aux données simulées. La prochaine étape naturelle serait de tester Infoprop Dyna sur des plateformes plus rapides ou en présence de perturbations externes, pour déterminer si la convergence en 11 minutes reste reproductible hors conditions laboratoire contrôlées.

RecherchePaper
1 source
RopeDreamer : modèle d'espace d'état récurrent cinématique pour la dynamique des objets linéaires déformables
1486arXiv cs.RO 

RopeDreamer : modèle d'espace d'état récurrent cinématique pour la dynamique des objets linéaires déformables

Une équipe de chercheurs propose RopeDreamer, une architecture de dynamique latente pour la prédiction du comportement d'objets linéaires déformables (DLOs) tels que câbles, cordes ou tubes flexibles, publiée en préprint sur arXiv (identifiant 2604.28161). Le modèle combine un Recurrent State Space Model (RSSM) avec une représentation cinématique quaternionique : plutôt que d'encoder chaque noeud du DLO en coordonnées cartésiennes indépendantes, la structure est décrite comme une chaîne de rotations relatives, contraignant structurellement le réseau à des configurations physiquement valides et préservant la constance des longueurs de segment. Une architecture à double décodeur découple la reconstruction d'état de la prédiction future, forçant l'espace latent à capturer la physique de la déformation plutôt que de simples corrélations statistiques. Évalué sur un dataset simulé de trajectoires pick-and-place incluant des auto-intersections complexes, RopeDreamer affiche une réduction de 40,52 % de l'erreur de prédiction en boucle ouverte sur des horizons de 50 pas de temps, et réduit le temps d'inférence de 31,17 % par rapport à la baseline de référence. La manipulation de DLOs constitue un goulot d'étranglement industriel concret dans le câblage automobile (harnais), l'assemblage électronique et la chirurgie robotisée (sutures, cathéters). Les approches data-driven précédentes, basées sur des réseaux récurrents ou des graph neural networks, produisaient des déformations non physiques, notamment des étirements de segments et des intersections fantômes rendant la planification long terme peu fiable. L'encodage quaternionique de RopeDreamer adresse directement ces artefacts en opérant sur la variété des rotations plutôt que l'espace euclidien. La capacité à maintenir la cohérence topologique lors de croisements multiples ouvre la voie à des tâches comme le routage de câbles ou le nouage. Limite importante : toutes les évaluations sont réalisées en simulation uniquement, le sim-to-real gap restant un problème non adressé dans ce travail. La manipulation de DLOs est étudiée depuis les années 2000, d'abord avec des modèles mécaniques continus (éléments finis, modèles de Cosserat), avant que les approches data-driven s'imposent à partir de 2018, portées par des équipes à Berkeley, l'ETH Zürich et au MIT. Des simulateurs comme MuJoCo et Isaac Lab de NVIDIA intègrent désormais des primitives DLO, facilitant la génération de données d'entraînement à grande échelle. RopeDreamer se distingue par son emprunt à la cinématique de corps articulés, représentation standard en animation 3D et robotique humanoïde, une convergence méthodologique encore peu exploitée pour les objets souples. L'affiliation institutionnelle des auteurs n'est pas mentionnée dans le préprint disponible. Les prochaines étapes naturelles incluent une validation sur robot physique, un défi dans lequel des équipes européennes, notamment à l'INRIA et au CNRS, sont actives sur des problèmes adjacents de manipulation déformable.

UELes équipes INRIA et CNRS, actives sur la manipulation d'objets déformables, pourraient s'appuyer sur cette approche cinématique quaternionique pour leurs travaux en robotique chirurgicale et assemblage industriel, sous réserve d'une validation sim-to-real.

RecherchePaper
1 source
Apprentissage robotique à partir de vidéos humaines : une synthèse
1487arXiv cs.RO 

Apprentissage robotique à partir de vidéos humaines : une synthèse

Une équipe de chercheurs a publié sur arXiv (arXiv:2604.27621) un état de l'art complet sur l'apprentissage des compétences robotiques à partir de vidéos humaines. Le papier recense les techniques permettant de transférer des habiletés gestuelles filmées vers des robots manipulateurs, en s'appuyant sur la masse de vidéos d'activités humaines disponibles en ligne. Les auteurs proposent une taxonomie hiérarchique structurée en trois axes : l'apprentissage orienté tâche (le robot déduit l'objectif), l'apprentissage orienté observation (alignement visuel entre humain et robot), et l'apprentissage orienté action (estimation directe des mouvements moteurs). Le survey couvre également les fondements de données, en analysant les principaux jeux de données de vidéos humaines existants ainsi que les schémas de génération vidéo synthétique. Une liste exhaustive des travaux référencés est disponible sur GitHub (IRMVLab/awesome-robot-learning-from-human-videos). Ce travail de synthèse arrive à un moment clé : le manque de données robotiques à grande échelle constitue aujourd'hui le principal goulot d'étranglement pour les systèmes d'IA incarnée généralistes. Les vidéos humaines représentent une ressource passive quasi illimitée, et leur exploitation pourrait contourner le coût exorbitant de la collecte de démonstrations téléopérées. Le papier analyse explicitement comment les différentes approches se comportent selon les paradigmes d'apprentissage (imitation, renforcement, diffusion) et les configurations de données, ce qui est directement utile pour des intégrateurs qui cherchent à choisir une architecture VLA (Vision-Language-Action) selon leur contrainte de données terrain. Le survey souligne aussi honnêtement les limitations du champ : le gap démo-réalité reste non résolu dans la plupart des pipelines, et les métriques de transfert restent hétérogènes d'un papier à l'autre. Ce type de survey émerge dans un contexte où plusieurs labos et startups misent sur le video-based learning comme levier de scalabilité : Physical Intelligence (pi-0), NVIDIA (GR00T N2), et Google DeepMind ont tous intégré des données humaines ou des vidéos internet dans leurs pipelines d'entraînement récents. Côté recherche académique, les travaux comme R3M, UniPi ou RoboAgent ont posé les jalons de cette approche ces deux dernières années. Ce survey offre donc une base de référence structurée pour les équipes qui entrent maintenant dans ce champ, avec des pistes de recherche ouvertes notamment sur la synchronisation temporelle corps-robot et la génération de données vidéo simulées pour la diversification des trajectoires.

UELes équipes de recherche françaises (CEA-List, INRIA) et les startups européennes travaillant sur des architectures VLA peuvent exploiter cette taxonomie structurée pour orienter leurs choix méthodologiques selon leurs contraintes de données terrain.

RecherchePaper
1 source
MotuBrain : un modèle du monde avancé pour le contrôle robotique
1488arXiv cs.RO 

MotuBrain : un modèle du monde avancé pour le contrôle robotique

MotuBrain est un modèle génératif multimodal unifié pour le contrôle robotique, présenté dans un preprint arXiv (identifiant 2604.27792) publié en avril 2026. Le modèle adopte une formulation UniDiffuser couplée à une architecture Mixture-of-Transformers à trois flux, lui permettant de modéliser conjointement les séquences vidéo et les actions motrices au sein d'un même réseau. Un seul modèle supporte cinq modes d'inférence distincts : apprentissage de politique, modélisation du monde, génération vidéo, dynamique inverse, et prédiction conjointe vidéo-action. Il est conçu pour s'adapter à des données hétérogènes, incluant des vidéos sans annotations d'action et des données issues de plateformes robotiques différentes (cross-embodiment). Sur le plan de l'inférence, les auteurs annoncent un gain de vitesse supérieur à 50x par rapport à des architectures comparables, ouvrant la voie à un déploiement temps réel. L'approche s'attaque à une limitation structurelle bien documentée des VLA purs comme RT-2 ou OpenVLA : leur forte généralisation sémantique masque souvent une modélisation insuffisante des dynamiques physiques fines, ce qui génère des erreurs sur des tâches de manipulation précises. En intégrant la génération vidéo comme supervision implicite des dynamiques du monde, MotuBrain s'inscrit dans la tendance des World Action Models (WAMs), dont l'hypothèse centrale est que prédire ce qui va se passer visuellement améliore la qualité des actions produites. Le support cross-embodiment est particulièrement structurant pour les intégrateurs industriels, car il réduit le coût de réentraînement lors d'un changement de plateforme matérielle. Le speedup annoncé de 50x reste à confirmer sur des benchmarks publics, le preprint ne précisant pas les configurations matérielles de référence utilisées pour cette mesure. Ce travail s'inscrit dans une compétition dense autour des modèles fondationnels pour la robotique généraliste. Physical Intelligence a mis en production Pi-0 début 2025, NVIDIA a présenté GR00T N2 avec support multi-embodiment, et Google DeepMind avance sur ses modèles RT-X et GROOT. L'affiliation institutionnelle des auteurs de MotuBrain n'est pas précisée dans l'abstract du preprint. Comme pour tout travail soumis à arXiv sans revue par les pairs, l'absence d'expériences robotiques réelles documentées en détail invite à la prudence avant d'extrapoler les performances annoncées à un contexte de déploiement industriel.

RechercheOpinion
1 source
Modélisation unifiée des actions dans un monde 4D à partir de vidéos avec débruitage asynchrone
1489arXiv cs.RO 

Modélisation unifiée des actions dans un monde 4D à partir de vidéos avec débruitage asynchrone

Une équipe de recherche dépose sur arXiv (référence 2604.26694) X-WAM, un modèle de monde 4D unifié capable d'exécuter des actions robotiques en temps réel tout en générant simultanément des reconstructions vidéo haute fidélité et des cartes 3D de l'environnement futur. Contrairement à UWM et aux approches antérieures limitées à l'espace 2D en pixels, X-WAM prédit des flux RGB-D multi-caméras : une branche de prédiction de profondeur est greffée sur les derniers blocs d'un Diffusion Transformer vidéo pré-entraîné, une adaptation légère qui capitalise sur des priors visuels existants sans entraînement from scratch. La contribution technique centrale est l'Asynchronous Noise Sampling (ANS) : pendant l'inférence, les actions robotiques sont décodées en quelques étapes de débruitage pour respecter les contraintes de latence temps réel, tandis que la génération vidéo bénéficie du pipeline de débruitage complet. Pré-entraîné sur 5 800 heures de données robotiques, X-WAM atteint 79,2 % de taux de succès moyen sur le benchmark RoboCasa et 90,7 % sur RoboTwin 2.0, surpassant les méthodes existantes sur les métriques visuelles et géométriques de reconstruction. Le compromis non résolu entre richesse de modélisation du monde et latence d'exécution est le noeud central de ce travail. Les architectures VLA actuelles, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, génèrent des actions rapidement mais n'estiment pas la géométrie 3D de l'environnement ; à l'inverse, les modèles génératifs produisent des représentations spatiales riches mais peinent à décoder à la cadence exigée par le contrôle robotique temps réel. ANS prétend supprimer ce dilemme en allouant des budgets de débruitage asymétriques entre les deux sorties à l'inférence, tout en maintenant un alignement de distribution pendant l'entraînement pour éviter l'écart train/test. Si ces résultats tiennent en conditions réelles, ce design ouvrirait une voie architecturale directe pour la manipulation complexe en espace non structuré. X-WAM s'inscrit dans la vague de travaux visant à unifier perception, modélisation du monde et contrôle dans un seul réseau neuronal, une direction portée par Genie 2 de DeepMind, UniSim de Google et les recherches de World Labs. Le recours aux priors d'un modèle de diffusion vidéo pré-entraîné pour le grounding spatial est une stratégie partagée par plusieurs travaux récents sur le sim-to-real et les VLA de prochaine génération. Cela dit, l'article reste une prépublication arXiv sans revue par les pairs, et les benchmarks RoboCasa et RoboTwin 2.0 sont entièrement simulés : aucun déploiement sur robot physique n'est documenté. La validation sim-to-real constituera l'épreuve décisive, un écart qui a historiquement fait trébucher des systèmes très performants en environnement virtuel.

RechercheOpinion
1 source
ATLAS : un outil d'annotation pour la segmentation d'actions robotiques à long horizon
1490arXiv cs.RO 

ATLAS : un outil d'annotation pour la segmentation d'actions robotiques à long horizon

Des chercheurs ont publié le 30 avril 2026 sur arXiv (référence 2604.26637) ATLAS, un outil d'annotation dédié à la segmentation d'actions robotiques sur des horizons temporels longs. L'outil propose une visualisation synchronisée de données multimodales : flux vidéo multi-vues et signaux proprioceptifs comme l'état de la pince ou les capteurs force/couple. ATLAS prend en charge nativement les formats les plus répandus dans la communauté robotique, à savoir les ROS bags et le format RLDS (Reinforcement Learning Dataset), avec un support direct pour des jeux de données spécifiques tels que REASSEMBLE. Son interface centrée sur le clavier vise à réduire la charge cognitive de l'annotateur. Sur une tâche d'assemblage riche en contacts, ATLAS réduit le temps moyen d'annotation par action d'au moins 6 % par rapport à ELAN, améliore l'alignement temporel avec les annotations expertes de plus de 2,8 %, et divise par cinq l'erreur aux frontières d'actions par rapport aux outils purement visuels. Ce résultat pointe vers un goulot d'étranglement souvent sous-estimé dans le développement des politiques de manipulation : la qualité des annotations temporelles conditionne directement la performance des modèles d'imitation et de segmentation d'actions. Les approches VLA (Vision-Language-Action) et les méthodes de policy learning par démonstration nécessitent des frontières d'actions précises pour généraliser correctement. L'absence de synchronisation entre vidéo et signaux robot dans les outils existants introduit des biais systématiques dans les datasets, qui se répercutent ensuite sur le sim-to-real gap. ATLAS adresse ce problème structurel pour les équipes qui construisent des pipelines de données à grande échelle. ELAN, l'outil de référence historique pour l'annotation multimodale issu de la linguistique computationnelle, était jusqu'ici la solution la plus utilisée dans les labos robotique faute d'alternative spécialisée. ATLAS se positionne explicitement comme son successeur pour les usages robotiques, avec une couche d'abstraction modulaire qui facilite l'intégration de nouveaux formats. Le format RLDS, popularisé notamment par les travaux de Google DeepMind sur RT-2 et Open X-Embodiment, est devenu un standard de facto pour les datasets de manipulation à large échelle, rendant la compatibilité native d'ATLAS particulièrement pertinente. Aucun déploiement industriel ni partenariat commercial n'est mentionné à ce stade : il s'agit d'un outil de recherche open source, dont la prochaine étape naturelle serait une adoption par les équipes construisant des benchmarks de manipulation standardisés.

RecherchePaper
1 source
dWorldEval : évaluation évolutive de politiques robotiques via un modèle du monde à diffusion discrète
1491arXiv cs.RO 

dWorldEval : évaluation évolutive de politiques robotiques via un modèle du monde à diffusion discrète

Une équipe de chercheurs présente dWorldEval (arXiv:2604.22152, avril 2026), un système d'évaluation de politiques robotiques basé sur un modèle de monde à diffusion discrète. Le principe : plutôt que de tester une politique de contrôle sur des milliers d'environnements réels ou simulés classiques, dWorldEval joue le rôle d'un proxy d'évaluation synthétique. Le modèle projette l'ensemble des modalités, vision, langage, actions robotiques, dans un espace de tokens unifié, puis les débruite via un unique réseau transformer. Il intègre une mémoire sparse par images-clés pour maintenir la cohérence spatiotemporelle sur des séquences longues, et introduit un "progress token" qui quantifie en continu le degré d'accomplissement d'une tâche, de 0 à 1. À l'inférence, le modèle prédit conjointement les observations futures et ce token de progression, détectant automatiquement le succès quand la valeur atteint 1. Sur les benchmarks LIBERO, RoboTwin et plusieurs tâches sur robots réels, dWorldEval surpasse ses prédécesseurs directs WorldEval, Ctrl-World et WorldGym, bien que l'abstract ne fournisse pas de deltas chiffrés précis. L'enjeu central est méthodologique : évaluer une politique robotique sur des milliers de configurations est actuellement soit prohibitif en temps machine, soit impossible à déployer sur robots physiques à cette échelle. Un proxy d'évaluation fiable et automatisable change radicalement l'économie du développement de politiques VLA (Vision-Language-Action). Le progress token élimine la nécessité d'une annotation humaine ou de critères de succès codés en dur, un goulot d'étranglement récurrent dans les pipelines d'apprentissage par imitation et de reinforcement learning robotique. Si les performances se confirment sur des scénarios out-of-distribution, cette approche pourrait accélérer significativement les itérations sim-to-real dans des labs qui déploient des modèles comme pi0, GR00T N2 ou OpenVLA. Le travail s'inscrit dans une vague de modèles de monde pour la robotique, dont WorldEval (évaluation via prédiction vidéo) et Ctrl-World (modèle conditionné par actions), que dWorldEval dépasse selon ses auteurs. L'usage de la diffusion discrète, plutôt que continue, sur des tokens multimodaux rappelle les approches de tokenisation unifiée portées par des projets comme Genie 2 (Google DeepMind) ou UniSim. L'article reste un preprint non revu par les pairs ; les résultats sur robots réels sont mentionnés sans détails de setup ni volumétrie d'expériences. Les prochaines étapes naturelles seraient une validation sur des benchmarks ouverts plus larges et un test de robustesse face à des tâches longue-horizon avec contacts complexes.

IA physiqueOpinion
1 source
État de l'art de la robotique à pattes en environnements non inertiels : passé, présent et futur
1492arXiv cs.RO 

État de l'art de la robotique à pattes en environnements non inertiels : passé, présent et futur

Une équipe de chercheurs dépose en avril 2026 sur arXiv (référence 2604.20990) une revue de littérature consacrée à la locomotion des robots à pattes dans les environnements dits non inertiels, c'est-à-dire des surfaces en mouvement, en inclinaison ou en accélération. Le travail couvre trois grandes familles d'applications : les plateformes de transport terrestre (véhicules en déplacement), les plateformes maritimes (navires, offshore) et les contextes aérospatiaux. Les auteurs y passent en revue les méthodes existantes de modélisation, d'estimation d'état et de contrôle de la locomotion, en cartographiant leurs hypothèses et leurs limites respectives. Ils identifient ensuite quatre classes de problèmes non résolus : le couplage robot-environnement, l'observabilité du système en présence de perturbations persistantes, la robustesse des lois de contrôle face aux accélérations variables, et la validation expérimentale dans des conditions dynamiques représentatives. L'enjeu industriel est immédiat. L'écrasante majorité des robots à pattes aujourd'hui commercialisés, quadrupèdes comme l'ANYmal d'ANYbotics, le Spot de Boston Dynamics ou le Go2 d'Unitree, est conçue, calibrée et validée sur sol rigide et stationnaire. Les frameworks de contrôle classiques (MPC, whole-body control) posent explicitement l'hypothèse d'un point d'appui fixe. Dès qu'un navire tangue ou qu'un véhicule accélère, ces hypothèses s'effondrent, entraînant des comportements instables non récupérables sans adaptation du contrôleur en temps réel. Pour un COO qui envisage de déployer des robots d'inspection sur une plateforme pétrolière offshore, un cargo ou un aéronef, ce gap technique constitue aujourd'hui un frein concret à la commercialisation, indépendamment des progrès spectaculaires réalisés sur sol plat. Le domaine progresse depuis la fin des années 2010, porté par l'apprentissage par renforcement (sim-to-real) et l'estimation d'état à haute fréquence par IMU, mais les déploiements réels en environnement non inertiel demeurent rares et peu documentés dans la littérature. Aucun acteur industriel dominant ne s'est encore imposé sur ce segment, ni en Europe ni en Asie, ce qui laisse la fenêtre ouverte pour des laboratoires académiques et des intégrateurs spécialisés. Le survey identifie plusieurs directions prioritaires : les stratégies bio-inspirées (adaptation observée chez les animaux marins ou arboricoles), la co-conception robot-plateforme, et l'élaboration de protocoles de test standardisés simulant les perturbations dynamiques. Ce travail de cartographie a vocation à servir de référence pour orienter les prochains appels à projets et les roadmaps des fabricants de robots à pattes qui visent les marchés industriels les plus exigeants.

UEAucun déploiement européen documenté, mais le survey cartographie un segment non adressé (inspection offshore, navires, plateformes maritimes) où des laboratoires académiques et intégrateurs européens pourraient se positionner en l'absence de leader établi.

RecherchePaper
1 source
Apprendre l'apesanteur : imiter des mouvements non auto-stabilisants sur un robot humanoïde
1493arXiv cs.RO 

Apprendre l'apesanteur : imiter des mouvements non auto-stabilisants sur un robot humanoïde

Une équipe de chercheurs propose dans un preprint arXiv (référence 2604.21351, avril 2026) une méthode baptisée Weightlessness Mechanism (WM), conçue pour permettre aux robots humanoïdes d'exécuter des mouvements dits non-autostabilisants (NSS, Non-Self-Stabilizing). Ces mouvements englobent des actions aussi banales que s'asseoir sur une chaise, s'allonger sur un lit ou s'appuyer contre un mur : contrairement à la locomotion bipède classique, le robot ne peut maintenir sa stabilité sans interagir physiquement avec l'environnement. Les expériences ont été menées en simulation et sur le robot humanoïde Unitree G1, sur trois tâches représentatives : s'asseoir sur des chaises de hauteurs variables, s'allonger sur des lits à différentes inclinaisons, et s'appuyer contre des murs via l'épaule ou le coude. La méthode est entraînée sur des démonstrations en action unique, sans fine-tuning spécifique à chaque tâche. L'apport technique central s'appuie sur une observation biomécanique : lors de mouvements NSS, les humains relâchent sélectivement certaines articulations pour laisser le contact passif avec l'environnement assurer la stabilité, un état que les auteurs qualifient de "weightless". Le WM formalise ce mécanisme en déterminant dynamiquement quelles articulations relâcher et dans quelle mesure, complété par une stratégie d'auto-étiquetage automatique de ces états dans les données d'entraînement. Pour les intégrateurs industriels qui déploient des humanoïdes dans des environnements réels, ce verrou est significatif : les pipelines actuels d'imitation learning combiné au reinforcement learning imposent généralement un suivi rigide de trajectoire sans modéliser les interactions physiques avec les surfaces, ce qui les rend inopérants dès que le robot doit s'appuyer sur quelque chose. Le contexte est celui d'un secteur en pleine accélération : Figure AI avec le Figure 03, Agility Robotics avec Digit, Boston Dynamics avec Atlas et 1X Technologies poussent tous leurs humanoïdes vers des déploiements en entrepôt ou en usine, mais les scénarios de contact-riche restent largement non résolus. Le Unitree G1, plateforme commerciale accessible, s'impose progressivement comme banc de test académique standard, ce qui accélère la reproductibilité des résultats. Il faut néanmoins souligner que ce travail est au stade de preprint non évalué par les pairs, et que les séquences vidéo accompagnant ce type de publication sont souvent sélectionnées favorablement : la robustesse réelle en conditions non supervisées reste à démontrer. Les suites naturelles seraient une intégration dans des politiques généralisées comme GR00T N2 de NVIDIA ou pi0 de Physical Intelligence, et une évaluation sur des scènes hors distribution.

IA physiquePaper
1 source
Mémoire plutôt que cartes : localisation d'objets 3D sans reconstruction
1494arXiv cs.RO 

Mémoire plutôt que cartes : localisation d'objets 3D sans reconstruction

Une équipe de chercheurs a publié sur arXiv (référence 2603.20530v2) une méthode de localisation d'objets pour robots mobiles qui abandonne complètement la construction de représentations 3D globales de l'environnement. Baptisée "Memory Over Maps", cette approche remplace les pipelines classiques (nuages de points, grilles de voxels, graphes de scènes) par une mémoire visuelle légère composée uniquement de trames RGB-D géolocalisées (keyframes avec profondeur et position de caméra). À l'exécution d'une requête, le système récupère les vues candidates pertinentes, les reclasse via un modèle vision-langage (VLM), puis reconstruit à la volée une estimation 3D locale de la cible par rétroprojection de profondeur et fusion multi-vues. Les auteurs rapportent, sur leurs benchmarks, une vitesse d'indexation de scène supérieure de plus de deux ordres de grandeur par rapport aux pipelines de reconstruction classiques, avec une empreinte mémoire significativement réduite. Ce résultat remet en question une hypothèse structurante de la robotique d'intérieur : l'idée qu'une carte 3D dense et complète serait un prérequis indispensable à la navigation orientée objets. Si la méthode tient ses promesses à l'échelle, les intégrateurs de robots de service et les développeurs de systèmes de navigation autonome pourraient simplifier drastiquement leurs pipelines de mise en service, en supprimant la phase coûteuse de cartographie initiale. Le fait que le système n'exige aucun entraînement spécifique à la tâche (zero-shot sur les benchmarks testés) renforce son potentiel de généralisation, même si les conditions réelles d'un entrepôt ou d'un hôpital restent plus exigeantes que les environnements de benchmark contrôlés. Il faut noter que les métriques de performance présentées proviennent des propres expériences des auteurs, et que des évaluations indépendantes sur des scènes dynamiques ou encombrées manquent encore. La localisation d'objets pour la navigation robotique est un problème central depuis les travaux fondateurs sur la SLAM (Simultaneous Localization and Mapping). Les approches modernes s'appuient de plus en plus sur des VLM pour raisonner directement sur des observations 2D, dans la lignée des travaux comme ConceptGraphs, OpenScene ou les architectures VLA (Vision-Language-Action) qui cherchent à court-circuiter la représentation explicite du monde. La méthode "Memory Over Maps" s'inscrit dans cette tendance de fond, en compétition directe avec des approches comme EmbodiedScan ou SQA3D. Les prochaines étapes attendues incluent des tests sur des scènes dynamiques, une évaluation sur des plateformes physiques (les résultats actuels sont validés en simulation et sur benchmarks standards), et une intégration avec des architectures de manipulation pour étendre la méthode au-delà de la navigation pure.

RecherchePaper
1 source
UniT : vers un langage physique unifié pour l'apprentissage de politiques humain-humanoïde et la modélisation du monde
1495arXiv cs.RO 

UniT : vers un langage physique unifié pour l'apprentissage de politiques humain-humanoïde et la modélisation du monde

UniT (Unified Latent Action Tokenizer via Visual Anchoring) est un framework de recherche présenté début avril 2026 sur arXiv (2604.19734), conçu pour transférer les politiques de mouvement humain directement vers des robots humanoïdes. Le problème adressé est bien documenté : l'entraînement de modèles fondation pour humanoïdes bute sur la rareté des données robotiques. UniT propose d'exploiter les vastes corpus de données égocentrées humaines existants en construisant un espace latent discret partagé entre les deux types de corps. Le mécanisme central, dit tri-branch cross-reconstruction, fonctionne en trois voies : les actions prédisent la vision pour ancrer les cinématiques aux conséquences physiques, la vision reconstruit les actions pour éliminer les biais visuels non pertinents, et une branche de fusion unifie ces modalités purifiées en tokens d'intention physique indépendants de l'embodiment. Le framework est validé sur deux usages : VLA-UniT pour l'apprentissage de politique (Vision-Language-Action), et WM-UniT pour la modélisation du monde, qui permet la génération de vidéos humanoïdes contrôlées par des données de mouvement humain brutes. Les auteurs revendiquent un transfert zero-shot de tâches et une efficacité données state-of-the-art sur benchmark de simulation et sur des déploiements réels, sans toutefois publier de métriques de déploiement chiffrées. L'enjeu central est le "cross-embodiment gap" : un humain et un robot humanoïde partagent une structure morphologique proche mais des cinématiques incompatibles (nombre de degrés de liberté, ratios de membres, actionneurs). Jusqu'ici, combler cet écart nécessitait du retargeting cinématique manuel, de la téléopération coûteuse ou de la simulation synthétique. Si UniT tient ses promesses, il ouvrirait un pipeline d'entraînement hautement scalable à coût marginal faible, puisque les données égocentrées humaines se comptent en millions d'heures. Le claim de zero-shot transfer est le plus fort de l'article, mais il convient de le nuancer : il s'appuie sur des visualisations t-SNE montrant une convergence des représentations humaine et humanoïde dans un espace partagé, ce qui est indicatif mais pas une preuve de généralisation robuste en conditions industrielles réelles. Ce travail s'inscrit dans une vague de recherche sur les modèles fondation pour humanoïdes qui mobilise simultanément Figure AI avec son modèle Helix, Physical Intelligence avec Pi-0 et Pi-0.5, et NVIDIA avec GR00T N2, tous confrontés au même goulot d'étranglement des données. L'approche par ancrage visuel de UniT se distingue des méthodes purement cinématiques comme les retargeters basés sur des squelettes (SMPLify, HumanMimic) en postulant que les conséquences visuelles du mouvement sont universelles indépendamment du corps. Le preprint ne mentionne pas d'affiliation industrielle explicite ni de calendrier de déploiement commercial, et aucun robot cible (Unitree G1, Fourier GR-1, ou autre) n'est nommé dans le résumé disponible. La prochaine étape logique serait une validation sur des benchmarks standardisés comme LIBERO ou RoboMimic, et une comparaison directe avec GR00T N2 sur des tâches dextres en environnement non contrôlé.

IA physiqueOpinion
1 source
Navigation en foule par LiDAR avec représentation des groupes en bordure de champ de vision
1496arXiv cs.RO 

Navigation en foule par LiDAR avec représentation des groupes en bordure de champ de vision

Des chercheurs ont publié sur arXiv (référence 2604.16741) une étude portant sur la navigation autonome de robots mobiles dans des environnements piétonniers à forte densité, en s'appuyant sur une représentation simplifiée des groupes de piétons détectés par LiDAR. Le problème central qu'ils adressent est bien identifié dans le secteur : naviguer socialement en foule dense reste un verrou applicatif majeur pour les AMR déployés en gare, aéroport ou centre commercial. Les approches existantes souffrent de deux limites structurelles : soit elles n'ont été testées qu'en faible densité, soit elles reposent sur des modules de détection externe d'individus, particulièrement sensibles aux occlusions et au bruit de capteur propres aux foules compactes. Les auteurs proposent en réponse une représentation dite "visible edge-based" des groupes, qui exploite uniquement les arêtes visibles entre piétons détectés, sans reconstruction complète des trajectoires individuelles. Le résultat le plus significatif de ce travail est contre-intuitif : la précision de la prédiction des groupes n'influence que marginalement les performances de navigation en environnement dense. Cela suggère qu'une représentation simplifiée, computationnellement moins coûteuse, peut atteindre des niveaux de sécurité et de "socialness" comparables à des approches plus complexes. Pour les intégrateurs et les équipes R&D déployant des robots de service en milieu public, cette observation est directement actionnables : elle légitime une réduction significative de la complexité du pipeline de perception sans dégradation mesurable du comportement social du robot. Les expériences en simulation confirment cette parité de performance, et la vitesse de calcul accrue ouvre la voie à des déploiements sur hardware embarqué plus contraint. Le contexte académique de ce travail s'inscrit dans une littérature active sur la navigation socialmente conforme (socially-aware navigation), dont les jalons incluent les travaux sur ORCA, SARL ou encore CADRL. La prise en compte des groupes comme unité comportementale plutôt que des individus isolés remonte à des études empiriques en sciences sociales (théorie des F-formations), et plusieurs équipes travaillent sur ce sujet, notamment à travers les benchmarks de navigation piétonnière en robotique de service. L'étape suivante naturelle serait une validation à plus grande échelle en conditions réelles, les auteurs ayant pour l'instant limité les expériences terrain à un seul robot dans un environnement contrôlé.

RecherchePaper
1 source
LatentMimic: Terrain-Adaptive Locomotion via Latent Space Imitation
1497arXiv cs.RO 

LatentMimic: Terrain-Adaptive Locomotion via Latent Space Imitation

Des chercheurs ont publié le 22 avril 2026 un préprint sur arXiv (arXiv:2604.16440) présentant LatentMimic, un cadre d'apprentissage de la locomotion pour robots quadrupèdes conçu pour concilier deux objectifs jusqu'ici antagonistes : reproduire fidèlement le style de marche issu de données de capture de mouvement (mocap) et s'adapter dynamiquement à des terrains irréguliers. L'approche repose sur une imitation dans l'espace latent : plutôt que de contraindre le robot à répliquer exactement les poses géométriques enregistrées, LatentMimic minimise la divergence marginale entre la distribution état-action de la politique apprise et un prior mocap entraîné séparément. Le système intègre également un module d'adaptation au terrain équipé d'un buffer de replay dynamique, destiné à corriger les dérives de distribution lorsque le robot passe d'un type de sol à un autre. Les évaluations portent sur quatre styles locomoteurs et quatre types de terrain, démontrant des taux de franchissement supérieurs aux méthodes de suivi de mouvement actuelles tout en conservant une haute fidélité stylistique. Ce travail s'attaque à un compromis fondamental qui freine le déploiement des robots quadrupèdes dans des environnements non structurés : les méthodes d'imitation stricte bloquent l'adaptabilité terrain, tandis que les politiques terrain-centriques sacrifient la naturalité du mouvement. En découplant la topologie de la foulée des contraintes géométriques d'extrémité, LatentMimic suggère qu'il est possible d'obtenir les deux à la fois. Pour les intégrateurs industriels et les équipes robotique, cela ouvre la voie à des contrôleurs plus robustes sur sols accidentés, escaliers ou surfaces déformables, sans devoir re-collecter des données mocap spécifiques à chaque terrain. La locomotion quadrupède par imitation est un axe de recherche actif depuis plusieurs années, avec des travaux notables comme AMP (Adversarial Motion Priors, Berkeley 2021) ou les méthodes sim-to-real de DeepMind sur ANYmal et Spot. LatentMimic s'inscrit dans cette lignée en proposant une relaxation conditionnelle plus fine du suivi de pose. Le paper est pour l'instant un préprint non relu par les pairs, et les résultats sont présentés uniquement en simulation et environnements contrôlés, le gap sim-to-real reste à valider sur hardware réel. Aucun partenariat industriel ni timeline de déploiement n'est mentionné. Les prochaines étapes naturelles seraient une validation sur plateformes physiques (Unitree, Boston Dynamics Spot) et une extension à des styles locomoteurs plus complexes comme le trot ou le galop en terrain extrême.

RecherchePaper
1 source
Détection structurelle en temps réel pour la navigation intérieure par LiDAR 3D avec images en vue aérienne
1498arXiv cs.RO 

Détection structurelle en temps réel pour la navigation intérieure par LiDAR 3D avec images en vue aérienne

Des chercheurs ont publié sur arXiv (arXiv:2603.19830v2) un pipeline de perception léger capable de détecter en temps réel les structures d'un environnement intérieur à partir de données LiDAR 3D, sans recourir à un GPU. Le principe : projeter le nuage de points 3D en images Bird's-Eye-View (BEV) 2D, puis appliquer un détecteur sur cette représentation compressée. L'équipe a comparé quatre approches de détection de structures (murs, couloirs, portes) : la transformée de Hough, RANSAC, LSD (Line Segment Detector) et un réseau YOLO-OBB (Oriented Bounding Box). Les expériences ont été conduites sur une plateforme robotique mobile standard équipée d'un single-board computer (SBC) à faible consommation. Résultat : YOLO-OBB est la seule méthode à satisfaire la contrainte temps réel de 10 Hz en bout de chaîne, là où RANSAC dépasse les budgets de latence et LSD génère une fragmentation excessive de segments qui sature le système. Un module de fusion spatiotemporelle stabilise les détections entre frames consécutives. L'intérêt opérationnel est direct pour les intégrateurs de robots mobiles autonomes (AMR) fonctionnant sur du matériel embarqué standard, typiquement des SBC ARM sans accélérateur dédié. Démontrer qu'un détecteur basé YOLO-OBB tient 10 Hz sur ce type de plateforme réduit le coût matériel des solutions de cartographie et navigation indoor, un verrou persistant dans le déploiement à grande échelle d'AMR en entrepôt ou en milieu hospitalier. L'approche BEV contourne également la complexité computationnelle des traitements de nuages de points 3D complets (méthodes de type PointNet, VoxelNet), qui restent prohibitifs hors GPU. La mise à disposition du code source et des modèles pré-entraînés facilite la reproductibilité et l'adaptation industrielle. Ce travail s'inscrit dans un courant de recherche actif visant à rendre la perception robotique robuste accessibles aux plateformes contraintes en ressources, en concurrence directe avec des approches comme les architectures 2D range-image ou les méthodes pillars (PointPillars). Sur le plan de la navigation indoor, il complète des stacks SLAM existants (Cartographer, RTAB-Map) en ajoutant une couche de détection structurelle explicite, utile pour la planification de trajectoires en espaces semi-structurés. Les prochaines étapes logiques incluent la validation sur des scénarios plus denses (open space vs couloirs étroits), ainsi que l'intégration dans des boucles de localisation et cartographie continues, où la stabilité temporelle du module de fusion sera mise à l'épreuve à plus grande échelle.

RecherchePaper
1 source
Nouveaux algorithmes pour la construction de variétés de contact régulièrement différentiables et vectorisables
1499arXiv cs.RO 

Nouveaux algorithmes pour la construction de variétés de contact régulièrement différentiables et vectorisables

Un préprint déposé sur arXiv le 21 avril 2026 (identifiant 2604.17538) propose deux algorithmes destinés à rendre la détection de collision dans les simulations robotiques à la fois lissément différentiable et massivement vectorisable. Les auteurs ciblent un goulet d'étranglement bien identifié dans les pipelines de simulation standard : lorsqu'un robot interagit avec son environnement en mode contact-riche (manipulation d'objets, locomotion bipède, assemblage industriel), le calcul de gradients utiles au premier et second ordre se heurte à des pathologies à chacune des trois étapes classiques, soit la détection de collision, la dynamique de contact et l'intégration temporelle. La contribution porte ici exclusivement sur la première étape. L'équipe introduit une classe de primitives SDF (signed distance function, ou fonction de distance signée) analytiques à haute expressivité, capables de représenter des surfaces 3D complexes avec une efficacité de calcul élevée, ainsi qu'une routine inédite de génération de variétés de contact (contact manifold) exploitant cette représentation géométrique. L'enjeu est significatif pour la communauté de la robotique de contact. Aujourd'hui, les méthodes d'ordre zéro, essentiellement des approches par échantillonnage stochastique comme le CEM ou les politiques évolutionnaires, dominent sur les tâches contact-riches précisément parce que les gradients issus des simulateurs existants sont soit discontinus, soit trop bruités pour être exploitables. Si les résultats annoncés dans ce préprint se confirment, des solveurs d'ordre supérieur (gradient descent, méthodes de Newton) deviendraient applicables à ces scénarios, avec des gains potentiels substantiels en vitesse de convergence et en efficacité computationnelle. La propriété de vectorisation massive est également pertinente pour les architectures GPU modernes, ce qui ouvre la voie à un parallélisme étendu dans les boucles de simulation utilisées pour l'apprentissage par renforcement. Ce travail s'inscrit dans un effort de recherche plus large visant à rendre les simulateurs physiques différentiables de bout en bout, prérequis reconnu pour réduire le sim-to-real gap sur des comportements impliquant du contact. Des environnements comme MuJoCo (DeepMind), Drake (Toyota Research Institute) ou Brax (Google) ont posé des jalons dans cette direction, chacun avec des compromis différents entre fidélité physique et différentiabilité. L'approche SDF analytique proposée ici se distingue par sa vectorisabilité, une propriété moins prioritaire dans les travaux antérieurs. Il s'agit d'un preprint non encore soumis à peer review ; les benchmarks comparatifs et les validations expérimentales sur hardware réel restent à produire, et la robustesse de la méthode sur des géométries industrielles complexes demeure à démontrer.

RecherchePaper
1 source
Les limites de l'évolution lamarckienne face à la pression de nouveauté morphologique
1500arXiv cs.RO 

Les limites de l'évolution lamarckienne face à la pression de nouveauté morphologique

Une étude publiée sur arXiv (arXiv:2604.15854) en avril 2026 examine les limites de l'héritage lamarckien dans les systèmes de robots modulaires évolutifs. Le cadre expérimental repose sur une population de robots capables de co-évoluer leur morphologie et leurs contrôleurs, puis d'apprendre individuellement une tâche de locomotion. Dans un système lamarckien, les contrôleurs appris par les parents sont transmis directement aux descendants, contrairement à l'approche darwinienne classique où seule l'information génétique est héritée. Les chercheurs ont comparé les deux paradigmes en faisant varier la pression de sélection : d'une optimisation pure sur la performance de locomotion à une optimisation multi-objectif intégrant également une récompense pour la nouveauté morphologique. Résultat : l'héritage lamarckien surpasse le darwinisme en optimisation de tâche seule, mais accuse une chute de performance significativement plus importante dès que la diversité morphologique est encouragée. Ce résultat met en évidence un arbitrage fondamental dans la conception des systèmes d'évolution robotique : l'exploitation par héritage et l'exploration par diversité sont partiellement incompatibles. L'efficacité de l'héritage lamarckien repose sur une hypothèse implicite de continuité morphologique entre parent et descendant. Or, maximiser la diversité des formes casse précisément cette continuité, rendant les contrôleurs hérités peu ou pas transférables. Pour les chercheurs en robotique évolutive et les équipes travaillant sur la synthèse automatique de robots (notamment pour des applications d'adaptation en environnements non structurés), cela signifie que le choix du mécanisme d'héritage doit être conditionné au régime d'exploration morphologique visé. Ces travaux s'inscrivent dans un débat actif en robotique évolutive sur le sim-to-real gap et la capacité des algorithmes évolutifs à produire des morphologies réellement variées et fonctionnelles. Plusieurs équipes européennes, dont des laboratoires français travaillant sur la robotique adaptative, explorent des compromis similaires entre plasticité morphologique et transfert de politiques de contrôle. La piste ouverte par cette étude pointe vers des mécanismes d'héritage sélectif ou conditionnel, activés uniquement lorsque la similarité parent-descendant dépasse un seuil donné, une direction que les auteurs identifient comme prolongement naturel de ces résultats.

UELes équipes européennes et françaises travaillant sur la robotique évolutive et adaptative peuvent ajuster leur choix de mécanisme d'héritage selon le régime d'exploration morphologique visé, à la lumière de ces résultats expérimentaux.

RecherchePaper
1 source