Représentation partagée pour la manipulation…

1arXiv cs.RO

MobiGuide : récupération en ligne guidée par le vocabulaire pour la manipulation mobile

MobiGuide, un modèle VLA (vision-langage-action) génératif pour la manipulation mobile, est décrit dans une prépublication arXiv (2604.01567, version 2). Le travail s'attaque à un problème précis: conserver plusieurs modes d'action plausibles tout en restant réactif à l'exécution. Saisir une bouteille dans une scène encombrée peut se faire par plusieurs plans de mouvement base-bras physiquement valides. Les politiques VLA déterministes entraînées par régression L1 sont efficaces mais moyennent les modes valides et peuvent produire des actions physiquement invalides. Les politiques génératives par diffusion représentent mieux les distributions multimodales, mais leurs propositions, générées depuis du bruit pur, sont peu contraintes, et l'échantillonnage itératif alourdit l'inférence. MobiGuide construit à partir de démonstrations expertes un vocabulaire structuré de trajectoires, qui encode des motifs de mouvement du corps entier. Selon l'observation courante et l'instruction, le modèle raffine localement ces trajectoires de référence en propositions adaptées au contexte, puis sélectionne la plus appropriée. Un module léger de correction résiduelle applique en plus des ajustements à haute fréquence, pas à pas, pendant l'exécution. L'intérêt tient à l'endroit où le travail place la contrainte. Plutôt que de partir du bruit, il ancre la génération sur des modes experts réalistes, ce qui vise à garder la multimodalité sans payer le coût d'un débruitage long. Le module résiduel traite un défaut connu de l'action chunking: exécuter des séquences d'actions en boucle partiellement ouverte réduit le coût d'inférence, mais laisse de petits écarts s'accumuler en dérive. Pour un intégrateur, cette combinaison répond à deux exigences de terrain, la robustesse aux perturbations et la latence faible. Les auteurs annoncent de meilleurs taux de succès et une meilleure stabilité sous perturbations d'exécution, avec une inférence à faible latence. Le résumé ne donne toutefois aucun chiffre, ni taux de succès, ni latence, ni nombre de tâches. Il ne précise pas non plus si les essais ont eu lieu en simulation ou sur robot réel, donc l'écart entre démonstration et déploiement reste à vérifier dans l'article complet. Cette approche s'inscrit dans une tendance qui rapproche les politiques robotiques des méthodes de planification par vocabulaire de trajectoires, déjà utilisées en conduite autonome. Elle répond aux limites des deux familles dominantes: la régression déterministe, qui moyenne les modes, et la diffusion, plus expressive mais plus coûteuse. La manipulation mobile, qui coordonne base et bras, aggrave ces limites, car l'espace d'actions est plus large et les erreurs se cumulent. Il s'agit d'un travail académique, sans produit, sans pilote industriel ni calendrier annoncé. Son poids dépendra des benchmarks publiés, de la comparaison avec les VLA généralistes et diffusion actuels, et d'une validation sur plateformes physiques.

RecherchePaper

1 source

2arXiv cs.RO

KRVF : représentation du monde en voxels sémantiques sensible à la source pour la manipulation mobile embarquée

Des chercheurs ont déposé sur arXiv (identifiant 2606.26321) un rapport technique décrivant KRVF, un système de représentation sémantique du monde en voxels conçu pour les manipulateurs mobiles soumis à des contraintes de calcul embarqué. L'architecture attribue à chaque voxel cinq propriétés: occupation de l'espace, couleur, évidence sémantique, fraicheur temporelle de la donnée et source d'origine de la mesure. Ce dernier attribut, la "conscience de la source", est le trait distinctif du système: il trace l'origine de chaque information, qu'elle provienne d'un capteur direct, d'une hypothèse a priori ou d'une inférence. L'implémentation repose sur ROS 2 et traite des flux RGB-D en temps réel pour construire une mémoire du robot orientée tâche, centrée sur la localisation des objets saisissables et des candidats à la préhension. L'acronyme KRVF n'est pas développé dans l'abstract disponible. L'enjeu technique central est la robustesse aux défaillances des capteurs de profondeur, problème récurrent en déploiement réel (occlusions, surfaces spéculaires, zones hors portée). Les pipelines de reconstruction classiques, optimisés pour la fidélité géométrique globale, corrompent silencieusement leur modèle persistant quand les mesures de profondeur sont absentes ou erronées. KRVF répond en séparant explicitement l'occupation mesurée des hypothèses sémantiques a priori: le robot peut raisonner sur un objet probable sans altérer la géométrie de référence. La carte existante sert également à générer une profondeur synthétique pour combler les lacunes capteur, fermant une boucle de rétroaction entre cartographie et perception. Ces choix ciblent directement les déploiements sans infrastructure cloud: la cognition spatiale s'exécute entièrement à bord du robot, sans latence réseau. Ce travail s'inscrit dans une dynamique de recherche active sur la représentation du monde pour robots mobiles, aux côtés de systèmes comme ConceptFusion ou LERF qui explorent des cartes neuronales 3D interrogeables en langage naturel. Sur le marché des manipulateurs mobiles, des acteurs comme Boston Dynamics (Spot ARM), Hello Robot (Stretch) ou des startups comme Agility Robotics et 1X Technologies cherchent précisément ce type de module de perception embarqué à faible empreinte de calcul. KRVF reste un préprint non évalué par les pairs, sans benchmark comparatif public ni annonce de mise à disposition du code: c'est une contribution architecturale cohérente, mais dont la portée industrielle dépendra d'une validation expérimentale sur des plateformes réelles et dans des scénarios adversariaux.

RecherchePaper

1 source

3arXiv cs.RO

BiRoAD : apprentissage de représentations partagées et adaptatives par rôle pour la manipulation bimanuelle

Publiée en septembre 2026 sur arXiv sous la référence 2609.23445v1, BiRoAD (Bimanual Role-Adaptive Decomposition) est une méthode d'apprentissage par imitation pour robots à deux bras. Elle s'attaque à un défaut courant des politiques bimanuelles: celles-ci prédisent des actions dans des espaces fixes bras gauche et bras droit, sans indiquer comment un comportement doit changer quand les rôles s'échangent selon la scène, alors que les démonstrations d'entraînement sont souvent déséquilibrées entre rôles. BiRoAD décompose les représentations de trajectoire en une composante symétrique, qui capture la coordination invariante entre les deux bras, et une composante antisymétrique, propre à chaque rôle, recombinées ensuite en mises à jour résiduelles des représentations d'origine. Le module ne modifie ni les entrées de la politique ni l'objectif d'apprentissage par imitation, et se passe d'étiquetage manuel des rôles. Le problème visé est concret: un opérateur humain privilégie souvent un bras pour une sous-tâche donnée, et les politiques bimanuelles classiques généralisent mal quand un objet apparaît du côté opposé à celui majoritairement vu à l'entraînement, un cas fréquent hors environnement contrôlé. En se greffant sur des politiques déjà entraînées plutôt qu'en exigeant une nouvelle architecture, BiRoAD propose une correction peu coûteuse pour les équipes qui entraînent des robots humanoïdes ou des bras doubles fixes. Les auteurs rapportent des gains de robustesse par rapport aux politiques de base, particulièrement marqués sur les configurations de rôles sous-représentées, un enjeu directement lié à l'écart entre performance en démonstration et généralisation réelle qui préoccupe tout le secteur des politiques de manipulation apprises. Le travail s'inscrit dans la recherche sur l'apprentissage par imitation bimanuelle, où la paramétrisation bras gauche/bras droit hérite directement des interfaces de téléopération sans mécanisme dédié à l'échange de rôles. BiRoAD est présenté comme un module additionnel comparé à des politiques de base, et non comme une architecture concurrente autonome. L'article, classé comme nouvelle soumission arXiv, ne précise ni la plateforme robotique utilisée pour les évaluations ni la disponibilité d'un code source: il s'agit pour l'instant d'une contribution méthodologique, à un stade de recherche, plutôt que d'un système prêt à être déployé.

RecherchePaper

1 source

4arXiv cs.RO

MessyMem : une mémoire acquise par la pratique pour la manipulation mobile

Un système baptisé MessyMem, décrit dans un article publié sur arXiv (identifiant 2609.15976v1, version initiale de septembre 2026), s'attaque à un problème concret de la manipulation mobile : les robots qui interviennent dans plusieurs pièces et à plusieurs reprises n'accumulent aujourd'hui aucune connaissance persistante d'une visite à l'autre, par exemple qu'un placard est verrouillé ou qu'un objet se trouve dans un tiroir précis. MessyMem construit et maintient un graphe de scène 3D spatialement ancré, listant objets et emplacements, qu'il enrichit avec des propriétés et des résultats appris par interaction, et qu'il relie à des observations visuelles pour permettre un rappel précis. Les auteurs l'ont testé en simulation, sur une séquence continue de 25 tâches s'étalant sur plus de 3 heures, où le système atteint 80,0 % de progression des tâches, soit 14,8 points de pourcentage de mieux que la meilleure variante ablationnée du système et 28,9 points de mieux que la meilleure méthode externe comparée. Le système parvient à retrouver des preuves pertinentes parmi des milliers d'images clés stockées, remontant à plus d'une heure dans le passé. Un test complémentaire a également été mené sur un manipulateur mobile réel, sans que l'abstract ne détaille de métriques chiffrées équivalentes pour cette partie. Ce travail répond directement à une limite connue des architectures actuelles : les représentations de scène compactes utilisées par les planificateurs pilotés par modèles vision-langage omettent les connaissances tirées de l'interaction, les historiques vidéo bruts sont difficiles à interroger, et les modèles raisonnent au moment de l'inférence sans jamais mettre à jour durablement ce que le robot sait. Pour les intégrateurs et décideurs qui envisagent des flottes de robots opérant en continu sur de longues périodes, dans des environnements domestiques, commerciaux ou industriels, ce type de mémoire structurée laisse espérer une réduction du temps perdu à ré-explorer ou refaire des erreurs déjà rencontrées. Il faut toutefois noter que les chiffres les plus spectaculaires proviennent d'un banc d'essai simulé construit par les auteurs eux-mêmes, ce qui limite pour l'instant leur portée face à une validation à grande échelle sur robot physique. L'approche s'inscrit dans un effort de recherche plus large visant à doter les manipulateurs mobiles d'une mémoire à long terme complémentaire des modèles de planification génératifs, plutôt qu'un simple contexte réinitialisé à chaque tâche. S'agissant d'une publication de recherche fraîche et non d'un produit commercialisé, les suites logiques attendues sont l'extension à un plus grand nombre de tâches et d'environnements, ainsi qu'une validation renforcée sur robots physiques déployés en conditions réelles.

RecherchePaper

1 source

Représentation partagée pour la manipulation mobile en laboratoire avec OpenArm

À lire aussi

MobiGuide : récupération en ligne guidée par le vocabulaire pour la manipulation mobile

KRVF : représentation du monde en voxels sémantiques sensible à la source pour la manipulation mobile embarquée

BiRoAD : apprentissage de représentations partagées et adaptatives par rôle pour la manipulation bimanuelle

MessyMem : une mémoire acquise par la pratique pour la manipulation mobile