Aller au contenu principal
ActiveAlign : aligner la manipulation égocentrique grâce à la perception active
RecherchearXiv cs.RO 

ActiveAlign : aligner la manipulation égocentrique grâce à la perception active

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

ActiveAlign est un cadre logiciel présenté dans un preprint arXiv (v1) qui s'attaque à l'écart entre le monde réel et sa représentation simulée, le fameux « real2sim gap ». Il repose sur la perception active, c'est-à-dire sur l'usage des mouvements du robot pour mieux observer, plutôt que sur une simple caméra passive. Le système comprend deux modules. ActiveAlign-Waving réalise la calibration main-œil en faisant bouger la main du robot devant sa caméra et en exploitant le rendu différentiable pour ajuster les paramètres. ActiveAlign-Touching affine ensuite la position des objets grâce au retour tactile, avec une précision annoncée de l'ordre du millimètre. Les auteurs affirment pouvoir reconstruire des environnements de simulation à partir de jeux de données de manipulation open source non calibrés. Ils démontrent aussi, sur un robot humanoïde Unitree G1 réel, des tâches fines comme appuyer sur des boutons ou déplacer des curseurs. L'abstract ne donne ni taux de réussite, ni temps de cycle, ni nombre d'essais.

L'intérêt est surtout méthodologique. Les politiques de type VLA (vision-langage-action) et les pipelines Real2Sim2Real dépendent de données et de jumeaux numériques fidèles. Or beaucoup de jeux de données publics sont mal calibrés, ce qui limite leur réutilisation en simulation. Une calibration automatique, sans cible dédiée ni opérateur, réduirait le coût d'intégration pour les équipes qui déploient des bras ou des humanoïdes. La démonstration sur un G1, plateforme accessible, va dans le même sens. En revanche, il s'agit d'un résultat de laboratoire. Le gain de précision dépend du capteur tactile et de la scène, et rien ne dit que le procédé tient face à des variations d'éclairage, d'usure ou de cadence industrielle.

Ce travail s'inscrit dans l'effort général pour réduire le décalage entre simulation et réel, qui reste un point dur pour les acteurs de l'humanoïde, de Figure à Tesla en passant par les modèles fondation comme Pi-0 ou GR00T. Beaucoup misent sur le volume de données, alors qu'ActiveAlign mise sur la qualité de l'alignement. Aucun pilote ni calendrier n'est annoncé. Les prochaines étapes à surveiller sont la publication du code, une évaluation chiffrée sur des tâches variées et une validation sur d'autres plateformes que le G1.

Impact France/UE

Pas d\'impact direct sur la France/UE

À lire aussi

MoPA : manipulation mobile coordonnée grâce à l'alignement de la perception par sous-système
1arXiv cs.RO 

MoPA : manipulation mobile coordonnée grâce à l'alignement de la perception par sous-système

Une équipe de recherche présente MoPA, un nouveau framework pour la manipulation mobile coordonnée, détaillé dans un article publié sur arXiv (2609.12081) en septembre 2026. Le système s'attaque au problème central de la manipulation mobile, où le contrôle de la base et celui du bras exigent des informations perceptuelles à des échelles spatiales différentes tout en restant cinématiquement couplés. MoPA repose sur trois mécanismes: des "Dual Perceptual Streams" qui utilisent deux banques de requêtes mutuellement masquées pour extraire des représentations perceptuelles séparées à partir d'un même contexte vision-langage, un module de "Perception2Action Adaptation" qui met à jour conjointement chaque banque de requêtes et son flux d'action correspondant à chaque couche d'un décodeur de type Mixture-of-Transformers, et un "coupled conditional flow matching" qui apprend un champ vectoriel unique pour générer de façon coordonnée les deux segments d'action, base et bras. Sur le benchmark de simulation ManiSkill-HAB, MoPA atteint des performances état de l'art sur les trois suites de tâches testées. Sur quatre tâches réelles en laboratoire, le système obtient un taux de réussite complet moyen de 76,3%, soit 12,5 points de pourcentage de mieux que la meilleure méthode concurrente évaluée par les auteurs. Cette contribution vise un angle mort précis des politiques de manipulation mobile actuelles: la plupart des architectures existantes génèrent des actions spécialisées pour la base et pour le bras, mais conditionnent ces deux branches hétérogènes sur une seule représentation perceptuelle partagée, sans expliciter la correspondance perception-action propre à chaque sous-système. Pour les intégrateurs et équipes robotique qui déploient des manipulateurs mobiles ou des humanoïdes en environnement industriel, ce travail pointe un levier d'optimisation encore peu exploité: aligner la perception elle-même sur la granularité spatiale requise par chaque modalité d'action, plutôt que de tout faire reposer sur un encodeur vision-langage générique unique. Le gain de 12,5 points en conditions réelles, s'il se confirme au-delà des quatre tâches testées, alimente le débat sur la capacité des politiques génériques de type VLA à passer à l'échelle sur des tâches combinant navigation et manipulation fine. Le papier s'inscrit dans le courant de recherche sur les politiques vision-langage-action appliquées à la manipulation mobile, où la coordination entre navigation et dextérité reste un défi ouvert malgré les progrès récents des architectures transformer et des méthodes de flow matching pour la génération d'actions continues. Les auteurs positionnent MoPA face aux approches existantes qui séparent la génération d'actions par sous-système sans traiter l'alignement perceptuel correspondant, une limite corrigée ici par construction. À ce stade, MoPA reste une contribution académique validée en simulation et sur un nombre restreint de tâches réelles, sans annonce de déploiement industriel ni de partenariat commercial. Un site associé (mopa-policy.github.io) propose code et démonstrations, et des études d'ablation détaillées dans l'article visent à isoler la contribution de chacun des trois mécanismes proposés.

RecherchePaper
1 source
$A^3$-VLA : alignement automatique de l'attention guidé par la perception pour la manipulation robotique
2arXiv cs.RO 

$A^3$-VLA : alignement automatique de l'attention guidé par la perception pour la manipulation robotique

A³-VLA, un cadre d'entraînement décrit dans le preprint arXiv 2611.06447, vise à corriger un défaut connu des modèles Vision-Language-Action (VLA), ces systèmes qui s'appuient sur un modèle vision-langage pour convertir images et instructions textuelles en actions de manipulation. Les auteurs constatent que l'objectif de prédiction d'actions ne fournit aucune supervision perceptive fine propre à la tâche. Le modèle apprend alors des raccourcis visuels sans rapport avec la tâche, et son attention s'écarte des objets cibles et des zones d'interaction. A³-VLA génère d'abord, à partir des changements visuels provoqués par l'interaction, des régions candidates heuristiques pour les objets cibles et pour le robot. Un modèle de segmentation les affine ensuite hors ligne. Ces régions servent de guidage via deux pertes complémentaires. La première, une perte d'allocation d'attention, force le modèle à se concentrer sur les zones critiques lorsque les tokens de langage ou d'état du robot interrogent l'entrée visuelle. La seconde, une perte contrastive, rapproche les représentations des régions cibles de l'instruction langagière et les éloigne des régions non pertinentes. Testé en simulation et sur des tâches réelles, le cadre améliore plusieurs architectures VLA, avec un gain moyen de taux de réussite de 6,5 % à 25,2 % selon les benchmarks. L'intérêt tient à la méthode plus qu'au chiffre. Le guidage est dérivé automatiquement du processus de manipulation lui-même, sans annotation humaine supplémentaire, et il s'ajoute à l'entraînement sans changer l'architecture. Cela en fait une brique potentiellement réutilisable par les équipes qui affinent des VLA sur leurs propres démonstrations. Le résultat renforce l'hypothèse selon laquelle une part notable des échecs en manipulation vient d'un mauvais ancrage perceptif, et non d'une insuffisance de capacité du modèle ou de volume de données. Pour un intégrateur, c'est un argument en faveur de la robustesse face aux variations de scène, qui reste le point faible des déploiements. La fourchette de gains, très large (6,5 % à 25,2 %), suggère toutefois que l'effet dépend fortement du backbone et du benchmark, et le résumé ne précise ni les architectures, ni les taux de départ, ni le nombre d'essais réels. Ces éléments conditionnent la portée réelle du résultat. Ce travail s'inscrit dans une série de recherches visant à rendre les VLA plus fiables, après la généralisation de modèles de type Pi-0, OpenVLA ou GR00T, dont la dépendance aux corrélations parasites de l'image est régulièrement pointée. D'autres approches traitent le problème par l'ajout de données, de supervision auxiliaire en segmentation ou en détection, ou de raisonnement intermédiaire. A³-VLA se distingue en produisant ce signal de façon autonome à partir des différences visuelles liées à l'interaction. Il s'agit d'un preprint en première version (v1), sans validation par les pairs, et aucun déploiement industriel n'est annoncé. Les prochaines étapes à surveiller sont la publication du code, des comparaisons sur des benchmarks standards et des évaluations sur des scènes encombrées ou des objets inédits, où la robustesse de l'heuristique de régions candidates sera réellement mise à l'épreuve.

RecherchePaper
1 source
Percevoir, prédire et planifier : un modèle d'action du monde unifié pour la manipulation dextérique égocentrique
3arXiv cs.RO 

Percevoir, prédire et planifier : un modèle d'action du monde unifié pour la manipulation dextérique égocentrique

P³-WAM est un modèle d'action fondé sur un modèle du monde (« world action model ») pour la manipulation dextre en vue égocentrique, décrit dans un preprint arXiv (2610.22363). Il réunit trois modes dans un seul réseau. « Perceive » reconstruit en 3D le mouvement d'une main articulée et la trajectoire de la caméra à partir d'une vidéo. « Predict » génère les futurs visuels correspondant à des actions imposées. « Plan » produit conjointement des trajectoires d'actions et leurs conséquences visuelles anticipées, à partir d'une image initiale, d'une instruction en langage naturel et, en option, d'un but visuel. L'architecture greffe une représentation 3D compacte et structurée des actions sur un transformeur de diffusion vidéo préentraîné, via un mélange de transformeurs. Les poids de base sont partagés, chaque modalité a son adaptation propre, et l'attention entre vision et action est bidirectionnelle. Une visibilité aléatoire des modalités permet à la vidéo comme aux actions 3D de servir tantôt de contexte, tantôt de cible. Les auteurs annoncent que l'entraînement unifié améliore les trois capacités par rapport à un entraînement mono-tâche. Le modèle dépasserait des références spécialisées en reconstruction de mains 3D et en prédiction vidéo conditionnée par l'action, sur quatre jeux de données. L'intérêt tient à la question que ce travail tente de trancher : faut-il des modèles distincts pour percevoir, simuler et décider, ou un seul modèle qui partage ses représentations ? Les modèles vision-langage-action (VLA) actuels prédisent surtout des actions, sans modèle explicite des conséquences visuelles. Les générateurs vidéo, eux, produisent de belles séquences sans garantie de cohérence avec un geste physique. Un système unifié servirait à la fois la planification et l'exploitation des vidéos humaines à la première personne, une source de données bien moins chère que la téléopération robotique pour les mains dextres. Il faut toutefois rester prudent : les résultats portent sur de la reconstruction de mains et de la génération vidéo, pas sur un robot réel. Le gain en planification est jugé par un modèle vision-langage, une évaluation indirecte qui ne mesure pas un taux de réussite physique, et aucun chiffre n'est donné dans le résumé. Ce travail s'inscrit dans la montée des world action models, qui rapprochent les modèles du monde vidéo des politiques de contrôle, face à des approches comme Pi-0 de Physical Intelligence ou GR00T de Nvidia, centrées sur l'action. Il reprend aussi l'idée d'apprendre la dextérité à partir de vidéos égocentriques humaines. La page projet est publiée, mais aucun calendrier de déploiement sur robot n'est annoncé. La prochaine étape à surveiller est la conversion de ces trajectoires de mains en commandes pour des mains robotiques, puis une validation en conditions réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
MAAP : perception active multi-agents pour la manipulation collaborative
4arXiv cs.RO 

MAAP : perception active multi-agents pour la manipulation collaborative

Des chercheurs présentent MAAP (Multi-Agent Active Perception), un système de manipulation collaborative ou chaque bras joue un double rôle: exécuter des actions et servir, via sa camera de poignet, de point de vue mobile pour l'équipe. Il est couple a RAIL (Role-Aware Imitation Learning), un contrôleur qui prédit le rôle courant de chaque bras et conditionne ses actions sur celui-ci. Sur quatre taches simulées, le taux de réussite moyen passe de 56,5% avec une camera fixe a 62,5% avec un poignet actif, puis 70,0% avec tous les bras actifs, et atteint 79,2% avec MAAP+RAIL. Sur une tache a trois bras nommée Microwave, RAIL fait grimper la réussite de 47% a 82% avec les mêmes entrées. Sur une plateforme réelle a deux bras, MAAP+RAIL réussit 14 essais de placement sur 20, contre 0 sur 20 pour une base a vue fixe utilisant ACT. Publie en preprint sur arXiv (2609.21929), le papier ne précise ni affiliation des auteurs ni calendrier de déploiement industriel. Cette approche renverse l'hypothèse selon laquelle la perception active exige un agent dédié a l'observation, distinct des bras qui manipulent. En montrant que les cameras de poignet déjà présentes sur des cellules multi-bras standard suffisent a améliorer nettement la réussite des taches, sans capteur ni agent supplémentaire, MAAP donne aux intégrateurs une piste pour exploiter le matériel existant plutôt que de multiplier les cameras fixes. L'écart entre 0% et 70% de réussite obtenu sur la plateforme physique face a la base ACT a vue fixe est le chiffre le plus parlant pour un décideur industriel: il suggere que le goulot d'étranglement de nombreux systèmes de manipulation actuels tient autant a la couverture visuelle de la scene qu'a l'algorithme de contrôle lui-même. MAAP s'inscrit dans la lignée des travaux d'apprentissage par imitation en manipulation, ou ACT (Action Chunking Transformer) sert de référence a vue fixe. Teste sur quatre taches simulées puis sur une plateforme physique a deux bras, l'échantillon de 20 essais reste modeste. Le papier, une contribution académique sans partenariat industriel annonce, ne mentionne aucun calendrier de commercialisation; les suites attendues concernent l'extension a davantage de bras et de taches plus complexes.

RecherchePaper
1 source