Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

ActiveAlign : aligner la manipulation égocentrique grâce à la perception active

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

ActiveAlign est un cadre logiciel présenté dans un preprint arXiv (v1) qui s'attaque à l'écart entre le monde réel et sa représentation simulée, le fameux « real2sim gap ». Il repose sur la perception active, c'est-à-dire sur l'usage des mouvements du robot pour mieux observer, plutôt que sur une simple caméra passive. Le système comprend deux modules. ActiveAlign-Waving réalise la calibration main-œil en faisant bouger la main du robot devant sa caméra et en exploitant le rendu différentiable pour ajuster les paramètres. ActiveAlign-Touching affine ensuite la position des objets grâce au retour tactile, avec une précision annoncée de l'ordre du millimètre. Les auteurs affirment pouvoir reconstruire des environnements de simulation à partir de jeux de données de manipulation open source non calibrés. Ils démontrent aussi, sur un robot humanoïde Unitree G1 réel, des tâches fines comme appuyer sur des boutons ou déplacer des curseurs. L'abstract ne donne ni taux de réussite, ni temps de cycle, ni nombre d'essais.

L'intérêt est surtout méthodologique. Les politiques de type VLA (vision-langage-action) et les pipelines Real2Sim2Real dépendent de données et de jumeaux numériques fidèles. Or beaucoup de jeux de données publics sont mal calibrés, ce qui limite leur réutilisation en simulation. Une calibration automatique, sans cible dédiée ni opérateur, réduirait le coût d'intégration pour les équipes qui déploient des bras ou des humanoïdes. La démonstration sur un G1, plateforme accessible, va dans le même sens. En revanche, il s'agit d'un résultat de laboratoire. Le gain de précision dépend du capteur tactile et de la scène, et rien ne dit que le procédé tient face à des variations d'éclairage, d'usure ou de cadence industrielle.

Ce travail s'inscrit dans l'effort général pour réduire le décalage entre simulation et réel, qui reste un point dur pour les acteurs de l'humanoïde, de Figure à Tesla en passant par les modèles fondation comme Pi-0 ou GR00T. Beaucoup misent sur le volume de données, alors qu'ActiveAlign mise sur la qualité de l'alignement. Aucun pilote ni calendrier n'est annoncé. Les prochaines étapes à surveiller sont la publication du code, une évaluation chiffrée sur des tâches variées et une validation sur d'autres plateformes que le G1.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

UnitreeIA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

MoPA : manipulation mobile coordonnée grâce à l'alignement de la perception par sous-système
1arXiv cs.RO 

MoPA : manipulation mobile coordonnée grâce à l'alignement de la perception par sous-système

Une équipe de recherche présente MoPA, un nouveau framework pour la manipulation mobile coordonnée, détaillé dans un article publié sur arXiv (2609.12081) en septembre 2026. Le système s'attaque au problème central de la manipulation mobile, où le contrôle de la base et celui du bras exigent des informations perceptuelles à des échelles spatiales différentes tout en restant cinématiquement couplés. MoPA repose sur trois mécanismes: des "Dual Perceptual Streams" qui utilisent deux banques de requêtes mutuellement masquées pour extraire des représentations perceptuelles séparées à partir d'un même contexte vision-langage, un module de "Perception2Action Adaptation" qui met à jour conjointement chaque banque de requêtes et son flux d'action correspondant à chaque couche d'un décodeur de type Mixture-of-Transformers, et un "coupled conditional flow matching" qui apprend un champ vectoriel unique pour générer de façon coordonnée les deux segments d'action, base et bras. Sur le benchmark de simulation ManiSkill-HAB, MoPA atteint des performances état de l'art sur les trois suites de tâches testées. Sur quatre tâches réelles en laboratoire, le système obtient un taux de réussite complet moyen de 76,3%, soit 12,5 points de pourcentage de mieux que la meilleure méthode concurrente évaluée par les auteurs. Cette contribution vise un angle mort précis des politiques de manipulation mobile actuelles: la plupart des architectures existantes génèrent des actions spécialisées pour la base et pour le bras, mais conditionnent ces deux branches hétérogènes sur une seule représentation perceptuelle partagée, sans expliciter la correspondance perception-action propre à chaque sous-système. Pour les intégrateurs et équipes robotique qui déploient des manipulateurs mobiles ou des humanoïdes en environnement industriel, ce travail pointe un levier d'optimisation encore peu exploité: aligner la perception elle-même sur la granularité spatiale requise par chaque modalité d'action, plutôt que de tout faire reposer sur un encodeur vision-langage générique unique. Le gain de 12,5 points en conditions réelles, s'il se confirme au-delà des quatre tâches testées, alimente le débat sur la capacité des politiques génériques de type VLA à passer à l'échelle sur des tâches combinant navigation et manipulation fine. Le papier s'inscrit dans le courant de recherche sur les politiques vision-langage-action appliquées à la manipulation mobile, où la coordination entre navigation et dextérité reste un défi ouvert malgré les progrès récents des architectures transformer et des méthodes de flow matching pour la génération d'actions continues. Les auteurs positionnent MoPA face aux approches existantes qui séparent la génération d'actions par sous-système sans traiter l'alignement perceptuel correspondant, une limite corrigée ici par construction. À ce stade, MoPA reste une contribution académique validée en simulation et sur un nombre restreint de tâches réelles, sans annonce de déploiement industriel ni de partenariat commercial. Un site associé (mopa-policy.github.io) propose code et démonstrations, et des études d'ablation détaillées dans l'article visent à isoler la contribution de chacun des trois mécanismes proposés.

RecherchePaper
1 source
Percevoir, prédire et planifier : un modèle d'action du monde unifié pour la manipulation dextérique égocentrique
2arXiv cs.RO 

Percevoir, prédire et planifier : un modèle d'action du monde unifié pour la manipulation dextérique égocentrique

P³-WAM est un modèle d'action fondé sur un modèle du monde (« world action model ») pour la manipulation dextre en vue égocentrique, décrit dans un preprint arXiv (2610.22363). Il réunit trois modes dans un seul réseau. « Perceive » reconstruit en 3D le mouvement d'une main articulée et la trajectoire de la caméra à partir d'une vidéo. « Predict » génère les futurs visuels correspondant à des actions imposées. « Plan » produit conjointement des trajectoires d'actions et leurs conséquences visuelles anticipées, à partir d'une image initiale, d'une instruction en langage naturel et, en option, d'un but visuel. L'architecture greffe une représentation 3D compacte et structurée des actions sur un transformeur de diffusion vidéo préentraîné, via un mélange de transformeurs. Les poids de base sont partagés, chaque modalité a son adaptation propre, et l'attention entre vision et action est bidirectionnelle. Une visibilité aléatoire des modalités permet à la vidéo comme aux actions 3D de servir tantôt de contexte, tantôt de cible. Les auteurs annoncent que l'entraînement unifié améliore les trois capacités par rapport à un entraînement mono-tâche. Le modèle dépasserait des références spécialisées en reconstruction de mains 3D et en prédiction vidéo conditionnée par l'action, sur quatre jeux de données. L'intérêt tient à la question que ce travail tente de trancher : faut-il des modèles distincts pour percevoir, simuler et décider, ou un seul modèle qui partage ses représentations ? Les modèles vision-langage-action (VLA) actuels prédisent surtout des actions, sans modèle explicite des conséquences visuelles. Les générateurs vidéo, eux, produisent de belles séquences sans garantie de cohérence avec un geste physique. Un système unifié servirait à la fois la planification et l'exploitation des vidéos humaines à la première personne, une source de données bien moins chère que la téléopération robotique pour les mains dextres. Il faut toutefois rester prudent : les résultats portent sur de la reconstruction de mains et de la génération vidéo, pas sur un robot réel. Le gain en planification est jugé par un modèle vision-langage, une évaluation indirecte qui ne mesure pas un taux de réussite physique, et aucun chiffre n'est donné dans le résumé. Ce travail s'inscrit dans la montée des world action models, qui rapprochent les modèles du monde vidéo des politiques de contrôle, face à des approches comme Pi-0 de Physical Intelligence ou GR00T de Nvidia, centrées sur l'action. Il reprend aussi l'idée d'apprendre la dextérité à partir de vidéos égocentriques humaines. La page projet est publiée, mais aucun calendrier de déploiement sur robot n'est annoncé. La prochaine étape à surveiller est la conversion de ces trajectoires de mains en commandes pour des mains robotiques, puis une validation en conditions réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
MAAP : perception active multi-agents pour la manipulation collaborative
3arXiv cs.RO 

MAAP : perception active multi-agents pour la manipulation collaborative

Des chercheurs présentent MAAP (Multi-Agent Active Perception), un système de manipulation collaborative ou chaque bras joue un double rôle: exécuter des actions et servir, via sa camera de poignet, de point de vue mobile pour l'équipe. Il est couple a RAIL (Role-Aware Imitation Learning), un contrôleur qui prédit le rôle courant de chaque bras et conditionne ses actions sur celui-ci. Sur quatre taches simulées, le taux de réussite moyen passe de 56,5% avec une camera fixe a 62,5% avec un poignet actif, puis 70,0% avec tous les bras actifs, et atteint 79,2% avec MAAP+RAIL. Sur une tache a trois bras nommée Microwave, RAIL fait grimper la réussite de 47% a 82% avec les mêmes entrées. Sur une plateforme réelle a deux bras, MAAP+RAIL réussit 14 essais de placement sur 20, contre 0 sur 20 pour une base a vue fixe utilisant ACT. Publie en preprint sur arXiv (2609.21929), le papier ne précise ni affiliation des auteurs ni calendrier de déploiement industriel. Cette approche renverse l'hypothèse selon laquelle la perception active exige un agent dédié a l'observation, distinct des bras qui manipulent. En montrant que les cameras de poignet déjà présentes sur des cellules multi-bras standard suffisent a améliorer nettement la réussite des taches, sans capteur ni agent supplémentaire, MAAP donne aux intégrateurs une piste pour exploiter le matériel existant plutôt que de multiplier les cameras fixes. L'écart entre 0% et 70% de réussite obtenu sur la plateforme physique face a la base ACT a vue fixe est le chiffre le plus parlant pour un décideur industriel: il suggere que le goulot d'étranglement de nombreux systèmes de manipulation actuels tient autant a la couverture visuelle de la scene qu'a l'algorithme de contrôle lui-même. MAAP s'inscrit dans la lignée des travaux d'apprentissage par imitation en manipulation, ou ACT (Action Chunking Transformer) sert de référence a vue fixe. Teste sur quatre taches simulées puis sur une plateforme physique a deux bras, l'échantillon de 20 essais reste modeste. Le papier, une contribution académique sans partenariat industriel annonce, ne mentionne aucun calendrier de commercialisation; les suites attendues concernent l'extension a davantage de bras et de taches plus complexes.

RecherchePaper
1 source
VidAct : apprendre la manipulation à partir de vidéos réelles grâce à une perception 3D centrée sur les objets
4arXiv cs.RO 

VidAct : apprendre la manipulation à partir de vidéos réelles grâce à une perception 3D centrée sur les objets

VidAct est un framework « vidéo vers robot » décrit dans un préprint arXiv (2609.36870v1) qui apprend des politiques de manipulation à partir d'une seule vidéo monoculaire par tâche, puis les déploie sur un robot réel en zero-shot. Le système repose sur trois briques. La première reconstruit le maillage des objets et leur mouvement à partir de vidéos quelconques, puis exprime ce mouvement dans le repère statique de l'objet. Cela évite tout retargeting spécifique à l'embodiment (le passage d'une main humaine à une pince) et accepte des points de vue de caméra variés. La deuxième brique, un transfert de trajectoire résiduel, adapte le mouvement reconstruit à de nouvelles configurations d'objets en conservant la forme de la trajectoire. La troisième, au cœur de l'apprentissage, demande à la politique de prédire à chaque image le nuage de points complet de l'objet, fourni en privilège par la simulation, comme tâche auxiliaire. Le déploiement reste en RGB seul. Les expériences couvrent des vidéos humaines, robotiques, générées et issues d'internet. Le résumé ne donne aucun chiffre de taux de réussite, de nombre de tâches ni de plateforme robotique. Pour les intégrateurs et les équipes R&D, l'intérêt tient à la réduction du coût de la donnée. La téléopération reste l'étalon de la collecte de démonstrations, mais elle est chère et peu extensible. Apprendre à partir d'une vidéo par tâche, y compris générée, déplace le goulot d'étranglement de la collecte vers la reconstruction 3D. L'approche traite aussi deux limites connues des méthodes de reconstruction : la dépendance à des caméras contraintes et la déformation des trajectoires face à un nouvel agencement d'objets. La supervision par nuage de points complet par image suggère que la conscience de la géométrie 3D des objets, souvent absente des politiques RGB, améliore la généralisation et le transfert simulation-réel. Ces conclusions restent à confirmer : les auteurs affirment des gains, mais l'abstract ne les quantifie pas. Les résultats viennent de tâches de laboratoire, sans indication de robustesse en environnement industriel ni de comparaison publiée avec des VLA généralistes. Ce travail s'inscrit dans une lignée qui cherche à remplacer la démonstration robotique par de la vidéo, en concurrence avec la collecte téléopérée à grande échelle et les modèles fondation type VLA, qui misent sur le volume de données plutôt que sur la reconstruction explicite. Il s'agit d'un préprint en première version, sans code, produit ni déploiement annoncé à ce stade. Les prochaines étapes à surveiller sont la publication des taux de réussite détaillés, la diffusion du code et, surtout, une validation sur des tâches longues, contraintes ou déformables, où la reconstruction monoculaire est la plus fragile.

RecherchePaper
1 source