Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
CUBic : cadre unifié et coordonné de perception et contrôle bimanuels
RecherchearXiv cs.RO 

CUBic : cadre unifié et coordonné de perception et contrôle bimanuels

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont publié CUBic (Coordinated and Unified framework for Bimanual perception and control), un cadre d'apprentissage visuomoteur pour robots à deux bras, déposé sur arXiv en mai 2025 (arXiv:2605.13452). L'objectif : résoudre un verrou classique de la manipulation bimanuelle, où chaque bras doit agir à la fois de façon indépendante et coordonnée avec l'autre. CUBic reformule ce problème comme un défi de modélisation perceptuelle unifiée, en apprenant une représentation tokenisée partagée à travers trois composants : une agrégation perceptuelle unidirectionnelle, une coordination bidirectionnelle via deux codebooks à mapping commun, et une politique de diffusion perception-vers-contrôle. Les expériences sur le benchmark RoboTwin montrent des améliorations nettes sur les métriques de précision de coordination et de taux de succès par rapport aux baselines de référence, sans que les chiffres précis soient disponibles dans l'abstract publié.

Le verrou que CUBic adresse est structurel : les approches existantes forçaient un choix binaire, soit déconnecter les deux bras (chacun avec sa propre politique, au détriment de la coordination globale), soit imposer un couplage fort entre eux (risque d'interférences, manque de souplesse). CUBic démontre qu'une représentation partagée apprise de façon émergente, sans couplage codé à la main, suffit à générer simultanément indépendance et coordination. Pour un intégrateur ou un COO industriel, c'est un signal encourageant pour les tâches d'assemblage bimanuel complexes comme le vissage, le pliage ou le conditionnement, qui restent aujourd'hui difficiles à automatiser sans sur-ingénierie du système de contrôle.

La manipulation bimanuelle est l'un des fronts les plus actifs de la recherche en robotique apprise. Des cadres comme ACT (Action Chunking with Transformers), Diffusion Policy ou Pi-0 de Physical Intelligence ont progressivement amélioré les performances à un seul bras ; l'extension bimanuelle reste un défi ouvert, notamment pour les robots humanoïdes tels que le Figure 03, l'Optimus Gen 3 ou l'Unitree G1, qui en ont besoin pour les tâches industrielles réelles. CUBic est pour l'instant une contribution fondationnelle validée uniquement en simulation sur RoboTwin, sans déploiement physique annoncé. La prochaine étape logique serait un transfert sim-to-real sur robot physique, qui constitue encore le principal goulot d'étranglement entre publications académiques et applications industrielles concrètes.

Dans nos dossiers

FigureTesla OptimusUnitreePhysical Intelligence — π0

À lire aussi

Planification rapide et coordonnée de mouvements bimanuels sous contraintes strictes
1arXiv cs.RO 

Planification rapide et coordonnée de mouvements bimanuels sous contraintes strictes

Une équipe de chercheurs publie sur arXiv (référence 2608.20946v1) un nouveau pipeline de planification de mouvement rapide pour la manipulation bimanuelle sous contraintes rigides. Le problème traité est le suivant : quand deux bras robotiques déplacent un même objet rigide, la transformation relative entre leurs deux effecteurs terminaux doit rester fixe tout au long du mouvement, ce qui constitue une contrainte d'égalité non linéaire réduisant l'espace des configurations valides à une variété de mesure nulle, difficile à gérer pour les planificateurs classiques. La méthode proposée repose sur une paramétrisation "leader-suiveur" : la configuration du bras leader est traitée comme variable libre, celle du bras suiveur étant calculée par cinématique inverse pour satisfaire la contrainte en continu sur toute la trajectoire. En simulation, sur des environnements, contraintes et plateformes bimanuelles variés, la méthode planifie 19,4 fois plus vite que les approches précédentes, tout en garantissant le respect continu de la contrainte. Des essais réels sur un système bimanuel à deux bras Kinova Gen3, pour du transport de plateau et la manipulation d'objets allongés, confirment le transfert direct des trajectoires planifiées vers le matériel physique. Pour les intégrateurs et les équipes de R&D robotique, ce résultat cible un vrai goulot d'étranglement : le nombre élevé de degrés de liberté combinés des deux bras, associé à la contrainte de rigidité, rend la planification coordonnée coûteuse en calcul et freine son usage en temps réel pour des tâches comme le transport d'objets fragiles ou encombrants et l'assemblage. Un gain de vitesse proche de 20x, sans perte de garantie sur le respect de la contrainte géométrique, rapprocherait la manipulation bimanuelle coordonnée d'un fonctionnement temps réel viable en usine ou en logistique, un point sensible pour la sécurité des opérations impliquant deux bras synchronisés. Le résultat reste toutefois académique, validé sur une seule plateforme matérielle et deux tâches de démonstration, loin d'un produit industriel prêt à déployer. Ce travail s'inscrit dans la recherche sur la planification sous contraintes de fermeture cinématique, un problème classique de la robotique bimanuelle où les méthodes existantes s'appuient souvent sur un échantillonnage ou une projection coûteux sur la variété de contrainte, ce qui explique l'écart de performance revendiqué face aux "travaux précédents", non détaillés dans le résumé. Les bras Kinova Gen3 utilisés pour la validation matérielle constituent une plateforme courante dans la recherche en manipulation bimanuelle, ce qui facilite la comparaison avec d'autres travaux du domaine. Classé comme nouvelle soumission arXiv, le papier ne fait état d'aucun partenariat industriel ni de calendrier de commercialisation ; la suite logique pour ce type de recherche est une extension à d'autres plateformes et types d'objets, avec une possible intégration dans des piles logicielles de planification plus larges destinées aux intégrateurs.

RecherchePaper
1 source
URF : cadre de contrôle unifié pour une manipulation stable et consciente du contact
2arXiv cs.RO 

URF : cadre de contrôle unifié pour une manipulation stable et consciente du contact

Des chercheurs proposent URF (Unified Robot Control-Policy Framework), une architecture de contrôle qui unifie prédiction d'action et exécution bas niveau pour la manipulation robotique en contact rigide. Publié sur arXiv (2607.20912v1), le système part d'un constat technique précis : les politiques de manipulation apprises prédisent généralement une trajectoire ou une cible virtuelle, puis délèguent son exécution à un contrôleur bas niveau séparé, ce qui peut provoquer un contact instable, des erreurs de suivi, une surcharge de force voire une casse d'outil selon le contrôleur utilisé. URF fait converger ces deux étages : à partir d'observations multimodales, le modèle prédit simultanément une cible virtuelle, une matrice de rigidité (stiffness matrix), et un ratio de bascule entre contrôle en admittance et contrôle en impédance. Ce ratio détermine à quel moment privilégier un suivi de mouvement précis (admittance) ou une gestion plus sûre du contact rigide (impédance). Faute de vérité terrain sur la rigidité de l'environnement dans les données de démonstration, les chercheurs construisent leurs labels de supervision à partir des forces de contact réellement mesurées. Sur deux tâches de test, retournement de boîte et pressage linéaire, URF affiche un taux de réussite supérieur aux approches en admittance seule, avec moins d'échecs par montée en force rapide, oscillations de force, casse d'outil ou arrêts de sécurité du robot. Pour l'industrie de la manipulation robotique, ce travail cible un angle mort souvent sous-traité dans la course aux politiques VLA (vision-language-action) : la qualité d'une politique de haut niveau ne garantit rien si le contrôleur bas niveau n'est pas conçu pour exploiter cette information de contact. Beaucoup de démonstrations impressionnantes de manipulation dextre échouent en conditions réelles précisément à cause de ce écart entre commande prédite et exécution physique stable, un des points aveugles classiques du fossé démo-vers-réalité. En intégrant la prédiction du comportement du contrôleur lui-même dans le modèle appris, URF illustre une tendance de fond chez les intégrateurs et laboratoires de recherche en manipulation : traiter le contrôle de force comme un objet d'apprentissage à part entière plutôt que comme un simple paramètre fixe en aval, ce qui intéresse directement les applications d'assemblage industriel, de polissage ou d'insertion de précision où le contact rigide est la norme plutôt que l'exception. Ce travail s'inscrit dans la lignée des architectures hybrides impédance-admittance étudiées depuis longtemps en robotique de contact, mais l'apporte au contexte des politiques de manipulation apprises de bout en bout, un terrain où les grands modèles VLA (de type Pi-0, GR00T ou Helix évoqués dans le débat sectoriel actuel) se concentrent surtout sur la prédiction de trajectoires plutôt que sur la dynamique de contact fine. Il s'agit ici d'une publication de recherche académique, avec page projet dédiée, et non d'un produit commercialisé ni d'un déploiement industriel : les résultats se limitent à deux tâches de manipulation en environnement contrôlé. La suite logique, non détaillée dans l'abstract, porterait sur l'extension à des tâches de contact plus variées et sur une validation en dehors du cadre expérimental initial avant toute intégration dans des piles de contrôle robotique commerciales.

RecherchePaper
1 source
Cadre de perception à couplage sémantique pour le contrôle autonome du laparoscope
3arXiv cs.RO 

Cadre de perception à couplage sémantique pour le contrôle autonome du laparoscope

Une équipe de recherche publie sur arXiv un cadre de commande autonome de laparoscope en boucle fermée, destiné à la chirurgie mini-invasive. Il couple la reconnaissance en temps réel de la phase chirurgicale (par exemple dissection ou clippage) avec une perception visuelle compensée du mouvement de la caméra. Les approches classiques traitent le suivi visuel et la reconnaissance de phase séparément, ce qui les fragilise en cas d'occlusion, de chevauchement d'entités (instrument devant un organe, par exemple) ou de déplacement de l'endoscope. Ici, les relations entre entités chirurgicales, qui dépendent de la phase, servent à affiner l'estimation de l'état de la cible, puis à piloter le champ de vision (FoV). L'évaluation repose sur des jeux de données de référence pour la reconnaissance de phase et le suivi, y compris des scénarios d'occlusion et de chevauchement, puis sur des essais sur fantôme. Le résumé ne donne aucune métrique chiffrée, ni précision, ni latence, ni taille d'échantillon. Seule une amélioration de la visibilité de la cible et de l'exécution de la tâche par rapport à un champ de vision fixe est affirmée. L'enjeu est de savoir si la sémantique de la tâche peut stabiliser la perception là où les trackers purement géométriques ou d'apparence décrochent. Pour un fabricant de robots chirurgicaux ou un intégrateur, un porte-endoscope qui anticipe ce que le chirurgien regarde à chaque étape réduirait la charge d'un assistant humain ou du chirurgien lui-même. La comparaison avec un FoV fixe est toutefois une référence peu exigeante. Elle ne mesure ni le gain face à un opérateur humain ni face aux méthodes autonomes existantes. Les essais sur fantôme restent aussi loin des conditions cliniques : fumée, saignement, reflets, déformation des tissus. La démonstration reste donc au stade de la faisabilité. Le contrôle autonome du laparoscope est un sujet de recherche ancien, depuis les porte-endoscopes robotisés commandés à la voix ou au suivi d'instruments. En pratique, la caméra reste le plus souvent pilotée manuellement, y compris sur les plateformes robotisées dominantes comme le da Vinci d'Intuitive. La tendance actuelle consiste à injecter des modèles de compréhension de scène et de phase, issus des jeux de données chirurgicaux, dans la boucle de commande. Aucune validation sur animal ou en clinique, aucun partenaire industriel et aucun calendrier ne sont annoncés. Les prochaines étapes probables sont des essais ex vivo ou in vivo et des comparaisons directes avec des méthodes autonomes concurrentes.

RecherchePaper
1 source
DARP : un jeu de données bimanuel calibré RGB-D-IR pour la perception robotique multi-vues
4arXiv cs.RO 

DARP : un jeu de données bimanuel calibré RGB-D-IR pour la perception robotique multi-vues

Le dataset publié sur arXiv (2608.31002v1) présente DARP (Dual-Arm Robotic Perception), un jeu de données calibré RGB-D-infrarouge issu de deux bras manipulateurs indépendants, chacun équipé d'une caméra Intel RealSense en configuration eye-in-hand, placés de part et d'autre d'un même plan de travail. Dix objets de table, sans pose fixe ni marqueur, ont été capturés via un protocole entièrement automatisé : localisation automatique, confirmation croisée entre les deux bras, génération adaptative de points de vue et enregistrement continu RGB, profondeur et infrarouge stéréo synchronisé avec les états articulaires des robots. Un pipeline de fusion multi-vues déterministe, sans complétion apprise ni générative, convertit ces observations calibrées en nuages de points et maillages de surface mesurés ; sur 224 images-clés de test et 1,56 million de points 3D, la distance médiane point-maillage atteint 2,13 mm (RMSE de 4,04 mm), avec 96,56% des points situés à moins de 10 mm de la surface mesurée. Le jeu de données est publié en libre accès sur IEEE DataPort, sous le DOI 10.21227/rmv3-be47. La perception à partir d'un point de vue unique souffre d'auto-occlusions et d'une visibilité incomplète des surfaces, un frein connu pour la manipulation fine, le bin-picking ou l'assemblage collaboratif. En combinant deux bras mobiles plutôt qu'un rig de caméras fixes, DARP fournit un cadre calibré permettant d'évaluer objectivement des algorithmes de fusion multi-vues, de perception active et de raisonnement sur des observations partielles, sans recourir à des vidéos sélectionnées ou des métriques qualitatives. Les résultats millimétriques annoncés valident surtout la précision du pipeline de calibration et de reconstruction géométrique lui-même, et non une capacité de manipulation en conditions réelles : il s'agit d'une brique d'infrastructure de recherche reproductible, utile aux laboratoires travaillant sur la perception bi-manuelle ou collaborative, un terrain encore dominé par des configurations mono-bras. Les caméras montées au poignet sont courantes en robotique manipulatrice, mais la plupart des jeux de données existants, qu'il s'agisse de rigs fixes ou de capteurs mono-bras, ne capturent pas la complémentarité géométrique d'une observation bi-manuelle synchronisée et libre de toute contrainte de pose. DARP se positionne comme une alternative en ciblant spécifiquement la reconstruction collaborative par deux agents mobiles indépendants, sans marqueurs ni positions imposées aux objets. Aucun acteur industriel n'est associé à cette publication, de nature purement académique ; les auteurs présentent DARP comme une ressource réutilisable pour de futurs travaux de reconstruction multi-vues, de fusion multimodale et d'apprentissage sur des observations partielles d'objets, sans calendrier de suivi ni déploiement industriel annoncé à ce stade.

RecherchePaper
1 source