Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Cooperative bimanual dexterous grasp d'objets volumineux avec observation en vue unique
RecherchearXiv cs.RO 

Cooperative bimanual dexterous grasp d'objets volumineux avec observation en vue unique

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de chercheurs a publie le 10 aout 2026 une preprint arXiv (2608.10383v1) présentant un système de préhension bimanuelle dexterisee capable de saisir des objets volumineux en conditions réelles, un problème jusqu'ici traite presque exclusivement en simulation. Le framework combine trois éléments: un jeu de données multimodal réunissant angles articulaires, images et signaux de force; un module de diffusion probabiliste par debruitage (DDPM) qui génère des configurations de préhension au niveau des articulations a partir de nuages de points segmentes issus d'une seule vue; et une stratégie d'exécution associant planification de trajectoire et raffinement en ligne de la prise pour garantir stabilité physique. Teste sur un robot a deux bras, le système affiche des taux de réussite élèves sur des objets inédits, de formes et de poses variées, et des études d'ablation confirment l'apport de chaque composant.

L'apport principal tient au caractère coopératif et synchrone de la prise: la plupart des travaux existants sur la manipulation a deux bras restent séquentiels, un bras agissant après l'autre, une approche inadaptée au transport d'objets encombrants comme des cartons, plateaux ou pièces longues. En se contentant d'une seule vue plutôt que d'un modèle 3D complet de l'objet, souvent lourd a calculer et fragile hors environnement contrôle, l'approche se rapproche des contraintes réelles des lignes logistiques et cellules d'assemblage, ou une camera unique est la norme. Pour les intégrateurs évaluant des solutions de préhension dexterisee, ce travail illustre un effort actif pour combler l'écart entre démonstrations en simulation et fiabilité réelle, sans constituer a ce stade un produit commercial.

Cette contribution s'inscrit dans la lignée des recherches en manipulation dexterisee assistée par apprentissage profond, ou les modèles de diffusion sont devenus un outil courant pour générer des prises complexes a partir de données visuelles bruitées. Les auteurs positionnent explicitement leur travail face aux méthodes antérieures, limitées soit a la simulation, soit a une manipulation séquentielle, deux contraintes qu'ils cherchent a lever simultanément. Le papier ne mentionne ni partenaire industriel ni calendrier de transfert produit: il s'agit d'une preuve de concept académique, dont la robustesse reste a confirmer sur une plus grande diversité d'objets et d'environnements avant toute application industrielle.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Grasp, transfert, rotation : réorientation bimanuelle d'objets par diffusion compositionnelle et optimisation énergétique
1arXiv cs.RO 

Grasp, transfert, rotation : réorientation bimanuelle d'objets par diffusion compositionnelle et optimisation énergétique

Grasp, Handover, Rotate : réorientation bimanuelle d'objets par diffusion compositionnelle et optimisation à base d'énergie Une équipe de recherche publie sur arXiv (arXiv:2607.21341v1, soumission du 24 juillet 2026) BiCompoDiff, un framework qui traite la réorientation bimanuelle d'objets : saisir un objet, le transférer d'un bras à l'autre, puis le poser dans une orientation cible, une manoeuvre nécessaire quand un placement direct depuis la prise initiale est impossible à cause de collisions, de contraintes cinématiques ou d'une orientation finale inadéquate. Le système combine un modèle de diffusion de prise pré-entraîné avec des modèles à base d'énergie (EBM) de planification bimanuelle, et injecte un guidage par gradient pendant la diffusion inverse pour imposer simultanément l'évitement de collisions, la fluidité de trajectoire via cinématique inverse différentiable, la faisabilité du transfert entre bras et la sécurité de la reprise. Un échantillonnage MCMC recuit affine ensuite les poses de prise sur ce paysage énergétique composite. Sur des tâches simulées de réorientation d'objets domestiques, BiCompoDiff atteint un taux de réussite supérieur de plus de 20% et des trajectoires jusqu'à 37% plus lisses, mesurées par le déplacement articulaire, comparé à des méthodes d'échantillonnage jugées solides par les auteurs. Une validation en conditions réelles est également mentionnée, avec un transfert sim-to-real jugé efficace. L'enjeu dépasse la simple démonstration technique : la manipulation bimanuelle coordonnée reste l'un des points faibles concrets des robots humanoïdes et bras doubles destinés à des tâches réelles, là où le pick-and-place à un seul bras échoue régulièrement sur des objets encombrants, mal orientés ou nécessitant un contournement d'obstacle. La plupart des approches existantes optimisent séparément la sélection de prise, la planification de trajectoire et la gestion du transfert entre bras, ce qui génère des incohérences quand ces sous-problèmes entrent en conflit. En unifiant ces objectifs dans un même cadre d'optimisation sous contraintes, ce travail illustre une tendance de fond en robotique de manipulation : combiner modèles génératifs de prise et méthodes de planification basées sur l'énergie pour traiter des séquences multi-étapes, plutôt que des gestes isolés. C'est un signal utile pour les intégrateurs travaillant sur des cellules robotiques bimanuelles ou des humanoïdes appelés à manipuler des objets dans des environnements non structurés, un des écarts persistants entre les démonstrations en vidéo et la réalité opérationnelle. Le papier s'inscrit dans une double lignée de recherche déjà bien établie séparément, les modèles de diffusion pour la génération de prises robustes d'un côté, les modèles à base d'énergie pour la planification de trajectoires sous contraintes de l'autre, que BiCompoDiff cherche à faire converger de façon compositionnelle. Les gains annoncés (20%, 37%) sont mesurés contre des baselines d'échantillonnage qualifiées de "fortes" sans détail sur leur nature exacte, une réserve à garder en tête tant que le papier n'a pas été revu par les pairs ni testé par d'autres équipes. Aucune entreprise ni plateforme robotique commerciale n'est citée, il s'agit d'un travail académique pur à ce stade, sans indication de mise en oeuvre sur un produit ou une ligne de déploiement. Les suites logiques attendues seraient une évaluation sur du matériel bimanuel plus divers, une comparaison directe avec des méthodes de planification classiques utilisées en industrie, et potentiellement une intégration dans des piles de manipulation robotique plus larges.

RecherchePaper
1 source
Un bras observe l'autre : coopération multi-agents dynamique pour une manipulation bimanuelle efficiente en environnement dynamique
2arXiv cs.RO 

Un bras observe l'autre : coopération multi-agents dynamique pour une manipulation bimanuelle efficiente en environnement dynamique

Des chercheurs ont présenté DynaMAC (Dynamic Multi-Agent Cooperation), un framework léger et agnostique aux politiques d'apprentissage, conçu pour la manipulation robotique bimanuelle et les environnements dynamiques. Contrairement aux politiques multi-flux classiques, qui modélisent les actions par rapport à des repères environnementaux supposés fixes, DynaMAC traite le bras opposé comme un paramètre de tâche dynamique, ce qui unifie la manipulation d'objets en mouvement et la coordination à deux bras sans imposer de relation explicite leader-suiveur. Pour évaluer l'approche, l'équipe a aussi introduit DynaBench, un nouveau benchmark dédié à la manipulation en environnement dynamique. Sur l'ensemble des tâches testées, dynamiques et bimanuelles, DynaMAC dépasse les meilleures méthodes probabilistes et génératives de plus de 35 points de pourcentage tout en nécessitant 20 fois moins d'exemples d'entraînement. Le système généralise aussi en zero-shot: entraîné uniquement sur des démonstrations statiques, il fonctionne directement dans des environnements dynamiques sans données supplémentaires. Ce résultat s'attaque à un angle mort connu des politiques VLA (vision-language-action) et des architectures multi-flux: leur efficacité d'échantillonnage repose sur l'hypothèse que le référentiel de la tâche est exogène, une hypothèse qui s'effondre dès qu'un bras manipule un objet mobile ou que deux bras interagissent, chacun devenant alors partie de l'environnement dynamique de l'autre. En résolvant cette limite causale sans sacrifier la vitesse de calcul ni la flexibilité, DynaMAC répond à un problème concret pour les intégrateurs qui cherchent à déployer des robots bimanuels en usine ou en logistique, où la collecte de données réelles en environnement mobile reste coûteuse et lente. Le travail s'inscrit dans la lignée des recherches récentes sur les politiques de manipulation type Pi-0 ou GR00T N2, qui cherchent à réduire la dépendance aux volumes massifs de démonstrations téléopérées. En simplifiant la collecte de données, via une généralisation depuis des démonstrations statiques, DynaMAC ouvre une piste vers une collaboration homme-robot plus directe, où le bras humain ou un second bras robotique serait traité nativement comme partie du contexte dynamique de la tâche plutôt que comme une perturbation à corriger.

RecherchePaper
1 source
Modèles du monde à apprentissage en contexte pour la manipulation bimanuelle de vêtements souples avec observations partielles
3arXiv cs.RO 

Modèles du monde à apprentissage en contexte pour la manipulation bimanuelle de vêtements souples avec observations partielles

Des chercheurs publient sur arXiv (2610.30988) un « Soft-Object World Model », un modèle du monde conçu pour la manipulation bimanuelle d'objets déformables, avec le pliage de vêtements comme cas d'usage. Le modèle repose sur un backbone transformer entraîné sur un grand volume d'interactions simulées avec des objets souples, avec des mesures pour réduire l'écart sim-to-real. À partir d'un historique de nuages de points partiels de longueur variable, il estime l'état complet du vêtement de façon générative et prédit l'évolution de cet état en fonction des actions du robot. Il infère la forme et les propriétés matérielles par apprentissage en contexte (in-context learning), sans mise à jour des poids. Il est couplé à un planificateur d'actions conditionné par un objectif, qui synthétise les mouvements. Les auteurs valident l'approche en simulation et sur robot réel pour le pliage bimanuel, et annoncent de meilleurs résultats en fidélité de reconstruction, précision de prédiction et taux de réussite. Le résumé ne donne aucun chiffre, ni sur les gains, ni sur les robots utilisés, ni sur le nombre d'essais réels. L'enjeu est la généralisation. Le linge a un espace d'état de très grande dimension et des déformations qui dépendent du matériau, ce qui fait échouer les politiques apprises sur un seul type de vêtement. Les auteurs affirment que le modèle transfère entre morphologies de robot, paramètres matériels, types de vêtements et modes de coordination des deux bras, sans réentraînement. Si cela se confirme hors du laboratoire, la collecte de données réelles, très coûteuse pour ces tâches, deviendrait moins limitante. Ce serait un argument de plus pour la simulation à grande échelle comme source principale de données en manipulation déformable. Il faut cependant attendre les métriques détaillées, les tâches testées au-delà du pliage et la robustesse aux occlusions réelles avant de conclure. Ce travail s'inscrit dans la course aux modèles de fondation pour la manipulation. Les démonstrations de pliage de linge par des politiques VLA (vision-langage-action) comme Pi-0 de Physical Intelligence ont montré la faisabilité d'une approche par imitation sur données réelles. Cette approche reste gourmande en démonstrations téléopérées. L'alternative proposée ici est un modèle prédictif explicite, utilisable pour la planification, dont la valeur dépend de la qualité du transfert vers le réel. Il s'agit d'une publication de recherche sans produit ni déploiement annoncé, et aucun acteur français ou européen n'y est cité. La suite logique serait une comparaison directe avec les politiques VLA sur les mêmes tâches, puis des tests sur d'autres objets souples, ce qui intéresserait la logistique textile et les robots de service.

RecherchePaper
1 source
RetrDex : récupération efficace d'objets dans des environnements encombrés avec une main dextérique
4arXiv cs.RO 

RetrDex : récupération efficace d'objets dans des environnements encombrés avec une main dextérique

RetrDex est un framework de recherche publié sur arXiv (référence 2502.18423, troisième révision) dont l'objectif est d'apprendre à un système bras-main dextre à récupérer des objets enfouis sous un empilement d'autres objets. L'approche repose sur du reinforcement learning (RL) parallèle à grande échelle conduit en simulation, couplé à une représentation spatiale qui encode les patterns d'occlusion ainsi que les relations géométriques entre la cible, la main multi-doigts et les objets alentour. La politique résultante développe un répertoire de gestes, poussée, agitation et piquage (poking), pour dégager activement les obstacles avant ou pendant la saisie. Évalué sur 16 objets ménagers courants dans des configurations variées, le système affiche de bonnes performances sur des cibles vues en entraînement comme sur des cibles inédites. Un transfert zero-shot vers un robot réel multi-doigts est revendiqué, sans fine-tuning supplémentaire. La récupération d'objets en scène encombrée est un problème ouvert en manipulation robotique : les approches classiques décomposent la tâche en étapes séquentielles indépendantes (retirer les objets qui gênent un par un, puis saisir), ce qui génère des séquences longues et peu robustes aux variations. RetrDex intègre ces interactions physiques directement dans la politique de récupération, réduisant potentiellement le nombre de mouvements nécessaires. La revendication la plus notable reste le zero-shot sim-to-real sur une main dextre : ce type de transfert est notoirement difficile à cause de la complexité des contacts multi-doigts et du gap dynamique entre simulation et réalité physique. Si les résultats tiennent à l'examen approfondi, cela renforce la thèse que le RL massivement parallèle en simulation peut généraliser sur du matériel réel pour des tâches de manipulation en espace contraint, sans données réelles supplémentaires. Le papier s'inscrit dans une tendance forte : utiliser le RL en simulation à très grande échelle pour entraîner des politiques de manipulation dextre, une direction explorée par des équipes de Berkeley (DexGraspNet), Stanford et, côté industriel, par des acteurs comme Unitree ou Agility Robotics sur leurs propres mains multi-doigts. Les méthodes concurrentes récentes, graphes de relations de support ou planification séquentielle avec contraintes géométriques, adoptent des stratégies que RetrDex cherche à dépasser en termes d'efficacité. Soumis initialement en février 2025 et révisé jusqu'en 2026, le travail n'annonce pas de code open-source dans son résumé, ce qui limite les possibilités de réplication à court terme. Les suites naturelles seraient des tests sur objets déformables, une extension à des charges utiles plus importantes et une intégration dans une chaîne logistique ou un poste d'assemblage industriel réel.

RecherchePaper
1 source