Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

MMGNet : synthèse de préhensions multimodales à 6 DoF pour les scènes encombrées

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

MMGNet est un réseau de synthèse de prises 6-DoF (position et orientation de la pince dans l'espace) destiné aux scènes encombrées. Il fusionne nuages de points et images RGB, et fait l'objet d'un preprint arXiv dont le code, les modèles et les données ne seront publiés qu'après acceptation. Deux modules en constituent le cœur. Une injection hiérarchique intègre des caractéristiques d'image multi-échelles pendant toute la construction de la représentation 3D. Un module de « graspness rotationnelle » prédit conjointement la direction d'approche et la rotation dans le plan, puis organise les caractéristiques locales par regroupement guidé par la prise. Les ablations indiquent que les deux modules apportent des gains complémentaires. Sur GraspNet-1Billion avec capteur RealSense, MMGNet atteint un AP moyen de 60,34, devant toutes les méthodes comparées. En conditions réelles, sur des objets dits adversariaux (difficiles à saisir), le taux de réussite dépasse celui d'AnyGrasp de 8,46 points de pourcentage.

Le résultat touche un point faible connu de la préhension pilotée par nuage de points. Les capteurs de profondeur produisent des données bruitées, incomplètes et lissées à l'excès, surtout sur les objets fins, réfléchissants ou transparents. Le RGB apporte des contours et des régions d'objets que la géométrie seule perd. Pour un intégrateur de dépalettisation ou de picking en vrac, l'enjeu est une meilleure robustesse sur des pièces difficiles, sans changer de capteur. Les chiffres appellent toutefois de la prudence. L'AP sur benchmark ne garantit pas le taux de succès en cellule, et l'abstract ne précise ni le nombre d'objets ni celui d'essais du test réel. On ignore aussi si les 8,46 points sont significatifs statistiquement. Le comparatif avec un seul concurrent industriel, AnyGrasp, reste limité, et aucune latence d'inférence n'est donnée. Or elle conditionne les temps de cycle.

Ce travail s'inscrit dans la lignée du jeu de données GraspNet-1Billion, devenu la référence de la préhension au niveau de la scène, et des approches fondées sur la « graspness », qui ciblent d'abord les zones propices à la prise. AnyGrasp, issu du même écosystème de recherche, sert de base de comparaison commerciale. La tendance est à la fusion multimodale, en concurrence avec les approches de type VLA (modèles vision-langage-action), plus généralistes mais rarement évaluées sur la précision de prise fine. La suite dépend de la publication du code, qui permettra une reproduction indépendante, notamment sur d'autres capteurs et en environnement industriel.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

OmniDex : passage à l'échelle de la préhension à main dextérique dans des scènes encombrées variées
1arXiv cs.RO 

OmniDex : passage à l'échelle de la préhension à main dextérique dans des scènes encombrées variées

Des chercheurs publient sur arXiv (2610.11194) OmniDex, un benchmark et un modèle de préhension dextre pour scènes encombrées. Le jeu de données couvre plus de 2,6 millions de scènes et 0,4 milliard de vérités terrain de prises (« grasp ground truths ») spécifiques à chaque scène. Les auteurs ont d'abord sélectionné des objets 3D de haute qualité ainsi que des supports (tables, étagères et autres bases d'appui). Ils ont ensuite généré les scènes avec une stratégie « seed-and-filter » : on génère des agencements candidats, puis on filtre ceux qui sont physiquement valides. Cela évite l'optimisation lente, scène par scène, qui limitait jusqu'ici le passage à l'échelle. Chaque scène est associée à des observations sémantiques et géométriques riches. Le modèle OmniDex est génératif. Il combine un apprentissage « Soft Winner-Takes-All », qui traite la multimodalité des prises (plusieurs saisies valides pour un même objet), avec des contraintes physiques inspirées de la main humaine pendant l'entraînement. À l'inférence, un classement piloté par la physique sélectionne la meilleure prise, sans étape d'optimisation a posteriori. Les auteurs annoncent des performances à l'état de l'art et une bonne généralisation à travers des scènes, des points de vue et des objets inconnus. Pour l'industrie, l'enjeu est la donnée. La préhension dextre est la brique de base des humanoïdes et des manipulateurs à main articulée, mais la collecte réelle coûte cher et les jeux de données en simulation portaient surtout sur des objets isolés, alors que les cas d'usage (bacs, étagères, postes de tri) sont encombrés. Un corpus de cette taille, produit sans optimisation par scène, suggère que la simulation peut fournir des volumes comparables à ceux de la vision par ordinateur. La suppression de la post-optimisation compte aussi pour les intégrateurs, car cette étape ajoute de la latence au temps de cycle. Il faut toutefois rester prudent. L'étude est un preprint, et les résultats sont mesurés en simulation. Le papier ne fournit, dans ce résumé, ni taux de réussite chiffrés, ni validation sur matériel réel, ni temps d'inférence. Le fossé sim-to-real reste donc la vraie question, notamment pour la « précision du dernier millimètre » que les auteurs jugent défaillante chez les modèles génératifs actuels. Ce travail s'inscrit dans une série de benchmarks de préhension à grande échelle, qui ont d'abord traité les pinces parallèles puis les mains dextres sur objets seuls. Les modèles génératifs (diffusion, flow matching) y dominent, mais ils souffrent de prises imprécises qui exigent un affinage coûteux. OmniDex veut montrer qu'un classement physique peut remplacer cet affinage. Les acteurs concurrents sont les équipes qui préparent des politiques VLA pour humanoïdes et mains dextres, comme Figure avec Helix, NVIDIA avec GR00T ou Physical Intelligence avec Pi-0. Elles pourraient exploiter ce type de données comme pré-entraînement ou comme module de préhension. Aucun calendrier de diffusion du code ou du jeu de données n'est précisé ici. Le test décisif sera une démonstration sur main réelle en bac encombré, avec des taux de réussite publiés.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
M3GD : une diffusion géométrique multimodale et multi-vue pour la synthèse de nouvelles vues caméra-LiDAR
2arXiv cs.RO 

M3GD : une diffusion géométrique multimodale et multi-vue pour la synthèse de nouvelles vues caméra-LiDAR

M3GD (Multi-Modal Multi-View Geometric Diffusion), publié sur arXiv le 25 septembre 2026, est une méthode de synthèse de nouvelles vues combinant caméra et LiDAR, là où la plupart des approches génératives existantes reposent uniquement sur l'image. Le système assemble des modèles de fondation 2D et 3D pré-entraînés séparément, sans traducteur cross-modal dédié : après projection caméra, les features LiDAR et image figées partagent déjà une structure spatiale commune exploitable. Des statistiques géométriques et des descripteurs de nuages de points, regroupés en paquets alignés sur la vue, sont injectés via un adaptateur résiduel léger dans un générateur multi-vues par flow-matching, sans modifier son espace latent, ses décodeurs ni son objectif d'entraînement. Sur le jeu de données GrandTour, M3GD améliore la synthèse RGB et de profondeur par rapport à une version image seule du même modèle, et a été déployé sur un robot terrestre, avec un compromis qualité/coût réglable via le nombre d'étapes d'intégration d'Euler. L'enjeu dépasse la curiosité académique : les rendus génératifs de synthèse de vues purement image peuvent paraître réalistes tout en étant géométriquement faux, un défaut rédhibitoire quand ces vues nourrissent l'entraînement, la simulation ou la navigation d'un robot. En démontrant que des features LiDAR et image pré-entraînées séparément partagent déjà une structure spatiale exploitable sans réentraînement lourd, M3GD ouvre une voie économique pour fusionner des capteurs hétérogènes dans des pipelines génératifs existants plutôt que de reconstruire des architectures dédiées, un argument qui parle directement aux équipes de perception multi-capteurs en robotique industrielle. Le travail s'inscrit dans la lignée des générateurs multi-vues par flow-matching, famille de modèles de diffusion déjà utilisée pour la synthèse de vues en robotique, jusque-là cantonnée aux données caméra. Le papier ne cite aucun concurrent commercial et reste une contribution de recherche académique, sans produit ni pilote industriel annoncé. Sa validation se limite au jeu de données GrandTour et à un unique déploiement sur robot terrestre, sans calendrier d'intégration commerciale communiqué, ce qui situe M3GD au stade de preuve de concept plutôt que de solution prête à l'industrialisation.

RecherchePaper
1 source
Apprentissage continu pour la synthèse de saisies à 6 DOF à partir de l'expérience et de démonstrations
3arXiv cs.RO 

Apprentissage continu pour la synthèse de saisies à 6 DOF à partir de l'expérience et de démonstrations

Des chercheurs publient sur arXiv (identifiant 2610.01301) un cadre d'apprentissage continu pour la synthèse de prises 6-DoF avec une pince parallèle, à partir d'une seule vue, dans des scènes encombrées. Leur méthode n'ajuste pas un grand modèle paramétrique. Elle adapte le système par une mémoire située dans un espace d'embedding appris. Les résultats de chaque tentative de saisie modifient les scores des prises futures. Des démonstrations fournies par l'utilisateur, facultatives, sont rappelées puis transférées vers de nouvelles scènes, où elles deviennent des prises candidates supplémentaires. L'évaluation combine simulation et expériences réelles, avec plus de 1500 essais de saisie. Selon les auteurs, le système égale les références 6-DoF existantes avant toute adaptation. Il progresse en ligne sur des objets inconnus, issus de catégories absentes ou sous-représentées à l'entraînement. Il tient un apprentissage continu sur le long terme avec peu d'oubli. Sur plusieurs catégories d'objets difficiles, il dépasse 90 % de réussite après seulement 50 tentatives en ligne. La vidéo et le code sont publiés sur la page du projet. Ce résultat s'attaque à un point faible de la manutention robotisée. La plupart des systèmes de saisie sont entraînés hors ligne puis figés au déploiement. Leurs performances baissent dès que les conditions s'écartent des données d'entraînement, par exemple avec une référence jamais vue dans un bac de e-commerce ou de logistique. Passer par une mémoire plutôt que par un réglage fin évite de réentraîner un gros modèle sur site. Cela limite le coût de calcul, le risque de régression et l'oubli catastrophique. Pour un intégrateur, 50 essais représentent quelques heures de fonctionnement. Un robot pourrait donc s'améliorer seul sur son assortiment réel, sans cycle de collecte et de réentraînement. Le canal de démonstrations donne aussi à un opérateur non spécialiste un moyen simple de corriger un échec. Il faut toutefois rester prudent. Il s'agit d'un preprint, pas encore évalué par les pairs. Les chiffres ne couvrent que quelques catégories choisies, sans information dans le résumé sur la diversité des objets, les temps de cycle ou le matériel. Le travail concerne uniquement la saisie par pince parallèle, pas la manipulation dextre ni les humanoïdes. Il s'inscrit dans la lignée des méthodes de saisie 6-DoF apprises, comme Contact-GraspNet et ses successeurs, et des modèles vision-langage-action généralistes. Ceux-ci restent en grande partie figés après l'entraînement. Cette approche à mémoire y ajoute une voie d'adaptation légère. La suite logique serait des essais en conditions industrielles, avec des cadences réelles et des assortiments variés.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
CoRef-GS : Splatting gaussien de référence coopératif pour la compréhension multi-agents de scènes
4arXiv cs.RO 

CoRef-GS : Splatting gaussien de référence coopératif pour la compréhension multi-agents de scènes

CoRef-GS, un framework de cartographie Gaussienne coopérative pour robots, a été décrit dans un article publié sur arXiv en septembre 2026 (référence 2609.20586). Le système répond à un cas concret : plusieurs robots construisent chacun une carte Gaussienne sémantique locale de leur environnement, et une fois ces cartes fusionnées, il faut pouvoir localiser un objet désigné en langage naturel même s'il n'a été observé que par un autre agent, tout en gardant les relations spatiales interprétées depuis le point de vue du robot qui pose la question. CoRef-GS construit d'abord des cartes Gaussiennes locales à vocabulaire ouvert et conscientes des instances, les aligne via un module d'alignement inter-agents combinant cohérence géométrique et sémantique, puis effectue le grounding grâce à un graphe de relations conditionné par la vue. Les auteurs introduisent aussi CoQuad-Ref, un benchmark reposant sur deux robots quadrupèdes et couvrant des scènes d'intérieur réelles et simulées : en simulation, l'erreur de rotation passe de 2,58 degrés après initialisation grossière à 0,15 degré après raffinement, et en conditions réelles le mIoU de référencement grimpe de 52,6% avec la méthode existante ReferSplat à 68,8% avec CoRef-GS. Code et benchmark doivent être publiés sur GitHub. Ce travail cible un verrou peu traité mais central pour les flottes de robots mobiles : faire coopérer plusieurs agents sur une carte sémantique commune sans perdre la capacité à traiter des instructions en langage naturel relatives et ambiguës. Les méthodes existantes de cartographie Gaussienne consciente du langage se limitent à l'interrogation d'une carte unique, tandis que les techniques de recalage Gaussien optimisent l'alignement géométrique ou photométrique sans préserver la compatibilité sémantique nécessaire au grounding, ce que CoRef-GS cherche justement à combiner. Les gains rapportés, une erreur de pose divisée par plus de quinze en simulation et un mIoU en hausse de seize points sur données réelles, restent issus d'un seul benchmark défini par les auteurs et demandent confirmation sur d'autres plateformes avant généralisation. Pour les intégrateurs qui déploient des flottes de robots mobiles ou quadrupèdes en entrepôt ou en bâtiment, l'enjeu démontré est réel : plusieurs unités doivent partager une compréhension cohérente de l'espace pour exécuter des instructions humaines sans recartographier chaque zone individuellement. CoRef-GS s'inscrit dans la lignée des cartes Gaussiennes sémantiques, ces représentations 3D Gaussian Splatting enrichies de features de langage développées pour le grounding dans des scènes reconstruites par un seul agent, limite que les auteurs identifient explicitement chez des approches comme ReferSplat, utilisée ici comme référence de comparaison. L'apport revendiqué est de déplacer ce paradigme vers un cadre multi-agent, testé sur des robots quadrupèdes plutôt que sur des humanoïdes ou des AMR à roues. Les auteurs annoncent la publication prochaine, en open source, du code et du benchmark CoQuad-Ref sur GitHub, ce qui permettra à la communauté de reproduire les résultats et de comparer d'autres méthodes de fusion de cartes sur le même protocole. Aucun calendrier de déploiement industriel n'est mentionné : le travail reste à ce stade une contribution de recherche académique, sans lien annoncé avec un acteur commercial.

RecherchePaper
1 source