Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Prédiction d'occupation sémantique multimodale panoramique pour robots quadrupèdes
RecherchearXiv cs.RO 

Prédiction d'occupation sémantique multimodale panoramique pour robots quadrupèdes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent PanoMMOcc, premier jeu de données réel d'occupation sémantique multimodale panoramique conçu pour des robots quadrupèdes, réunissant quatre modalités de capteurs collectées dans des scènes variées. A partir de ce jeu de données, l'équipe propose VoxelHound, un framework de perception d'occupation adapte a la locomotion sur pattes et a l'imagerie sphérique a 360 degrés. Il repose sur deux modules : Vertical Jitter Compensation (VJC), qui corrige les perturbations de point de vue provoquées par le tangage et le roulis du corps pendant la marche, et Multimodal Information Prompt Fusion (MIPF), qui fusionne les indices visuels panoramiques avec les modalités auxiliaires pour affiner la prédiction volumétrique. Sur le benchmark établi a partir de PanoMMOcc, VoxelHound revendique des résultats état de l'art avec un gain de +4.16 points de mIoU par rapport aux méthodes existantes. Le jeu de données et le code source doivent être publies sur le dépôt GitHub SXDR/PanoMMOcc, référençant le papier sous l'identifiant arXiv 2603.13108, dans une version révisée.

L'enjeu tient au fait que les méthodes de prédiction d'occupation actuelles ont été conçues pour des véhicules a roues et reposent lourdement sur des indices RGB, une approche mal adaptee aux robots a pattes dont le corps oscille verticalement a chaque cycle de marche, dégradant la cohérence spatiale des modèles existants. En fournissant le premier jeu de données réel et un benchmark spécifiques a ce cas d'usage, ce travail comble un manque concret pour les intégrateurs qui cherchent a déployer des quadrupèdes dans des environnements dynamiques comme des entrepôts ou des chantiers extérieurs. Le gain de +4.16 en mIoU reste toutefois une mesure interne, évaluée sur le benchmark propre des auteurs, sans comparaison indépendante tierce a ce stade.

La prédiction d'occupation 3D s'est surtout développée dans le contexte de la conduite autonome, avec des architectures pensées pour des plateformes a roues stables et des rigs multi-cameras fixes. L'essor de plateformes quadrupèdes commerciales, capables de franchir des terrains irréguliers, a mis en évidence l'absence d'outils de perception robustes a ce type de mouvement non rigide. La publication conjointe du dataset et du code vise a faciliter les recherches futures sur la perception 3D multimodale panoramique pour les systèmes robotiques incarnes. Il s'agit pour l'instant d'un travail de recherche académique, sans annonce de déploiement industriel ni de partenaire commercial associe.

Dans nos dossiers

arXiv cs.RO

À lire aussi

L'AquaJEPA, des représentations prédictives multimodales conditionnées par action pour la dynamique des robots sous-marins
1arXiv cs.RO 

L'AquaJEPA, des représentations prédictives multimodales conditionnées par action pour la dynamique des robots sous-marins

AquaJEPA est un nouveau modèle prédictif conditionné par l'action, conçu pour la navigation de robots sous-marins en conditions dégradées. Le système fusionne trois sources de données, une caméra RGB, un sonar frontal et la proprioception, avec un indicateur explicite de validité de chaque capteur, puis prédit une représentation latente future à partir des commandes envoyées aux huit propulseurs du véhicule. Ces prédictions de vitesse et de profil sonar alimentent ensuite un planificateur à horizon glissant partagé. L'équipe a testé la méthode dans le simulateur Stonefish, face à cinq approches concurrentes (contrôle réactif, modèle état seul, multimodal ordinaire, dynamique supervisée, modèle du monde récurrent), avec une réplication préenregistrée sur 120 environnements croisant trois cartes d'obstacles inédites, quatre niveaux de turbidité de l'eau et des dynamiques nominales ou décalées, incluant des pertes intermittentes du DVL (loch Doppler). Résultat: sur 120 environnements inédits avec perte programmée du DVL, AquaJEPA atteint son objectif dans 74 cas, contre 68 pour le modèle état seul et pour le modèle du monde récurrent, avec l'erreur finale moyenne la plus faible (0,906 m). Les réductions d'erreur par rapport au multimodal ordinaire, à la dynamique supervisée et au modèle récurrent sont respectivement de 0,273 m, 0,364 m et 0,106 m, toutes statistiquement significatives; l'avantage sur le modèle état seul reste en revanche non tranché statistiquement. L'enjeu dépasse la simple performance en simulation: les robots sous-marins autonomes opèrent dans des conditions où la fiabilité des capteurs varie brutalement selon la turbidité, l'angle de vue ou les mouvements du véhicule, un problème classique de navigation dégradée que peu de modèles de monde traitent explicitement avec fusion multimodale conditionnée par capteur valide. Ce travail apporte une preuve empirique, avec intervalles de confiance et ablations sur la cible EMA, la marge d'action et le dropout de modalité, que l'architecture JEPA (joint-embedding prédictive architecture) tient face à des baselines établies en robotique sous-marine, un terrain où la littérature reste plus rare que pour les manipulateurs terrestres. AquaJEPA s'inscrit dans la lignée des architectures JEPA popularisées par les travaux de Yann LeCun sur l'apprentissage de représentations prédictives sans reconstruction pixel par pixel, ici adaptées à un cas d'usage robotique concret et multimodal. L'étude reste cantonnée à la simulation Stonefish; la validation en conditions réelles, en mer ou en bassin, constitue l'étape suivante logique pour confirmer que les gains observés résistent au bruit et aux dérives physiques d'un déploiement effectif.

RecherchePaper
1 source
Coordination continue de robots quadrupèdes par découverte de compétences sémantiques
2arXiv cs.RO 

Coordination continue de robots quadrupèdes par découverte de compétences sémantiques

Des chercheurs ont publié sur arXiv (réf. 2606.08102) un framework appelé Conquer, conçu pour coordonner des équipes de robots quadrupèdes en apprentissage continu, c'est-à-dire sans avoir à réentraîner le système à chaque nouvelle tâche. L'approche repose sur une bibliothèque de compétences sémantiques organisée autour d'un cycle récupérer-adapter-mettre à jour : avant d'exécuter une tâche inconnue, le système construit un descripteur sémantique à partir des informations pré-exécution, retrouve la compétence la plus proche dans la bibliothèque, l'adapte, puis intègre les trajectoires réelles pour enrichir la base. Le backbone SAG (Self-Allies-Goal) permet de gérer des équipes de taille variable en modélisant explicitement l'état propre de chaque robot, le contexte de ses coéquipiers et l'objectif de la tâche. En simulation, Conquer atteint un taux de succès moyen final de 95,6 %, avec un transfert positif démontré vers de nouvelles tâches et un oubli catastrophique qualifié de négligeable. Des essais en conditions réelles ont été conduits sur des équipes de Unitree Go2, le quadrupède commercial d'Unitree Robotics. Ce résultat compte parce qu'il s'attaque à l'un des verrous fondamentaux de la robotique multi-agents : les méthodes de type MARL (apprentissage par renforcement multi-agents) existantes entraînent des politiques spécifiques à une famille de tâches fermée, ce qui les rend inutilisables dans des environnements industriels où les missions évoluent en permanence. Conquer propose une alternative où de nouvelles compétences de coordination s'accumulent sans effacer les précédentes, un prérequis pour tout déploiement réel dans des entrepôts ou sur des lignes de production à géométrie variable. La capacité à gérer des équipes de taille arbitraire est également non triviale : la plupart des approches supposent un nombre fixe d'agents. À noter cependant que les métriques de succès sont issues de simulation, et que les vidéos de déploiement sur Go2 restent des démonstrations sélectionnées, sans données quantifiées sur les taux d'échec terrain ni sur les temps de cycle réels. La coordination multi-quadrupèdes s'est intensifiée avec la disponibilité de robots comme le Go2 d'Unitree (lancé à moins de 2 700 dollars en version grand public), qui abaisse le coût d'expérimentation en laboratoire. La problématique de l'apprentissage continu en robotique est partagée par plusieurs groupes de recherche, notamment autour des architectures VLA (Vision-Language-Action) qui cherchent elles aussi à éviter la réinitialisation à chaque nouvelle tâche. Conquer se positionne dans un espace encore peu industrialisé, entre les approches MARL classiques et les frameworks généralistes de type foundation model. Les prochaines étapes logiques seraient des évaluations en entrepôt réel sur des tâches de manutention collaboratives, domaine où des acteurs comme Exotec (France) ou Boston Dynamics investissent sur des flottes mixtes humanoïdes et quadrupèdes.

RecherchePaper
1 source
M2R2 : représentation robotique multimodale pour la segmentation temporelle des actions
3arXiv cs.RO 

M2R2 : représentation robotique multimodale pour la segmentation temporelle des actions

Des chercheurs ont publié fin avril 2025 sur arXiv (2504.18662) un extracteur de représentations multimodal baptisé M2R2 (MultiModal Robotic Representation for Robotic TAS), conçu pour la segmentation temporelle d'actions (TAS) en robotique. L'approche combine des informations proprioceptives (encodeurs, capteurs force-couple, état des articulations) et extéroceptives (caméras RGB) dans un extracteur de features commun, accompagné d'une stratégie d'entraînement inédite permettant la réutilisation de ces représentations sur plusieurs architectures de segmentation indépendantes. Les résultats annoncés positionnent M2R2 à l'état de l'art sur trois jeux de données de référence en robotique : REASSEMBLE (assemblage de composants), (Im)PerfectPour (versage de liquide) et JIGSAWS (chirurgie robotique laparoscopique simulée). Une étude d'ablation extensive quantifie la contribution respective de chaque modalité. L'intérêt principal de M2R2 réside dans la modularité de son extracteur : les approches multimodales existantes en robotique fusionnaient les modalités directement à l'intérieur du modèle de segmentation, rendant les features non réutilisables entre architectures. Ici, le découplage extracteur/modèle de TAS ouvre la voie à une bibliothèque de représentations partageable, ce qui réduit le coût de réentraînement lors du changement de tâche ou de robot. Sur les scénarios à faible visibilité d'objet, les extracteurs purement visuels issus du computer vision chutent en performance, là où l'ajout de la proprioception maintient la robustesse. C'est un résultat concret sur la fragilité des approches vision-seule dans des environnements industriels ou chirurgicaux réels, où occlusions et éclairage variable sont la norme. La segmentation temporelle d'actions est un verrou historique pour l'autonomie des robots manipulateurs : sans identifier les frontières entre skills (saisir, aligner, visser...), il est impossible de planifier, corriger ou réutiliser des séquences de gestes. En chirurgie robotique, JIGSAWS est le benchmark de référence depuis 2016, utilisé notamment dans les travaux autour des plateformes da Vinci (Intuitive Surgical). En robotique industrielle, des acteurs comme Wandercraft ou les équipes de manipulation de Boston Dynamics s'appuient sur des approches similaires pour les transitions de phases motrices. M2R2 reste à ce stade une contribution de recherche académique sans déploiement industriel annoncé, mais son extracteur réutilisable représente un candidat sérieux pour des pipelines d'imitation learning dans lesquels labelliser chaque skill manuellement est le principal goulot d'étranglement.

UEL'extracteur modulaire M2R2 pourrait bénéficier aux équipes de manipulation françaises (notamment Wandercraft) en réduisant le coût de labellisation dans les pipelines d'imitation learning, mais reste une contribution académique sans déploiement industriel annoncé.

RecherchePaper
1 source
Contrôle Prédictif Non Linéaire Multi-Fréquences pour la Locomotion Bipède Appuyée au Mur de Robots Quadrupèdes
4arXiv cs.RO 

Contrôle Prédictif Non Linéaire Multi-Fréquences pour la Locomotion Bipède Appuyée au Mur de Robots Quadrupèdes

Cette étude, publiée sur arXiv le 1er juillet 2607 (arXiv:2607.01574), présente un nouveau cadre de contrôle baptisé MR-NMPC (commande prédictive non linéaire multi-cadence) permettant à un robot quadrupède d'adopter une locomotion bipède partiellement assistée par un mur, dans des environnements confinés. Le système repose sur deux niveaux : en haut, le MR-NMPC planifie simultanément les points de contact discrets et les trajectoires continues du centre de masse et de l'orientation du robot, à partir d'un modèle dynamique de corps rigide unique (SRB) ; en bas, un contrôleur de corps complet (WBC) non linéaire, basé sur des contraintes virtuelles et un programme quadratique, traduit ces références en commandes moteur tout en respectant la dynamique complète du système. Les auteurs ont validé leur approche exclusivement par simulation numérique, sur un robot quadrupède Unitree A1, en terrain accidenté et soumis à des perturbations externes. Résultat chiffré : le MR-NMPC atteint un taux de réussite 2,9 fois supérieur à celui d'un MPC classique combiné à un placement de pied heuristique, notamment à haute vitesse sur terrain irrégulier. L'intérêt pratique dépasse la prouesse académique : faire tenir un quadrupède en appui partiel sur un mur pour libérer ou stabiliser ses pattes ouvre la voie à des manœuvres dans des couloirs étroits, des échafaudages ou des zones sinistrées, là où la locomotion quadrupède classique manque de portée verticale. Cela confirme aussi qu'une planification conjointe des contacts et de la trajectoire, plutôt qu'une heuristique de pose de pied, réduit nettement les échecs dynamiques en conditions difficiles, un argument technique plus qu'une démonstration marketing. Le travail s'inscrit dans la lignée des recherches sur le contrôle prédictif des robots à pattes, où Unitree A1 sert de plateforme de référence académique peu coûteuse. Contrairement aux annonces produits d'acteurs comme Boston Dynamics ou ANYbotics, il s'agit ici d'une contribution de recherche en simulation, sans validation matérielle réelle annoncée : la prochaine étape logique serait un déploiement physique sur robot pour confirmer la robustesse observée in silico.

RecherchePaper
1 source