Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Choisir quoi observer : représentations sémantico-géométriques adaptées à la tâche pour le contrôle visuomoteur
RecherchearXiv cs.RO48min

Choisir quoi observer : représentations sémantico-géométriques adaptées à la tâche pour le contrôle visuomoteur

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche propose une nouvelle interface d'observation pour les politiques visuomotrices en robotique, baptisée dans l'article « Choose What to Observe: Task-Aware Semantic-Geometric Representations for Visuomotor Policy » (arXiv:2603.07875v2). Le problème identifié est connu du secteur : les politiques apprises par démonstration à partir d'images RGB brutes surapprennent des détails visuels parasites (couleur des objets, fond de la scène) et deviennent fragiles dès que l'environnement change. La méthode proposée utilise SAM3 pour segmenter l'objet cible et le bras/pince du robot dans l'image, puis repeint ces éléments avec des couleurs sémantiques prédéfinies sur un fond constant, ce qui donne une observation dite L0. Pour les tâches nécessitant des indices géométriques plus fins, une couche supplémentaire injecte une carte de profondeur monoculaire générée par Depth Anything 3 dans les zones segmentées, produisant une observation combinée sémantique-géométrique appelée L1, qui reste une image standard à trois canaux. Les tests ont porté sur RoboMimic (tâche Lift), ManiSkill pour de la préhension d'objets YCB en environnement encombré, quatre tâches RLBench avec changements d'apparence contrôlés, et deux tâches réelles sur bras Franka (ReachX et CloseCabinet), avec deux architectures de politique : Flow Matching Policy et SmolVLA.

L'intérêt principal tient à ce que la méthode ne nécessite ni modification ni réentraînement de la politique existante : elle agit uniquement en amont, sur l'observation fournie au modèle. Pour les intégrateurs et équipes de recherche confrontés au fossé classique entre démonstrations en simulation et déploiement réel, c'est une piste low-cost pour améliorer la robustesse face aux changements de fond ou de couleur d'objets, sans repasser par un cycle d'entraînement coûteux.

Ce travail s'inscrit dans la lignée des recherches sur les politiques VLA (vision-langage-action) et leur généralisation hors distribution, un point faible régulièrement pointé dans les démonstrations de robots humanoïdes et bras manipulateurs. Il s'appuie sur des modèles de segmentation et de profondeur récents (SAM3, Depth Anything 3) plutôt que sur une architecture propriétaire, ce qui facilite potentiellement sa reproduction par d'autres laboratoires.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Représentations sémantiques et géométriques des tâches pour la manipulation bimanuelles : des démonstrations humaines à la planification robotique
1arXiv cs.RO 

Représentations sémantiques et géométriques des tâches pour la manipulation bimanuelles : des démonstrations humaines à la planification robotique

Des chercheurs ont publié une approche pour apprendre des représentations structurées de tâches bimanuelles directement à partir de démonstrations humaines, sans annotation manuelle des actions. Le système, baptisé représentation sémantique-géométrique par graphe, combine un encodeur de type Message Passing Neural Network (MPNN) avec un décodeur Transformer. L'encodeur opère sur un graphe de scène temporel : il capture les identités des objets, leurs relations sémantiques mutuelles et l'historique de leurs mouvements. Le décodeur, conditionné par le contexte d'action, prédit l'action suivante, les objets impliqués et leurs trajectoires. L'ensemble a été évalué sur onze tâches bimanuelles issues de deux jeux de données distincts, et déployé avec succès sur deux tâches réelles en boucle fermée, via un planificateur couplant les prédictions à des Probabilistic Movement Primitives (ProDMP). L'apport principal réside dans le découplage entre encodeur et décodeur : l'encodeur produit des représentations dites agnostiques à la tâche, réutilisables sur différents robots via un simple fine-tuning du décodeur sur un petit dataset robot. En pratique, cela réduit significativement le coût de ré-entraînement lors d'un changement de plateforme ou d'effecteur. Les résultats montrent que le bénéfice des représentations sémantiques-géométriques sur les modèles séquentiels plus simples s'accentue avec la variabilité des tâches : plus l'ordre des actions et les objets impliqués varient d'une exécution à l'autre, plus l'avantage est marqué. Le système surpasse des baselines incluant un Transformer pur, un décodeur seul, et des modèles vision-langage fine-tunés (VLM), ce qui est notable même si les benchmarks utilisés restent internes aux auteurs et non standardisés dans la communauté. Ce travail s'inscrit dans un effort plus large visant à combler le fossé entre manipulation bimanuelle en laboratoire et déploiement industriel, là où la reproductibilité d'exécutions variables reste un verrou. Il fait écho à des approches concurrentes comme les Vision-Language-Action models (VLA) de Google DeepMind ou les travaux sur les graphes de tâches de l'ETH Zurich, mais se distingue par son orientation vers le transfert inter-robots à faible coût de données. Les auteurs n'annoncent pas de partenaire industriel ni de timeline de déploiement commercial ; il s'agit d'un résultat académique, présenté en version révisée sur arXiv (v2, janvier 2026), dont les suites probables incluent une extension à des scènes plus encombrées et à des horizons de planification plus longs.

RecherchePaper
1 source
TASC : contrôle partagé adapté à la tâche pour la télémanipulation relationnelle
2arXiv cs.RO 

TASC : contrôle partagé adapté à la tâche pour la télémanipulation relationnelle

Des chercheurs ont présenté TASC (Task-Aware Shared Control), un cadre de contrôle partagé pour la télémanipulation relationnelle, publié en preprint sur arXiv (arXiv:2509.10416v2, soumis initialement en septembre 2025). Le système assiste un opérateur humain pilotant un bras robotique à distance lors de tâches impliquant des relations spatiales entre objets : insérer une fiche dans une prise, poser un objet sur un support, aligner des composants. TASC infère l'intention de l'utilisateur au niveau de la tâche à partir des seules commandes de mouvement brutes, sans templates de tâches prédéfinis. Il construit dynamiquement un graphe d'interactions à vocabulaire ouvert depuis l'entrée visuelle, puis utilise un modèle de vision-langage (VLM) pour prédire les contraintes spatiales guidant l'assistance durant la saisie et l'interaction avec les objets. Des expériences en simulation et en environnement réel montrent une meilleure efficacité des tâches et un effort opérateur réduit par rapport aux méthodes existantes. Le code est disponible en open source sur GitHub. Le résultat le plus significatif est la généralisation zéro-shot : TASC fonctionne sur des objets et des tâches jamais vus à l'entraînement, là où les frameworks concurrents reposent typiquement sur des templates figés ou des bases d'objets préenregistrées. En inférant l'intention depuis le mouvement seul, sans capteurs de force ni signaux d'intention explicites, le système abaisse la barrière d'intégration pour les applications industrielles et médicales où l'instrumentation supplémentaire est coûteuse ou impraticable. L'usage d'un VLM pour le raisonnement sur les contraintes spatiales s'inscrit dans la lignée des architectures VLA émergentes, en ciblant spécifiquement la couche de compréhension de scène sans requérir un pipeline de génération d'actions end-to-end complet. Le contrôle partagé pour la téléopération robotique est un champ actif depuis les années 1990, mais la généralisation à des tâches relationnelles ouvertes reste un problème non résolu. Les approches concurrentes s'appuient sur des affordances prédéfinies ou sur l'imitation par apprentissage profond, notamment dans les travaux des groupes de Chelsea Finn et Sergey Levine. TASC demeure une contribution académique sans partenariat industriel ni déploiement terrain annoncé. Les marchés cibles naturels incluent la chirurgie robotisée, l'assemblage de précision en microfabrication, et la téléopération en environnements dangereux. La validation logique suivante serait une évaluation sur des plateformes commerciales comme les bras Universal Robots ou Franka, avec des opérateurs réels hors contexte laboratoire.

RecherchePaper
1 source
VGP-Nav : perception géométrique visuelle adaptée aux métriques pour la navigation robotique
3arXiv cs.RO 

VGP-Nav : perception géométrique visuelle adaptée aux métriques pour la navigation robotique

Une équipe de chercheurs a présenté en juin 2026 VGP-Nav (arXiv:2606.09268), un cadre unifié permettant à un robot mobile de se localiser avec précision et de détecter des obstacles avec cohérence métrique en n'utilisant qu'une seule caméra RGB monoculaire standard. Contrairement aux systèmes de navigation conventionnels qui combinent caméras et capteurs actifs comme le LiDAR pour obtenir des mesures métriques fiables, VGP-Nav s'appuie exclusivement sur la vision monoculaire. L'architecture ancre la géométrie visuelle à des contraintes d'échelle physiquement significatives extraites de la géométrie du plan sol, ce qui permet de résoudre en ligne l'ambiguïté d'échelle inhérente à tout système monoculaire. Les expériences présentées couvrent des environnements variés et incluent un déploiement validé sur des robots mobiles réels. L'ambiguïté d'échelle est l'un des obstacles fondamentaux à la navigation monoculaire : une caméra seule ne peut pas distinguer un objet proche et petit d'un objet lointain et grand sans référence externe. Les approches classiques contournent ce problème avec du LiDAR (coûteux, encombrant, nécessitant une calibration spatio-temporelle complexe entre capteurs) ou des centrales inertielles, ce qui augmente le coût et la complexité des déploiements, notamment pour les flottes d'AMR en logistique ou en industrie. Si VGP-Nav tient ses promesses à l'échelle, il ouvre la voie à des robots mobiles autonomes basse consommation capables de naviguer en sécurité dans des environnements non structurés sans infrastructure sensorielle lourde, un enjeu critique pour les intégrateurs cherchant à réduire le coût total de possession. La navigation purement visuelle fait l'objet d'intenses recherches depuis la première génération de systèmes SLAM monoculaires comme ORB-SLAM (2015), mais la cohérence métrique restait leur talon d'Achille face au LiDAR. Des approches récentes basées sur la profondeur monoculaire apprise, Depth Anything, UniDepth, ou des architectures de localisation neuronale cherchent à combler cet écart, tandis que des acteurs comme Nvidia (Isaac Perceptor), Clearpath Robotics ou Slamtec intègrent progressivement davantage de vision dans leurs pipelines de navigation pour AMR. VGP-Nav reste à ce stade une contribution de recherche en pré-print : sa validité industrielle n'est pas encore confirmée par des benchmarks tiers indépendants sur des datasets standardisés comme nuScenes ou ScanNet, et aucun partenariat commercial ni calendrier de transfert technologique n'est annoncé.

UEPotentiel indirect pour les intégrateurs AMR européens si la technologie est validée industriellement, aucun partenariat commercial ni transfert vers l'Europe n'est annoncé à ce stade.

RecherchePaper
1 source
Apprentissage de compétences motrices transférables pour des tâches robotiques adaptées à la géométrie des surfaces
4arXiv cs.RO 

Apprentissage de compétences motrices transférables pour des tâches robotiques adaptées à la géométrie des surfaces

Des chercheurs ont déposé sur arXiv (référence 2605.24881) un cadre modulaire visant à améliorer la robotique de surface sur des tâches comme la peinture par pulvérisation ou le soudage. L'idée centrale : séparer la planification géométrique du chemin et l'exécution experte du mouvement, deux problèmes que les approches actuelles couplent trop étroitement. Le savoir-faire opérateur est formalisé comme un vocabulaire de règles motrices atomiques interprétables - scaling de vitesse, offsets d'orientation - appliquées en surcouche d'un chemin planifié classiquement. Un réseau de neurones multimodal apprend à inférer les paramètres de ces règles à partir de trajectoires cinématiques et de géométrie CAO. L'évaluation porte sur des objets en L et en forme de fenêtre en simulation dynamique, où le modèle extrait correctement les règles de vitesse et d'orientation sur les deux topologies. L'enjeu est direct pour les intégrateurs industriels : la peinture et le soudage robotisés restent des domaines où les opérateurs experts surpassent les robots sur la qualité de surface. Le principal apport de l'approche est la transferabilité géométrique - une limitation connue du learning from demonstration, où les modèles entraînés sur une pièce échouent généralement sur des géométries différentes. En découplant expertise et géométrie, le framework permet théoriquement d'appliquer des règles apprises sur une forme simple à des pièces variées sans réentraînement complet. La représentation interprétable par règles atomiques offre également un levier de validation pour les ingénieurs procédés, critère souvent déterminant en aéronautique et automobile où les certifications imposent une traçabilité des décisions système. Cette publication s'inscrit dans la lignée des travaux sur les primitives motrices (DMP, ProDMP) mais avec une couche d'inférence CAO explicite, une direction explorée aussi par des équipes à Berkeley, ETH Zurich et l'INRIA. À noter que l'évaluation reste entièrement en simulation - aucun résultat sur robot physique n'est présenté, ce qui limite les conclusions sur le transfert sim-to-real effectif. Les prochaines étapes naturelles seraient une validation sur bras 6-DOF (UR10, FANUC) et un test sur des surfaces courbées continues, bien plus représentatives des conditions industrielles réelles que les géométries à arêtes vives utilisées ici.

UELa recherche sur les primitives motrices transférables appliquées à la peinture et au soudage intéresse directement les intégrateurs robotiques européens (aéronautique, automobile), et l'INRIA travaille sur des directions similaires, mais l'absence totale de validation sur robot physique limite l'impact opérationnel immédiat.

RecherchePaper
1 source