RecherchearXiv cs.RO 12 juin 2026

Apprentissage de réseaux d'oscillateurs visuellement interprétables pour robots souples continus à partir de vidéos

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent sur arXiv (arXiv:2511.18322) une méthode entièrement data-driven pour apprendre la dynamique des robots souples continus (soft continuum robots, SCR) depuis la vidéo, sans connaissance a priori du système mécanique. Deux contributions structurent le travail : l'Attention Broadcast Decoder (ABCD), un module enfichable pour auto-encodeurs qui génère des cartes d'attention pixel-précises localisant la contribution de chaque dimension latente tout en filtrant les arrière-plans statiques ; et les Visual Oscillator Networks (VONs), un réseau d'oscillateurs 2D couplé à ces cartes permettant de visualiser directement sur l'image les masses apprises, la rigidité de couplage et les forces. Sur un robot à deux segments, ABCD réduit l'erreur de prédiction multi-pas de 5,8 fois pour les opérateurs de Koopman et de 3,5 fois pour les réseaux d'oscillateurs par rapport aux baselines sans ce module. Les VONs, laissés libres de s'organiser, font émerger de façon autonome une structure en chaîne d'oscillateurs, cohérente avec la topologie physique de l'objet.

L'enjeu n'est pas la performance brute mais l'interprétabilité mécanique, un verrou structurel pour le déploiement de modèles deep learning en robotique de précision. Les approches existantes imposent un choix binaire : modèle basé sur la physique, fidèle mais exigeant une conception manuelle et une connaissance a priori des matériaux ; ou modèle purement data-driven, flexible mais opaque. ABCD associé aux VONs rompt ce dilemme en produisant des représentations latentes spatialement ancrées, lisibles par un ingénieur et potentiellement exploitables pour la synthèse de lois de commande. Pour les intégrateurs actifs sur la manipulation douce (chirurgie assistée, assemblage de composants fragiles), disposer d'un modèle dynamique compact et vérifiable sans calibration physique représente un gain opérationnel concret.

Les SCR posent un problème de modélisation structurellement difficile : degrés de liberté théoriquement infinis, non-linéarités prononcées des matériaux (silicone, élastomères), et vision souvent seul capteur praticable en environnement non contrôlé. Les travaux antérieurs misaient principalement sur les opérateurs de Koopman pour linéariser la dynamique dans un espace latent, ou sur des réseaux récurrents sans garantie d'interprétabilité. Aucun acteur français ou européen n'est associé à cette publication, mais des équipes comme INRIA Defrost ou Pollen Robotics travaillent sur des problématiques adjacentes en robotique souple. Les auteurs mentionnent explicitement l'intégration en boucle de commande comme prochaine étape, sans annoncer de déploiement ni de timeline industrielle : il s'agit à ce stade d'un résultat de recherche validé en laboratoire, pas d'un produit expédié.

Dans nos dossiers

Pollen Robotics — Reachy arXiv cs.RO

À lire aussi

1arXiv cs.RO

CoMo : apprendre le mouvement latent continu depuis des vidéos internet pour un apprentissage robotique à grande échelle

Des chercheurs ont publié sur arXiv (référence 2505.17006, version 3) une méthode baptisée CoMo, pour "Continuous Motion", conçue pour extraire automatiquement des représentations continues du mouvement à partir de vidéos issues d'Internet, et les réutiliser comme étiquettes d'action pour entraîner des politiques robotiques. CoMo repose sur deux mécanismes distincts : une différence temporelle précoce (Td) appliquée en amont de l'encodeur pour rendre plus difficile l'apprentissage par raccourcis visuels (les modèles ont tendance à coder l'arrière-plan statique plutôt que le mouvement lui-même), et un apprentissage contrastif temporel (Tcl) qui construit des paires positives avec un décalage temporel réduit vers le futur, et des paires négatives en inversant la direction du temps. Le résultat est un espace latent continu, entraîné sur des vidéos à grande échelle, capable de générer des pseudo-étiquettes d'action pour des vidéos jamais vues en phase d'inférence. Des expériences en simulation et en conditions réelles montrent des gains de performance par rapport aux approches discrètes, aussi bien avec des architectures diffusion que autorégressives. L'enjeu industriel est direct : l'un des goulots d'étranglement du robot learning est la rareté des démonstrations téléopérées, coûteuses à collecter. Si une méthode peut extraire un signal d'action utilisable depuis des vidéos YouTube ou des caméras industrielles non étiquetées, elle réduit mécaniquement le coût de constitution des datasets. La contribution principale de CoMo face aux méthodes discrètes par quantification vectorielle (VQ) est de supprimer la perte d'information liée à la projection dans un codebook de petite taille, et surtout de combler le fossé de distribution entre un espace discret de tokens visuels et un espace d'actions continues à valeurs réelles, fossé qui pénalise l'apprentissage conjoint d'une politique unifiée. La généralisation zéro-shot annoncée est la prétention la plus forte : elle signifie que CoMo pourrait étiqueter des vidéos de nouveaux environnements ou tâches sans ré-entraînement, ce qui reste à valider sur des benchmarks standardisés ; l'abstract ne cite pas de métriques numériques précises. Ce travail s'inscrit dans un axe de recherche très actif depuis 2023, qui cherche à exploiter Internet comme source de supervision pour les robots, aux côtés de méthodes comme RT-2 de Google DeepMind, Pi-0 de Physical Intelligence, ou encore les travaux sur les VLA (Vision-Language-Action models) d'UC Berkeley et du MIT. Les approches discrètes concurrentes (type GROOT ou méthodes VQ-VAE appliquées à la vidéo) souffrent précisément des limitations que CoMo prétend résoudre. La prochaine étape naturelle serait une validation sur des benchmarks robotiques communautaires comme RLBench, LIBERO ou BridgeData V2, et un test à l'échelle de données réellement "internet-scale" pour confirmer si la généralisation zéro-shot tient face à la diversité des distributions visuelles du monde réel.

RecherchePaper

1 source

2arXiv cs.RO

Cadre d'apprentissage continu pour le contrôle adaptatif de robots souples modulaires

Une équipe de recherche propose un nouveau cadre de contrôle pour robots souples modulaires (Modular Soft Robots, MSR), basé sur les principes de l'apprentissage continu, selon un article publié sur arXiv le 7 juillet 2026 (arXiv:2607.06740v1). Les MSR sont des systèmes composés de plusieurs segments interconnectés, hautement déformables et reconfigurables, utilisés notamment en intervention médicale, en rééducation et en manipulation robotique. Le problème que résout ce travail est concret : jusqu'ici, changer la morphologie d'un MSR obligeait à réentraîner entièrement son contrôleur, faute de pouvoir réutiliser les connaissances acquises sur les configurations précédentes. Le framework proposé permet au contrôleur d'apprendre séquentiellement de nouvelles configurations sans oublier les précédentes, et peut aussi fonctionner de façon distribuée pour apprendre la dynamique propre de chaque module sur un robot à configuration fixe. La validation s'est faite en deux temps : des expériences de suivi de trajectoire en boucle fermée en simulation sur un robot souple actionné par tendons, puis un test sur un bras robotique souple pneumatique à trois modules, en conditions réelles. Pour l'industrie robotique, l'apport principal est méthodologique plutôt qu'un produit prêt à déployer : il s'attaque à un goulot d'étranglement bien identifié dans la robotique souple, à savoir la difficulté à faire évoluer la morphologie d'un robot sans tout reconstruire. Les MSR intéressent particulièrement les intégrateurs travaillant sur des tâches nécessitant une compliance mécanique élevée, comme la chirurgie mini-invasive ou la manipulation d'objets fragiles, où la rigidité des robots classiques est un handicap. Un contrôleur capable de s'adapter progressivement à des changements de structure, tout en activant sélectivement seulement les modules nécessaires pour atteindre une cible (ce qui réduit la charge de calcul), pourrait accélérer l'itération de conception sur ces plateformes reconfigurables, un axe encore peu mature comparé aux robots humanoïdes rigides à actionneurs classiques. Ce travail s'inscrit dans la lignée des recherches en robotique souple qui cherchent à dompter la nonlinéarité et la redondance hyper-élevée de ces systèmes, deux caractéristiques qui rendent les approches de contrôle classiques inadaptées. L'article ne mentionne pas de partenaire industriel ni de calendrier de commercialisation : il s'agit d'une contribution de recherche académique, à un stade de preuve de concept en laboratoire, dont l'étape suivante logique serait l'extension à des morphologies plus complexes ou à des tâches de manipulation réelles au-delà du suivi de trajectoire.

RecherchePaper

1 source

3arXiv cs.RO

De la vidéo au contrôle : étude des interfaces d'apprentissage de la manipulation à partir de données visuelles temporelles

Un article de synthèse publié sur arXiv (réf. 2604.04974, version 2) dresse un état de l'art structuré des méthodes permettant d'exploiter des vidéos temporelles non annotées en actions pour apprendre des interfaces de contrôle en manipulation robotique. Les auteurs ne s'appuient sur aucun label d'action : la vidéo seule, en captant comment les objets se déplacent, comment les contacts se déroulent et comment les scènes évoluent, constitue la source d'apprentissage. Le survey introduit une taxonomie centrée sur l'interface, organisée selon trois familles : les politiques vidéo-action directes, qui maintiennent l'interface implicite dans le réseau neuronal ; les méthodes à actions latentes, qui acheminent la structure temporelle via un espace intermédiaire compact appris ; et les interfaces visuelles explicites, qui prédisent des cibles interprétables (poses, waypoints, affordances) pour un contrôle aval découplé. Ce cadre de classification comble un vide méthodologique réel : la littérature traitait jusqu'ici ces trois familles de façon dispersée, sans analyser comment chacune ferme la boucle de contrôle, ce qui peut être vérifié avant exécution, et à quel stade les défaillances apparaissent. Pour les intégrateurs et les équipes R&D, cet angle est directement opérationnel : une interface latente est plus difficile à inspecter qu'une interface explicite à base de keypoints, ce qui modifie les stratégies de débogage et de déploiement. La synthèse inter-familles pointe un défi commun : la couche d'intégration robotique, les mécanismes qui relient les prédictions issues de la vidéo à un comportement robot fiable, reste le maillon faible indépendamment de la famille choisie. Ce survey s'inscrit dans une dynamique portée par les modèles VLA (Video-Language-Action) : RT-2 de Google DeepMind, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et Helix de Figure AI exploitent tous, à des degrés divers, des données vidéo à grande échelle pour conditionner le contrôle moteur. Le fossé identifié dans le papier, entre prédiction vidéo et comportement physique fiable, correspond précisément au "sim-to-real gap" de cette nouvelle génération de modèles : une démonstration convaincante en vidéo ne garantit pas la robustesse en déploiement réel. Les auteurs proposent des pistes de recherche pour combler ce décalage, sans livrer de pipeline opérationnel, ce qui positionne ce travail comme une ressource de cartographie pour orienter la communauté plutôt que comme une solution clé en main.

RechercheOpinion

1 source

4arXiv cs.RO

PO-PDDL : apprentissage de POMDP symboliques à partir de démonstrations visuelles pour la planification robotique sous incertitude

Des chercheurs ont proposé PO-PDDL (arXiv:2606.15654, juin 2026), une formulation symbolique des processus de décision markoviens partiellement observables (POMDP) pour la planification robotique en conditions réelles. Le système étend PDDL, standard de facto en planification symbolique depuis les années 1990, en y intégrant explicitement l'observabilité partielle, la stochasticité des actions et la gestion des croyances (beliefs). Un pipeline d'apprentissage reconstruit automatiquement les trajectoires d'état symbolique latentes à partir de vidéos d'exécution de robot réel, détecte les incohérences entre états inférés et observations visuelles pour localiser les zones d'incertitude perceptive, puis apprend les modèles de transition et d'observation stochastiques correspondants. Les domaines générés sont réutilisables entre tâches et permettent une planification en ligne dans l'espace des croyances. Testée sur des tâches de manipulation longue durée (long-horizon) en environnement physique réel, la méthode surpasse les approches existantes d'apprentissage de modèles PDDL et POMDP, avec un coût de planification significativement réduit. L'apport concret pour les intégrateurs robotiques est de supprimer l'effort d'ingénierie lié à la construction manuelle des modèles POMDP, traditionnellement l'un des verrous de la planification symbolique déployable. Apprendre depuis des vidéos de robots réels plutôt que depuis des simulateurs contourne partiellement le gap sim-to-real qui fragilise nombre d'approches d'apprentissage. La syntaxe PDDL préservée ouvre une voie d'intégration avec des LLM pour la spécification de tâches, un axe actif en recherche (voir LLM+P, ProgPrompt). Le fait que les domaines soient réutilisables et que la planification opère en temps réel sous incertitude perceptive et d'exécution représente un pas vers des architectures neuro-symboliques exploitables hors laboratoire. La planification symbolique butte depuis longtemps sur la difficulté de paramétrer les POMDP pour des environnements physiques réels. Des travaux antérieurs comme FAMA ou LOCM ont progressé sur l'apprentissage de modèles PDDL déterministes, sans traiter simultanément stochasticité et observabilité partielle depuis des observations visuelles brutes. PO-PDDL se positionne aussi face aux politiques de bout en bout (VLA, politiques de diffusion) qui absorbent l'incertitude dans le réseau sans la modéliser explicitement. La lisibilité et débuggabilité du formalisme symbolique restent un argument différenciant pour le déploiement industriel. Il s'agit pour l'instant d'un preprint non évalué par les pairs ; les prochaines étapes naturelles incluent l'évaluation sur des manipulations plus complexes et l'intégration dans des stacks open-source comme ROS 2.

RecherchePaper

1 source