Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
PanoVine : contrôle visuomoteur corps entier pour robot souple à croissance végétale
RecherchearXiv cs.RO 

PanoVine : contrôle visuomoteur corps entier pour robot souple à croissance végétale

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié sur arXiv (preprint arXiv:2506.22923, juin 2026) un système baptisé PanoVine, premier robot « vigne » autonome doté d'un contrôle visuomoteur corps entier. Le principe : un robot souple à croissance continue, de la famille des vine robots, est équipé de 19 caméras distribuées sur toute la longueur de son corps. Ces capteurs fournissent un retour d'information panoramique sur l'état interne du robot et sur son environnement immédiat. Une politique visuomotrice bout-en-bout, entraînée à partir de démonstrations humaines, pilote le robot en boucle fermée sans recourir à un modèle cinématique explicite. Les capacités démontrées en laboratoire couvrent la navigation dans des structures ramifiées, l'escalade de pentes, la traversée de terrains sans appui, l'atteinte précise d'objets et le franchissement d'espaces confinés.

L'intérêt technique est direct : les vine robots souffrent structurellement d'hystérésis, d'interactions avec leur câble d'alimentation et de déformations imprévisibles, ce qui rend les approches de planification classique peu efficaces. En substituant un pipeline data-driven à la modélisation explicite, PanoVine contourne ce mur de complexité. C'est un exemple concret de sim-to-real évité par l'apprentissage depuis des démonstrations réelles, une voie que plusieurs équipes en robotique molle explorent mais que peu ont validée sur un système à géométrie variable aussi difficile à instrumenter. Pour les intégrateurs travaillant sur l'inspection de canalisations, la chirurgie mini-invasive ou la recherche en environnements effondrés, cela ouvre une voie vers des contrôleurs déployables sans calibration géométrique fine.

Les vine robots sont un champ de recherche actif depuis les travaux fondateurs de l'équipe de Allison Okamura à Stanford (Soft Robotics 2017-2019), et plusieurs groupes en Europe et aux États-Unis développent des variantes pour l'exploration souterraine ou médicale. PanoVine se distingue par l'échelle du réseau de capteurs embarqués et par l'autonomie complète de la boucle de contrôle. Il s'agit à ce stade d'une preuve de concept académique, sans déploiement industriel ni partenaire annoncé. Les prochaines étapes attendues concernent la robustesse hors distribution et la généralisation à des environnements non vus lors de l'entraînement.

Dans nos dossiers

arXiv cs.RO

À lire aussi

SPROUT : le robot souple en croissance open source pour la recherche et le sauvetage
1arXiv cs.RO 

SPROUT : le robot souple en croissance open source pour la recherche et le sauvetage

MIT Lincoln Laboratory publie sur arXiv (soumission de septembre 2026) l'ensemble des spécifications de SPROUT, pour Soft Pathfinding Robotic Observation Unit, un robot souple open source conçu pour la recherche et le sauvetage en milieu urbain (USAR). Le système a été affine pendant plusieurs années au contact direct d'équipes professionnelles de secours, avec pour objectif de fonctionner dans des conditions poussiéreuses, humides et isolées, typiques des structures effondrées. L'équipe met a disposition l'intégralité de la documentation nécessaire a sa reproduction: code source, liste de composants, assemblages CAO et instructions de construction, accessibles sur sprout-mitll.github.io/sprout. L'architecture logicielle repose sur ROS 2 et une plateforme matérielle modulaire permettant d'adapter charges utiles et fonctions de contrôle selon la tache. Les démonstrations ont été menées sur des sites d'entrainement a structures effondrées utilises par des pompiers et équipes de premiers secours, ou le robot a exécuté une série de taches d'inspection et de franchissement d'obstacles. Les robots a corps souple sont théorisés depuis longtemps comme candidats idéaux pour le sauvetage en décombres, capables de se faufiler dans des interstices inaccessibles aux plateformes rigides, mais peu de systèmes ont franchi le cap du laboratoire vers un usage opérationnel réel. En publiant l'intégralité des spécifications matérielles et logicielles plutôt qu'un produit ferme, le laboratoire s'attaque directement au problème de reproductibilité qui freine l'adoption de la robotique souple par les organismes de secours: n'importe quelle équipe de recherche peut désormais construire sa propre unité SPROUT sans dépendre d'un fournisseur unique. Pour les intégrateurs et décideurs du secteur SAR, c'est un signal que cette famille de robots sort progressivement du stade de simple démonstration en laboratoire, même si le passage de sites d'entrainement contrôles a des interventions réelles sur effondrements reste une étape distincte, non encore franchie ici. Le projet s'appuie sur un dialogue continu avec des communautés professionnelles de recherche et sauvetage urbain, ce qui a oriente les choix de conception vers la résistance a la poussière, a l'humidité et a l'isolement caractéristiques des sites d'intervention. SPROUT s'inscrit dans la lignée des robots dits a croissance (soft growing robots), un axe de recherche universitaire distinct des humanoïdes et des robots mobiles a roues qui dominent les annonces commerciales du secteur, et dont l'un des freins historiques était justement le manque de systèmes reproductibles hors du laboratoire d'origine. La compatibilité ROS 2 et la modularité matérielle ouvrent des usages au-delà du sauvetage, notamment l'inspection d'infrastructures et l'archéologie, deux domaines ou l'accès a des espaces confines et fragiles est également critique. La publication ne mentionne aucun pilote commercial ni calendrier de déploiement au-delà des sites d'entrainement déjà utilises pour les démonstrations: il s'agit a ce stade d'une diffusion académique en source ouverte, non du lancement d'un produit.

RecherchePaper
1 source
Pré-entraînement contrastif action-image pour le contrôle visuomoteur
2arXiv cs.RO 

Pré-entraînement contrastif action-image pour le contrôle visuomoteur

Des chercheurs ont publié CAIP (Contrastive Action-Image Pre-training), un encodeur visuel pour la robotique qui exploite 32 041 heures de vidéo égocentrique humaine, complétées par seulement 88 heures de données de manipulation robotique. Le principe central consiste à extraire les poses 3D des mains humaines depuis des vidéos filmées en vue subjective, et à les utiliser comme signal de substitution pour les actions d'effecteur terminal, un proxy qui s'aligne naturellement avec les espaces d'action des bras robotiques. Via un objectif d'apprentissage contrastif, CAIP apprend une représentation unifiée liant images et actions. Évalué sur deux mains dextres réelles (Dexmate Vega et Sharpa Wave), le modèle affiche des gains supérieurs à 30% sur des tâches de manipulation précise : pliage de tissu, versage de liquide, et manipulations en dextérité fine. Ce résultat touche directement un verrou bien connu dans la communauté : la pénurie de données robotiques étiquetées freine la pré-formation de grands encodeurs visuels, là où le NLP ou la vision généraliste disposent de milliards d'exemples. CAIP propose une voie de passage scalable sans collecter davantage de trajectoires robot, en exploitant la vidéo humaine disponible à l'échelle d'Internet comme source implicite de signaux d'action. En surpassant DINOv2, SigLIP, MVP et R3M sur des benchmarks en conditions réelles (et non en simulation), l'approche renforce l'hypothèse que le sim-to-real gap peut être partiellement contourné en ancrant la représentation visuelle dans des dynamiques d'action humaine, plutôt qu'en augmentant les données robot brutes. Ce travail s'inscrit dans un courant de recherche actif autour des politiques visuomotrices apprenant depuis la vidéo humaine. Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et les approches issues d'OpenVLA croisent des signaux similaires, bien que depuis des angles différents. CAIP se distingue en isolant le signal de pose 3D des mains comme modalité intermédiaire explicite, plutôt que d'ingérer du langage ou des représentations d'action latentes. Le code et les modèles ne sont pas encore publiés au moment de la soumission (arXiv:2606.17256, juin 2026). La prochaine étape naturelle serait de tester la généralisation à des morphologies robotiques plus variées et à des tâches bimanuelles, domaine où les pipelines VLA (Vision-Language-Action) peinent encore à démontrer une robustesse hors laboratoire.

RechercheOpinion
1 source
Modèles de tiges pour le contrôle des robots continus et souples : une revue
3arXiv cs.RO 

Modèles de tiges pour le contrôle des robots continus et souples : une revue

Une équipe de chercheurs a publié sur arXiv (référence 2407.05886, troisième révision) une revue exhaustive des modèles de tiges (rod models) appliqués à la modélisation et au contrôle des robots continus et souples. Le travail couvre les fondements mathématiques des théories de tiges, leur application à la modélisation de structures déformables, et les stratégies de contrôle dérivées, tant model-based que learning-based. Les auteurs proposent une classification des modèles selon le type de déformation pris en compte, contribution qui fait défaut dans la littérature existante. Les domaines applicatifs ciblés incluent la santé, l'agriculture, le milieu marin et l'espace, où les robots rigides conventionnels montrent leurs limites face à des environnements non structurés et à des interactions mécaniques en contact permanent. L'intérêt principal de ce survey est de structurer un sous-champ marqué par une forte fragmentation de la littérature. Les modèles de type Cosserat ou Kirchhoff proposent une approximation dimensionnellement réduite du comportement de corps élancés et déformables, offrant un meilleur équilibre que les méthodes éléments finis (FEM) entre précision et coût computationnel temps-réel. Pour les équipes R&D travaillant sur des bras flexibles endoscopiques, des cathéters guidés ou des manipulateurs agricoles, ce panorama unifié permet d'arbitrer entre approche physique et apprentissage, et de cibler les lacunes identifiées : robustesse au contact incertain, calibration en conditions réelles, et fermeture du fossé sim-to-real. Les modèles de tiges appliqués à la robotique souple se sont imposés comme cadre de référence depuis le milieu des années 2010, portés par l'essor des actionneurs à câbles, pneumatiques et à base d'élastomères. Plusieurs groupes académiques restent moteurs sur le sujet : INRIA, MIT CSAIL, IIT Gênes, Universität Stuttgart. Dans l'écosystème industriel, les applications en chirurgie mini-invasive et en manipulation agricole sont directement confrontées à ces problèmes de modélisation. Le papier identifie trois directions ouvertes : gestion du contact multi-points, intégration avec les architectures VLA (vision-langage-action), et généralisation à des morphologies hybrides rigides-souples. Ces fronts devraient alimenter le champ dans les deux à trois prochaines années.

UEINRIA figure parmi les groupes académiques moteurs du domaine ; les applications ciblées (chirurgie mini-invasive, manipulation agricole) concernent directement des acteurs industriels et projets de recherche européens.

RecherchePaper
1 source
Contrôle précis en boucle ouverte d'un robot continu souple grâce à une dynamique latente apprise visuellement
4arXiv cs.RO 

Contrôle précis en boucle ouverte d'un robot continu souple grâce à une dynamique latente apprise visuellement

Des chercheurs ont publié sur arXiv (2603.19655v2) une méthode de commande en boucle ouverte d'un robot continuum souple (SCR) à partir d'une dynamique latente apprise uniquement sur vidéo. Le travail s'appuie sur les Visual Oscillator Networks (VON) d'un article précédent, qui produisent des latents d'oscillateurs 2D interprétables mécaniquement grâce à un décodeur à diffusion d'attention (ABCD, attention broadcast decoder). Une commande optimale en tir simple (single-shooting) est calculée directement dans l'espace latent pour suivre des points de passage définis par image, sans aucun retour caméra pendant l'exécution. Un simulateur interactif en direct permet de dessiner des cibles statiques, dynamiques ou extrapolées, puis de les convertir en points de passage latents propres à chaque modèle. Les tests ont été menés sur un robot pneumatique à deux segments. Les chercheurs ont comparé trois familles de dynamiques (Koopman, MLP, oscillateurs), chacune avec et sans ABCD, sur des consignes fixes et des trajectoires dynamiques. Les modèles avec ABCD réduisent systématiquement l'erreur de suivi dans l'espace image. Les erreurs quadratiques moyennes les plus basses reviennent au VON et au modèle Koopman avec ABCD. Des études d'ablation et des tests de robustesse en simulation indiquent que les choix d'entraînement et d'architecture soutiennent la performance : maintien statique, équilibres extrapolés stables, retour au repos. L'article ne fournit pas, dans ce résumé, de valeurs chiffrées d'erreur ni de durée d'horizon. L'enjeu dépasse la robotique souple. Ces machines sont difficiles à modéliser : leurs déformations sont continues, non linéaires et sujettes à l'hystérésis, et elles sont presque impossibles à instrumenter par capteurs sans en altérer le comportement. Une commande fiable en boucle ouverte, apprise depuis de simples images, ouvre la voie à des systèmes sans capteur proprioceptif embarqué ni caméra au moment de l'usage, ce qui intéresse la chirurgie mini-invasive, l'inspection en espaces confinés ou la manipulation d'objets fragiles. Le résultat suggère aussi que l'interprétabilité n'est pas un luxe : des latents à structure mécanique (oscillateurs) se révèlent plus stables en extrapolation qu'un MLP générique. Il faut toutefois rester prudent : les auteurs revendiquent une première démonstration de commande fiable à long horizon sur un robot souple physique avec des modèles interprétables appris sur vidéo, mais il s'agit d'un banc de laboratoire, avec un seul robot, et sans comparaison à des méthodes de commande classiques fondées sur la physique. Ce travail s'inscrit dans une série consacrée à l'apprentissage de dynamiques latentes visuelles, qui prolonge les VON et s'oppose à la modélisation analytique (courbure constante par morceaux, éléments finis) et aux approches Koopman ou de réseaux de neurones purs. Il s'éloigne aussi des politiques de type VLA (vision-langage-action) pour humanoïdes, qui visent la généralisation de tâches plutôt que la précision de suivi de trajectoire. Aucun pilote industriel ni calendrier de transfert n'est annoncé. Les prochaines étapes plausibles seraient l'extension à des robots à plus de segments, l'ajout de perturbations et de charges externes, et le couplage avec un retour visuel pour corriger la dérive inévitable d'une boucle ouverte.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source