Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
ORCESTRA : programmation visuelle de robots pilotée par VLM en réalité mixte
RecherchearXiv cs.RO 

ORCESTRA : programmation visuelle de robots pilotée par VLM en réalité mixte

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un système de recherche baptisé ORCESTRA, présenté dans un article déposé sur arXiv (2608.00775, catégorie « new »), permet de programmer des robots en réalité mixte sans écrire une ligne de code. L'utilisateur porte un casque à vision traversante (passthrough), place un jumeau numérique du robot sur une surface réelle, puis lui enseigne des trajectoires par démonstration de points de passage, sauvegardées sous forme d'épisodes relatifs au repère du robot. Alternative : il donne une commande vocale ou tapée, qu'un modèle vision-langage (VLM) traduit en plan structuré exécutable par le jumeau numérique. Les deux modes passent par un même backend qui assure l'ancrage métrique, la validation adaptée à la morphologie du robot, la prévisualisation et la confirmation avant exécution. Le système a été testé sur des embodiments hétérogènes : bras manipulateurs à base fixe, base mobile et robot humanoïde.

L'intérêt principal tient à la couche de validation en réalité mixte, qui agit comme filet de sécurité entre une instruction en langage naturel et son exécution physique, un enjeu central alors que les approches VLA (vision-language-action) peinent souvent à passer de la démonstration à un déploiement fiable. Pour les intégrateurs industriels, cela ouvre la voie à une reprogrammation de robots sans compétence en codage, avec vérification visuelle avant tout mouvement réel, réduisant le risque d'erreurs coûteuses sur ligne de production.

ORCESTRA s'inscrit dans une tendance de recherche croissante mêlant réalité augmentée/mixte et VLM pour le contrôle robotique, en alternative aux interfaces de téléopération classiques. L'article ne précise ni affiliation ni calendrier de déploiement commercial ; il s'agit à ce stade d'un prototype académique, dont les suites attendues incluent des études utilisateurs et l'extension à d'autres types de robots.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Programmation robotique visuelle avec supervision humaine et LLM : « APPROVE
1arXiv cs.RO 

Programmation robotique visuelle avec supervision humaine et LLM : « APPROVE

Une équipe de recherche présente APPROVE (AI-Powered Programming for Robots with Visual End-user Feedback), un framework de programmation robotique détaillé dans une prépublication arXiv référencée 2608.19281v1, mise en ligne en août 2026. Le système combine des instructions en langage naturel, une interface par blocs Blockly et une étape explicite de confirmation par l'utilisateur. Un grand modèle de langage (LLM) traduit la demande formulée en langage naturel en un programme robotique, affiché sous forme de blocs modifiables avant toute exécution. L'utilisateur peut alors valider, corriger ou rejeter le code généré plutôt que de le laisser s'exécuter directement. Les fonctions validées sont ensuite stockées dans une bibliothèque réutilisable, permettant de constituer progressivement un ensemble de briques logicielles fiables pour de futures tâches. Cette approche cible des limites documentées des générateurs de code robotique basés sur des LLM: absence de transparence sur ce que le programme fait réellement, absence de mécanisme garantissant l'alignement avec l'intention de l'utilisateur, et faible réutilisabilité des programmes produits. Pour les intégrateurs et les décideurs industriels, l'enjeu dépasse la simple commodité: exécuter directement sur un robot physique du code généré par une IA, sans vérification humaine intermédiaire, pose un risque de sécurité et de confiance qui freine l'adoption. En imposant une confirmation visuelle avant exécution, APPROVE illustre une tendance plus large du secteur à vouloir concilier la flexibilité du langage naturel avec un contrôle humain explicite, plutôt que de traiter le LLM comme une boîte noire de bout en bout. La démarche s'inscrit dans la lignée des interfaces de programmation par blocs, historiquement utilisées pour rendre la robotique accessible aux non-experts mais critiquées pour leur manque de flexibilité face à des tâches complexes. Elle prolonge aussi des travaux récents ayant exploré les LLM pour générer automatiquement des programmes robotiques à partir de langage naturel, une piste jugée prometteuse mais jusqu'ici limitée par l'absence de garde-fous. APPROVE reste à ce stade une contribution de recherche, présentée comme une preuve de concept centrée sur l'utilisateur final, sans mention de déploiement industriel, de partenariat ou de calendrier de commercialisation. L'article la positionne comme une direction de conception plutôt qu'un produit prêt à l'emploi, avec pour priorités affichées la confiance de l'utilisateur, l'alignement d'intention et la réutilisation du code.

RecherchePaper
1 source
fARfetch : collaboration homme-robot en réalité augmentée colocalisée dans des environnements visuellement hétérogènes, avec adaptation de contenu par VLM
2arXiv cs.RO 

fARfetch : collaboration homme-robot en réalité augmentée colocalisée dans des environnements visuellement hétérogènes, avec adaptation de contenu par VLM

Des chercheurs ont publié sur arXiv (juin 2026) les résultats de fARfetch, un système de collaboration humain-robot en réalité augmentée conçu pour les environnements extérieurs vastes et visuellement hétérogènes. Le dispositif combine un casque Meta Quest 3 et un robot quadrupède Unitree Go2, et repose sur trois mécanismes : une cartographie sémantique partagée entre le casque et le robot qui visualise des repères de l'environnement pour émettre des commandes de navigation par désignation, une représentation miniaturisée de l'espace (world-in-miniature) pour composer des trajectoires précises, et un module d'adaptation visuelle piloté par un VLM (vision-language model) qui ajuste en temps réel la couleur, la taille et l'orientation des éléments AR afin de maintenir leur lisibilité quelle que soit l'arrière-plan. L'évaluation a été conduite en conditions réelles sur une tâche d'inspection extérieure d'environ 30,5 mètres avec 13 participants en protocole intra-sujets. Par rapport à une baseline sans AR, fARfetch réduit le temps d'exécution de 66 %, la charge mentale de 43 %, la pression temporelle de 34 % et le niveau de frustration de 66 %. Ces résultats sont significatifs pour les intégrateurs de robotique mobile en milieux industriels ouverts (sites de construction, inspection d'infrastructure, logistique extérieure) où la téléopération classique bute sur la désorientation spatiale de l'opérateur et la perte de ligne de vue. L'usage d'un VLM pour l'adaptation du rendu AR constitue une avancée méthodologique : plutôt que de coder des règles statiques de contraste, le système raisonne sur le contexte visuel capturé. Cela suggère que la grille sim-to-real ne se limite plus aux actionneurs physiques mais s'étend à la couche d'interaction humain-machine. L'étude reste toutefois limitée : N=13 est un échantillon restreint, la tâche couvre 30,5 mètres en extérieur contrôlé, et aucune métrique de robustesse en conditions adverses (pluie, contre-jour fort, foule) n'est rapportée. fARfetch s'inscrit dans un champ de recherche actif sur l'AR comme interface de supervision de robots mobiles, aux côtés de travaux portant sur les drones et les AMR en entrepôt. Côté hardware, le Unitree Go2 est un quadrupède grand public à moins de 10 000 dollars, ce qui ancre l'expérimentation dans des configurations accessibles, contrairement aux plateformes à six chiffres de Boston Dynamics. Aucun acteur français ou européen n'est impliqué dans cette étude. Les auteurs n'annoncent pas de pilote industriel ni de timeline de déploiement : il s'agit d'un prototype académique dont les prochaines étapes naturelles seraient des évaluations sur des périmètres plus étendus, avec des opérateurs non entraînés et des robots à mobilité différente (bras, AMR sur roues).

RecherchePaper
1 source
EmbodiedDiffusion : diffusion visuelle guidée par la franchissabilité pour la navigation de robots hétérogènes
3arXiv cs.RO 

EmbodiedDiffusion : diffusion visuelle guidée par la franchissabilité pour la navigation de robots hétérogènes

Des chercheurs présentent EmbodiedDiffusion, un framework basé sur la diffusion qui prédit simultanément des cartes de franchissabilité (traversability) et génère des trajectoires directement à partir d'images RGB, sans carte ni planificateur séparé. Le système distille les connaissances sémantiques d'un modèle vision-langage (VLM) enseignant vers un modèle étudiant léger pendant l'entraînement, ce qui permet une inférence sans prompt, en temps réel, une fois déployé. Un mécanisme de conditionnement modulaire basé sur FiLM isole le raisonnement spécifique à chaque plateforme robotique dans un sous-ensemble compact et entraînable du réseau, sans toucher au backbone visuel ni au modèle de diffusion de trajectoire. Testé en environnements intérieurs sur des robots quadrupèdes et aériens, le système atteint un taux de réussite de navigation de 80 à 100% en régime de données complètes, avec un temps d'inférence de 90 millisecondes, et s'adapte à une nouvelle plateforme robotique avec seulement 10 minutes de collecte de données visuelles. Il s'agit d'une quatrième version révisée d'un article déposé sur arXiv, donc d'un travail académique et non d'un produit commercialisé. L'intérêt principal tient à l'unification de deux tâches habituellement traitées séparément, l'estimation de franchissabilité et la planification de trajectoire, dans un seul modèle bout-en-bout qui se passe de cartographie lourde et de réglage manuel. Pour les intégrateurs travaillant avec des flottes hétérogènes (drones, quadrupèdes, à terme humanoïdes), la promesse clé est la portabilité rapide entre plateformes robotiques sans réentraînement complet, un point de friction connu des pipelines de navigation actuels. Le chiffre de 90 ms d'inférence, s'il se confirme hors laboratoire, positionnerait l'approche comme compatible temps réel sur du matériel embarqué, un critère souvent absent des démonstrations VLM à base de prompts. Les approches dominantes en navigation autonome reposent soit sur des VLM pilotés par prompts, coûteux en latence, soit sur des pipelines découplés associant cartographie SLAM et planificateurs classiques, longs à déployer et à calibrer par robot. EmbodiedDiffusion s'inscrit dans la tendance plus large des modèles vision-action (VLA) qui cherchent à remplacer ces chaînes modulaires par un apprentissage de bout en bout, dans la lignée des travaux sur la généralisation cross-embodiment. Les résultats restent pour l'instant limités à des environnements intérieurs contrôlés avec deux types de plateformes ; leur validation sur des cas industriels réels et sur davantage de morphologies robotiques reste une étape à venir.

RechercheActu
1 source
Pré-entraînement de la dextérité visuelle en simulation
4arXiv cs.RO 

Pré-entraînement de la dextérité visuelle en simulation

Des chercheurs en robotique publient "Pre-training Visual Dexterity in Simulation" (arXiv:2608.15917), qui présente SPD (Simulation Pre-training for Dexterity), une méthode de pré-entrainement pour la manipulation dexterous entièrement basée sur des données collectées en simulation. Le protocole fait manipuler des objets virtuels a des opérateurs humains via un casque de réalité virtuelle, ce qui génère des trajectoires directement sur l'embodiment cible sans mobiliser de robot physique. Cinq opérateurs ont collecte 75 heures de démonstrations multi-taches en une semaine. Ces données servent a pré-entrainer un transformer causal sur un objectif de modélisation séquentielle. Le modèle est ensuite affine sur seulement 1 a 2 heures de démonstrations physiques réelles, sur une plateforme bimanuelle dexterous a 56 degrés de liberté. Resultat annonce: la politique pré-entraînée en simulation puis affinée surpasse un clonage comportemental entraine uniquement sur les données réelles. Des études d'ablation confirment l'apport du conditionnement par historique et de segments d'action courts pour un contrôle plus réactif. Cette approche s'attaque a un goulot d'étranglement connu du secteur: les mains multi-doigts restent nettement moins bien dotées en données que les pinces parallèles, qui bénéficient de jeux de données a grande échelle. La téléopération réelle coute cher a faire passer a l'échelle, et les vidéos de mains humaines exigent une estimation de pose et un retargeting qui dégradent l'information avant même l'entrainement. En montrant qu'un pré-entrainement purement simule améliore les performances réelles avec très peu de démonstrations physiques, l'étude suggère une voie moins couteuse pour industrialiser l'apprentissage des mains robotiques dexterous, un enjeu central pour les intégrateurs et fabricants de robots humanoïdes cherchant a réduire le cout de collecte de données. Elle reste toutefois une preuve de concept en laboratoire, sur une seule plateforme, sans déploiement industriel démontre. Le travail s'inscrit dans la lignée des efforts de pré-entrainement a grande échelle pour les politiques robotiques, jusqu'ici tires surtout par des données construites autour de pinces simples. Il propose une alternative aux deux approches dominantes pour collecter des données dexterous, la téléopération robot réelle et l'imitation a partir de vidéo humaine, toutes deux limitées par le cout ou la perte d'information au retargeting. En s'appuyant sur la VR comme interface de collecte, les auteurs ouvrent la voie a une mise a l'échelle sans robot physique pendant la phase de pré-entrainement. Les prochaines étapes suggérées par l'article portent sur l'extension a davantage de taches et de plateformes, et sur l'affinement des facteurs, historique de conditionnement et longueur des segments d'action, qui améliorent la réactivité du contrôle en conditions réelles.

RecherchePaper
1 source