RecherchearXiv cs.RO 11 août 2026

DiSCo : des copilotes de séquence par diffusion pour l'autonomie partagée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente DiSCo (Diffusion Sequence Copilots), une méthode d'autonomie partagée où un copilote IA fondé sur une politique de diffusion assiste un opérateur humain pour piloter des systèmes complexes comme un bras robotique ou un véhicule simulé. Décrit dans un article déposé sur arXiv (identifiant 2603.22787, version 2, republiée en cross-listing), le système « ensemence » et « inpaint » le processus de diffusion à partir des actions récentes de l'utilisateur, produisant des séquences de commandes cohérentes avec ses gestes passés, réglées par trois hyperparamètres équilibrant conformité aux actions expertes, alignement avec l'intention de l'utilisateur et réactivité perçue. Les auteurs rapportent une amélioration « substantielle » des performances en conduite simulée et en manipulation robotique, sans chiffres précis de gain ou de taux de réussite dans le résumé, et mettent en ligne un site de projet avec démonstrations vidéo.

Pour les concepteurs de systèmes de téléopération et d'assistance au geste, ce travail cible un compromis concret : un copilote trop intrusif écrase l'intention de l'utilisateur, tandis qu'un copilote trop passif n'aide pas sur les tâches difficiles ou lorsque le signal de commande est dégradé. En s'appuyant sur une politique de diffusion générant des séquences entières d'actions plutôt que des règles fixes ou une politique de renforcement entraînée séparément, DiSCo s'inscrit dans la bascule du secteur robotique vers des modèles génératifs de trajectoires, dans l'esprit des architectures VLA déployées côté humanoïdes. Le travail reste toutefois cantonné à la simulation, sans essai mentionné sur bras robotique physique ou véhicule réel, ce qui distingue nettement cette publication académique d'une annonce produit ou d'un pilote industriel prêt à déployer.

L'autonomie partagée est un champ de recherche ancien en robotique et en interaction homme-machine, longtemps dominé par des règles de correction ou des politiques d'inférence d'intention entraînées séparément du contrôle. L'essor des politiques de diffusion en robotique depuis 2023, comme alternative à l'apprentissage par renforcement, a ouvert la voie à des méthodes génératives produisant des séquences d'actions complètes, cadre que DiSCo adapte au contrôle partagé via des techniques d'inpainting empruntées à la génération d'images. Le statut « replace-cross » de l'article sur arXiv indique une nouvelle version d'un travail déjà soumis, et la suite logique, non précisée dans le résumé, consisterait à valider la méthode avec de véritables opérateurs humains sur du matériel physique, seule façon de confirmer que les gains mesurés en simulation se transposent au monde réel.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

De la perception à l'assistance : autonomie partagée à vocabulaire ouvert pour la manipulation robotique

Des chercheurs présentent un système d'autonomie partagée pour la téléopération de bras manipulateurs en environnement industriel, publié le 24 juillet 2026 sur arXiv (référence 2607.17323). Le dispositif repose sur une seule caméra RGB-D qui capture les mouvements du bras et les gestes de la main de l'opérateur, sans combinaison connectée, marqueur fiduciaire ni étape de calibration préalable. La cible à saisir est désignée par une simple consigne textuelle en langage libre, interprétée par un modèle vision-langage via la caméra embarquée sur le préhenseur, puis suivie en continu par un modèle de segmentation vidéo promptable sur les caméras du robot, ce qui isole en permanence un repère de saisie de la carte des obstacles. Un contrôleur prédictif (MPC) accéléré par GPU exécute chaque commande tout en évitant les collisions avec l'environnement et avec le robot lui même, grâce à une reconstruction volumétrique calculée en temps réel, pendant qu'un champ de potentiel corrige la trajectoire de l'opérateur lors de l'approche finale. Testé sur un manipulateur mobile quadrupède, le système atteint une précision de positionnement de 59 mm d'erreur quadratique moyenne par rapport à une référence de capture de mouvement, et maintient le bras à au moins 18 cm des obstacles même lorsque l'opérateur tente délibérément une collision de 6 cm. Sur une tâche de manipulation de vanne industrielle et une tâche de prise dépose, le framework complet réussit tous les essais, tandis que le mode entièrement autonome, déclenché par geste, réussit quatre essais sur cinq par tâche. L'intérêt pour l'industrie robotique tient au problème visé: en téléopération classique, aligner précisément un effecteur avec une cible en environnement encombré, avec une perception de profondeur limitée par caméra, reste une source d'erreurs et de collisions coûteuses. En retirant marqueurs et calibration tout en gardant l'opérateur dans la boucle de décision, le système promet un déploiement plus rapide sur des cellules industrielles existantes. Le fait que retirer soit le module de collision, soit le module d'assistance provoque des échecs par des mécanismes différents montre que les deux briques sont complémentaires et non redondantes, un signal utile pour les intégrateurs qui évaluent la robustesse réelle de ces architectures avant tout achat. Le travail s'inscrit dans la convergence actuelle entre modèles vision-langage et téléopération assistée, où l'ancrage d'instructions textuelles dans la perception robotique gagne du terrain face aux interfaces manuelles pures. Les auteurs positionnent leur contribution comme une alternative légère aux pipelines nécessitant équipement dédié ou calibration lourde, et annoncent la possibilité de basculer vers une exécution autonome sur la même cible sans pipeline de perception séparé, ouvrant la voie à des essais plus poussés sur d'autres plateformes et tâches industrielles.

RecherchePaper

1 source

2arXiv cs.RO

Agentic Harnesses : des couches de vérification pilotées par LLM pour l'autonomie des robots

Un article publié sur arXiv (identifiant 2608.09857) propose une couche de vérification pilotée par des grands modèles de langage (LLM), insérée entre la planification et l'exécution des actions d'un robot autonome. Ce middleware, dénommé « agentic harness », intercepte les plans avant qu'ils n'atteignent le serveur MCP (Model Context Protocol) et les commandes bas niveau du robot, en s'appuyant sur un ensemble de LLM juges qui combinent raisonnement en chaîne de pensée et synthèse multi-modèles, selon une logique de mélange d'experts et d'auto-cohérence. Chaque plan est classé en trois catégories : approuvé, rejeté pour reformulation, ou escaladé vers une révision humaine. Les auteurs rapportent une précision proche de 85% sur ces trois catégories, un taux de blocage de 97% des attaques adversariales, et des erreurs quasi nulles entre acceptation et rejet, la plupart des erreurs résiduelles se situant à la frontière de l'escalade. Cette proposition comble un angle mort de la recherche en robotique autonome, jusqu'ici concentrée sur l'exécution des plans plutôt que sur la vérification de leur faisabilité : comme les LLM généralistes, les modèles de planification robotique peuvent produire des actions biaisées vers l'objectif fixé par l'utilisateur, contraires à l'éthique scientifique, dangereuses faute de mémoire des risques déjà identifiés, ou vulnérables aux attaques adversariales. Pour les intégrateurs qui déploient des piles agentiques combinant modèles vision-langage-action et contrôle robotique, ce travail illustre un besoin croissant de gouvernance intermédiaire entre la décision du modèle et l'actionnement physique. Il apporte une mesure rare dans un domaine où les garanties de sécurité restent souvent qualitatives, même si des erreurs subsistent à la frontière de l'escalade, où l'arbitrage humain reste nécessaire. Cette recherche s'inscrit dans la montée des architectures agentiques en robotique, où les modèles de fondation vision-langage-action, tels que ceux développés par Physical Intelligence, NVIDIA ou Figure AI pour piloter des robots humanoïdes, sont de plus en plus reliés à des chaînes d'outils via des protocoles comme MCP. L'article, publié en août 2026, ne précise ni plateforme robotique testée ni calendrier de déploiement industriel : il s'agit à ce stade d'une contribution méthodologique de recherche, dont l'adoption par des laboratoires ou des intégrateurs reste à démontrer.

RecherchePaper

1 source

3arXiv cs.RO

Environnement conçu pour l'autonomie partagée fiable avec garanties probabilistes

Une équipe de recherche propose une méthode pour concevoir des environnements de travail optimisés pour l'autonomie partagée entre humains et robots, avec des garanties probabilistes de fiabilité. Publiée sur arXiv le 20 juillet 2026, l'étude s'attaque à un angle mort des systèmes d'autonomie partagée existants : la plupart des travaux antérieurs cherchent à améliorer l'inférence d'intention de l'utilisateur en supposant un environnement fixe, sans questionner l'agencement physique de l'espace de travail lui-même. Les chercheurs formalisent la disposition des objets sur un plan de travail comme un problème d'optimisation, et démontrent qu'un agencement bien pensé améliore directement la capacité du système à distinguer les objectifs possibles de l'utilisateur, même en présence de bruit dans les commandes (mouvements de joystick, gestes, ou autres entrées imprécises). Les tests, menés en simulation sur plusieurs scénarios de manipulation sur table, montrent que les configurations optimisées réduisent l'ambiguïté d'inférence par rapport à des dispositions de référence. Une démonstration sur système physique réel valide l'intégration de cette approche. L'apport principal est conceptuel autant que technique : au lieu de chercher uniquement à améliorer l'algorithme d'inférence d'intention (le "cerveau" du système), l'étude montre qu'agir sur l'environnement physique lui-même (le placement des objets, leur espacement, leur disposition) constitue un levier complémentaire et mesurable pour fiabiliser l'assistance robotique partagée. Pour les intégrateurs et concepteurs de postes de travail collaboratifs, cela ouvre une piste d'ingénierie low-cost : repenser l'agencement d'une cellule de travail peut réduire les erreurs d'interprétation sans toucher au logiciel de commande, avec une garantie mathématique de correction sous un modèle de bruit borné plutôt qu'une simple amélioration empirique. Le travail s'inscrit dans la lignée des recherches sur l'autonomie partagée (shared autonomy), un domaine actif depuis plusieurs années visant à combiner commande humaine directe et assistance autonome, notamment pour les bras robotiques manipulateurs et les interfaces d'assistance aux personnes en situation de handicap. Les auteurs positionnent leur contribution comme complémentaire aux approches classiques d'inférence d'intention plutôt que concurrente, et ouvrent la voie à des extensions vers des environnements plus complexes et des tâches multi-étapes.

RecherchePaper

1 source

4arXiv cs.RO

Modèles de diffusion séquentiels pour l'apprentissage méta en contexte de la dynamique des robots

Des chercheurs ont publié sur arXiv (réf. 2604.13366) une étude comparative portant sur l'identification de systèmes robotiques par méta-apprentissage en contexte, en opposant des modèles de séquences déterministes à des approches génératives basées sur la diffusion. L'équipe reformule le problème classique de l'identification de dynamiques robotiques comme une tâche de méta-apprentissage in-context : le modèle observe une séquence de paires (commande, observation) pour inférer les paramètres dynamiques d'un robot sans re-entraînement. Deux architectures de diffusion sont introduites et évaluées face à une baseline Transformer déterministe : une diffusion par inpainting (inspirée de Diffuser), qui apprend la distribution jointe entrée-observation, et des modèles de diffusion conditionnés sur les entrées de contrôle, déclinés en versions CNN et Transformer. Les expériences sont menées à grande échelle dans des simulations randomisées couvrant des régimes en distribution et hors distribution. Ces résultats sont significatifs pour la commande basée sur modèle (model-based control), qui exige des prédictions de dynamique précises et robustes. L'étude montre que les modèles de diffusion surpassent nettement la baseline déterministe lorsque les conditions d'exécution s'écartent de la distribution d'entraînement, un scénario courant dans les déploiements industriels réels où les robots rencontrent des charges utiles variables, des surfaces inattendues ou de l'usure mécanique. La diffusion par inpainting obtient les meilleures performances globales. Un résultat clé concerne la contrainte temps réel : grâce à un échantillonnage à démarrage chaud (warm-started sampling), les modèles de diffusion parviennent à opérer dans les fenêtres temporelles exigées par les boucles de contrôle, levant ainsi un obstacle majeur à leur adoption pratique. Ce travail s'inscrit dans un courant de recherche actif qui cherche à combiner les capacités génératives des modèles de diffusion avec les exigences de robustesse et de latence du contrôle robotique. La diffusion appliquée à la planification de trajectoires et à la prédiction de dynamiques a émergé avec des travaux comme Diffuser (Janner et al., 2022) et se confronte ici à un scénario de méta-apprentissage, plus réaliste pour des robots déployés dans des environnements variables. Les concurrents directs incluent les approches probabilistes bayésiennes et les réseaux neuronaux récurrents pour l'identification en ligne. La prochaine étape naturelle sera une validation sur hardware réel, notamment pour confirmer que les gains hors distribution observés en simulation résistent au sim-to-real gap.

RecherchePaper

1 source