Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Fisheye-VLA : découpler couverture et acuité pour la manipulation avec une seule caméra fisheye
RecherchearXiv cs.RO 

Fisheye-VLA : découpler couverture et acuité pour la manipulation avec une seule caméra fisheye

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent sur arXiv (2609.25750v1) Fisheye-VLA, un système de perception qui remplace la paire caméra frontale plus caméra de poignet, standard en manipulation robotique, par une unique caméra fisheye passive. Une vue globale de cette caméra conserve l'ensemble de l'espace de travail, tandis que des recadrages en perspective, extraits de la même image, fournissent le détail local nécessaire au contact. Une étude contrôlée de re-rendu, comparant plusieurs directions de recadrage sur les mêmes séquences enregistrées, montre que des vues centrées sur l'organe terminal captent l'essentiel du bénéfice d'un espace de candidats bien plus vaste, ce qui justifie de concentrer le budget visuel autour des deux mains. Le suivi combine projection calibrée de la position de l'effecteur, anticipation du mouvement et un encodage de rayons partagé qui garde la cohérence spatiale des recadrages en mouvement. Associé à un modèle vision-language-action pré-entraîné, le système atteint 84% et 82% de réussite sur deux zones de table étendues où certaines cibles sortent du champ d'une caméra frontale classique, et gère aussi des tâches sur étagère et sur convoyeur.

Pour l'industrie, l'enjeu est matériel autant qu'algorithmique : supprimer la caméra de poignet physique réduit le câblage, les points de défaillance mécanique et les coûts de calibration sur les bras manipulateurs, un argument concret pour les intégrateurs qui cherchent à déployer des VLA hors des démonstrations contrôlées. Les ablations montrent que les recadrages locaux et leur orientation gagnent en importance à mesure que l'espace de travail s'agrandit, preuve que le gain n'est pas cosmétique : il devient déterminant dès que les cibles s'éloignent du centre de la scène, précisément là où les rigs à caméra frontale unique échouent.

Le travail s'inscrit dans la tendance des modèles vision-language-action, qui reposent presque tous sur des rigs multi-caméras dédiés, coûteux à calibrer et à entretenir sur des bras industriels. En montrant qu'une seule caméra fisheye passive, correctement traitée, peut remplacer ce montage sans perte mesurable de performance, l'étude ouvre la voie à des architectures de perception plus légères pour de futurs déploiements en logistique et en entrepôt. Elle reste toutefois, à ce stade, une validation en environnement de recherche contrôlé, sans indication d'un déploiement commercial ni d'un partenaire industriel identifié.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

D'une seule démonstration à une politique générale pour la manipulation avec contact
1arXiv cs.RO 

D'une seule démonstration à une politique générale pour la manipulation avec contact

Une équipe de recherche publie sur arXiv (réf. 2605.17601, mai 2026) un framework d'apprentissage par démonstration capable de généraliser à partir d'un seul exemple sur des tâches de manipulation impliquant des contacts répétés avec l'environnement. Le système repose sur un pipeline en quatre étapes : abstraction de la démonstration en primitives de contraintes environnementales, exploration autonome pour lever les ambiguïtés, correction ciblée par un opérateur humain pour couvrir les variantes hors-distribution, et enfin récupération en ligne des détails géométriques via interaction compliante. Validé sur sept tâches réelles multi-étapes à contact riche, le framework atteint un taux de succès supérieur à 90 %. Aucune entreprise spécifique ni plateforme robotique n'est mentionnée dans le préprint, qui reste une contribution académique sans déploiement industriel annoncé. Le point central de l'approche est de représenter une tâche non pas comme une trajectoire à imiter, mais comme une séquence de contraintes environnementales à exploiter. Ce changement de paradigme permet au robot de distinguer la structure générale d'une tâche (types de contraintes, transitions entre elles) des détails spécifiques à une instance donnée (poses exactes, géométrie locale). Pour un intégrateur ou un décideur industriel, cela signifie qu'une seule démonstration suffit potentiellement là où les méthodes de behavior cloning classiques en réclament des centaines. Le résultat de 90 %+ sur des tâches à contact riche est notable car ce domaine concentre la majorité des échecs en manipulation robotique réelle, notamment à cause de la sensibilité aux variations de pose et aux dynamiques de contact non modélisées. L'apprentissage par démonstration est un champ très actif depuis une décennie, concurrencé récemment par les politiques de diffusion (Diffusion Policy, Pi-0 de Physical Intelligence), les architectures VLA (RT-2, GR00T N2 de NVIDIA) et les méthodes ACT (Action Chunking with Transformers). L'originalité revendiquée ici est de traiter les contraintes environnementales comme biais inductif plutôt que d'augmenter massivement les données d'entraînement ou la puissance du modèle. La limite principale reste l'absence d'évaluation sur des plateformes humanoïdes ou collaboratives standard, ce qui rend difficile la comparaison directe avec les benchmarks du secteur. Les suites naturelles seraient un passage à des environnements ouverts et une validation sur des robots commerciaux comme le Franka Research 3 ou les bras UR.

RecherchePaper
1 source
CoRE : apprendre des experts par rôle de collaboration pour la manipulation collaborative décentralisée avec une seule politique
2arXiv cs.RO 

CoRE : apprendre des experts par rôle de collaboration pour la manipulation collaborative décentralisée avec une seule politique

Des chercheurs présentent CoRE (Collaboration-Role Experts), une méthode de manipulation collaborative décentralisée où une seule politique, partagée par tous les robots, pilote chaque machine. Chaque robot s'appuie uniquement sur ses observations visuelles et sa proprioception, sans instruction de tâche, sans étiquette d'identité et sans message échangé entre robots. Le système apprend à partir de démonstrations regroupées, multi-tâches et multi-robots. Il fusionne apparence et géométrie pour extraire des indices locaux d'interaction. Des experts à attention croisée conditionnée par requête offrent plusieurs chemins de prédiction. Un routeur local les combine à chaque position du segment d'actions (action chunk). À l'entraînement, une perte d'alignement action-expert supervise le choix des experts à partir des erreurs de prédiction relatives obtenues en forçant chaque route sur des entrées fixes, sans étiquette de rôle. Les auteurs annoncent les meilleures performances moyennes parmi les méthodes décentralisées évaluées sur plusieurs benchmarks en simulation. Des expériences physiques couvrent plusieurs tâches de manipulation et testent la robustesse face aux retards et aux ralentissements du partenaire. Le résumé ne chiffre ni les scores, ni le nombre de robots, ni les plateformes utilisées. L'enjeu est d'abord architectural. Dans la manipulation à plusieurs robots, on choisit souvent entre un contrôleur centralisé, qui ne passe pas à l'échelle et dépend d'une communication fiable, et des politiques distinctes par rôle, qui exigent d'affecter les rôles à l'avance. CoRE vise une troisième voie : un seul jeu de poids, où chaque robot déduit son rôle (tenir, pousser, soutenir) de ce qu'il perçoit localement. Pour un intégrateur, cela réduirait la maintenance, puisqu'il n'y aurait qu'une politique à déployer, et supprimerait la dépendance à un lien réseau entre robots. La robustesse aux partenaires lents est pertinente en atelier, où les temps de cycle varient. Il faut toutefois rester prudent : les gains sont relatifs à d'autres méthodes décentralisées, pas à un contrôle centralisé. Sans chiffres publiés dans le résumé, l'écart entre simulation et réel, ainsi que la généralité des tâches testées, restent à vérifier dans l'article complet. Ce travail s'inscrit dans l'essor des politiques vision-langage-action (VLA) et des politiques à chunks d'actions (type ACT ou diffusion), qui ont surtout été développées pour un robot unique. Les extensions multi-robots restent peu nombreuses et reposent souvent sur la communication explicite ou sur des identifiants de rôle. L'approche par mélange d'experts, déjà courante dans les grands modèles, est ici transposée à la coordination implicite. La page du projet est hébergée sur le domaine aus.bot. Aucune annonce de pilote industriel ni de calendrier de déploiement n'accompagne cette publication, qui relève de la recherche académique en préversion arXiv, sans produit associé. Les prochaines étapes à surveiller sont la montée en nombre de robots, le passage à des équipes hétérogènes (bras différents, humanoïdes) et la comparaison directe avec des baselines centralisées.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
KITE : découpler la cinématique et l'interaction pour une manipulation inter-morphologies en zéro-shot
3arXiv cs.RO 

KITE : découpler la cinématique et l'interaction pour une manipulation inter-morphologies en zéro-shot

Des chercheurs proposent KITE (Kinematic Interaction Transfer across Embodiments), une méthode de transfert zéro-shot de politiques de manipulation entre robots de morphologies différentes, décrite dans un preprint arXiv (2606.22113, version 2 révisée). Le principe consiste à séparer deux fonctions que les politiques classiques fusionnent: une politique d'interaction, indépendante du robot, prédit l'« intention d'interaction » sous la forme de motifs de contact, puis un décodeur cinématique propre à chaque robot traduit cette intention en mouvements. La politique d'interaction est entraînée uniquement sur des démonstrations collectées avec un robot source. Le décodeur, lui, apprend à partir de données synthétiques générées depuis le modèle cinématique du robot cible. Les auteurs évaluent la méthode sur quatre tâches de manipulation, en simulation et en conditions réelles, avec des transferts entre pinces parallèles, mains dextres et embodiments composites. Ils affirment un transfert zéro-shot réussi vers des robots structurellement différents et de meilleurs résultats que les méthodes de référence. Le résumé ne donne ni taux de réussite ni liste des baselines. L'enjeu est économique autant que scientifique. Aujourd'hui, changer de pince, passer à une main dextre ou modifier la configuration d'un bras oblige en général à recollecter des démonstrations, ce qui pèse lourd sur les coûts d'intégration et freine la réutilisation des modèles VLA et des politiques apprises. Si l'approche tient ses promesses, un intégrateur pourrait fournir uniquement le modèle cinématique du nouvel effecteur pour récupérer une compétence déjà acquise, sans nouvelle campagne de téléopération. Ce serait un levier concret pour les parcs hétérogènes, où cohabitent plusieurs types de préhenseurs. Il faut toutefois rester prudent: quatre tâches, une validation académique et aucune donnée chiffrée dans le résumé ne permettent pas de conclure à une robustesse industrielle. Les contacts complexes, la dynamique, la compliance ou les objets déformables restent hors de ce que la seule cinématique peut capturer, et l'écart entre démonstration de laboratoire et déploiement réel reste à mesurer. Le travail s'inscrit dans la recherche sur la généralisation inter-embodiments, où des modèles généralistes comme Pi-0, GR00T ou Helix tentent d'absorber la diversité des robots par des données massives et hétérogènes. KITE choisit une voie plus structurée: une représentation intermédiaire centrée sur le contact, plutôt que l'échelle des données. Elle rejoint des idées proches, comme les représentations orientées objet ou les trajectoires de points, qui visent aussi à découpler la tâche du corps du robot. Le projet dispose d'un site dédié (kite-manip.github.io), et l'on peut attendre des évaluations plus larges, avec davantage de tâches, des mains plus variées et des comparaisons directes avec les politiques généralistes. Cette version 2 indique en tout cas un travail encore en cours de consolidation.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
VersaCamVLA : des politiques VLA à caméra configurable pour la manipulation robotique
4arXiv cs.RO 

VersaCamVLA : des politiques VLA à caméra configurable pour la manipulation robotique

VersaCamVLA, un framework publié sur arXiv (2610.12451, première version), s'attaque à une faiblesse structurelle des modèles Vision-Language-Action (VLA) : leur dépendance à une configuration de caméras fixe pendant l'entraînement. Les auteurs proposent une interface de « scene tokens » qui convertit un ensemble variable de vues RGB avec pose connue en un nombre fixe de tokens latents de scène. Cette interface est apprise par prédiction de vue cible multi-signaux, et par une méthode d'échantillonnage baptisée Wrist-Augmented Pose Sampling (WAPS), qui exploite les mouvements naturels de la caméra poignet pour obtenir gratuitement de la diversité de poses. Au déploiement, un encodeur spatial léger injecte ces tokens compacts dans un VLA de base préentraîné, comme condition visuelle supplémentaire. Aucun capteur 3D explicite ni rendu de nouvelles vues n'est nécessaire. Les tests couvrent les benchmarks RoboTwin et LIBERO ainsi qu'une plateforme robotique réelle. Les auteurs affirment que VersaCamVLA dépasse les méthodes VLA antérieures et les références multi-vues directes, avec des performances stables quand le nombre de caméras change ou que leurs poses n'ont jamais été vues. L'enjeu est très concret pour les intégrateurs. Un VLA entraîné avec une caméra tête et une caméra poignet à des positions précises perd en fiabilité dès qu'un opérateur déplace une caméra de quelques centimètres, ajoute une vue ou remplace un capteur. Cette fragilité est l'un des freins au passage de la démonstration au déploiement multi-sites, où la géométrie des cellules varie d'un client à l'autre. Découpler la représentation de la scène de l'apprentissage de l'action permet, en principe, de réutiliser un même modèle de base sans réentraînement par configuration, et de réduire les coûts de recalibration. L'approche, qui se greffe sur un VLA existant au lieu d'en exiger un nouveau, est un argument d'adoption. Elle suggère aussi que la généralisation aux changements de point de vue peut passer par une interface visuelle dédiée plutôt que par davantage de données de téléopération. Il faut toutefois relativiser. Il s'agit d'un preprint non évalué par les pairs, dont les résultats reposent sur des benchmarks en simulation et sur une seule plateforme réelle. Le résumé ne chiffre ni les taux de réussite, ni l'amplitude des changements de pose testés, ni le coût de calcul supplémentaire. Ces points seront décisifs pour juger de l'intérêt industriel. Le travail s'inscrit dans la course à la robustesse des VLA, aux côtés de familles de modèles comme Pi-0 ou GR00T, dont les déclinaisons restent généralement entraînées sur des configurations de capteurs précises. Les prochaines étapes à surveiller sont la publication du code et des poids, des tests sur des VLA de base variés, et une validation en conditions réelles avec des variations de caméras mesurées, par exemple sur des lignes de picking ou d'assemblage.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source