RecherchearXiv cs.RO1j

Asservissement visuel à événements bio-inspiré pour robots terrestres

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (référence 2603.23672v2) un framework de servoing visuel événementiel 1D pour robots terrestres évoluant en environnements structurés. L'approche repose sur un capteur de vision dynamique (DVS), une caméra bio-inspirée qui ne génère des signaux, appelés "événements", qu'en réponse à des variations locales de luminance logarithmique, contrairement aux caméras classiques à trame fixe. En appliquant un noyau spatial fixe au flux d'événements asynchrones produit par des motifs d'intensité structurés, les auteurs montrent analytiquement que le flux d'événements net isole des combinaisons spécifiques d'états cinématiques : un profil spatial linéaire extrait la vitesse du robot, un profil quadratique extrait le produit position-vitesse. En combinant plusieurs motifs simultanément, le système synthétise directement un terme de retour d'état non linéaire, sans passer par une estimation d'état traditionnelle (pas de filtre de Kalman, pas d'odométrie). Pour contourner la perte d'observabilité linéaire à l'équilibre, problème inhérent aux capteurs événementiels qui cessent de générer des signaux en l'absence de mouvement, les auteurs proposent un contrôleur en cycle limite actif, directement inspiré des comportements de fixation oculaire observés chez les animaux. Le tout a été validé expérimentalement sur un véhicule autonome à l'échelle 1/10.

L'intérêt principal de ce travail réside dans l'élimination de l'estimation d'état explicite du pipeline de contrôle, ce qui réduit structurellement la latence et la charge computationnelle, deux contraintes critiques pour les robots mobiles rapides ou embarqués sur matériel contraint. Le fait que la séparation des états cinématiques soit obtenue analytiquement, et non par apprentissage, constitue un avantage de robustesse : le comportement est prédictible et formellement borné. L'approche adresse aussi un angle mort connu des capteurs DVS : leur insensibilité à l'état statique, qui rend le contrôle à l'équilibre difficile avec des méthodes classiques. Le cycle limite bio-inspiré contourne ce problème sans injection de bruit artificiel.

Les capteurs DVS (commercialisés notamment par Prophesee en France et iniVation en Suisse) suscitent un intérêt croissant en robotique mobile depuis une décennie, portés par leur latence sub-milliseconde et leur dynamique de 120 dB, mais leur intégration dans des boucles de contrôle fermées reste un défi algorithmique non trivial. Ce papier s'inscrit dans un courant de recherche actif sur le "event-based control" qui tente de dépasser le stade de la démonstration perceptive pour atteindre le contrôle en boucle fermée robuste. Les concurrents conceptuels incluent les approches par flot optique événementiel (groupes de Davide Scaramuzza à Zurich, Tobi Delbruck à ETH) et les méthodes de servoing visuel classique accélérées par GPU. La validation sur véhicule 1/10 reste modeste en échelle ; les prochaines étapes naturelles seraient une extension à la navigation 2D et des tests sur plateformes de taille réelle en conditions non structurées.

Impact France/UE

Prophesee (France) et iniVation (Suisse), principaux fabricants commerciaux de capteurs DVS, bénéficient directement de l'intérêt croissant pour ces architectures de contrôle événementiel en boucle fermée, consolidant la position de l'écosystème EU dans la chaîne de valeur de la robotique mobile embarquée.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Permettre aux robots de ressentir le toucher : alignement cortical visuo-tactile pour la résonance miroir incarnée

Une équipe de chercheurs a publié en mai 2025 sur arXiv (preprint 2605.14571) un travail présentant Mirror Touch Net, une architecture neuronale permettant à une main robotique de prédire des signaux tactiles à partir d'images RGB seules. Le système couvre 1 140 taxels répartis sur la main du robot, avec une résolution de l'ordre du millimètre. L'approche impose un alignement sémantique, distributionnel et géométrique entre représentations visuelles et tactiles via des contraintes multi-niveaux, de façon à rendre la géométrie de l'espace visuel cohérente avec celle du manifold tactile. L'extension du cadre à des observations de mains humaines permet également de déclencher des réponses réflexes lorsque le robot "voit" une main humaine touchée. Le code source est disponible sur GitHub. La valeur technique de ce travail réside dans la transposition d'un principe neuroscientifique, le "mirror touch", cette sensation tactile que l'on éprouve en observant quelqu'un d'autre être touché, en un mécanisme calculable. Pour les intégrateurs et les équipes travaillant sur la manipulation dextre, cela ouvre la voie à une perception tactile anticipatoire : le robot n'attendrait plus le contact physique pour ajuster sa prise, mais prédirait la sensation à partir du flux visuel. L'analyse par manifolds, qui démontre que les contraintes d'alignement simplifient effectivement le mapping cross-modal, constitue un résultat explicable, ce qui est notable dans un domaine où les architectures restent souvent des boîtes noires. Il convient cependant de noter qu'il s'agit d'un preprint non encore évalué par les pairs, et que les performances annoncées restent à reproduire hors des conditions de laboratoire. Ce travail s'inscrit dans un courant actif autour de la perception tactile pour la robotique dextre, où plusieurs groupes tentent de réduire la dépendance aux capteurs de force coûteux et fragiles. Des approches concurrentes incluent les travaux de Meta FAIR sur les capteurs à base de gel (DIGIT), les recherches de MIT CSAIL sur la reconstruction 3D par vision tactile, ou encore les travaux d'Uppsala et ETH Zurich sur la sim-to-real tactile. Mirror Touch Net se distingue par son ancrage neuroscientifique explicite et son extension aux mains humaines, potentiellement utile pour les environnements collaboratifs. Les prochaines étapes naturelles seraient une validation sur des tâches de manipulation réelles et une intégration dans des architectures Vision-Language-Action (VLA) de type diffusion policy ou pi-0.

RecherchePaper

1 source

2arXiv cs.RO

VISOR : un oracle de test basé sur un modèle vision-langage pour tester les robots

Une équipe de chercheurs a présenté VISOR, un oracle de test automatisé pour la robotique basé sur des modèles vision-langage (VLM). Publiée sur arXiv (2605.10408), la méthode vise à résoudre ce que le domaine nomme le "problème de l'oracle de test" : déterminer automatiquement si un robot a accompli une tâche de manière correcte et avec une qualité suffisante. Jusqu'ici, deux approches coexistaient : les oracles symboliques, limités à des jugements binaires pass/fail et spécifiques à chaque tâche, et l'évaluation humaine manuelle, coûteuse, subjective et sujette aux erreurs. VISOR s'appuie sur GPT (OpenAI) et Gemini (Google) pour évaluer à la fois la correction et la qualité d'exécution, et pour quantifier son propre niveau d'incertitude lors des assessments. Le système a été validé sur plus de 1 000 vidéos couvrant quatre tâches robotiques distinctes. Les résultats montrent des profils contrastés : Gemini obtient un meilleur rappel (recall), identifiant davantage de vraies défaillances, tandis que GPT affiche une meilleure précision avec moins de faux positifs. Ces résultats nuancent l'idée d'un VLM universellement fiable comme juge de comportements robotiques. Plus problématique : les deux modèles présentent une faible corrélation entre leur score d'incertitude auto-déclaré et la correction réelle de leurs jugements. L'incertitude ne peut donc pas servir d'indicateur fiable pour filtrer les erreurs d'évaluation, ce qui est une limite directe pour tout déploiement en pipeline de test continu, où un tel signal de fiabilité serait précieux. Le "problème de l'oracle de test" est une problématique classique du génie logiciel, qui prend une dimension particulière en robotique physique : les comportements y sont continus, bruités et difficiles à formaliser symboliquement. L'approche VLM-as-judge, popularisée dans l'évaluation des LLMs textuels via des benchmarks comme MT-Bench ou AlpacaEval, est ici transposée à des sorties vidéo de robots, ce qui constitue une extension non triviale. Des travaux concurrents explorent des métriques spécifiques aux tâches ou des simulateurs avec vérification formelle, mais VISOR mise sur la généralité au détriment d'une calibration encore insuffisante. La prochaine étape identifiée par les auteurs est précisément d'améliorer cette corrélation incertitude-correction, condition nécessaire avant toute intégration dans un pipeline CI/CD robotique.

RecherchePaper

1 source

3arXiv cs.RO

Contrôle anti-enchevêtrement par topologie pour robots souples

Des chercheurs ont publié sur arXiv (référence arXiv:2605.05236v1) un cadre d'apprentissage par renforcement multi-agent baptisé TD-MARL (Topology-Driven Multi-Agent Reinforcement Learning), conçu pour coordonner plusieurs robots souples afin d'éviter les enchevêtrements dans des environnements de fabrication de précision fortement contraints. L'architecture repose sur un réseau critique à apprentissage centralisé, permettant à chaque agent de percevoir les stratégies de ses homologues via un état topologique partagé, couplé à une exécution distribuée qui supprime tout besoin de communication inter-robots en temps réel. Un composant central, la couche de sécurité topologique, exploite des invariants topologiques pour évaluer quantitativement et atténuer les risques d'enchevêtrement avant qu'ils ne bloquent les trajectoires. Les expériences présentées sont entièrement en simulation ; aucun déploiement sur hardware physique n'est rapporté à ce stade. Ce travail s'attaque à un verrou identifié dans les systèmes multi-robots déformables : les frameworks distribués classiques peinent à converger en environnements haute densité d'obstacles, car l'observabilité partielle de chaque agent génère une instabilité d'entraînement. En introduisant la topologie comme état partagé plutôt que des coordonnées brutes, TD-MARL réduit la dimensionnalité du problème de coordination tout en préservant l'information structurelle critique pour le désenchevêtrement. Pour les intégrateurs industriels qui déploient des robots souples en assemblage de précision ou en gestion de câbles, cette approche ouvre la voie à une coordination autonome sans infrastructure de communication dédiée, simplifiant l'architecture système. Le papier ne quantifie pas l'écart simulation-réel (sim-to-real gap), ce qui constitue la principale limite à l'extrapolation industrielle. La robotique souple connaît un regain d'intérêt pour les tâches de manipulation en espace confiné, portées par des équipes académiques en Chine, en Europe et aux États-Unis. Sur le plan du contrôle multi-agent, TD-MARL s'inscrit dans la lignée des approches CTDE (Centralized Training, Decentralized Execution) popularisées par MADDPG et MAPPO, en y ajoutant une couche topologique inspirée de la théorie des noeuds et de l'homologie persistante. Aucun concurrent industriel direct n'est nommé dans l'article, le benchmarking se faisant exclusivement contre des méthodes DRL de référence en simulation. La prochaine étape naturelle, et condition sine qua non pour un transfert industriel, serait une validation sur banc de test physique avec des corps déformables réels.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage par renforcement visuel avec politique primitive séparée pour l'assemblage par emboîtement

Des chercheurs ont publié sur arXiv (référence 2504.14820) une approche de reinforcement learning visuel baptisée Separate Primitive Policy (S2P), conçue pour automatiser les tâches d'assemblage par insertion cheville-trou (peg-in-hole). La méthode s'inspire du comportement humain en vision binoculaire : un opérateur localise d'abord visuellement la cheville au-dessus de la surface cible, puis exécute l'insertion. S2P décompose ce processus en deux primitives apprises simultanément, la localisation et l'insertion, dans un cadre de reinforcement learning sans modèle (model-free). Les auteurs ont développé dix tâches d'insertion distinctes utilisant des formes polygonales variées comme banc d'essai standardisé, ont conduit des expériences en simulation avec contraintes de force, puis validé l'approche sur robot réel. L'intérêt principal de S2P réside dans son gain de sample efficiency, c'est-à-dire la capacité à apprendre une politique efficace avec moins d'interactions avec l'environnement, combiné à une amélioration du taux de succès même lorsque des contraintes de force sont imposées. Pour les intégrateurs industriels, c'est un signal concret : l'assemblage fin, encore largement opéré par des systèmes rigides à programmation manuelle, devient plus accessible à l'apprentissage automatique en présence de retour visuel. La compatibilité affichée avec n'importe quel algorithme RL model-free élargit le spectre d'application, même si les performances absolues restent à confirmer hors des conditions de laboratoire présentées dans le papier. Le peg-in-hole est un benchmark historique en manipulation robotique, standardisé notamment dans le cadre des compétitions NIST Assembly Task Board. Des approches concurrentes combinent typiquement vision et retour d'effort (force-torque control), ou s'appuient sur des politiques d'imitation comme les VLA (Vision-Language-Action models) de Physical Intelligence (Pi-0) ou les travaux de simulation massive de NVIDIA Isaac Lab. S2P se positionne dans un espace différent, celui du RL visuel pur avec décomposition de primitives, une direction que des équipes comme celles de DeepMind et CMU explorent également. Les prochaines étapes naturelles concernent la robustesse aux variations d'éclairage, aux tolérances mécaniques réelles, et la généralisation à des géométries non vues en entraînement.

UEImpact indirect : les équipes R&D et intégrateurs industriels européens travaillant sur l'assemblage automatisé peuvent intégrer S2P dans leur veille sur le RL visuel pour la manipulation fine, sans déploiement ni acteur européen directement impliqué.

RecherchePaper

1 source