Analyse différentielle d'images multispectrales…

1arXiv cs.RO

AmpAttention, une attention inspirée des amplificateurs différentiels pour la manipulation robotique multi-vue

Une équipe de chercheurs anonymes, dans une soumission actuellement en évaluation par les pairs sur arXiv (2607.02845), propose AmpAttention, un mécanisme d'attention pour la manipulation robotique multi-vues inspiré des amplificateurs différentiels utilisés en électronique analogique. Intégré dans un modèle baptisé RVAF, ce mécanisme combine attention intra-vue et inter-vue guidée par la tâche pour filtrer le bruit visuel issu des occlusions, de la redondance entre caméras et de la dépendance au point de vue. Sur le benchmark de simulation RLBench, qui couvre 18 tâches et 249 variations, RVAF affiche le meilleur taux de réussite moyen parmi les méthodes comparées, tout en réduisant le temps d'entraînement de 33,3%. En conditions réelles, le système a démontré une précision suffisante pour saisir une fléchette et l'insérer au centre d'une cible de dart, une tâche qui exige un alignement fin entre perception et contrôle moteur. Une variante étendue, RVAF++, intègre l'encodeur d'images SAM2, développé par Meta, et atteint un taux de réussite de 91% sur la tâche d'insertion de goupille, l'une des plus exigeantes en précision du benchmark. L'enjeu dépasse la simple performance sur un benchmark académique. Les approches de manipulation multi-vues par attention souffrent d'un problème connu de dérive attentionnelle: le modèle se laisse distraire par des signaux visuels redondants ou occultés selon l'angle de caméra, ce qui dégrade la fiabilité en conditions réelles, précisément là où les démonstrations en laboratoire échouent souvent à se traduire en performance industrielle. En empruntant le principe du rejet de bruit en mode commun des amplificateurs différentiels, plutôt qu'en ajoutant des couches d'attention supplémentaires, AmpAttention propose une piste architecturale peu coûteuse en calcul pour améliorer le rapport signal/bruit perceptif, un facteur clé pour les intégrateurs qui cherchent à fiabiliser des tâches de précision comme l'insertion ou l'assemblage sans multiplier les capteurs ou le temps d'entraînement. RVAF s'inscrit dans la lignée des modèles vision-langage-action et des architectures de manipulation basées sur l'attention qui ont rapidement progressé ces deux dernières années, aux côtés de travaux comme GR00T N2 ou Helix. La comparaison directe avec SAM2, encodeur d'images publié par Meta et intégré dans RVAF++, illustre comment les briques de vision généraliste des grands laboratoires irriguent désormais la recherche en robotique spécialisée. Publié anonymement dans le cadre d'une évaluation par les pairs, avec du matériel qualitatif complémentaire disponible sur un site de projet temporaire, l'article ne précise ni application industrielle concrète ni calendrier de transfert vers des plateformes commerciales. Il s'ajoute néanmoins à une liste croissante de travaux qui cherchent à résoudre le problème du transfert simulation-vers-réel sur des tâches de haute précision.

RecherchePaper

1 source

2arXiv cs.RO

Sentir le terrain avant de le franchir : des modèles du monde pour la navigation tout-terrain

Une équipe de chercheurs présente, dans un article déposé sur arXiv (référence 2609.19863v1, catégorie "new"), Feel-WM, un modèle de monde ("world model") de navigation conçu pour les terrains accidentés hors piste. Contrairement aux modèles de navigation urbaine, qui se contentent de prédire la scène visuelle à venir, Feel-WM prédit en plus l'état proprioceptif futur du robot, c'est-à-dire son glissement, son inclinaison et ses vibrations le long d'une trajectoire envisagée, ainsi qu'un risque d'échec associé, le tout appris directement à partir de l'expérience du robot sans étiquetage humain. Le planificateur simule ce futur physique en parallèle de la scène visuelle et pondère le risque d'échec prédit face à la proximité avec l'objectif dans un score de décision séparé. Les auteurs ont testé le système sur des données réelles de terrain accidenté et en simulation, sur des plateformes à la fois à roues et à pattes, puis l'ont déployé en embarqué sur un robot à roues Husky lancé sur des sentiers de montagne, où il a anticipé les zones de sol difficile, les a contournées, et a terminé des parcours qu'une politique de bout en bout classique échouait à compléter. L'apport revendiqué est de démontrer que la seule prédiction visuelle ne suffit pas dès que l'interaction robot-terrain devient le facteur dominant, ce qui est le cas hors des environnements urbains structurés où circulent la plupart des robots mobiles commerciaux actuels. En ajoutant la proprioception comme donnée d'entrée, Feel-WM améliore la prédiction du futur physique et surpasse les modèles de navigation purement visuels, aussi bien en planification en boucle ouverte qu'en navigation en boucle fermée sur terrain difficile. Pour les intégrateurs de robots mobiles destinés à l'agriculture, la défense, la sylviculture ou le secours en zone non structurée, ce travail suggère une piste concrète pour réduire les échecs de navigation sans dépendre uniquement de caméras ou de lidars, un enjeu de fiabilité central pour les flottes autonomes en extérieur. Il nuance aussi l'idée reçue selon laquelle les modèles de monde visuels suffiraient à généraliser la planification robotique à tous les environnements. Ce travail s'inscrit dans la tendance de recherche consistant à planifier par anticipation, en simulant les conséquences de chaque action candidate plutôt qu'en associant directement observation et commande, une approche qui concurrence les politiques de bout en bout entraînées par imitation ou apprentissage par renforcement. La quasi-totalité des modèles de monde publiés jusqu'ici ciblait des environnements urbains ou structurés, où l'image seule constitue un proxy suffisant du futur pertinent pour la navigation. Feel-WM comble ce manque pour la robotique tout-terrain en exploitant des signaux proprioceptifs, issus par exemple de centrales inertielles ou d'encodeurs de roues et de jambes, appris de façon autonome. L'article ne mentionne à ce stade ni affiliation industrielle ni partenaire de déploiement commercial : il s'agit d'une validation expérimentale sur robot Husky et en simulation, sans calendrier de mise en production ni pilote industriel annoncé.

RecherchePaper

1 source

3arXiv cs.RO

HandEdit : un référentiel unifié pour l'édition d'images de mains robotiques dextériques du point de vue humain

L'article scientifique publié le 13 août 2026 sur arXiv présente HandEdit, un jeu de données et benchmark d'édition d'images conçu pour transformer des vidéos de mains humaines en représentations de mains robotiques dextres, dans des séquences filmées à la première personne. L'ensemble comprend plus de 200 millions d'instances d'édition, issues de cinq jeux de données sources distincts, couvrant 26 configurations URDF différentes, dont 13 modèles de mains seules et 13 configurations bras-main combinées. Les chercheurs ont mis en place un protocole d'évaluation unifié avec deux volets, "Hand-only" et "Hand-Arm", permettant une évaluation conditionnée par URDF. Onze modèles d'édition d'images de référence ont été testés selon une suite de métriques multidimensionnelle combinant similarité générique, jugement par modèle vision-langage (VLM) et métriques spécifiques à l'incarnation robotique (embodiment-aware). L'enjeu pour l'industrie robotique tient au goulot d'étranglement bien identifié de la téléopération : collecter des données d'entraînement embodiment-aware pour des mains robotiques dextres coûte cher, alors que des vidéos égocentriques de mains humaines existent en abondance sur le web. HandEdit cherche à combler l'écart d'apparence, d'articulation et de point de vue caméra entre données humaines et robotiques, un problème que les modèles d'édition d'images généralistes ne résolvent pas complètement faute de connaissances a priori propres à chaque plateforme robotique. Si l'approche tient ses promesses, elle pourrait permettre aux équipes de recherche en IA incarnée d'entraîner des politiques de manipulation dextre à partir de vidéos humaines à grande échelle plutôt que de dépendre exclusivement de démonstrations téléopérées coûteuses, un levier potentiellement significatif pour accélérer l'apprentissage de tâches de préhension fine chez les mains robotiques multi-doigts. Ce travail s'inscrit dans la lignée des efforts récents visant à exploiter les vidéos humaines comme source de supervision pour l'apprentissage robotique, un axe de recherche actif face à la rareté des données de téléopération pour les mains dextres, distinctes des pinces simples des bras robotiques industriels classiques. En couvrant 26 URDF différents, HandEdit se positionne comme une ressource de référence transversale plutôt que liée à une seule plateforme matérielle, ce qui pourrait faciliter son adoption par différents laboratoires travaillant sur des mains robotiques variées. L'article ne précise pas de calendrier de déploiement industriel ni de partenariat commercial ; il s'agit à ce stade d'une contribution de recherche fondamentale, avec le jeu de données et le benchmark présentés comme ressource ouverte pour la communauté de l'IA incarnée.

RecherchePaper

1 source

4arXiv cs.RO

Amortissement de l'optimisation de trajectoire pour la MPC résiduelle via différentiation implicite du contact

Cette étude publiée sur arXiv (2607.24959v1) s'attaque à un goulot d'étranglement classique de la robotique de contact : l'optimisation de trajectoire dans des simulateurs différentiables. Les chercheurs introduisent une méthode de dérivation implicite assistée par différentiation automatique (AD), appliquée au moteur MuJoCo MJX et fondée sur le théorème des fonctions implicites (IFT). Contrairement aux différences finies, coûteuses et sensibles au choix du pas, ou au déroulement complet de l'AD à travers un solveur de contact itératif, qui fait exploser la trace de calcul stockée en mémoire, leur approche différencie directement le résidu de stationnarité à la solution convergée, sans reconstruire à la main les systèmes KKT propres à chaque solveur. Résultat mesuré : la mémoire temporaire compilée reste quasi constante quel que soit l'effort du solveur, avec moins de 4% de variation entre une et dix itérations, contre une croissance de 10,6 fois pour l'AD déroulée classique. Le gain s'accentue avec la complexité du problème : 20 fois moins de mémoire à 256 contacts actifs, 6 fois moins à 16 contacts et 96 degrés de liberté. L'équipe va plus loin avec une technique de "distillation d'optimiseur" pour le contrôle prédictif résiduel (residual MPC) : un iLQR complet, calculé en batch sur tout l'horizon temporel, est condensé en une politique qui guide ensuite un iLQR résiduel à horizon court, bien moins coûteux à exécuter en ligne. Sur trois bancs d'essai (Finger, bras Franka, quadrupède Unitree), cette approche améliore le taux de succès à six pas de 28 à 98 points de pourcentage par rapport à un iLQR standard. Pour les équipes qui développent du contrôle robotique riche en contacts, manipulation fine, locomotion sur terrain irrégulier, l'intérêt est double : réduire drastiquement l'empreinte mémoire permet de faire tourner des simulations différentiables à plus grande échelle ou en temps réel embarqué, tandis que la distillation d'optimiseur offre une voie pour transférer la qualité d'une planification hors-ligne coûteuse vers un contrôleur exécutable en boucle rapide sur le robot. Le travail s'inscrit dans la lignée des efforts récents autour de MuJoCo MJX et de la simulation différentiable pour la robotique, un axe de recherche actif depuis que des laboratoires comme DeepMind ou des groupes académiques cherchent à exploiter les gradients de simulateurs physiques pour accélérer l'apprentissage et la planification, plutôt que de s'appuyer uniquement sur l'apprentissage par renforcement sans modèle. La méthode proposée ici comble un vide méthodologique entre les approches génériques mais gourmandes en mémoire et les dérivations KKT sur mesure, difficiles à maintenir et à généraliser d'un solveur à l'autre. Les auteurs ne précisent pas de calendrier de publication du code ni de partenariat industriel, mais la validation croisée sur des plateformes hétérogènes (doigt robotique, bras manipulateur Franka, quadrupède Unitree) suggère une ambition de généralisation au-delà d'un cas d'usage unique, avec un potentiel d'intégration dans des piles de contrôle MPC pour la manipulation ou la locomotion dynamique.

RecherchePaper

1 source

Analyse différentielle d'images multispectrales pour l'identification du terrain

À lire aussi

AmpAttention, une attention inspirée des amplificateurs différentiels pour la manipulation robotique multi-vue

Sentir le terrain avant de le franchir : des modèles du monde pour la navigation tout-terrain

HandEdit : un référentiel unifié pour l'édition d'images de mains robotiques dextériques du point de vue humain

Amortissement de l'optimisation de trajectoire pour la MPC résiduelle via différentiation implicite du contact