RecherchearXiv cs.RO 22 juillet 2026

IA de bout en bout par diffusion visuo-force avec apprentissage structurel lent-rapide : ImplicitRDP

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié une nouvelle version d'ImplicitRDP, une politique de diffusion visuo-force de bout en bout destinée à la manipulation robotique en contact riche, sur arXiv (article remplacé, version 2, décembre 2025). Le système fusionne dans un seul réseau la planification visuelle et le contrôle réactif par retour de force, deux modalités dont les fréquences diffèrent fortement : la vision offre un contexte spatial riche mais mis à jour lentement, tandis que les capteurs de force captent la dynamique de contact à haute fréquence. Pour concilier ces deux flux, les auteurs introduisent le "Structural Slow-Fast Learning", un mécanisme d'attention causale qui traite simultanément des tokens visuels et des tokens de force asynchrones, permettant au robot d'exécuter un contrôle de force rapide au rythme de l'action tout en conservant la cohérence temporelle des blocs d'actions générés par diffusion. Un second apport, la "Virtual-target-based Representation Regularization", vise à corriger un défaut classique des modèles bout en bout appelé "modality collapse", où le réseau finit par ignorer une des deux modalités lors de l'apprentissage des poids ; la méthode projette le retour de force dans le même espace que l'action, ce qui fournit un signal d'apprentissage ancré dans la physique plutôt qu'une simple prédiction brute de force.

Cette avancée s'attaque à un problème central pour l'industrie de la manipulation robotique fine : la difficulté de faire coopérer vision et toucher dans un même modèle sans que l'un écrase l'autre à l'entraînement. Pour les intégrateurs travaillant sur des tâches d'assemblage, d'insertion ou de préhension délicate, où le simple retour visuel ne suffit pas à détecter un contact ou un glissement, une politique unifiée capable de réagir à l'échelle de la force tout en gardant une planification visuelle cohérente représente un gain direct en robustesse, sans複exifier l'architecture avec des modules hiérarchiques séparés. Les auteurs affirment que leur approche surpasse à la fois les baselines "vision seule" et les architectures hiérarchiques classiques sur des tâches de manipulation en contact riche, avec un pipeline d'entraînement simplifié, ce qui, si confirmé au-delà des benchmarks internes, appuierait l'idée que les modèles de type VLA (vision-language-action) peuvent intégrer nativement des modalités hétérogènes sans passer par un empilement de contrôleurs spécialisés.

Le travail s'inscrit dans la lignée des politiques de diffusion pour la manipulation robotique, une famille de méthodes qui a gagné en popularité ces dernières années comme alternative aux politiques par apprentissage par renforcement classique, en modélisant directement des séquences d'actions à partir d'observations multimodales. Le défi de la fusion vision-force n'est pas nouveau et plusieurs équipes de recherche en robotique explorent des architectures hiérarchiques séparant planification lente et contrôle rapide ; ImplicitRDP se positionne explicitement contre cette approche en misant sur un réseau unique de bout en bout. Le code et les vidéos de démonstration sont mis à disposition par les auteurs sur un site dédié, ce qui permettra une évaluation indépendante des résultats revendiqués. À ce stade, il s'agit d'un travail de recherche académique avec validation expérimentale interne, et non d'un système déployé industriellement.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

L'apprentissage par imitation en contexte avec raisonnement visuel

Un article de recherche publié sur arXiv (identifiant 2603.07530v2, version révisée) présente ICLR, pour "In-Context Imitation Learning with Visual Reasoning", une nouvelle méthode d'apprentissage par imitation en contexte pour les robots manipulateurs. Le principe consiste à faire adapter un robot à une nouvelle tâche à partir d'un petit nombre de démonstrations, sans réentraînement du modèle. La nouveauté d'ICLR est d'enrichir les démonstrations avec des traces de raisonnement visuel structurées, c'est-à-dire des trajectoires futures anticipées du robot représentées directement dans l'espace image, plutôt que de se limiter aux seules paires état-action utilisées par les approches existantes. Ces traces de raisonnement et les actions de bas niveau sont apprises conjointement au sein d'un unique transformeur autorégressif, ce qui permet au modèle d'imiter non seulement le geste final mais aussi le cheminement qui y conduit. Les auteurs rapportent des évaluations à la fois en simulation et sur des tâches de manipulation réelles, avec des gains constants en taux de succès et en généralisation face à des tâches inédites et de nouvelles configurations d'objets, comparé aux méthodes d'apprentissage par imitation en contexte existantes. L'enjeu pour l'industrie robotique tient au principal talon d'Achille des systèmes vision-langage-action (VLA) actuels: leur capacité à généraliser au-delà des tâches et objets vus à l'entraînement reste limitée, surtout quand une même séquence de gestes peut correspondre à des intentions différentes selon le contexte. En donnant au modèle une représentation explicite de l'intention, sous forme de trajectoire visuelle anticipée plutôt qu'une simple politique action-état, ICLR s'attaque directement à l'ambiguïté qui bloque le déploiement des robots généralistes en environnement peu structuré. Si les résultats se confirment à plus grande échelle, cela renforcerait l'hypothèse selon laquelle intégrer un raisonnement visuel explicite, plutôt que de scaler uniquement les données de démonstration, est une voie crédible pour rendre les politiques d'apprentissage en contexte plus robustes, un enjeu direct pour les intégrateurs qui cherchent à déployer des bras robotiques capables de s'adapter rapidement à de nouvelles références produits sans campagne de réentraînement coûteuse. Ce travail s'inscrit dans la lignée des recherches récentes sur l'apprentissage par imitation en contexte (in-context imitation learning), un domaine qui cherche à reproduire pour la robotique la flexibilité du few-shot learning observée dans les grands modèles de langage, et fait écho aux efforts plus larges autour des modèles VLA tels que Pi-0 ou GR00T N2, qui tentent eux aussi de combler l'écart entre démonstrations en laboratoire et déploiement réel. L'article ne précise pas d'industriel partenaire ni de calendrier de mise en production; il s'agit d'une contribution académique, acceptée pour la conférence ICLR, dont l'apport reste à ce stade expérimental. La suite logique pour ce type de travaux est généralement une intégration progressive dans des piles logicielles open source de manipulation robotique, avant une éventuelle reprise par des acteurs commerciaux du secteur.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage par imitation sans entraînement via des politiques de diffusion en forme close

Des chercheurs ont publié sur arXiv (réf. 2606.01238) une approche baptisée Closed-Form Diffusion Policies (CFDP), qui supprime entièrement la phase d'entraînement offline des politiques de diffusion pour l'apprentissage par imitation. Plutôt que d'entraîner un réseau de neurones pendant plusieurs heures, CFDP calcule analytiquement la fonction score directement à partir du jeu de démonstrations, en forme fermée. Résultat : une politique opérationnelle en quelques millisecondes, déployée et testée en temps réel sur un CPU mobile standard, sans GPU dédié. L'enjeu industriel est direct : dans le cycle données → politique → déploiement → nouvelles données, la phase d'entraînement constitue aujourd'hui le principal goulot d'étranglement. Pouvoir générer une politique compétitive à partir d'un dataset de démonstrations sans entraînement réduit ce délai de plusieurs heures à quelques millisecondes. Sur les benchmarks d'imitation learning testés, CFDP se montre compétitif face aux baselines neuronales classiques, qui nécessitent elles des heures de calcul. Cela remet en cause l'hypothèse selon laquelle la puissance expressive des politiques de diffusion est indissociable de leur coût computationnel. Pour les intégrateurs robotiques ou les équipes de recherche appliquée qui itèrent fréquemment sur leurs démos, ce type de pipeline sans entraînement change concrètement le rythme de développement. Les politiques de diffusion ont émergé comme référence en manipulation robotique ces deux dernières années, avec des travaux notables comme Diffusion Policy (Chi et al., 2023) ou Pi-0 (Physical Intelligence). Leur principal défaut reconnu reste précisément le coût d'entraînement et la rigidité vis-à-vis de nouvelles démonstrations. CFDP s'inscrit dans ce contexte comme un primitif composable : les auteurs montrent qu'il peut s'interfacer avec des politiques neuronales pré-entraînées existantes, permettant du policy guidance ou de l'augmentation de démonstrations à l'inférence. Aucun déploiement industriel ni partenariat applicatif n'est annoncé à ce stade ; il s'agit d'un preprint académique, dont les résultats restent à valider sur des tâches plus complexes et des robots à dextérité élevée.

RechercheOpinion

1 source

3arXiv cs.RO

Apprentissage robotique avec force prédite à partir de la vision

Des chercheurs proposent de remplacer les capteurs de force et tactiles par une simple caméra, en estimant visuellement l'effort de contact à partir de la déformation d'une pince souple de type Fin Ray, dont les doigts se plient passivement autour de l'objet. La méthode, publiée sur arXiv (2610.04741, version 2), repose sur deux modèles. Un estimateur visuel de force est d'abord entraîné sur des données de calibration, puis sert à annoter des démonstrations de tâches avec des forces estimées. Une politique action-force est ensuite entraînée sur ces démonstrations enrichies pour générer conjointement des actions candidates et les forces associées. À l'inférence, le système échantillonne plusieurs couples action-force et exécute l'action dont la force prédite est la plus proche de la cible issue des démonstrations. L'évaluation couvre quatre tâches riches en contacts : cueillette de baies, saisie de canettes vides, réorientation d'objet en main et insertion de prise. Les auteurs ne donnent pas, dans le résumé, de taux de réussite ni de comparaison chiffrée. L'enjeu est pratique. Les capteurs de force ou tactiles ajoutent du coût, de la fragilité, du câblage et de la calibration, et ils compliquent le passage à l'échelle des jeux de données de téléopération. Si la déformation d'une pince compliante filmée par une caméra suffit à guider la sélection d'actions, la force devient une modalité accessible avec du matériel standard, sans capteur au déploiement. Cela intéresse les intégrateurs qui équipent des cellules de manipulation à bas coût, notamment pour des objets fragiles ou déformables comme les fruits. Le résultat reste à nuancer: il s'agit d'un travail de laboratoire, sur quatre tâches, et la précision de l'estimation visuelle dépend de la pince utilisée et de sa calibration. Rien ne dit encore que l'approche tient face à des changements d'objets, d'éclairage ou de géométrie de pince, ni qu'elle égale un vrai capteur de force sur des tâches exigeantes comme l'assemblage. Le travail s'inscrit dans deux tendances. D'un côté, les politiques apprises par imitation (politiques de diffusion, modèles vision-langage-action) restent surtout pilotées par la vision et la proprioception, avec une perception de la force souvent absente ou coûteuse à intégrer. De l'autre, les pinces Fin Ray, popularisées dans la préhension adaptative, offrent une compliance mécanique que l'on peut ici exploiter comme transducteur de force. L'idée d'échantillonner puis de filtrer des actions au moment du test rejoint les approches de planification à l'inférence. Les prochaines étapes à surveiller sont la publication de résultats quantitatifs, des comparaisons avec des capteurs tactiles de référence comme les capteurs optiques de type GelSight, et des tests sur des tâches industrielles plus variées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Fusion multimodale pour le transfert simulation-réel en apprentissage par renforcement visuel

Une équipe de recherche a soumis sur arXiv (identifiant 2507.09180, actuellement à la version 4) une architecture de fusion multimodale pour améliorer le transfert sim-to-real en apprentissage par renforcement visuel appliqué à la manipulation robotique. L'approche combine deux flux d'entrée, RGB et profondeur (depth), traités en parallèle par des réseaux convolutifs séparés (CNN stems), dont les représentations fusionnées sont transmises à un vision transformer (ViT) scalable. L'information de profondeur, naturellement robuste aux variations d'apparence de scène, fournit des détails spatiaux 3D absents des images RGB seules. Le pipeline intègre un schéma d'apprentissage contrastif à tokens masqués et non masqués pour améliorer l'efficacité d'échantillonnage, combiné à une randomisation de domaine progressive (curriculum-based domain randomization) pour stabiliser l'entraînement. En simulation, la méthode surpasse les baselines comparées. La validation clé se fait en transfert zéro-shot : sans ré-entraînement sur données réelles, le modèle réalise des tâches de manipulation physique. Le sim-to-real gap reste l'obstacle central en robotique d'apprentissage : les politiques entraînées en simulation échouent fréquemment face à la variabilité visuelle du monde réel. La fusion RGB + depth attaque directement ce problème en réduisant la dépendance aux indices visuels fragiles comme l'éclairage ou les textures. L'apprentissage contrastif à tokens partiels suggère une meilleure invariance aux perturbations apparentes sans nécessiter de volumes massifs de données réelles. Pour les intégrateurs industriels et les équipes de développement en manipulation, le transfert zéro-shot validé expérimentalement est un signal concret : la politique capture des abstractions géométriques suffisamment générales pour opérer hors simulation, ce qui est précisément la promesse que le secteur cherche à tenir depuis des années. Ce travail s'inscrit dans une compétition de représentations visuelles pour la robotique qui inclut la randomisation de domaine agressive popularisée par OpenAI dès 2017, les encodeurs préentraînés par masquage (MAE, R3M, DINOv2), et les politiques vision-langage-action (VLA) comme pi0 de Physical Intelligence ou OpenVLA. L'originalité revendiquée est la fusion RGB + depth au niveau du transformer plutôt qu'en aval, couplée au curriculum adaptatif. Le passage à la version 4 sur arXiv signale un travail en révision active, probablement vers une conférence type ICRA ou IROS. Les prochaines étapes attendues incluent une validation sur benchmarks standardisés (RLBench, MetaWorld) et des tests sur plateformes physiques plus complexes.

RecherchePaper

1 source