RecherchearXiv cs.RO 18 juin 2026

STORM : représentation par slots centrée objet et sensible à la tâche pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié STORM (Slot-based Task-aware Object-centric Representation for robotic Manipulation), un module d'adaptation léger conçu pour augmenter les modèles visuels de fondation figés avec des représentations centrées sur les objets. Plutôt que de réentraîner de grands backbones visuels, coûteux en calcul et en données étiquetées, STORM insère un ensemble restreint de "slots", des vecteurs appris qui capturent chaque objet de la scène de manière distincte. L'entraînement se déroule en deux phases : un préentraînement visuo-sémantique qui stabilise les slots via des embeddings de langage, puis une adaptation conjointe avec la politique de manipulation. Les expériences, menées sur des benchmarks de découverte d'objets et des tâches de manipulation simulée, montrent des gains de robustesse face aux distracteurs visuels et une meilleure performance de contrôle par rapport à l'utilisation directe des features figées ou à l'entraînement end-to-end de représentations object-centriques.

L'enjeu est structurel pour la robotique de manipulation. Les modèles visuels de fondation comme DINOv2 ou SigLIP fournissent des features perceptuelles puissantes, mais leurs représentations denses traitent la scène comme une grille de pixels sans distinguer explicitement les objets. Pour une tâche du type "saisir la boîte rouge parmi plusieurs objets", cette absence de structure oblige le réseau de politique à apprendre lui-même la décomposition de la scène, ce qui nuit à la généralisation hors distribution. STORM contourne ce problème sans toucher au backbone. Le résultat valide l'hypothèse que l'adaptation multi-phase (stabilisation sémantique d'abord, alignement tâche ensuite) évite la dégénérescence des slots, phénomène où plusieurs slots capturent le même objet ou des régions non pertinentes pour la tâche.

La ligne de recherche sur les représentations object-centriques remonte à Slot Attention (Locatello et al., 2020, DeepMind) et à MONet. L'originalité de STORM est d'ancrer ces slots dans la sémantique linguistique et de les greffer sur des fondations pré-entraînées plutôt que de repartir de zéro. Dans un écosystème où les VLA (Vision-Language-Action models) comme pi0 de Physical Intelligence ou OpenVLA cherchent à intégrer langage et action de bout en bout, STORM propose une alternative modulaire et économe. Les résultats restent limités à la simulation, ce qui laisse entière la question du sim-to-real gap. Les prochaines étapes logiques incluent la validation sur robots physiques et le test face à des perturbations visuelles plus agressives que les benchmarks actuels.

Dans nos dossiers

Physical Intelligence — π0 OpenVLA / RT-X Manipulation robotique

À lire aussi

1arXiv cs.RO

Représentation Alignée pour l'Ancrage Tactile en Manipulation Robotique à Contact Riche

Le capteur tactile reste le parent pauvre des politiques vision-langage-action (VLA) pour la manipulation robotique, alors que les phases de contact critiques (préhension, insertion, glissement) échappent souvent à la caméra. Une équipe de recherche propose dans un article publié sur arXiv (2607.14609) une méthode pour mieux exploiter le toucher: au lieu de prédire directement le signal tactile brut, souvent bruité, le système apprend à anticiper de futurs états tactiles à partir des représentations internes du modèle. Par une analyse en sonde linéaire (linear probe), les chercheurs montrent que ce sont les caractéristiques intermédiaires de l'expert en action, la partie du réseau qui traduit une décision en mouvement, qui prédisent le mieux l'état tactile futur, bien mieux que les couches de perception vision-langage ou que l'état d'action final. Sur cette base, ils introduisent le Latent Tactile Predictor (LTP), un module léger qui prédit des embeddings tactiles compacts à partir de cette couche intermédiaire plutôt que le signal tactile brut. Des expériences sur des tâches de manipulation réelles à fort contact confirment que cet alignement représentationnel surpasse les approches de prédiction tactile moins ciblées ou multi-interfaces. Cette contribution touche à un point sensible du secteur robotique: la plupart des politiques VLA actuelles (Pi-0, GR00T N2, Helix) reposent presque exclusivement sur la vision et le langage, avec un toucher traité comme un canal secondaire greffé après coup. Montrer qu'il existe un endroit précis, dans l'architecture, où la supervision tactile est réellement utile change la manière de concevoir ces modèles multimodaux: cela suggère que brancher un capteur tactile n'importe où dans le réseau, sans réflexion sur l'alignement des représentations, gaspille l'information. Pour les intégrateurs travaillant sur des tâches à contact fin, assemblage, insertion de connecteurs, manipulation d'objets déformables, c'est un signal que la robustesse ne viendra pas seulement de plus de données mais d'une meilleure architecture de fusion des modalités. Le travail s'inscrit dans la lignée des VLA tactiles apparus ces deux dernières années pour combler l'angle mort de la seule vision. L'article ne détaille pas de déploiement industriel ni de partenariat avec un fabricant de robots, il s'agit d'une contribution de recherche fondamentale destinée à orienter la conception des futures générations de politiques VLA plutôt qu'un produit prêt à l'emploi.

RechercheActu

1 source

2arXiv cs.RO

FORCA : un agent de code sensible à la force pour la manipulation robotique riche en contacts

FORCA, un agent de code décrit dans l'article arXiv 2610.31841, prend en entrée des observations visuelles et les mesures du capteur force/couple (F/T) monté au poignet du robot, puis écrit des programmes Python pour sonder le contact et produire des mouvements réactifs à la force. Entre deux exécutions, l'agent examine les enregistrements de force en parallèle des résultats visuels, diagnostique la cause de l'échec et révise à la fois la trajectoire et la logique de retour d'effort. Le système ne requiert ni démonstrations, ni entraînement spécifique à la tâche, ni simulation. Les auteurs l'ont testé sur cinq tâches avec un robot réel, couvrant trois formes de manipulation riche en contact : l'amélioration de la précision (notamment de saisie), l'adaptation à des changements de propriétés d'objet ou de surface, et la régulation du contact face à des variations de surface ou à un objet en mouvement. Face à une variante de l'agent limitée à la vision, FORCA améliore la précision de saisie et le taux de réussite, et réduit les pertes de contact lors d'essais d'essuyage et d'épluchage. Le résumé ne donne ni chiffres de gain, ni modèle de langage utilisé, ni modèle de robot. L'intérêt tient à la voie suivie : au lieu d'entraîner une politique VLA (vision-langage-action) sur des démonstrations téléopérées, coûteuses à collecter, la logique de contrôle est générée comme du code lisible, puis corrigée par essais successifs. Pour un intégrateur, cela rend le comportement inspectable et modifiable, et laisse espérer une mise en service plus rapide sur des tâches de contact (essuyage, épluchage, insertion) que les modèles purement visuels traitent mal, faute de perception de la force. La comparaison avec la variante vision seule suggère que le capteur F/T apporte un gain réel, mais elle ne prouve rien sur la fiabilité industrielle. Cinq tâches de laboratoire, sans taux publiés dans le résumé, sans temps de cycle ni nombre d'itérations de raffinement nécessaires, laissent ouverte la question de la robustesse, de la sécurité des essais physiques menés par un agent, et du coût de ces boucles d'essai-erreur sur du matériel réel. Ce travail s'inscrit dans la montée des agents de code pour la robotique, qui traduisent le langage en programmes, et dans l'effort pour doter les modèles fondation d'une perception tactile et de force, que les VLA actuels exploitent peu. Il rejoint les approches de politiques apprises comme Pi-0 ou GR00T, qui misent sur les données, avec un compromis différent : moins de données, mais plus d'ingénierie de la boucle de diagnostic. Il s'agit d'un préprint en première version (v1), non évalué par les pairs. Les suites naturelles seraient une validation sur davantage de plateformes et de tâches, des comparaisons directes avec des politiques apprises, et l'ouverture du code.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

RATE : encodage tactile sensible au risque pour la manipulation robotique riche en contacts

Des chercheurs publient sur arXiv (2610.03538) RATE, pour Risk-Aware Tactile Encoding, une méthode d'encodage tactile destinée à la manipulation robotique riche en contacts. Le principe est d'apprendre des représentations tactiles qui portent explicitement le risque d'interaction propre à la tâche. Deux mécanismes y contribuent. Une prédiction conditionnée par l'historique des contacts capture le contexte d'interaction. Une supervision par « alertes » associe ensuite ce contexte à un niveau de risque. La représentation obtenue s'ajoute aux caractéristiques tactiles classiques via un adaptateur résiduel léger, sans remplacer l'encodeur existant. Les auteurs annoncent des gains substantiels de taux de réussite en simulation comme sur robot réel. Des ablations contrôlées montrent que l'apprentissage guidé par les alertes et la modélisation temporelle prédictive apportent chacun un bénéfice complémentaire. Le résumé ne chiffre ni les gains, ni les tâches, ni le matériel, ni les capteurs utilisés. Le travail s'attaque à une ambiguïté bien connue de la manipulation tactile. Un même signal peut venir de situations aux conséquences très différentes : bruit du capteur, variation normale et nécessaire à la tâche, ou début d'un contact indésirable. Sans information de risque ancrée dans le contexte, une politique aval ne sait pas les distinguer. Elle corrige alors inutilement des variations bénignes, ou réagit trop tard à un contact réellement dangereux. Pour les intégrateurs, cela touche les opérations d'assemblage, d'insertion ou de manipulation d'objets fragiles, où la robustesse compte plus que le taux de réussite moyen. L'approche est peu invasive, puisqu'un adaptateur résiduel se greffe sur des pipelines existants. Elle reste toutefois une preuve de concept académique. En l'absence de chiffres dans le résumé, il faut attendre le papier complet pour juger l'ampleur des gains, la diversité des tâches et la dépendance au choix des seuils d'alerte. Ce travail s'inscrit dans la progression rapide de l'apprentissage de représentations tactiles, qui a surtout cherché à produire des encodages généraux à partir de capteurs optiques ou de peau électronique. Les modèles vision-langage-action (VLA) actuels, tels que Pi-0 ou GR00T, s'appuient surtout sur la vision et traitent encore peu le toucher. Des représentations tactiles qui signalent le risque pourraient combler cette lacune. L'article est une pré-publication, non évaluée par les pairs. Aucun déploiement industriel, aucun produit ni aucun calendrier n'est annoncé. Les prochaines étapes à surveiller sont la publication du code, la validation sur des tâches plus variées et l'intégration à des politiques de type VLA.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

DynaSlots : préentraînement de la dynamique 3D centré sur les slots pour la manipulation robotique

Des chercheurs proposent DynaSlots, un cadre de préentraînement pour la manipulation robotique qui travaille sur des nuages de points 3D sans actions ni étiquettes. Chaque trame est décomposée en un petit nombre de « slots », des groupes de points censés rester cohérents d'une image à l'autre. Un module de propagation temporelle maintient cette cohérence d'affectation. Un modèle de dynamique inverse extrait ensuite une action latente par slot à partir des différences de caractéristiques entre deux trames. Un modèle de dynamique directe à base de diffusion prédit l'état futur de chaque slot. Une tête d'interaction auto-supervisée apprend en parallèle des relations de proximité et de mouvement entre paires de slots. Les tests portent sur les benchmarks de simulation Meta-World et Adroit, ainsi que sur un bras RealMan RM65-B en conditions réelles. Les auteurs affirment de meilleurs taux de succès que les références modélisant la dynamique à l'échelle de la scène, et une bonne robustesse au désordre et aux objets inconnus. L'article ne fournit, dans ce résumé, ni chiffres de gain, ni nombre de tâches, ni détail des essais réels. L'intérêt tient à une critique de fond des méthodes actuelles de préentraînement visuel 3D, y compris celles qui intègrent la dynamique. Elles compressent le mouvement de toute la scène en une seule action latente globale. Or, en manipulation, le changement est local : saisir une tasse déplace la tasse, pas le reste. Une représentation globale mélange des transitions de nature différente, masque les dépendances entre zones qui bougent et reste sensible au contenu sans rapport avec la tâche. Une approche par objet ou par région pourrait donc améliorer la généralisation sans annotations coûteuses, ce qui compte pour les équipes qui n'ont pas de données téléopérées en grand volume. Il faut toutefois rester prudent : il s'agit d'un préprint sans relecture par les pairs, évalué sur des benchmarks académiques classiques et un seul bras, sans mesure de passage à l'échelle ni de cadence industrielle. L'écart entre ces résultats et un déploiement en atelier reste entier. Ce travail s'inscrit dans la lignée des représentations visuelles préentraînées pour la manipulation et des modèles à action latente, qui apprennent depuis des vidéos ou des nuages de points sans étiquettes d'action. DynaSlots reprend l'idée des représentations centrées sur les objets (« slot attention ») et l'applique à la dynamique 3D. Il se positionne face aux méthodes 3D dynamiques au niveau de la scène, que l'article ne nomme pas dans ce résumé. Le code est annoncé via une page de projet anonymisée, signe d'une soumission en cours de relecture. Les prochaines étapes à surveiller sont la publication des chiffres détaillés, la comparaison avec les modèles vision-langage-action (VLA) à grande échelle, et des validations sur davantage de robots et de tâches longues.

RecherchePaper

1 source