Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel

Dossier Manipulation robotique — page 10

580 articles · page 10 sur 12

La manipulation robotique : pinces dextres, peau électronique, grasping, benchmarks de tâches fines, le goulot d'étranglement principal des humanoïdes.

Worldscape-MoE : un modèle du monde à mélange d'experts unifié pour un contrôle d'action hétérogène et évolutif
451arXiv cs.RO IA physiqueActu

Worldscape-MoE : un modèle du monde à mélange d'experts unifié pour un contrôle d'action hétérogène et évolutif

Une équipe de recherche publie sur arXiv (7 juillet 2026) Worldscape-MoE, un modèle du monde basé sur des Diffusion Transformers combinés à une architecture Mixture-of-Experts (MoE), conçu pour unifier le contrôle d'actions hétérogènes dans les simulateurs génératifs vidéo. Jusqu'ici, les modèles du monde utilisés pour l'IA incarnée traitaient séparément chaque type de commande, trajectoires de caméra, actions robotiques, signaux de jointures de main, avec des interfaces isolées les unes des autres. Worldscape-MoE introduit à la place une injection de contrôle sensible à la modalité, des experts partagés et des experts spécifiques à chaque type de commande, ainsi qu'une stratégie d'entraînement MoE progressive permettant d'ajouter de nouvelles modalités d'action sans tout réentraîner. Les tests couvrent trois domaines, locomotion, manipulation robotique et contrôle égocentrique de la main, avec des résultats évalués sur le benchmark WorldArena. L'apport principal tient dans un résultat contre-intuitif pour le secteur: faire apprendre au même modèle des signaux de contrôle très différents (déplacement d'un robot, geste d'une main, trajectoire de caméra) améliore les performances sur chaque tâche individuelle, plutôt que de les dégrader par interférence. Cela infirme l'hypothèse répandue selon laquelle mélanger les types de supervision dilue la qualité du contrôle. Pour les équipes qui développent des simulateurs destinés à entraîner des politiques robotiques ou des agents VLA (vision-language-action), ce résultat plaide pour des architectures mutualisées plutôt que des modèles du monde spécialisés par tâche, un enjeu direct de coût et de scalabilité pour l'industrie. Le travail s'inscrit dans la montée en puissance des modèles du monde comme infrastructure de base pour l'IA incarnée, à mesure que la fragmentation des interfaces de contrôle devient un frein au passage à l'échelle. Worldscape-MoE se positionne comme une alternative structurelle aux générateurs vidéo contrôlables existants, avec une architecture pensée pour absorber, au fil du temps, nouvelles modalités et nouveaux jeux de données sans repartir de zéro, un axe que les auteurs annoncent vouloir poursuivre avec l'ajout d'experts et de données supplémentaires.

1 source
Cortex : un cadre d'agent incarné à alignement bidirectionnel pour la manipulation à long horizon
452arXiv cs.RO 

Cortex : un cadre d'agent incarné à alignement bidirectionnel pour la manipulation à long horizon

Cortex, présenté dans un article arXiv publié début juillet 2026 (arXiv:2607.05377), est un nouveau framework d'agent incarné destiné aux tâches de manipulation robotique à long horizon. Le problème qu'il cible: les modèles Vision-Language-Action (VLA) actuels, de par leur nature markovienne, ne s'appuient que sur l'observation courante et peinent sur les séquences longues, tandis que les approches hiérarchiques à double système existantes souffrent d'un décalage entre la sémantique du planning haut niveau et la cinématique d'exécution bas niveau. Cortex introduit une interface de planification qui traduit les plans du VLM haut niveau en sous-tâches exécutables pour le VLA bas niveau, en standardisant les manipulations en 32 primitives de compétences canoniques. Les chercheurs ont ainsi pu annoter automatiquement plus de 4 000 heures de vidéos open-source et générer 30 heures de données de simulation, avec une stratégie d'échantillonnage équilibré par événements pour affiner l'entraînement sur les transitions ambiguës entre sous-tâches. Sur le plan des résultats, Cortex dépasse les baselines monolithiques de 3,1% sur le benchmark Libero-long et de 4,1% sur RoboTwin, en évaluation à la fois open-loop (VLM) et closed-loop (système complet). Plus notable pour l'industrie: le VLM généraliste de Cortex permet de réaliser en zero-shot des tâches réelles inédites à long horizon, comme des expériences de chimie en plusieurs étapes, simplement en le couplant à un VLA fine-tuné, une capacité que le fine-tuning d'un VLA seul n'atteint pas. Cela suggère qu'une architecture correctement pontée entre planification et exécution peut combler l'écart simulation-réel mieux qu'un unique modèle monolithique, un argument qui intéresse directement les intégrateurs cherchant à généraliser au-delà des tâches d'entraînement. Ce travail s'inscrit dans la lignée des architectures duales explorées par des modèles comme Pi-0, GR00T N2 ou Helix, qui tentent chacun de résoudre la même tension entre raisonnement sémantique et contrôle moteur. Cortex reste à ce stade une contribution de recherche évaluée sur benchmarks académiques et non un système déployé en production, mais son approche par primitives standardisées et annotation automatique à grande échelle pourrait influencer la prochaine génération de frameworks d'agents robotiques génécralistes.

RechercheActu
1 source
3D HAMSTER : relier planification et contrôle dans les modèles VLA hiérarchiques grâce au guidage par trajectoire 3D
453arXiv cs.RO 

3D HAMSTER : relier planification et contrôle dans les modèles VLA hiérarchiques grâce au guidage par trajectoire 3D

Papier académique en robotique (VLA hiérarchique), pas de named companies commerciales ni d'acteur FR/EU à mettre en avant ici. Je rédige directement l'article. Des chercheurs du laboratoire DAVIAN Robotics présentent 3D HAMSTER, un nouveau framework pour les modèles Vision-Langage-Action (VLA) hiérarchiques utilisés en manipulation robotique, détaillé dans un preprint arXiv (2606.31329v1). Ces architectures séparent la planification de haut niveau, confiée à un modèle vision-langage (VLM), du contrôle bas niveau exécuté par une politique dédiée. Les approches récentes font produire au VLM des trajectoires 2D de l'effecteur terminal pour guider cette politique, mais les politiques de pointe travaillent en réalité dans un espace métrique 3D à partir de nuages de points. Faute de profondeur, chaque point de la trajectoire 2D doit hériter de la profondeur de la surface visible sous lui dans la scène, ce qui déforme géométriquement le chemin prédit. 3D HAMSTER corrige ce défaut en dotant le VLM d'un encodeur de profondeur dédié et d'un objectif de reconstruction dense de la profondeur, afin qu'il prédise directement des séquences de points de passage en 3D, ensuite injectées dans une politique bas niveau opérant sur nuages de points. Cette correction cible un goulot d'étranglement précis de la génération actuelle de VLA hiérarchiques: la conversion 2D vers 3D introduisait un bruit géométrique qui limitait la fiabilité des gestes de manipulation, en particulier lors de changements d'apparence de la scène ou de conditions inédites (langage, position spatiale, visuel). Sur les trois bancs d'essai testés (prédiction de trajectoire 3D, simulation, manipulation réelle), 3D HAMSTER dépasse à la fois des VLM propriétaires état de l'art et les méthodes concurrentes guidées en 2D, avec les écarts les plus marqués justement sur ces conditions de généralisation difficile. Ce résultat va dans le sens d'une hypothèse clé du secteur: une bonne partie de l'écart entre démonstrations en laboratoire et déploiement réel des robots manipulateurs tient moins à la politique de contrôle elle-même qu'à la qualité du signal de planification qui la guide. Le travail s'inscrit dans la lignée des architectures VLA hiérarchiques qui ont émergé ces deux dernières années pour améliorer la généralisation des robots manipulateurs, en s'appuyant sur des politiques bas niveau désormais matures en perception 3D par nuages de points. En comparant directement sa méthode à des VLM propriétaires non nommés publiquement dans le résumé, l'équipe positionne 3D HAMSTER comme une alternative open, avec une page projet dédiée (davian-robotics.github.io/3D_HAMSTER) où code et données devraient être publiés pour permettre une reproduction indépendante des résultats.

RechercheActu
1 source
StemVLA : un modèle vision-langage-action open source avec connaissance géométrique 3D future et représentation historique 4D
454arXiv cs.RO 

StemVLA : un modèle vision-langage-action open source avec connaissance géométrique 3D future et représentation historique 4D

StemVLA est un nouveau modèle vision-langage-action (VLA) open source destiné à la manipulation robotique, présenté dans un article arXiv (2602.23721v2, version révisée). Contrairement à la plupart des VLA existants, qui mappent directement des images 2D vers des séquences d'actions sans modéliser la structure spatiale sous-jacente, StemVLA intègre explicitement deux briques supplémentaires : une anticipation de la géométrie 3D future de la scène (pour prévoir la configuration des objets à venir) et une représentation spatiotemporelle 4D construite à partir de l'historique des images, extraite via un transformeur vidéo-géométrie pré-entraîné et agrégée dans le temps par un module d'attention temporelle baptisé VideoFormer. Sur la suite de benchmarks de simulation LIBERO, le modèle atteint une précision moyenne de 92,0 %, et 86,0 % sur le sous-ensemble LIBERO-Long, dédié aux tâches à horizon long. L'enjeu dépasse la simple performance chiffrée : les VLA actuels peinent souvent sur le raisonnement spatial fin et la planification à long terme, précisément parce qu'ils ignorent la géométrie 3D et la dynamique temporelle de la scène. En forçant le modèle à prédire explicitement l'évolution future de l'espace 3D plutôt qu'à réagir à des images plates, StemVLA cherche à combler un des angles morts identifiés dans la littérature récente sur les modèles fondation pour la robotique, celui de la cohérence temporelle et de la généralisation dans des environnements dynamiques. Les gains observés sur LIBERO-Long, sous-ensemble réputé plus exigeant, suggèrent que l'ajout de connaissances géométriques structurées améliore la robustesse sur des tâches multi-étapes, un point sensible pour les intégrateurs qui cherchent à dépasser les démonstrations de laboratoire. Ce travail s'inscrit dans une vague de recherche VLA qui, après les architectures pionnières fondées sur des mappings image-action directs, cherche à enrichir la représentation du monde interne des modèles, en écho aux approches combinant perception géométrique et politiques d'action explorées par d'autres laboratoires du secteur. Les résultats restent pour l'instant limités à la simulation LIBERO ; l'étape suivante attendue par la communauté sera la validation sur robots physiques réels, où l'écart entre performance simulée et transfert sim-to-real demeure le principal obstacle à la généralisation des VLA.

RechercheOpinion
1 source
LaMP : apprentissage d'une politique vision-langage-action avec flux de scène 3D comme a priori de mouvement latent
455arXiv cs.RO 

LaMP : apprentissage d'une politique vision-langage-action avec flux de scène 3D comme a priori de mouvement latent

Des chercheurs presentent LaMP, un framework de manipulation robotique combinant deux modules experts. Le premier, le "Motion Expert", genere en une seule etape un flux de scene 3D partiellement debruite via une methode de flow-matching; ses etats caches conditionnent ensuite un second module, l'"Action Expert", charge de predire les actions du robot, via une attention croisee filtree. Contrairement aux VLA classiques qui deduisent les actions directement de features visuelles 2D, LaMP integre ainsi un a priori de mouvement 3D explicite sans reconstruction complete multi-etapes. Le systeme a ete evalue sur les bancs d'essai de simulation LIBERO, LIBERO-Plus et SimplerEnv-WidowX, ainsi que sur des experiences reelles. Selon les auteurs, LaMP depasse systematiquement les references VLA testees, avec les meilleurs taux de reussite moyens a budget d'entrainement egal, et un gain moyen de 9,7% de robustesse sur les perturbations hors distribution de LIBERO-Plus par rapport a la meilleure reference existante. Ce travail cible un point faible connu des politiques VLA: leur difficulte a generaliser a des dynamiques spatiales non vues pendant l'entrainement, un ecart souvent qualifie de "sim-to-real" ou de "demo vs reality gap". En forcant les modeles a apprendre implicitement la physique 3D a partir de simples features 2D, les architectures actuelles, dans la lignee de RT-2, Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, restent fragiles des que l'environnement s'ecarte du jeu d'entrainement. Pour les integrateurs et decideurs B2B, la robustesse hors distribution separe une demonstration convaincante d'un deploiement industriel fiable: c'est souvent le vrai goulot d'etranglement, plus que la reussite brute sur des taches deja vues. Le papier, publie sur arXiv en version 2, s'inscrit dans un debat plus large sur la meilleure facon d'injecter des priors physiques 3D dans des backbones visuels pre-entraines en 2D, face a des alternatives comme les nuages de points ou les politiques de diffusion conditionnees par la profondeur. Il s'agit d'une contribution academique, sans affiliation industrielle affichee ni indication de deploiement au-dela des benchmarks; les prochaines etapes attendues concernent le passage a l'echelle en conditions reelles et une comparaison directe avec des politiques VLA deja commercialisees comme Pi-0 ou GR00T N2.

RechercheActu
1 source
OpenSPM : modèle robotique transférable combinant mémoire de poses spatiales et génération d'actions par flow matching
456arXiv cs.RO 

OpenSPM : modèle robotique transférable combinant mémoire de poses spatiales et génération d'actions par flow matching

OpenSPM (Open-environment Spatial Persistent Memory) est un framework de manipulation robotique tabletop présenté sur arXiv en juin 2026 (réf. 2606.29936). Le système repose sur deux blocs : une mémoire spatiale persistante orientée objet et un modèle de génération d'actions par flow-matching conditionnel. À l'entraînement, OpenSPM utilise de la perception 3D sémantique couplée à un filtre de Kalman pour suivre les poses 6D des objets, extrait les poses spatiales clés depuis des démonstrations humaines et les stocke comme entrées mémoire réutilisables. À l'inférence, il récupère ces entrées via une instruction en langage naturel, transfère les poses dans de nouveaux environnements par transformations rigides SE(3), puis génère des séquences d'actions à une fréquence de contrôle équivalente de 1033,3 Hz. Sur le benchmark LIBERO-GOAL (10 tâches de manipulation), le système atteint 85,6 % de taux de succès avec une correction résiduelle terminale en boucle fermée, le tout en requérant une puissance de calcul minimale à l'inférence. La fréquence de 1033 Hz combinée à une empreinte computationnelle légère est le point saillant pour les intégrateurs. Les modèles VLA (Vision-Language-Action) end-to-end comme Pi-0 de Physical Intelligence ou OpenVLA généralisent bien sémantiquement, mais restent coûteux à entraîner et peinent à imposer des contraintes géométriques fines pour des tâches de précision comme l'assemblage ou l'insertion de pièces. OpenSPM propose un compromis : conserver la compréhension en langage naturel tout en ancrant l'exécution physique dans une mémoire géométrique explicite et transférable. L'aspect transférabilité est industriellement pertinent : les poses clés s'adaptent via SE(3) sans réentraînement complet lors d'un changement de configuration, ce qui réduit le coût de reconfiguration sur des lignes de production évolutives. LIBERO-GOAL est un benchmark académique de référence pour la manipulation tabletop, sur lequel se mesurent régulièrement les architectures Diffusion Policy, ACT et les VLA actuels, dont GR00T N2 de NVIDIA et Pi-0 de Physical Intelligence. OpenSPM se positionne entre les deux extrêmes du secteur : ni LLM lourd en boucle fermée, ni pipeline rigide à primitives fixes. Il s'agit pour l'instant d'un preprint sans déploiement industriel ni partenariat commercial annoncé. Les ablations publiées renforcent la rigueur méthodologique, mais la généralisation à des contextes hors tabletop, manipulation en environnement non structuré ou sur plateforme mobile, reste entièrement à démontrer.

IA physiqueOpinion
1 source
RMTL : apprentissage par renforcement sur micro-tâches pour la manipulation à long terme avec récompenses VLM
457arXiv cs.RO 

RMTL : apprentissage par renforcement sur micro-tâches pour la manipulation à long terme avec récompenses VLM

Une équipe de chercheurs a publié en juin 2026, via arXiv (identifiant 2606.26175), une méthode baptisée RMTL (Reinforced Micro-Task Learning) visant à résoudre un problème central de l'apprentissage par renforcement appliqué à la manipulation robotique : la conception du signal de récompense. Plutôt que de s'appuyer sur une fonction de récompense dense codée manuellement (coûteuse à calibrer et souvent fragile) ou sur des démonstrations humaines, RMTL exploite des modèles vision-langage (VLM) préentraînés comme signaux de récompense zero-shot. La nouveauté réside dans la décomposition de la tâche globale en un petit ensemble de micro-tâches décrites en langage naturel, chacune associée à un prompt dédié. À chaque étape, l'agent reçoit une récompense calculée par le VLM selon la micro-tâche active, moyennée sur plusieurs angles de caméra pour atténuer les effets d'occlusion. Un curriculum inverse expose progressivement l'agent à des conditions initiales plus difficiles, tandis qu'un gestionnaire hiérarchique appris remplace une règle de sélection de phase basée sur la distance. Les expériences ont été menées sur l'environnement Fetch, benchmark standard de la manipulation en simulation, avec seulement trois prompts courts sans ajustement supplémentaire. L'apport principal est l'amélioration significative du signal d'apprentissage par rapport à une approche VLM à prompt unique. Un prompt global produit un signal de récompense quasi-plat en début de trajectoire : l'agent ne détecte pas ses progrès précoces, ce qui ralentit drastiquement la convergence sur des tâches à long horizon. RMTL répond à ce problème structurel en rendant chaque micro-tâche localement observable. Pour les équipes cherchant à réduire leur dépendance aux démonstrations humaines ou à l'ingénierie manuelle des récompenses, cela représente une piste sérieuse pour rendre le RL guidé par le langage plus scalable sans coût d'annotation supplémentaire. Ce travail s'inscrit dans une vague active de recherches utilisant les VLMs comme substituts de fonctions de récompense, dont EUREKA de NVIDIA ou les approches SayCan de Google DeepMind. Contrairement à certaines de ces méthodes qui nécessitent un fine-tuning ou des démonstrations vidéo, RMTL mise sur une décomposition minimale en trois phases sans recalibrage des prompts. L'évaluation reste cependant confinée à la simulation sur robot Fetch, et aucun résultat sur plateforme physique n'est rapporté. La prochaine étape critique sera de valider si cette approche tient face au gap sim-to-real, notamment sur des manipulateurs physiques avec variabilité sensorielle réelle.

RechercheActu
1 source
RoBoSR : représentations structurées de scènes pour le raisonnement des robots incarnés
458arXiv cs.RO 

RoBoSR : représentations structurées de scènes pour le raisonnement des robots incarnés

Une équipe de chercheurs a publié fin juin 2026 un preprint arXiv (2606.24338) présentant RoBoSR, un cadre de représentation intermédiaire structurée pour la manipulation robotique en monde ouvert. L'approche modélise chaque tâche comme une séquence de transitions d'états sur des graphes de scène orientés objet, sémantiquement ancrés. Concrètement, le système segmente l'environnement perçu en entités discrètes (objets, relations spatiales, états) avant de raisonner sur les préconditions et effets de chaque sous-tâche. Pour entraîner ce raisonnement, les auteurs publient simultanément Manip-Cognition-1.6M, un jeu de données de 1,6 million d'exemples couvrant la compréhension de scène, l'interprétation d'instructions et la planification de sous-tâches sur des manipulations variées. Sur plusieurs benchmarks et démonstrations réelles, RoBoSR revendique des performances supérieures aux méthodes par prompting et aux pipelines TAMP classiques (Task and Motion Planning), notamment en généralisation zéro-shot et sur des tâches longue-portée. Ce que pointe cette publication, c'est l'une des frictions centrales des architectures VLA (Vision-Language-Action) actuelles : leur biais séquentiel issu des données de démonstration les rend fragiles dès que la tâche sort du scénario d'entraînement. En intercalant une représentation graphique explicite entre la perception brute et l'action, RoBoSR tente de rendre le raisonnement causal modulaire et réutilisable, ce qui améliore théoriquement la robustesse aux variations d'environnement. Pour un intégrateur industriel, c'est le problème du "demo-to-reality gap" qui est visé : un robot qui comprend les dépendances entre sous-tâches peut récupérer d'un échec partiel sans replanifier depuis zéro. Le dataset Manip-Cognition-1.6M, s'il est effectivement rendu public, constitue également une ressource d'entraînement non négligeable pour la communauté. RoBoSR s'inscrit dans une vague de recherches cherchant à dépasser les limites des modèles d'imitation pure, dans un secteur où Physical Intelligence (pi0), Google DeepMind (GR00T N2) et Figure AI travaillent sur des architectures hybrides mêlant apprentissage et planification symbolique. Le papier reste un preprint non évalué par les pairs, et les résultats en "démonstrations réelles" ne sont pas détaillés quantitativement dans le résumé disponible. Les prochaines étapes naturelles seraient une soumission en conférence (CoRL, ICRA) et la mise à disposition publique du dataset annoncé.

IA physiquePaper
1 source
3D-DLP : apprentissage auto-supervisé de représentations de scènes 3D centrées sur les objets
459arXiv cs.RO 

3D-DLP : apprentissage auto-supervisé de représentations de scènes 3D centrées sur les objets

Une équipe de chercheurs publie 3D-DLP (3D Deep Latent Particles), un modèle d'apprentissage auto-supervisé de représentations de scène centré sur les objets. À partir d'entrées RGB-D (couleur et profondeur combinées) ou volumétriques en voxels, le modèle décompose une scène en un ensemble de particules latentes 3D, chacune encodant trois attributs distincts : la position 3D du keypoint, les dimensions de la bounding box et des descripteurs d'apparence visuelle. L'entraînement repose sur un objectif de reconstruction end-to-end sans annotations manuelles, en étendant le cadre Deep Latent Particles (DLP) au domaine 3D. Le modèle génère également des cartes de segmentation par particule, lisibles directement. Des expériences sur données simulées et réelles sont présentées dans le preprint arXiv 2606.19451, avec le code open source disponible à l'adresse eubooks3003.github.io/3d-dlp. Pour la manipulation robotique, l'apport principal est une représentation de scène à la fois structurée et compacte. Les benchmarks internes montrent une amélioration par rapport à deux types de baselines : celles qui manquent d'information 3D explicite, et celles qui utilisent des représentations 3D denses (nuages de points complets, volumes de voxels) sans structure centrée sur les objets. Cette dernière catégorie est coûteuse en mémoire à l'échelle, ce que 3D-DLP contourne via sa paramétrisation par particules. L'espace latent est également manipulable : modifier les positions des particules avant décodage permet de synthétiser de nouvelles configurations de scène, une propriété utile pour la planification ou la simulation contrefactuelle en robotique. Le modèle s'inscrit dans le courant de l'apprentissage centré sur les objets, en alternative aux approches monolithiques comme les NeRF ou les Gaussian Splatting pour la représentation 3D de scènes. Il entre aussi en dialogue avec les architectures VLA (Vision-Language-Action), qui peinent encore à intégrer une géométrie 3D explicite et structurée. À ce stade, 3D-DLP reste un preprint académique sans validation industrielle ni intégration dans un pipeline robotique commercial, et les métriques de performance ne sont pas quantifiées précisément au-delà d'une comparaison qualitative aux baselines.

RechercheActu
1 source
Coupe robotique robuste et périodique de roche via contrôle par modèle virtuel
460arXiv cs.RO 

Coupe robotique robuste et périodique de roche via contrôle par modèle virtuel

Une équipe de chercheurs publie sur arXiv (2508.02604, version 3) un contrôleur destiné à la découpe robotique de légumes par mouvement "rock-chop" rythmique, sans trajectoire préprogrammée ni connaissance précise des propriétés mécaniques du matériau. L'approche repose sur un contrôleur à modèle virtuel (VMC) utilisant des mécanismes virtuels commutés : le mouvement émerge de l'interaction entre la dynamique du robot, l'environnement et des forces virtuelles calculées en temps réel. Validé sur un bras Franka Research 3, le système atteint une précision inférieure au millimètre pour des tranches de 1 à 6 mm d'épaisseur sur cinq légumes distincts, à un rythme d'environ une coupe par seconde. Le contrôleur maintient ses performances malgré des variations de forme du couteau et de hauteur de planche à découper, et a été transposé avec succès sur un bras humanoïde différent sans retuning majeur. Ce résultat pointe vers un verrou longtemps ouvert en manipulation robotique de contact : la découpe cumule des forces d'interaction élevées et imprévisibles, des matériaux aux propriétés variables, et des exigences de précision sub-millimétrique que les approches classiques peinent à concilier. Les méthodes habituelles s'appuient soit sur des trajectoires rigides préprogrammées, soit sur des modèles d'apprentissage intensifs en données. Le VMC proposé exploite à la place la physique du système elle-même pour stabiliser un mouvement périodique, dont la convergence est démontrée théoriquement et pas seulement empiriquement. La portabilité sur un second effecteur sans recalibration constitue un signal de généralisation platform-agnostic, qui intéresse directement les intégrateurs industriels souhaitant mutualiser leur contrôleur sur plusieurs modèles de robots. La découpe automatisée reste un verrou industriel, notamment en agroalimentaire, où des acteurs comme Miso Robotics proposent des solutions dédiées mais peu flexibles. Ce preprint (v3, non encore soumis à revue à comité de lecture) ne rapporte que des expériences de laboratoire sur cinq légumes en conditions contrôlées, sans déploiement industriel mentionné. Aucune comparaison avec des approches par apprentissage (imitation learning, VLA) n'est réalisée, ce qui limite la mise en perspective des performances annoncées. Les suites naturelles seraient une validation sur ligne réelle et une soumission à une conférence de référence (ICRA, IROS, CoRL) pour établir la reproductibilité externe.

RecherchePaper
1 source
Graphes de scène 3D : défis ouverts et perspectives futures
461arXiv cs.RO 

Graphes de scène 3D : défis ouverts et perspectives futures

Un article de synthèse intitulé "3D Scene Graphs: Open Challenges and Future Directions" (arXiv:2606.19383) vient d'être publié, proposant une revue unifiée et critique des graphes de scène 3D (3DSGs) pour l'IA spatiale. Les 3DSGs sont des représentations qui combinent un ancrage géométrique avec des abstractions sémantiques et relationnelles de l'environnement: en clair, une carte structurée où les objets, leurs propriétés et leurs relations spatiales sont encodés dans un graphe hiérarchique. Le survey couvre leurs applications dans la manipulation robotique, la navigation autonome, la planification de tâches et la compréhension de scène. Les auteurs formalisent une définition commune, analysent les choix de modélisation (attributs de noeuds et d'arêtes, structure hiérarchique, représentations dynamiques, extensions tenant compte des affordances), puis examinent les pipelines de construction à partir de données sensorielles brutes et les stratégies d'évaluation, de la qualité intrinsèque du graphe jusqu'aux performances applicatives. Un site compagnon est disponible à https://3dscenegraphs.com/. Ce survey arrive à un moment critique pour la robotique déployée en milieu industriel réel. Le constat central est celui d'une fragmentation dommageable: les différentes communautés (vision par ordinateur, robotique cognitive, planification symbolique) ont développé des formalismes incompatibles, des pipelines de construction distincts et des protocoles d'évaluation hétérogènes, ce qui rend la comparaison des méthodes quasi impossible et freine l'identification des hypothèses communes. Pour un intégrateur ou un décideur B2B, cela signifie concrètement qu'aucune solution 3DSG n'est encore directement transposable d'un système à l'autre sans retravailler la couche de représentation. Le survey ne prétend pas résoudre ce problème, mais pose les bases pour qu'une normalisation émerge, ce qui est un prérequis à un déploiement robuste en production. Les graphes de scène 3D ont gagné en popularité avec l'essor des architectures de type Vision-Language-Action (VLA) et des modèles de fondation pour la robotique, qui nécessitent des représentations du monde à la fois compactes et manipulables symboliquement. Des travaux comme ScanScribe, Hydra (MIT SPARK Lab) ou SceneGraphFusion ont posé des jalons distincts, sans consensus de facto. Les prochaines étapes identifiées par les auteurs incluent la gestion des scènes dynamiques et longue durée, l'évaluation task-level standardisée et l'intégration avec des planificateurs LLM. Le champ est encore exploratoire, mais il constitue un verrou clé pour les systèmes robotiques qui doivent raisonner sur leur environnement au-delà de la simple détection d'objets.

RecherchePaper
1 source
LAGO Policy : diffusion asynchrone sensible à la latence et planification sans collision pour une manipulation fluide
462arXiv cs.RO 

LAGO Policy : diffusion asynchrone sensible à la latence et planification sans collision pour une manipulation fluide

Une équipe de chercheurs a publié sur arXiv (référence 2606.17982, juin 2026) un cadre algorithmique baptisé LAGO Policy, acronyme de Latency-Aware asynchronous Goal-directed Optimization, destiné à résoudre deux limitations structurelles des politiques visuomotrices à diffusion en manipulation robotique : les discontinuités entre blocs d'actions lors de l'inférence asynchrone, et l'absence de mécanisme natif d'évitement d'obstacles. Le système repose sur trois composantes intégrées : un guidage sans classifieur (classifier-free guidance, CFG) conditionné sur les actions futures pour assurer la cohérence entre segments d'exécution consécutifs ; une prédiction automatique de point d'interaction cible extraite des démonstrations pour orienter la planification ; et une optimisation spatio-temporelle des trajectoires garantissant des mouvements à faible à-coup (low-jerk) et physiquement réalisables. Les auteurs rapportent des expériences en conditions réelles sur des tâches de manipulation présentées comme complexes, avec un taux de succès élevé, bien que l'abstract ne détaille ni les objets testés ni les métriques quantitatives précises. Ce travail s'attaque à un problème concret qui freine le déploiement industriel des politiques à diffusion : ces modèles génèrent des actions de haute qualité, mais leur temps de calcul est incompatible avec une boucle de contrôle synchrone. Les approches asynchrones existantes contournent la latence en découplant inférence et exécution, mais introduisent précisément les à-coups et ruptures de trajectoire que LAGO cherche à corriger. L'intégration de la planification d'évitement d'obstacles directement dans le pipeline de la politique, sans module externe de type MPC ou RRT, représente un changement d'architecture notable pour les intégrateurs qui empilent aujourd'hui ces briques séparément. Les politiques à diffusion pour la manipulation ont été popularisées notamment par les travaux de Shuran Song (Columbia/Stanford) puis par Physical Intelligence avec Pi-0, architecture qui sert de référence dans le domaine. LAGO s'inscrit dans une tendance plus large où la frontière entre apprentissage par imitation et planification classique se réduit, visible aussi dans GR00T N2 de NVIDIA ou les variantes d'ACT développées dans plusieurs laboratoires académiques. Il s'agit pour l'instant d'un preprint sans déploiement commercial annoncé ni partenaire industriel identifié ; la page projet associée (lago-policy.github.io) laisse entendre que des vidéos et du code seront publiés, mais aucune timeline n'est précisée.

RechercheOpinion
1 source
Repenser la représentation spatiale implicite dans l'apprentissage des politiques visuomotrices
463arXiv cs.RO 

Repenser la représentation spatiale implicite dans l'apprentissage des politiques visuomotrices

Une équipe de chercheurs a publié en juin 2026 un préprint arXiv (2606.15232) proposant PRISM, un encodeur visuel destiné aux politiques visuomotrices pour la manipulation robotique. Le travail repart d'une brique très répandue dans ce domaine : le pooling spatial softmax, qui transforme les cartes de caractéristiques d'un réseau de neurones en un ensemble compact de coordonnées 2D représentant les points saillants d'une scène. Les auteurs montrent, par une série d'expériences comparatives, que cette représentation implicite produit des features plus stables et plus compactes que les représentations feature-value classiques, même avec un espace dimensionnel nettement réduit. Cependant, ils identifient un goulot d'étranglement : les opérations successives de sous-échantillonnage dans les encodeurs visuels courants dégradent l'information spatiale fine avant qu'elle ne parvienne au module générateur d'actions, problème particulièrement aigu en basse résolution. PRISM répond à ce déficit en fusionnant des représentations multiscalaires via une attention croisée top-down. Sur la tâche ToolHang, référence de précision en basse résolution, le taux de succès moyen passe de 5,0 % à 13,4 %, pour seulement 15,4 % de paramètres supplémentaires. Ce résultat a une portée directe pour les intégrateurs qui déploient des politiques d'imitation générative (Diffusion Policy, ACT, et dérivés) sur des robots industriels équipés de caméras embarquées à résolution modeste. Il confirme que le "sim-to-real gap" n'est pas uniquement lié aux données ou aux architectures d'action, mais aussi à la qualité des représentations visuelles intermédiaires. La démonstration que des gains substantiels sont atteignables sans revoir l'architecture d'action ni exploser le coût computationnel est un signal utile pour les équipes qui cherchent à améliorer la robustesse de leurs pipelines sans refonte complète. Ce travail s'inscrit dans la vague actuelle d'apprentissage par imitation basé sur des modèles génératifs, popularisée par Chi et al. (Diffusion Policy, 2023) et les travaux de Physical Intelligence (pi0) ou de Google DeepMind. Il n'implique pas d'acteur français ou européen identifiable. Le papier est un préprint, non encore évalué par les pairs, et les benchmarks restent limités à des tâches de table-top manipulation simulées et réelles ; une validation sur plateformes humanoïdes ou en environnement industriel reste à venir. Les prochaines étapes naturelles seraient une intégration dans des pipelines VLA (Vision-Language-Action) à grande échelle, où la précision spatiale est également un point de friction documenté.

IA physiquePaper
1 source
Vers une préhension séquentielle fiable d'objets en environnement encombré : solution finaliste du RGMC 2025
464arXiv cs.RO 

Vers une préhension séquentielle fiable d'objets en environnement encombré : solution finaliste du RGMC 2025

Une équipe de chercheurs a présenté à l'ICRA 2025, la principale conférence mondiale en robotique, un système de préhension séquentielle en environnement encombré, décrochant la deuxième place dans la piste "Pick-in-Clutter" de la 10e édition du Robotic Grasping and Manipulation Competition (RGMC 2025). Le système s'évalue sur le Cluttered Environment Picking Benchmark (CEPB), un protocole standardisé conçu pour des scénarios de ramassage séquentiel d'objets hétérogènes entremêlés. La solution combine une pince multifonctionnelle sur mesure, un module de reconnaissance d'objets, des stratégies de désencombrement actif et une approche de préhension multimodale capable de traiter à la fois des pièces rigides et des objets déformables. L'architecture produit une représentation explicite de la distribution spatiale des objets et de leurs relations d'occlusion, permettant au robot de planifier l'ordre de saisie le plus efficace tout en évitant les collisions. Ce résultat est significatif pour les intégrateurs industriels parce qu'il adresse un verrou applicatif précis : non plus saisir un objet isolé avec un taux de succès élevé, mais rechercher et extraire séquentiellement des cibles dans un tas désordonné, cas d'usage courant en picking e-commerce, en tri logistique ou en désassemblage. La gestion des objets déformables (sachets, textiles, pièces souples) reste un différenciateur rare : la plupart des systèmes commerciaux contournent ce cas. Les auteurs distinguent explicitement les "taux de succès élevés sur la saisie unitaire" déjà atteints dans la littérature des "solutions matures pour le tri séquentiel", un écart que ce travail cherche à combler. La validation en conditions de compétition sous contrainte temps, avec des objets non sélectionnés par l'équipe, renforce la crédibilité par rapport aux démonstrations en conditions contrôlées. Le RGMC est organisé annuellement depuis 2011 en marge de l'ICRA et constitue l'une des références de benchmark en manipulation robotique. Sur ce segment, les concurrents directs incluent des systèmes basés sur des grippers adaptatifs (Robotiq, OnRobot) et des solutions de bin-picking comme celles de Photoneo, Mech-Mind ou Roboception, souvent couplées à des pipelines de vision 3D. Aucun acteur européen n'est mentionné dans ce travail. L'article, déposé sur arXiv sous l'identifiant 2606.12954, ne précise pas l'affiliation institutionnelle de l'équipe ni de feuille de route vers une commercialisation. Les prochaines étapes naturelles seraient la mise en open source du benchmark CEPB et une validation sur un spectre plus large d'objets industriels réels.

RecherchePaper
1 source
MaskWAM : unification du masquage guidé et de la prédiction pour les modèles monde-action
465arXiv cs.RO 

MaskWAM : unification du masquage guidé et de la prédiction pour les modèles monde-action

Une équipe de chercheurs a soumis sur arXiv (référence 2606.13515) un modèle baptisé MaskWAM, visant à lever deux verrous structurels des World Action Models (WAMs) pour le contrôle robotique par prédiction vidéo. Les WAMs constituent une approche active : au lieu d'apprendre directement une politique motrice, le modèle prédit des frames vidéo futures conditionnées par les actions du robot et extrait la politique de cette représentation. Le problème identifié est double. Les entrées textuelles génèrent une ambiguïté référentielle dans les scènes encombrées : si deux objets similaires cohabitent dans le champ de la caméra, le texte ne suffit pas à désambiguïser la cible. Par ailleurs, les prédictions RGB brutes manquent d'ancrage sémantique et restent perturbées par des arrière-plans sans lien avec la tâche. MaskWAM intègre des masques de segmentation à la fois comme entrées explicites (premier frame annoté avec la cible) et comme sorties prédites, au sein d'une architecture unifiée Mixture of Transformers (MoT). L'apport central est l'introduction d'une supervision sémantique centrée sur l'objet : en forçant le modèle à prédire les masques futurs en parallèle des frames RGB, les auteurs réduisent l'influence du bruit visuel de fond sur la politique apprise. Évalué sur les benchmarks LIBERO et RoboTwin, ainsi que sur des tâches réelles non précisées en détail, MaskWAM surpasse significativement les baselines existantes en conditions de langage clair comme ambigu. Pour les équipes R&D en manipulation robotique, l'enjeu concret est la robustesse des politiques face aux variations de décor et aux instructions imprécises, deux points de friction récurrents dans le transfert du labo vers la ligne de production. Ces résultats restent toutefois ceux d'une prépublication académique sur benchmarks standardisés : aucun déploiement industriel n'est mentionné, et les conditions exactes des expérimentations réelles ne sont pas détaillées dans le résumé disponible. MaskWAM s'inscrit dans la dynamique des Visual Language Action models et des WAMs apparus depuis 2023, notamment Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA. Sa spécificité est l'exploitation systématique des masques de segmentation comme signal de supervision, là où la plupart des approches concurrentes restent ancrées sur du texte libre ou des images de référence non structurées. Les prochaines étapes prévisibles pour ce type de travaux sont l'évaluation sur des manipulations multi-objets en environnement non contrôlé et l'intégration dans des fondations robotiques plus larges. Aucun partenariat industriel ni calendrier de transfert applicatif ne sont mentionnés à ce stade.

IA physiqueOpinion
1 source
Robustesse des tâches par ré-étiquetage des données vision-action pour robots
466arXiv cs.RO 

Robustesse des tâches par ré-étiquetage des données vision-action pour robots

Une équipe de chercheurs a publié TREAD (Task Robustness via Re-Labelling Vision-Action Robot Data), un framework de ré-annotation automatique des datasets de robotique présenté sur arXiv (arXiv:2606.10918, juin 2026). L'approche exploite un grand modèle vision-langage (VLM) pré-entraîné en trois étapes séquentielles : génération de sous-tâches sémantiques à partir des labels d'instruction originaux et des scènes initiales, segmentation des vidéos de démonstration conditionnée sur ces sous-tâches, puis production d'instructions textuelles diversifiées intégrant les propriétés des objets manipulés. Le résultat : des démonstrations longues décomposées en paires langage-action ancrées dans la scène, enrichies de reformulations linguistiques variées du même objectif. Les évaluations sur le benchmark LIBERO montrent une amélioration des performances sur des tâches et objectifs non vus à l'entraînement, sans collecte de données supplémentaire. Ce travail cible un goulot d'étranglement bien identifié dans la course aux politiques de manipulation généralistes : les datasets de robotique existants manquent de diversité linguistique et de variété dans les séquences d'action, ce qui fait que les politiques de type VLA (Vision-Language-Action) peinent à suivre des instructions paraphrasées ou décomposées différemment. TREAD contourne ce problème en réutilisant la connaissance transférable des VLMs pour synthétiser de la diversité là où la collecte terrain serait coûteuse. L'approche améliore simultanément la généralisation de planification via la décomposition de trajectoires et la généralisation des politiques conditionnées au langage via la diversité des formulations, deux axes que les approches de scaling pur (plus de données, plus de paramètres) n'adressent pas directement. Le contexte est celui de la montée en puissance des politiques généralistes pour la manipulation robotique, incarnée par des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA. Ces architectures héritent des faiblesses de leurs datasets d'entraînement, souvent collectés avec des instructions standardisées et des démonstrations d'une seule séquence. TREAD s'inscrit dans une tendance émergente de data augmentation sémantique, en complémentarité avec les approches de génération synthétique par simulation (sim-to-real) ou de téléopération à grande échelle. LIBERO, le benchmark utilisé pour validation, est largement adopté dans la communauté pour comparer les politiques de manipulation en environnement tabletop. Les prochaines étapes naturelles seraient la validation sur des datasets plus larges comme Open X-Embodiment et des tests en déploiement réel sur plateformes commerciales.

IA physiqueOpinion
1 source
QDepth-VLA : prédiction de profondeur quantifiée comme supervision auxiliaire pour les modèles vision-langage-action (VLA)
467arXiv cs.RO 

QDepth-VLA : prédiction de profondeur quantifiée comme supervision auxiliaire pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (identifiant 2510.14836, troisième révision) QDepth-VLA, un cadre d'apprentissage qui augmente les modèles Vision-Language-Action (VLA) avec une tâche auxiliaire de prédiction de profondeur. Le principe : un module spécialisé, baptisé "depth expert", apprend à prédire des tokens latents quantifiés de cartes de profondeur, générés par un encodeur VQ-VAE (Vector Quantized Variational Autoencoder). Ces tokens sont intégrés au pipeline VLA comme supervision auxiliaire durant l'entraînement, sans modifier l'architecture de base du modèle. L'approche est validée sur des benchmarks de simulation et sur des tâches réelles de manipulation robotique, avec des résultats décrits par les auteurs comme "compétitifs", formulation prudente qui suggère des gains réels mais pas nécessairement un état de l'art incontestable. L'enjeu fondamental que traite QDepth-VLA est le déficit de perception 3D des VLA actuels. Des modèles comme OpenVLA, Pi-0 ou les variantes de RT-2 traitent les images comme des entrées 2D et peinent à raisonner sur la géométrie de la scène (distance d'un objet, orientation, profondeur d'emprise), ce qui limite leur précision sur des tâches de manipulation fine : assemblage, insertion de connecteurs, saisie d'objets transparents ou réfléchissants. En forçant le modèle à reconstruire une structure de profondeur quantifiée, QDepth-VLA injecte des indices géométriques explicites dans les représentations apprises, sans nécessiter de capteur de profondeur supplémentaire à l'inférence. C'est un argument concret pour les intégrateurs déployant des robots sur des cellules équipées uniquement de caméras RGB standard. QDepth-VLA s'inscrit dans une tendance plus large d'augmentation des VLA par des tâches auxiliaires : prédiction de flux optique chez Physical Intelligence avec Pi-0, estimation de pose 3D dans les travaux Google DeepMind, ou représentations implicites de scène. Les concurrents directs incluent SpatialVLA et plusieurs variantes de RoboVLMs intégrant des indices 3D explicites. Un point de vigilance : les auteurs ne précisent ni le robot utilisé pour les expériences réelles, ni les conditions expérimentales détaillées, ce qui rend difficile la comparaison directe avec d'autres approches. La prochaine étape pour positionner objectivement QDepth-VLA dans le paysage sera une évaluation sur des benchmarks standardisés comme LIBERO ou Open X-Embodiment, qui font aujourd'hui référence dans la communauté VLA.

IA physiqueOpinion
1 source
Real-IKEA : la fidélité physique est le prérequis d'une manipulation robuste
468arXiv cs.RO 

Real-IKEA : la fidélité physique est le prérequis d'une manipulation robuste

Une équipe de chercheurs a publié sur arXiv le 9 juin 2026 Real-IKEA, un dataset et un framework de simulation centré sur la précision physique pour l'apprentissage de politiques de manipulation robotique. Le corpus comprend 1 079 configurations d'objets articulés, dérivées de 83 poignées et boutons IKEA authentiques, traités via un pipeline de six étapes visant à reproduire fidèlement leur géométrie de contact et leur comportement mécanique. Pour quantifier la précision des maillages de collision, les auteurs introduisent une métrique originale dite de déviation de surface bidirectionnelle. Sur le plan dynamique, chaque asset est livré avec des configurations résistance-calibrées, où l'amortissement (damping) et le frottement varient selon les mesures relevées sur objets réels. Une politique d'apprentissage par renforcement (RL) entraînée sur ces assets démontre in silico que la fidélité physique permet à l'agent de découvrir des stratégies de "hooking" (crochetage) et de "levering" (effet de levier), par opposition aux approches fragiles par friction-pulling que favorisent les simulateurs appauvris. Ce travail s'attaque directement au "physics gap", l'écart entre simulation simplifiée et résistances du monde réel, qui reste l'un des obstacles structurels au déploiement industriel de la manipulation robotique. Le résultat clé est une preuve de concept que la qualité des assets de simulation conditionne la qualité des stratégies émergentes : un simulateur trop idéalisé oriente l'agent vers des comportements non transférables. Pour un intégrateur ou un responsable production envisageant des bras robotiques sur des tâches d'assemblage ou de service, cela renforce l'argument en faveur d'investissements dans des pipelines de modélisation physique rigoureux avant tout déploiement, plutôt que d'ajustements post-déploiement coûteux. Real-IKEA s'inscrit dans une longue tradition de benchmarks utilisant le mobilier IKEA comme proxy de la complexité du monde réel, notamment les travaux de manipulation non-prehensile des années 2010. Le sim-to-real gap est un sujet de recherche actif, avec des acteurs comme IsaacSim (NVIDIA), MuJoCo (DeepMind) ou PyBullet comme environnements concurrents sur ce terrain. La contribution spécifique de Real-IKEA réside dans la granularité physique de ses assets plutôt que dans un nouvel algorithme. Les auteurs positionnent leur benchmark comme référence pour évaluer des politiques visant la robustesse au niveau humain sur les objets articulés, une ambition dont la validation à l'échelle réelle reste à démontrer.

RecherchePaper
1 source
GraspFoM : vers une préhension robotique guidée par la reconstruction et les modèles fondation 3D
469arXiv cs.RO 

GraspFoM : vers une préhension robotique guidée par la reconstruction et les modèles fondation 3D

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (référence 2606.08440) GraspFoM, un framework unifié de saisie robotique qui exploite des fondations 3D pré-entraînées, plus précisément SAM3D, pour construire une représentation latente 3D partagée entre deux tâches simultanées : la reconstruction géométrique de l'objet et la prédiction de poses de préhension. L'architecture centrale repose sur un diffuseur de raisonnement de pose tronqué à initialisation par ancres, qui génère des poses continues et multimodales sans dépendre de candidats discrets préétablis, une distinction technique importante par rapport aux pipelines classiques. GraspFoM produit en sortie à la fois des poses de saisie et des reconstructions 3D haute fidélité au format maillage polygonal et 3D Gaussian Splatting (3DGS). Les auteurs rapportent des résultats de pointe sur les benchmarks de reconstruction et de saisie, avec un surcoût en paramètres entraînables qualifié de "limité" mais sans chiffre précis publié. Ce travail adresse un verrou réel dans la manipulation robotique : la saisie sous observation partielle, c'est-à-dire quand la caméra ne voit qu'une fraction de l'objet. Les approches existantes utilisent la géométrie 3D comme étape intermédiaire jetable, sans la capitaliser comme prior réutilisable. GraspFoM rompt avec cette logique en faisant co-évoluer reconstruction et grasping dans un espace latent commun : la reconstruction ancre la géométrie, la supervision de saisie affine ce latent vers les zones de prise pertinentes. Le scorer reconstruction-aware et le residual latent updater formalisent cette rétroaction mutuelle. Pour les intégrateurs en manipulation industrielle ou logistique, cela suggère une meilleure robustesse sur des objets partiellement occultés, sans multiplication des modules ou des paramètres, ce qui est un argument d'efficacité réelle si les expériences réelles confirment les benchmarks. Les fondations 3D comme SAM3D s'inscrivent dans une vague de transferts de connaissances entre vision 2D et représentations 3D, parallèle à l'essor des VLA (Vision-Language-Action models) pour la manipulation généraliste. GraspFoM se positionne différemment des approches purement end-to-end comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA : il mise sur la reconstruction explicite plutôt que sur l'imitation à grande échelle. Les concurrents académiques proches incluent GraspNeRF, Contact-GraspNet et des travaux récents combinant diffusion et géométrie 3D. À ce stade, GraspFoM reste un preprint non validé en conditions réelles, les expériences rapportées étant réalisées sur simulateur ou bancs de test contrôlés. Aucun partenaire industriel ni déploiement pilote n'est mentionné, et aucune timeline de commercialisation n'est communiquée.

RecherchePaper
1 source
X4Val : apprentissage de substituts neuronaux pour l'évaluation de politique à variance réduite
470arXiv cs.RO 

X4Val : apprentissage de substituts neuronaux pour l'évaluation de politique à variance réduite

Évaluer un système robotique basé sur l'apprentissage avant déploiement est une étape critique, mais collecter des données réelles en quantité suffisante est coûteux et chronophage. Des chercheurs présentent X4Val (arXiv:2606.05159, juin 2026), un framework général d'estimation de métriques réelles à variance réduite, conçu pour exploiter des données hétérogènes non appariées : sorties de simulation, logs de politiques antérieures, ou données collectées sur des plateformes connexes. La méthode projette des échantillons issus de domaines réels et auxiliaires dans un espace de représentation partagé, entraîne un prédicteur transférable des métriques réelles, puis intègre ce prédicteur dans un estimateur à variables de contrôle. Sur des tâches de conduite autonome et de manipulation robotique en environnement réel, X4Val atteint jusqu'à 38,4 % de réduction de variance par rapport aux baselines, avec des gains constants sur l'ensemble des configurations testées. L'enjeu industriel est direct : dans un cycle de développement itératif, chaque nouvelle version d'une politique génère inévitablement peu de données réelles, rendant l'évaluation statistiquement fragile. Les équipes robotiques font aujourd'hui face à un dilemme : soit accumuler des données de test réelles à coût élevé, soit se fier à la simulation au risque de biais importants liés au sim-to-real gap. X4Val offre une troisième voie en exploitant les données auxiliaires de façon rigoureuse, sans supposer qu'elles sont représentatives du monde réel. La réduction de variance obtenue améliore directement l'efficacité en échantillons de la validation, ce qui peut accélérer les cycles de qualification avant déploiement dans des contextes industriels contraints. Sur le plan académique, X4Val s'inscrit dans le champ de l'évaluation de politiques hors ligne (offline policy evaluation, OPE), où les estimateurs à variables de contrôle sont un outil classique de la statistique, ici adapté au cadre multi-domaines sans paires de correspondance. Les approches concurrentes incluent l'importance sampling, le recalage de domaine (domain randomization), ou l'évaluation directe en simulation, chacune présentant des biais ou des limites de couverture propres. X4Val reste à ce stade un résultat de recherche publié en preprint, sans implémentation commerciale annoncée. Les prochaines étapes naturelles seraient l'intégration dans des pipelines de qualification robotique en laboratoire, et une validation sur des tâches à plus haute complexité (manipulation dextère, locomotion).

RecherchePaper
1 source
Affordance2Action : ancrage des affordances guidé par la tâche pour la manipulation en temps réel
471arXiv cs.RO 

Affordance2Action : ancrage des affordances guidé par la tâche pour la manipulation en temps réel

Une équipe de chercheurs publie sur arXiv (identifiant 2606.04172) le framework Affordance2Action (A2A), centré sur un problème concret de la manipulation robotique : identifier en temps réel quelle partie précise d'un objet est fonctionnellement exploitable pour accomplir une tâche donnée, dans une scène encombrée et ambigüe. Le coeur du travail est A2A-Bench, un benchmark de manipulation couvrant à la fois les correspondances instruction-région unique et multi-région, c'est-à-dire les cas où un seul verbe d'action peut pointer vers une ou plusieurs zones fonctionnelles selon la disposition de la scène. Pour construire ce dataset à grande échelle, les auteurs ont développé A2A-AffordGen, un pipeline assisté par agents qui enchaîne filtrage par modèle de langage, segmentation interactive de parties, raffinement par masquage d'instance, génération d'instructions de raisonnement et vérification humaine. Le code et les datasets seront rendus publics. Ce travail expose une lacune structurelle des benchmarks existants en affordance : la plupart se concentrent sur la préhension d'objet isolé, s'appuient sur des scènes synthétiques, ou supposent une correspondance univoque entre instruction et région. A2A révèle des écarts significatifs dans trois catégories de baseline (segmentation générique, grounding fondé sur des VLMs et distillation d'affordance) sur des scènes réelles et multi-objets. Pour un intégrateur ou un responsable d'automatisation, ce résultat indique que les approches actuelles basées sur des VLMs généralistes (type CLIP ou LLaVA) sous-performent dès que la scène sort des cas standards. La capacité à localiser des régions fonctionnelles ambigües en temps réel reste un verrou non résolu pour le déploiement de bras manipulateurs en environnement non structuré. L'affordance grounding en robotique s'inscrit dans une longue tradition de recherche remontant aux travaux de Gibson sur les affordances écologiques, réinterprétés pour la manipulation depuis les années 2010. Les approches concurrentes incluent des méthodes de grounding fondées sur des modèles de vision-langage (CLIP, SAM couplé à LLM) et des politiques de type VLA (Vision-Language-Action), comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui nécessitent elles aussi une localisation précise des régions d'interaction. A2A se positionne comme un cadre d'évaluation et de supervision plutôt que comme une politique de contrôle complète. La prochaine étape logique serait une validation sur robots physiques à plus grande échelle : le papier démontre des résultats en manipulation conditionnée par les affordances, mais la portée reste expérimentale à ce stade de preprint.

RecherchePaper
1 source
TTT-VLA : optimisation de prompts latents à l'inférence pour les modèles VLA
472arXiv cs.RO 

TTT-VLA : optimisation de prompts latents à l'inférence pour les modèles VLA

Des chercheurs ont publié le 3 juin 2026 un article (arXiv:2606.03127) proposant TTT-VLA, un cadre d'entraînement au moment du test (test-time training, TTT) spécifiquement conçu pour les modèles Vision-Langage-Action (VLA). La méthode repose sur ce qu'ils appellent l'Optimisation de Prompt Latent (LPO) : pendant la phase d'entraînement, un vecteur de prompt latent est appris via une tâche auxiliaire de proxy qui génère un signal d'auto-supervision. Lors du déploiement, seul ce prompt latent est réoptimisé à partir des données d'interaction collectées dans l'environnement réel, sans toucher aux poids du modèle de base. Les expériences sont conduites sur SimplerEnv, un benchmark de manipulation robotique simulée, et montrent des gains de taux de succès cohérents sur des scénarios monolithiques et multi-embodiment. L'intérêt principal pour l'industrie robotique tient à la nature du problème résolu : le décalage de distribution (distribution shift) entre l'environnement d'entraînement et le site de déploiement est l'un des freins les plus documentés au passage en production des VLA. TTT-VLA propose une voie d'adaptation légère, puisque seul le prompt est modifié et non la politique elle-même. L'analyse des résultats révèle que les gains proviennent principalement de la correction d'un petit nombre de décisions critiques dans la séquence d'action, et non d'un changement global de comportement. C'est un résultat conceptuellement intéressant : il suggère que l'inadaptation d'un VLA en production est localisée, ce qui rend les approches de correction chirurgicale potentiellement plus efficaces que les fine-tunings complets. Les VLA sont devenus un axe de recherche central depuis les travaux fondateurs sur RT-2 (Google DeepMind, 2023), et des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA (Berkeley) illustrent la course actuelle. Le problème du sim-to-real et de l'adaptation au domaine reste entier pour tous ces systèmes dès qu'ils quittent les environnements contrôlés. TTT-VLA s'inscrit dans une tendance plus large qui emprunte aux LLMs la notion d'adaptation au test-time, appliquée ici à la manipulation physique. Les expériences restent pour l'instant limitées à SimplerEnv, ce qui laisse ouverte la question du transfert vers des robots réels et des environnements industriels non structurés.

UELes laboratoires de robotique européens (INRIA, CEA-List) travaillant sur les VLA pourraient exploiter cette méthode d'adaptation légère pour réduire le sim-to-real gap sans fine-tuning complet, mais aucun acteur européen n'est impliqué directement dans ces travaux.

IA physiqueOpinion
1 source
CloSE : une représentation d'état du tissu indépendante de la forme géométrique
473arXiv cs.RO 

CloSE : une représentation d'état du tissu indépendante de la forme géométrique

Des chercheurs ont publié sur arXiv (arXiv:2504.05033, version 3) une nouvelle représentation de l'état de déformation des textiles pour la manipulation robotique, baptisée CloSE (Cloth StatE). La méthode repose d'abord sur un intermédiaire appelé dGLI disk : une grille circulaire sur laquelle sont calculés des indices topologiques pour chaque segment de bord du tissu. La carte de chaleur (heatmap) ainsi générée fait apparaître des motifs stables qui caractérisent l'état du tissu indépendamment de sa forme, de sa taille ou de son orientation. Ces motifs sont ensuite condensés en une représentation circulaire compacte et continue : CloSE. Les auteurs démontrent que cette représentation prédit correctement l'emplacement des plis sur plusieurs jeux de données de simulation de vêtements, et qu'elle s'applique à deux tâches concrètes : l'étiquetage sémantique des parties du vêtement et la planification de tâches à haut et bas niveau. Le code et les données sont disponibles publiquement. La manipulation de textiles reste l'un des problèmes non résolus de la robotique industrielle : contrairement aux objets rigides, un tissu peut prendre un nombre quasi infini de configurations déformées, ce qui rend la prise de décision et la planification de trajectoire extrêmement difficiles. L'apport principal de CloSE est d'être agnostique à la géométrie du vêtement, ce qui signifie qu'un même pipeline de perception et de planification peut théoriquement s'appliquer à un T-shirt, une chemise ou un pantalon sans réentraînement. Pour un intégrateur ou un équipementier du secteur textile, c'est une propriété clé : elle réduit le coût de généralisation entre références produits. La représentation compacte facilite également son intégration dans des boucles de contrôle temps réel. Ce travail s'inscrit dans un effort académique soutenu autour de la manipulation de tissus, aux côtés d'approches comme les réseaux de points déformables (DenseFusion, FlingBot) ou les méthodes basées sur les graphes de tissu. La plupart des résultats présentés ici restent en simulation, ce que les auteurs n'occultent pas, mais la nature topologique des indices dGLI est conçue pour faciliter le transfert sim-to-real. Aucun déploiement industriel ou partenariat n'est annoncé à ce stade. Les prochaines étapes naturelles seraient une validation sur robot physique et une extension aux tissus opaques ou fortement déformés.

RecherchePaper
1 source
Les avancées en prélèvement robotisé par caisse et à l'unité
474Robotics Business Review 

Les avancées en prélèvement robotisé par caisse et à l'unité

Le 3 juin 2026 à midi (heure de New York), un webinaire gratuit réunit plusieurs acteurs de la logistique robotisée autour de la préhension automatisée de colis et d'unités individuelles (désignée dans l'industrie par "case and each picking"). La table ronde virtuelle rassemble Annie Bowlby, directrice produit et ingénierie chez RightHand Robotics, ancienne responsable produit chez Neurala et cheffe de produit chez Rockwell Automation ; Gina Chung, directrice stratégie chez Locus Robotics, qui revendique plus de 17 000 robots déployés sur plus de 360 sites dans le monde ; et Josh Cloer, directeur général de Nomagic pour l'Amérique du Nord, issu de Mujin et de Mobile Industrial Robots (MiR). Les sujets couverts incluent les avancées en manipulation robotique, le concept de "data flywheel" (boucle de rétroaction de données réelles pour affiner les modèles d'IA guidant la préhension), et la place future de la supervision humaine dans les opérations de fulfillment. L'automatisation du picking unitaire reste l'un des verrous les plus tenaces de la logistique entrepôt. Jusqu'à récemment, un opérateur humain surpassait les robots en vitesse et en précision pour manipuler des SKUs individuels ou des cartons de formats variés. Mais la pénurie de main-d'oeuvre, le coût croissant du travail, les blessures liées aux gestes répétitifs et la variabilité de productivité humaine ont accéléré l'adoption des solutions robotiques. Le webinaire aborde explicitement le défi des formes, matériaux et poids hétérogènes, principal obstacle à la généralisation de la préhension automatisée au-delà des environnements très normalisés. La notion de "data flywheel" est présentée comme le mécanisme clé permettant d'améliorer la robustesse en conditions réelles plutôt qu'en simulation contrôlée, sujet central du débat sim-to-real qui structure encore largement la recherche en manipulation robotique. L'émergence de ce segment reflète une consolidation progressive du marché. RightHand Robotics est positionné sur la préhension unitaire en entrepôt depuis plusieurs années, tandis que Locus Robotics, issu de la première vague d'AMR (robots mobiles autonomes), étend ses capacités vers la manipulation à valeur ajoutée. Nomagic, fondé en Europe et désormais en phase d'expansion nord-américaine, mise sur une approche dite de "physical AI" pour différencier ses solutions dans les opérations de fulfillment. Les concurrents directs dans cet espace incluent Covariant (intégré depuis par Amazon), Dexterity et, dans un registre plus industriel, Boston Dynamics. Il convient de noter que ce webinaire est un échange sectoriel et non un lancement produit ou une annonce de déploiement : aucune nouvelle solution ni chiffre de performance inédit ne sont présentés. La session sera disponible en rediffusion après la diffusion en direct du 3 juin.

IndustrielActu
1 source
Apprentissage par renforcement conditionné par objectif et informé par la physique sous dynamique de contact hybride
475arXiv cs.RO 

Apprentissage par renforcement conditionné par objectif et informé par la physique sous dynamique de contact hybride

Des chercheurs ont publié sur arXiv (réf. 2605.30503) une analyse critique des méthodes de GCRL physico-informé (Pi-GCRL) appliquées à la manipulation robotique en contact, accompagnée de deux nouvelles formulations architecturales pour corriger leurs limites. Le GCRL (goal-conditioned reinforcement learning) vise à entraîner des agents capables d'atteindre des objectifs arbitraires à partir d'un signal de récompense rare, en apprenant une notion générale d'accessibilité dans l'espace état-but. Les approches Pi-GCRL enrichissent cette idée en injectant des biais inductifs issus de la commande optimale dans l'apprentissage de la fonction de valeur. L'article montre que, dès lors que les dynamiques deviennent hybrides, c'est-à-dire discontinues lors de transitions de contact, ces biais, appliqués naïvement, dégradent la performance : les paysages de valeur deviennent non-lisses, la contrôlabilité dépend du mode de contact actif, et les hypothèses de régularité sous-jacentes aux méthodes Pi-GCRL ne tiennent plus. L'enjeu est structurel pour la robotique de manipulation industrielle. La quasi-totalité des tâches réelles, assemblage, insertion, saisie d'objets déformables, impliquent des contacts intermittents qui créent précisément ces dynamiques hybrides. Jusqu'ici, Pi-GCRL avait démontré sa robustesse sur la navigation et le goal-reaching sans contact, mais son extension aux tâches de manipulation restait une question ouverte. Ce travail répond en quantifiant rigoureusement l'échec et en proposant deux correctifs : une formulation contact-aware qui adapte les biais inductifs au mode de contact détecté, et une formulation hiérarchique qui décompose le problème de manipulation en sous-problèmes à dynamiques plus régulières. Ces contributions ouvrent une voie méthodologique précise, distincte des approches VLA (vision-language-action) et sim-to-real classiques qui dominent actuellement les annonces industrielles. Le contexte est celui d'une compétition intense dans l'apprentissage pour la manipulation : DeepMind avec RoboCAT, Physical Intelligence avec pi0, Google avec RT-X, et des dizaines de labos universitaires cherchent à franchir le fossé démo-vers-réalité. Pi-GCRL représente une ligne de recherche distincte, héritée des travaux en commande optimale et en GCRL (Andrychowicz, Plappert et al., 2017 et suivants), qui mise sur la structure mathématique du problème plutôt que sur la puissance brute des données. Ce preprint est une contribution académique sans déploiement annoncé ni partenaire industriel identifié ; les suites probables sont des benchmarks sur des environnements contact-rich standardisés (MuJoCo, IsaacGym) et une éventuelle extension aux robots à plusieurs points de contact.

RecherchePaper
1 source
Haptic Sorter : un cadre de planification unifié pour l'estimation de forme en ligne et l'inférence de pose en temps réel
476arXiv cs.RO 

Haptic Sorter : un cadre de planification unifié pour l'estimation de forme en ligne et l'inférence de pose en temps réel

Une équipe de chercheurs a publié sur arXiv (ref. 2605.31352) un framework unifié baptisé Haptic Sorter, conçu pour permettre à un robot manipulateur d'estimer la forme et la pose d'un objet inconnu en temps réel, uniquement par le toucher, sans modèle géométrique préalable. Le système repose sur trois briques techniques : l'Optimisation Bayésienne (BO) pour guider l'exploration haptique et inférer la forme de l'objet via des superellipses (courbes paramétriques capables d'approximer une large famille de géométries 2D), une formulation adaptative du potentiel de manipulation encodant la géométrie estimée pour des interactions quasi-statiques, et une Équation Différentielle Ordinaire (ODE) résolue en ligne pour mettre à jour la pose de l'objet en temps réel à partir des retours tactiles et des prédictions du modèle. Le tout a été validé sur une tâche de tri 2D, en simulation et sur un setup réel multi-bras, avec plusieurs géométries d'objets testées. L'intérêt industriel est direct : la grande majorité des systèmes de manipulation robotique actuels supposent que la forme et la pose de l'objet sont connues a priori, ce qui rend ces systèmes fragiles dès que l'on sort du cadre structuré de la ligne de production. La perception visuelle, omniprésente dans les cellules pick-and-place contemporaines, est vulnérable aux occultations et aux incertitudes de calibration. Haptic Sorter propose une alternative ou un complément : le robot sonde activement l'objet, construit un modèle géométrique à la volée, et ajuste sa stratégie de saisie sans intervention humaine. Pour un intégrateur travaillant sur des flux logistiques avec des références variables, cette capacité d'adaptation sans reprogrammation est un argument concret. Le domaine de la perception haptique robotique est actif mais encore fragmenté : la plupart des travaux antérieurs traitent séparément l'exploration tactile, la reconstruction de forme, et la planification de manipulation. Des groupes comme ceux de l'ETH Zurich, de l'MIT CSAIL ou du Stanford AI Lab ont développé des approches partielles, mais rarement intégrées dans un pipeline bout-en-bout opérationnel. Haptic Sorter tente cette intégration avec des outils mathématiques classiques (BO, ODE) plutôt que des réseaux de neurones, ce qui le rend plus interprétable et potentiellement plus robuste en dehors de la distribution d'entraînement. La prochaine étape naturelle serait l'extension à la manipulation 3D et l'intégration avec des capteurs de force-couple commerciaux comme ceux d'ATI ou de Robotiq.

RecherchePaper
1 source
Politique de contrainte de surface pour l'apprentissage de compétences robotiques contraintes et dynamiquement réalisables
477arXiv cs.RO 

Politique de contrainte de surface pour l'apprentissage de compétences robotiques contraintes et dynamiquement réalisables

Des chercheurs ont déposé en mai 2026 sur arXiv (identifiant 2605.31321) un article présentant la Surface Constraint Policy (SCP), une méthode destinée à améliorer la fiabilité des robots dans des tâches de manipulation dextre impliquant des contraintes de surface complexes et de forme libre. L'approche encode la géométrie de surface à partir de démonstrations humaines via une fonction noyau gaussien pondérée en deux dimensions. Sur cette base, une politique de diffusion infère des intentions d'action à partir d'entrées multimodales (observations visuelles et retour d'état du robot), qui sont ensuite transformées en primitives de mouvement dynamique contraintes à la surface (DMPs, Dynamic Movement Primitives) via une méthode de mapping par similarité. Ce pipeline produit des trajectoires à la fois géométriquement admissibles et dynamiquement réalisables. Les auteurs font état de taux de succès et d'une stabilité de contact supérieurs aux méthodes comparées, sans que le résumé ne détaille les métriques précises ni les benchmarks utilisés. Ce travail pointe un angle mort persistant des approches actuelles d'apprentissage par imitation à base de diffusion : les politiques classiques génèrent des actions de manière stochastique, sans modéliser explicitement la géométrie de la surface de contact. En pratique, cela se traduit par des glissements, des décrochages ou des trajectoires physiquement inadmissibles, problèmes rédhibitoires pour des applications industrielles comme le polissage, l'assemblage surfacique ou le soudage. L'originalité de SCP tient à l'intégration des contraintes géométriques dès la génération d'action, couplée à des DMPs qui garantissent la faisabilité dynamique. Pour les intégrateurs et les équipes R&D, cette approche représente un pas concret vers la répétabilité requise en production, là où la stabilité du contact prime sur la généralisation toutes-tâches. Ce travail s'inscrit dans une vague de recherche intense autour des politiques de diffusion pour la manipulation robotique, initiée par Diffusion Policy (Chi et al., 2023, Columbia University) et accélérée par des acteurs comme Physical Intelligence avec pi0, Google DeepMind avec RT-2, ou encore ACT de Stanford. Les primitives de mouvement dynamique mobilisées ici sont un outil classique de la robotique depuis les travaux de Schaal dans les années 2000, mais leur couplage avec un pipeline de diffusion moderne pour gérer des contraintes surfaciques constitue l'apport original de la méthode. Les limitations pointées par les auteurs sont partagées par la plupart des architectures VLA actuelles, ce qui signale un axe de recherche pertinent pour quiconque vise le déploiement industriel. Les prochaines étapes naturelles incluraient une validation sur des surfaces déformables ou en mouvement, ainsi qu'un test de passage à l'échelle avec une plus grande diversité de tâches et de morphologies robotiques.

RecherchePaper
1 source
Téléopération en temps réel d'un bras manipulateur en environnement dynamique via un cadre VR
478arXiv cs.RO 

Téléopération en temps réel d'un bras manipulateur en environnement dynamique via un cadre VR

Une équipe de chercheurs a publié sur arXiv (preprint 2605.30989, mai 2026) un framework de téléopération en réalité virtuelle pour piloter un bras manipulateur 7-DOF en temps réel dans des environnements dynamiques. Le système intègre un solveur de cinématique inverse (IK) accéléré sur GPU et un module d'optimisation de trajectoires directement dans l'interface VR, générant des commandes articulaires réalisables à chaque cycle de contrôle. Les expériences couvrent trois scénarios : environnement sans obstacle, avec obstacles statiques, et avec obstacles en mouvement. Dans les trois cas, le système maintient une trajectoire conforme aux intentions de l'opérateur tout en produisant des déviations sécurisées lorsqu'un obstacle interfère avec le chemin commandé. L'intérêt de cette approche réside dans l'adresse d'une lacune connue : la majorité des systèmes de téléopération VR existants ont été conçus comme outils de collecte de données pour l'apprentissage par imitation, sans traiter explicitement les risques de collision ni les erreurs d'opérateurs novices. Ce framework cible un déploiement opérationnel réel dans des environnements à accès difficile ou dangereux (zones irradiées, maintenance industrielle à distance). La capacité à gérer des obstacles mobiles en temps réel, sans interrompre la boucle de contrôle, représente un passage de la démonstration en labo vers une robustesse compatible avec le terrain. Cela dit, les conditions exactes des tests (vitesse des obstacles, latence réseau, durée des séquences) ne sont pas détaillées dans l'abstract, ce qui invite à la prudence sur la généralisation des résultats. La téléopération VR pour la manipulation robotique connaît un regain d'intérêt depuis 2022-2023, portée par des projets comme AnyTeleop, UMI (Universal Manipulation Interface) de Stanford, et les systèmes de collecte de données de Physical Intelligence (pi0). Ces travaux ont majoritairement servi à entraîner des politiques de manipulation, reléguant la sécurité opérationnelle au second plan. En Europe, des acteurs comme Enchanted Tools et des laboratoires comme le LIRMM travaillent sur des problématiques voisines d'interaction humain-robot sécurisée. Ce preprint se positionne comme une brique vers une téléopération déployable plutôt que comme un produit fini, et les prochaines étapes restent à définir : intégration avec des politiques VLA, tests en conditions réelles ou validation en environnement industriel certifié.

UEImpact indirect : le LIRMM et Enchanted Tools travaillent sur des problématiques voisines de téléopération sécurisée, mais ce preprint ne les implique pas et n'est associé à aucun déploiement ou financement européen documenté.

RecherchePaper
1 source
MARS Policy : la multimodalité uniquement quand c'est pertinent
479arXiv cs.RO 

MARS Policy : la multimodalité uniquement quand c'est pertinent

Une équipe de recherche a déposé le 29 mai 2026 sur arXiv (ref. 2605.29766) une nouvelle politique d'apprentissage par imitation pour la manipulation robotique, baptisée MARS (Modality-Adaptive Robot Sampling). La méthode s'attaque à un compromis central dans les politiques génératives modernes : les modèles multi-modaux comme les politiques de diffusion capturent la diversité comportementale nécessaire à la manipulation complexe, mais au prix d'une latence d'inférence élevée et d'une complexité d'entraînement importante. MARS propose d'injecter de la stochasticité uniquement lors des phases où la diversité comportementale est réellement utile, et de basculer vers un mode déterministe pendant les phases à comportement unique. Sur 8 tâches en simulation et 4 tâches en conditions réelles, la politique affiche une amélioration du taux de succès de 16,67 % et une réduction de la latence d'inférence de 83,20 % par rapport aux baselines génératives classiques. L'enjeu est concret pour les intégrateurs et les équipes de déploiement terrain : les politiques de diffusion, malgré leurs performances, imposent des délais d'inférence de l'ordre de la centaine de millisecondes par pas de temps, ce qui limite leur applicabilité sur des robots à haute cadence ou des plateformes embarquées à ressources contraintes. MARS adresse ce goulet d'étranglement sans sacrifier la capacité multi-modale. Plus contre-intuitif encore : même sur des tâches quasi-déterministes, MARS surpasse les politiques purement déterministes, ce qui suggère que le diagnostic adaptatif de la modalité requise améliore également la modélisation des nuances comportementales, pas seulement la vitesse. Ce travail s'inscrit dans le courant post-Diffusion Policy (Chi et al., 2023, Columbia/MIT) et ACT (Zhao et al., 2023, Stanford), qui ont établi les politiques génératives comme paradigme dominant de l'apprentissage robot. Des approches concurrentes comme VQ-BeT ou BESO tentent également de réduire la complexité inférentielle des modèles génératifs ; MARS se distingue par son caractère adaptatif en ligne plutôt que par une architecture alternative fixe. En tant que preprint non encore évalué par les pairs, ces résultats restent à confirmer sur un spectre de tâches plus large et sur des plateformes hardware diversifiées. Les auteurs ne mentionnent ni feuille de route commerciale ni partenariat industriel à ce stade.

RecherchePaper
1 source
Sélection et planification simultanées des contacts pour la manipulation riche en contacts par optimisation en cascade
480arXiv cs.RO 

Sélection et planification simultanées des contacts pour la manipulation riche en contacts par optimisation en cascade

Des chercheurs ont publié sur arXiv (référence 2605.27972) un cadre d'optimisation en cascade baptisé SCSP, pour Simultaneous Contact Selection and Planning, dédié à la manipulation robotique en contact riche. Ce type de manipulation regroupe les tâches où le bras doit gérer plusieurs points de contact dynamiques : pivotement d'objet, manipulation en main, assemblage serré. Le système repose sur deux modules séquentiels : CSO (Contact Selection Optimization), qui détermine automatiquement les localisations de contact optimales sur l'objet cible, et CPO (Contact Planning Optimization), qui génère ensuite les trajectoires de manipulation correspondantes en temps réel pour des bras redondants à sept degrés de liberté ou plus. Les auteurs valident l'approche en simulation et sur robot physique, sur des tâches décrites comme complexes, sans que l'abstract ne fournisse de métriques de temps de cycle ou de taux de succès chiffrés. Le verrou que SCSP prétend lever est structurant pour la manipulation autonome : la quasi-totalité des méthodes contact-implicit existantes suppose que la séquence de points de contact est définie à l'avance par l'opérateur. Le robot optimise la trajectoire, pas l'endroit où il entre en contact. CSO contourne les deux obstacles qui rendaient la sélection active difficile, à savoir la complémentarité dans la dynamique de contact et les gradients parcimonieux, en substituant un modèle de contact approché et différentiable au modèle physique discontinu, couplé à une optimisation discrète-continue. CPO exploite ensuite ces localisations comme prior pour planifier en temps réel. Si le comportement se généralise hors simulation, le framework permettrait d'aborder des tâches de manipulation substantiellement plus complexes sans paramétrage manuel des modes de contact, ce qui est aujourd'hui l'un des goulots d'étranglement principaux en intégration industrielle. Le champ de la manipulation en contact riche est partagé entre deux grandes familles : l'optimisation classique (contact-implicit trajectory optimization, MPC) et l'apprentissage (VLA, diffusion policies), portées notamment par Physical Intelligence avec Pi-0, Covariant et Figure AI. SCSP s'inscrit dans la ligne optimisation, plus interprétable et potentiellement plus robuste hors distribution que les approches end-to-end. L'identité institutionnelle des auteurs n'apparaît pas dans l'abstract arXiv, ce qui complique l'évaluation de la maturité et du soutien financier derrière le travail. Les démonstrations vidéo disponibles sur le site projet constitueront le vrai test de crédibilité avant tout positionnement industriel.

RecherchePaper
1 source
V-VLAPS : planification guidée par valeur pour les modèles vision-langage-action (VLA)
481arXiv cs.RO 

V-VLAPS : planification guidée par valeur pour les modèles vision-langage-action (VLA)

Des chercheurs proposent V-VLAPS (Value-Guided Vision-Language-Action Planning and Search), une méthode qui augmente les modèles VLA (Vision-Language-Action) d'un signal de valeur appris pour améliorer la planification en manipulation robotique. Les VLA encodent perception visuelle, langage et commande motrice pour générer des actions, mais leur comportement purement réactif se dégrade hors distribution d'entraînement ou sur des tâches à horizon long. V-VLAPS ajoute une tête de valeur légère (value head), entraînée sur des trajectoires hors-ligne (offline rollouts), qui prédit les retours Monte Carlo et guide un MCTS (Monte Carlo Tree Search) vers les branches de plus haute valeur. Sur les cinq suites du benchmark LIBERO, V-VLAPS égale la baseline sans valeur au budget de recherche standard ; avec un budget élargi, il la dépasse dans toutes les suites, avec +6 points de pourcentage sur LIBERO-Object et +4 points sur LIBERO-10. L'apport central est de démontrer que les représentations internes des VLA encodent non seulement des informations sur l'échec d'une trajectoire (déjà documenté dans la littérature), mais peuvent aussi estimer la valeur pendant la planification. Cela ouvre une voie pragmatique pour les intégrateurs : renforcer des politiques VLA existantes sans réentraînement complet, par simple ajout d'une tête de valeur et d'un budget de recherche accru. L'analyse révèle toutefois une limite claire : la majorité des échecs durs sont des timeouts au niveau racine, là où les valeurs prédites restent peu différenciées, ce qui plafonne le gain observé et indique que le signal de valeur est encore insuffisamment discriminant en début de trajectoire. Ce travail (préprint arXiv, janvier 2026) s'inscrit dans une série de méthodes cherchant à coupler la puissance générative des VLA modernes (RT-2, OpenVLA, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) avec des mécanismes de planification structurée, face aux approches concurrentes par world models et diffusion planifiante. Les résultats sont obtenus uniquement en simulation sur LIBERO et ne sont pas encore validés sur robot réel, limite classique de ce type de contribution arxiv. La prochaine étape naturelle est une évaluation sim-to-real pour vérifier si le signal de valeur appris se transfère hors simulation, notamment sur des tâches à contacts complexes ou en environnement non structuré.

RechercheOpinion
1 source
Symétries ici et là, combinées partout : compositions inter-espaces en robotique
482arXiv cs.RO 

Symétries ici et là, combinées partout : compositions inter-espaces en robotique

Des chercheurs ont soumis fin mai 2026 sur arXiv (arXiv:2605.22639) un framework baptisé "cross-space symmetry compositions", conçu pour apprendre des politiques robotiques exploitant simultanément plusieurs symétries géométriques. L'approche a été validée sur un robot à deux bras (dual-arm), en simulation et sur hardware réel, sur des tâches de manipulation. Le principe : plutôt que de traiter isolément les symétries de l'espace de configuration (angles articulaires) et celles de l'espace de tâche (position et orientation de l'effecteur), le framework les compose dans un espace de représentation unifié. Les auteurs s'appuient sur la structure différentielle-géométrique de la cinématique directe (forward kinematics map) pour "descendre" des symétries de l'espace de configuration vers l'espace de tâche, ou les "remonter" en sens inverse. L'enjeu pour les équipes R&D en manipulation robotique est direct : les réseaux de neurones équivariants, qui respectent par construction les symétries du problème, requièrent moins de données d'entraînement et généralisent mieux à des configurations non vues. Jusqu'ici, la plupart des approches exploitaient une seule symétrie à la fois (par exemple la SO(2)-équivariance dans le plan horizontal pour la manipulation en table-top), laissant des gains de généralisation inexploités. Les résultats expérimentaux confirment une amélioration sur les tâches de manipulation testées, bien que les marges précises et les volumes de données requis ne soient pas détaillés dans le résumé public. Les équipes travaillant en imitation learning ou sur des architectures VLA (Vision-Language-Action) sont directement concernées par cette piste. Ce travail s'inscrit dans un courant actif autour des réseaux équivariants en robotique, adossé aux formalismes de groupes de symétrie en deep learning (SO(2), SE(3), E(n)). La contribution spécifique réside dans la composition inter-espaces plutôt que dans l'équivariance dans un seul espace. Il s'agit à ce stade d'une publication académique sans code public annoncé, et les expériences portent sur un seul système dual-arm dont la plateforme hardware n'est pas précisée. Les suites naturelles seraient une extension aux robots humanoïdes ou aux plateformes commerciales (bras UR, Franka), ainsi que la mise à disposition du code pour permettre la reproductibilité et une adoption plus large dans la communauté de la robotique apprenante.

RecherchePaper
1 source
Fusion multimodale pour le transfert simulation-réel en apprentissage par renforcement visuel
483arXiv cs.RO 

Fusion multimodale pour le transfert simulation-réel en apprentissage par renforcement visuel

Une équipe de recherche a soumis sur arXiv (identifiant 2507.09180, actuellement à la version 4) une architecture de fusion multimodale pour améliorer le transfert sim-to-real en apprentissage par renforcement visuel appliqué à la manipulation robotique. L'approche combine deux flux d'entrée, RGB et profondeur (depth), traités en parallèle par des réseaux convolutifs séparés (CNN stems), dont les représentations fusionnées sont transmises à un vision transformer (ViT) scalable. L'information de profondeur, naturellement robuste aux variations d'apparence de scène, fournit des détails spatiaux 3D absents des images RGB seules. Le pipeline intègre un schéma d'apprentissage contrastif à tokens masqués et non masqués pour améliorer l'efficacité d'échantillonnage, combiné à une randomisation de domaine progressive (curriculum-based domain randomization) pour stabiliser l'entraînement. En simulation, la méthode surpasse les baselines comparées. La validation clé se fait en transfert zéro-shot : sans ré-entraînement sur données réelles, le modèle réalise des tâches de manipulation physique. Le sim-to-real gap reste l'obstacle central en robotique d'apprentissage : les politiques entraînées en simulation échouent fréquemment face à la variabilité visuelle du monde réel. La fusion RGB + depth attaque directement ce problème en réduisant la dépendance aux indices visuels fragiles comme l'éclairage ou les textures. L'apprentissage contrastif à tokens partiels suggère une meilleure invariance aux perturbations apparentes sans nécessiter de volumes massifs de données réelles. Pour les intégrateurs industriels et les équipes de développement en manipulation, le transfert zéro-shot validé expérimentalement est un signal concret : la politique capture des abstractions géométriques suffisamment générales pour opérer hors simulation, ce qui est précisément la promesse que le secteur cherche à tenir depuis des années. Ce travail s'inscrit dans une compétition de représentations visuelles pour la robotique qui inclut la randomisation de domaine agressive popularisée par OpenAI dès 2017, les encodeurs préentraînés par masquage (MAE, R3M, DINOv2), et les politiques vision-langage-action (VLA) comme pi0 de Physical Intelligence ou OpenVLA. L'originalité revendiquée est la fusion RGB + depth au niveau du transformer plutôt qu'en aval, couplée au curriculum adaptatif. Le passage à la version 4 sur arXiv signale un travail en révision active, probablement vers une conférence type ICRA ou IROS. Les prochaines étapes attendues incluent une validation sur benchmarks standardisés (RLBench, MetaWorld) et des tests sur plateformes physiques plus complexes.

RecherchePaper
1 source
HITL-D : contrôle partagé assisté par diffusion avec humain dans la boucle
484arXiv cs.RO 

HITL-D : contrôle partagé assisté par diffusion avec humain dans la boucle

HITL-D (Human-In-The-Loop Diffusion) est un framework de contrôle partagé pour la téléopération robotique, présenté dans un preprint arXiv (2605.21460) non encore évalué par des pairs. Le système combine une politique de diffusion apprise avec le contrôle humain classique : l'opérateur pilote le robot via joystick pour les déplacements en position cartésienne, tandis que le système prend en charge automatiquement l'orientation de l'effecteur terminal. Cette orientation autonome est conditionnée en temps réel par un nuage de points 3D de la scène et la position courante de l'effecteur. Résultat : le nombre d'axes de contrôle que l'opérateur doit gérer simultanément diminue, réduisant mécaniquement la charge cognitive. Une étude utilisateur menée sur 12 participants dans des tâches multi-étapes, d'insertion et de manipulation fine démontre une réduction de 40 % du temps d'exécution des tâches, une baisse de 37 % de la charge mentale perçue, et des scores Likert supérieurs pour l'indépendance, l'intuitivité et la confiance, comparés à une téléopération classique sans assistance. Ces résultats adressent un problème central du déploiement industriel : la pleine autonomie robotique reste fragile sur les tâches d'assemblage précis (insertion, ajustement fin), tandis que la téléopération pure est coûteuse en ressources humaines et génère de la fatigue opérateur. HITL-D occupe ce no man's land en déléguant sélectivement les degrés de liberté les moins intuitifs à la politique apprise. L'approche par diffusion conditionnée sur nuage de points est techniquement notable : contrairement à un lissage de trajectoire, elle intègre une représentation géométrique de l'environnement pour générer une assistance contextuelle. Il faut toutefois relativiser : 12 participants constituent un échantillon limité, et l'abstract ne précise ni la complexité exacte des scènes testées, ni si les expériences ont été conduites sur robot réel ou en simulation. Le travail s'inscrit dans la continuité directe des Diffusion Policies (Chi et al., Columbia, 2023), devenues un paradigme dominant en manipulation robotique apprise. Le contrôle partagé et la "sliding autonomy" sont des concepts étudiés depuis les années 2000 (notamment en robotique médicale et spatiale), mais leur combinaison avec des politiques génératives modernes reste peu explorée. Face aux approches VLA full-autonomy comme pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou les modèles dérivés de RT-2, HITL-D ne cherche pas à remplacer l'humain mais à l'augmenter, ce qui le positionne sur un marché différent : téléopération industrielle assistée, chirurgie robotique, déminage. Aucun partenaire industriel ni calendrier de commercialisation n'est mentionné dans le preprint ; l'étape suivante naturelle serait une validation sur tâches réelles à plus grande échelle et avec des opérateurs non experts.

RecherchePaper
1 source
VBT-MPC : commande prédictive tactile à base de vision pour le suivi de contour
485arXiv cs.RO 

VBT-MPC : commande prédictive tactile à base de vision pour le suivi de contour

Des chercheurs ont publié sur arXiv (2605.20392) un framework de contrôle prédictif baptisé VBT-MPC (Vision-Based Tactile Model Predictive Control), conçu pour le suivi de contours en manipulation robotique. Le système repose sur un capteur tactile à vision embarquée (VBTS, Vision-Based Tactile Sensor) monté en configuration eye-in-hand, c'est-à-dire fixé au poignet du robot de façon à co-localiser la perception et l'action. La contribution centrale est que le contrôleur MPC opère directement dans l'espace des descripteurs de contour extraits du capteur, sans passer par un module intermédiaire d'estimation de pose ni par une architecture de contrôle en effort dédiée. Les expériences couvrent des objets aux géométries et matériaux variés, évalués à la fois en simulation et en conditions réelles, avec comparaison systématique contre des stratégies de visual servoing adaptées aux features tactiles. Ce travail s'attaque à un verrou concret du suivi de surface industriel : maintenir un contact calibré tout en longeant un contour exige traditionnellement soit un estimateur de pose précis (coûteux en calcul et sensible aux erreurs de modèle), soit un contrôleur en force complexe. En faisant du MPC un contrôleur natif dans l'espace tactile, les auteurs réduisent la chaîne de traitement et potentiellement la latence de réaction. Pour un intégrateur ou un COO industriel, cela pointe vers des applications d'inspection de surface, de meulage ou d'assemblage de précision où la robustesse au glissement et aux irrégularités géométriques est critique. La comparaison avec le visual servoing tactile permet de quantifier le gain du MPC sur l'horizon de prédiction face à une loi de commande réactive pure, ce qui est une donnée utile pour le choix d'architecture. Les capteurs tactiles à vision (GelSight du MIT, DIGIT de Meta/CMU, Allsight, Soft-bubble) ont connu une forte montée en maturité depuis 2019, permettant d'extraire des champs de déformation et des features géométriques à haute résolution sans marqueurs. L'intégration du MPC à ce type de sensing prolonge des travaux antérieurs sur le contrôle en force/contact, mais substitue la mesure de force par une information visuelle riche et moins coûteuse en capteurs. Côté concurrence académique, des équipes comme CMU Robotics, Berkeley AUTOLAB et ETH Zurich RSL explorent des approches comparables (apprentissage par imitation tactile, diffusion policies avec retour haptique). La prochaine étape naturelle pour ce type de framework serait l'intégration dans des pipelines de manipulation généralistes ou des bancs d'inspection automatisée, potentiellement combinée avec des VLA (Vision-Language-Action models) pour la planification de haut niveau.

RecherchePaper
1 source
Comment instruire un robot : les annotations linguistiques denses améliorent l'apprentissage de politiques
486arXiv cs.RO 

Comment instruire un robot : les annotations linguistiques denses améliorent l'apprentissage de politiques

Des chercheurs publient DeMiAn (Dense Multi-aspect Annotation), une méthode en deux étapes pour améliorer l'apprentissage de politiques robotiques sans collecter de nouvelles démonstrations. Elle ré-annote automatiquement des segments existants via un modèle vision-langage selon quatre axes complémentaires : mouvement physique, composition de la scène, posture du bras et raisonnement. Un module « instructeur » traduit ensuite, à chaque déploiement, une description de tâche et un instantané de scène initiale vers l'annotation la plus adaptée, de façon asynchrone afin de masquer la latence de génération derrière l'exécution de la politique. Évaluée sur plus d'un million de clips de manipulation robotique et 50 000 vidéos égocentrées humaines issues d'EgoVerse, la méthode améliore à la fois une politique vision-langage-action (VLA) classique et un world-action model vidéo. Sur le benchmark RoboCasa, l'instructeur gagne cinq points de taux de succès sur une baseline limitée à la description de tâche seule, et reste à trois points d'un oracle disposant d'annotations parfaites par tâche. Le principal frein au scaling en robotique manipulatrice n'est pas le compute mais le coût de collecte de démonstrations physiques. DeMiAn inverse la contrainte : ré-annoter un corpus existant avec du langage dense revient nettement moins cher que rejouer des trajectoires en environnement réel. La méthode améliore également les performances sur les tâches composites et en distribution de test hors domaine, là précisément où les politiques VLA échouent le plus fréquemment en déploiement. Résultat non trivial : aucun des quatre axes d'annotation ne domine systématiquement l'ensemble des tâches, ce qui fait du choix de la description dense un problème de recherche à part entière. Les gains sont de surcroît calculés en intégrant le coût de génération des annotations en FLOPs, garantissant des comparaisons compute-performance honnêtes, une rigueur peu fréquente dans ce segment. Ce travail s'inscrit dans la valorisation croissante des datasets égocentrés humains (EgoVerse, EPIC-Kitchens) comme ressources pour pré-entraîner des politiques de manipulation, en alternative aux pipelines de simulation massive de type IsaacLab. Du côté compétitif, Physical Intelligence avec Pi-0 et Google DeepMind avec RT-X misent également sur la supervision langage-action à grande échelle. DeMiAn se distingue par son caractère post-hoc : aucune modification du protocole de collecte n'est requise, ce qui le rend directement applicable à des corpus robotiques institutionnels existants. Le papier (arXiv 2605.17077, mai 2025) reste un preprint sans validation hardware end-to-end au-delà des benchmarks simulés, laissant ouverte la question du sim-to-real gap sur les gains annoncés.

RechercheOpinion
1 source
Apprentissage par renforcement visuel avec politique primitive séparée pour l'assemblage par emboîtement
487arXiv cs.RO 

Apprentissage par renforcement visuel avec politique primitive séparée pour l'assemblage par emboîtement

Des chercheurs ont publié sur arXiv (référence 2504.14820) une approche de reinforcement learning visuel baptisée Separate Primitive Policy (S2P), conçue pour automatiser les tâches d'assemblage par insertion cheville-trou (peg-in-hole). La méthode s'inspire du comportement humain en vision binoculaire : un opérateur localise d'abord visuellement la cheville au-dessus de la surface cible, puis exécute l'insertion. S2P décompose ce processus en deux primitives apprises simultanément, la localisation et l'insertion, dans un cadre de reinforcement learning sans modèle (model-free). Les auteurs ont développé dix tâches d'insertion distinctes utilisant des formes polygonales variées comme banc d'essai standardisé, ont conduit des expériences en simulation avec contraintes de force, puis validé l'approche sur robot réel. L'intérêt principal de S2P réside dans son gain de sample efficiency, c'est-à-dire la capacité à apprendre une politique efficace avec moins d'interactions avec l'environnement, combiné à une amélioration du taux de succès même lorsque des contraintes de force sont imposées. Pour les intégrateurs industriels, c'est un signal concret : l'assemblage fin, encore largement opéré par des systèmes rigides à programmation manuelle, devient plus accessible à l'apprentissage automatique en présence de retour visuel. La compatibilité affichée avec n'importe quel algorithme RL model-free élargit le spectre d'application, même si les performances absolues restent à confirmer hors des conditions de laboratoire présentées dans le papier. Le peg-in-hole est un benchmark historique en manipulation robotique, standardisé notamment dans le cadre des compétitions NIST Assembly Task Board. Des approches concurrentes combinent typiquement vision et retour d'effort (force-torque control), ou s'appuient sur des politiques d'imitation comme les VLA (Vision-Language-Action models) de Physical Intelligence (Pi-0) ou les travaux de simulation massive de NVIDIA Isaac Lab. S2P se positionne dans un espace différent, celui du RL visuel pur avec décomposition de primitives, une direction que des équipes comme celles de DeepMind et CMU explorent également. Les prochaines étapes naturelles concernent la robustesse aux variations d'éclairage, aux tolérances mécaniques réelles, et la généralisation à des géométries non vues en entraînement.

UEImpact indirect : les équipes R&D et intégrateurs industriels européens travaillant sur l'assemblage automatisé peuvent intégrer S2P dans leur veille sur le RL visuel pour la manipulation fine, sans déploiement ni acteur européen directement impliqué.

RecherchePaper
1 source
Vertus du chaos ordonné : planification par actions de renversement pour la réorganisation de piles sur table
488arXiv cs.RO 

Vertus du chaos ordonné : planification par actions de renversement pour la réorganisation de piles sur table

Publiée sur arXiv (2605.17815) en mai 2026, une étude propose d'enrichir les planificateurs de manipulation robotique avec des actions non-préhensiles dites "agrégantes", en particulier le basculement d'objets (topple). Au lieu de déplacer un à un les éléments d'une pile sur un plan de travail, le robot peut renverser tout ou partie de la pile d'un seul mouvement avant de saisir les objets dans l'ordre souhaité. Les chercheurs formalisent cet espace de planification hybride pick-and-place + topple via un gadget graphique directionnel original, réduisant le calcul du plan à une variante du problème des galets en mouvement (pebble motion problem) : chaque objet est traité comme un galet se déplaçant sur un graphe selon des contraintes de non-collision. Les benchmarks conduits en simulation physique sur NVIDIA IsaacSim montrent une réduction significative du temps d'exécution par rapport à une stratégie purement pick-and-place. L'enjeu industriel est concret pour la manipulation en entrepôt, le kitting ou le tri de bacs. Réorganiser une pile de n pièces nécessite classiquement O(n) opérations de saisie-dépose ; une action topple peut en remplacer plusieurs, réduisant le temps de cycle et la sollicitation mécanique des actionneurs. L'article pointe ainsi un angle mort fréquent en robotique de production : les planificateurs de tâches restent majoritairement construits autour de la saisie, alors que les actions non-préhensiles offrent des gains de débit substantiels dès lors qu'elles sont correctement abstraites. Limite notable : les gains sont mesurés en simulation seulement, et le passage sim-to-real pour des actions dynamiques comme le topple reste une question ouverte. Les auteurs s'inscrivent dans la continuité des recherches sur la manipulation non-préhensile, actives depuis les années 1990 mais rarement intégrées au niveau de la planification symbolique de tâches. La formalisation est volontairement généraliste : une action de type "scoop" (raclage) peut être modélisée par la même abstraction graphique, ouvrant la voie à un cadre unifié pour plusieurs familles d'actions agrégantes. Face aux approches concurrentes basées sur l'apprentissage par renforcement ou les planificateurs géométriques, cette méthode symbolique-graphique offre lisibilité et garanties de complétude sur les instances modélisées. Aucun déploiement n'est annoncé ; les auteurs qualifient eux-mêmes leurs résultats de "preliminary indication", laissant la validation en environnement physique réel pour de futurs travaux.

RecherchePaper
1 source
FocalPolicy : découpage fréquentiel et flow matching ancré localement pour une politique visuomotrice cohérente
489arXiv cs.RO 

FocalPolicy : découpage fréquentiel et flow matching ancré localement pour une politique visuomotrice cohérente

Une équipe de chercheurs a déposé en mai 2026 sur arXiv (référence 2605.15944) FocalPolicy, une nouvelle architecture de politique visuomotrice pour la manipulation robotique apprise par démonstration. Le problème ciblé est celui des discontinuités inter-chunks : les politiques actuelles découpent les séquences d'action en segments successifs (chunks), et les raccords entre ces segments génèrent des saccades qui perturbent l'apprentissage de tâches longues. FocalPolicy propose deux contributions principales : le Frequency-Optimized Chunking, qui régularise la structure des actions dans le domaine fréquentiel sur plusieurs chunks futurs, et le Locally Anchored flow matching, qui améliore la propagation du signal lors de l'entraînement par consistency flow matching. Un objectif composite dit de "foresight" supervise simultanément l'alignement temporel des actions proximales et la cohérence fréquentielle à plus long horizon. Les auteurs déclarent surpasser les approches existantes sur des benchmarks de manipulation, sans détailler les marges d'amélioration dans l'abstract. Pour les équipes travaillant sur la manipulation dextère, cette contribution s'attaque à un problème concret : les politiques issues de Diffusion Policy ou de Pi-0 (Physical Intelligence) produisent des trajectoires localement précises mais saccadées sur des horizons longs, comme l'assemblage multi-étapes ou la manipulation d'objets souples. La contrainte fréquentielle proposée impose une régularité globale sans augmenter la fenêtre de contexte ni le coût d'inférence, avantage réel pour les systèmes embarqués. La généralisation annoncée à d'autres architectures de base ouvre la porte à une intégration dans des pipelines existants, à condition que les gains tiennent sur hardware réel : les expériences publiées restent sur bancs standardisés, sans déploiement industriel déclaré. Le problème de cohérence inter-chunks a émergé avec ACT (Action Chunking with Transformers, Zhao et al. 2023), architecture phare des robots bimanuel ALOHA, avant que Diffusion Policy (Chi et al. 2023) et Physical Intelligence, avec Pi-0 puis Pi-0.5, n'adoptent les modèles génératifs pour distribuer des actions complexes. FocalPolicy s'inscrit dans cette lignée comme une amélioration structurelle ciblée, sans proposer de changement de paradigme. Le code et des démos sont annoncés sur focalpolicy.github.io, mais aucune timeline de mise à disposition ni partenariat industriel ne figure dans le preprint.

IA physiqueOpinion
1 source
Slot-MPC : contrôle prédictif par modèle conditionné sur des objectifs avec représentations centrées sur les objets
490arXiv cs.RO 

Slot-MPC : contrôle prédictif par modèle conditionné sur des objectifs avec représentations centrées sur les objets

Des chercheurs ont publié en mai 2025 Slot-MPC (arXiv:2605.14937), un cadre de modélisation du monde combinant représentations centrées sur les objets et contrôle prédictif par modèle (MPC). L'approche encode chaque objet de la scène dans un "slot" latent distinct, appris par un encodeur visuel, puis utilise ces représentations structurées pour apprendre un modèle de dynamique conditionné sur les actions. Au moment de l'inférence, ce modèle sert de simulateur interne : l'agent planifie ses actions sur un horizon temporel fini, réoptimise à chaque pas de temps, et peut ainsi s'adapter à des situations non rencontrées pendant l'entraînement. Les expériences sont menées sur des tâches de manipulation robotique simulées, dans un cadre hors-ligne (offline) avec couverture limitée des paires état-action. La contribution principale tient à la différentiabilité du modèle appris : contrairement aux approches MPC classiques qui échantillonnent des milliers de trajectoires candidates (méthodes sans gradient, type CEM ou MPPI), Slot-MPC optimise directement les actions par descente de gradient, ce qui est significativement plus efficace en termes de calcul. Dans le cadre offline étudié, cette planification par gradient surpasse les méthodes d'échantillonnage. Les résultats montrent également que les représentations structurées objet par objet constituent un biais inductif fort : les agents Slot-MPC généralisent mieux à des situations nouvelles que les baselines à représentations latentes monolithiques, ce qui est un enjeu central pour les applications robotiques réelles où l'environnement évolue de façon imprévisible. Ce travail s'inscrit dans la lignée des recherches sur les représentations centrées sur les objets (Slot Attention de Locatello et al., 2020 ; SLATE, Dinosaur), appliquées ici au contrôle plutôt qu'à la seule perception. Il entre en compétition directe avec des modèles de monde appris comme DreamerV3 (DeepMind) ou TD-MPC2, qui utilisent des représentations latentes denses non structurées. Limite notable : toutes les expériences restent en simulation, sans transfert sim-to-real ni validation sur robot physique, ce qui est un écart important avant toute application industrielle. Le code source et les résultats complémentaires sont disponibles sur slot-mpc.github.io.

RecherchePaper
1 source
Planification de la manipulation pour des activités de construction répétitives
491arXiv cs.RO 

Planification de la manipulation pour des activités de construction répétitives

Une équipe de chercheurs a publié mi-mai 2026 sur arXiv un framework de planification de manipulation robotique destiné aux tâches de construction répétitives, comme la pose de briques ou l'installation de dalles de plafond. L'approche repose sur un environnement de démonstration en réalité virtuelle (VR) : un opérateur humain réalise une seule démonstration du geste à apprendre, que le système capture puis décompose en une séquence de mouvements à vis constants (screw motions) via la géométrie des vis. À partir de cette représentation, deux algorithmes, la Screw Linear Interpolation (ScLERP) et le Resolved Motion Rate Control (RMRC), génèrent automatiquement les plans de mouvement articulaire pour chaque instance répétée de la tâche. Les expériences ont été conduites sur un bras à 7 degrés de liberté (7-DoF), d'abord en simulation puis sur robot physique, avec deux scénarios concrets : construction de murs de briques en configurations arbitraires et pose de multiples dalles de plafond, chacun déclenché depuis une unique démonstration. Le résultat le plus significatif est la généralisation one-shot à des séquences de longueur arbitraire, un mur peut contenir autant de briques que nécessaire sans nouvelle démonstration. C'est un point directement pertinent pour les intégrateurs industriels : en construction, la variabilité de l'environnement (dimensions de chantier, positions relatives des éléments) est précisément ce qui freine le déploiement des robots. Ici, la représentation par vis capture la structure géométrique du mouvement de façon compacte, ce qui permet une extrapolation robuste plutôt qu'une simple répétition mémorisée. La validation hardware réduit partiellement le sim-to-real gap souvent invoqué pour relativiser les démonstrations purement simulées, bien que les conditions expérimentales (charge utile, tolérance dimensionnelle, matériaux réels) ne soient pas précisément détaillées dans le préprint. La robotique de construction est un secteur en accélération : Hilti, Hadrian X (Fastbrick Robotics), ou encore Dusty Robotics adressent des tâches spécifiques de chantier, mais la plupart restent sur des pipelines hautement programmés et peu flexibles. L'approche par démonstration VR + géométrie des vis s'inscrit dans un courant plus large de Learning from Demonstration (LfD) qui tente de réduire le coût d'intégration sur des tâches manuelles qualifiées. La prochaine étape naturelle serait de tester la robustesse face aux perturbations réelles du chantier (vibrations, tolérances matériaux, occlusions) et d'étendre à des tâches multi-bras ou à manipulation bimane, deux lacunes que le papier ne couvre pas encore.

RecherchePaper
1 source
Gaussian Splatting anticipatif pour la représentation 3D prédictive en prise-et-dépose guidée par le langage
492arXiv cs.RO 

Gaussian Splatting anticipatif pour la représentation 3D prédictive en prise-et-dépose guidée par le langage

Une équipe de chercheurs a proposé sur arXiv (arXiv:2605.11144, mai 2026) un framework baptisé Forecast-GS (Forecast-aware Gaussian Splatting), destiné à la manipulation robotique guidée par le langage naturel. La contribution centrale consiste à modéliser explicitement l'état final attendu d'une tâche via une reconstruction 3D prédictive par Gaussian Splatting, plutôt que de raisonner uniquement sur la configuration courante de la scène. Validé sur trois tâches réelles de pick-and-place (cutter-vers-boîte, pomme-vers-bol, éponge-vers-plateau), le système atteint des taux de succès de 84 % (21/25), 92 % (23/25) et 64 % (16/25) en sélection automatique, contre 60 %, 76 % et 40 % pour la baseline ReKep (Relational Keypoint Constraints). En mode assisté par un opérateur humain pour le classement des candidats, les taux montent à 92 %, 96 % et 76 %, chaque condition étant testée sur 25 essais réels avec configurations initiales variées sur la même plateforme robotique. L'enjeu pratique est le suivant : la plupart des systèmes de manipulation actuels évaluent si une action est faisable depuis l'état présent, sans vérifier si l'état résultant satisfait l'objectif sémantique. Forecast-GS génère une prévision 3D de la scène post-action, que le robot compare à l'instruction en langage naturel avant d'exécuter, ce qui réduit les erreurs en présence d'observations partielles ou d'occlusions. Pour un intégrateur industriel, l'interprétabilité de ce mécanisme, contrairement aux politiques VLA end-to-end comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), facilite le débogage et la traçabilité. L'écart persistant entre mode automatique et assisté (jusqu'à 12 points de taux de succès) indique cependant que le ranking final des candidats n'est pas encore un problème résolu. Le Gaussian Splatting, introduit en 2023 par Kerbl et al. à SIGGRAPH, a été rapidement adopté en robotique pour ses représentations 3D différentiables et compactes. Forecast-GS s'inscrit dans un courant qui hybride représentations neuronales 3D et planification guidée par le langage, en compétition directe avec ReKep (Stanford/Berkeley), SpatialVLA, et les approches VLA génératives. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication. Les prochaines étapes logiques portent sur l'amélioration du classement automatique, principal goulot d'étranglement vers l'autonomie complète, et sur l'extension à des scènes dynamiques plus complexes que les configurations statiques de laboratoire utilisées ici.

RecherchePaper
1 source
Trajectoire d'abord : un programme d'entraînement pour découvrir des politiques diversifiées
493arXiv cs.RO 

Trajectoire d'abord : un programme d'entraînement pour découvrir des politiques diversifiées

Des chercheurs ont publié sur arXiv (référence 2506.01568, version 3) une méthode nommée "Trajectory First", un curriculum d'entraînement en deux étapes conçu pour produire des politiques comportementales diversifiées en apprentissage par renforcement (RL). La contribution centrale est l'introduction d'un a priori de trajectoires splines comme biais inductif durant la première phase : ce prior géométrique guide l'exploration de l'espace des comportements, permettant de générer un ensemble de stratégies à haute récompense mais distinctes. La seconde phase distille ces comportements en politiques réactives pas-à-pas, utilisables en temps réel. Les expériences valident l'approche sur des tâches de manipulation robotique en simulation, domaine où les méthodes de diversité contrainte existantes montrent des lacunes d'exploration marquées. La diversité comportementale est un enjeu opérationnel concret pour les intégrateurs et les équipes de robotique industrielle : un robot capable de saisir un objet selon plusieurs stratégies est nettement plus robuste aux variations de position, d'éclairage ou de géométrie qu'un système limité à une unique politique apprise. Les cadres actuels d'optimisation de diversité contrainte, malgré leurs progrès théoriques, convergent fréquemment vers des optima locaux en manipulation dextre, bridant la robustesse effective des systèmes en production. "Trajectory First" propose une voie pour contourner cette limite sans sacrifier la performance sur la tâche principale, ce qui est précisément le compromis clef que la communauté cherche à résoudre depuis plusieurs années. L'approche ne nécessite pas d'entraînement spécifique à chaque configuration, ce qui renforce sa portée généraliste. L'optimisation de diversité en RL s'est structurée autour de paradigmes comme Quality-Diversity (QD-RL), MAP-Elites, DIAYN ou DADS, qui peinent tous sur des espaces d'action continus à horizon long. "Trajectory First" s'inscrit dans un courant combinant curriculum learning et représentations géométriques du mouvement pour améliorer l'exploration initiale avant de contraindre la politique finale. Cette publication est une contribution de recherche fondamentale, validée en simulation uniquement, sans déploiement industriel ni partenaires commerciaux annoncés. Les extensions naturelles incluent le transfert sim-to-real et la manipulation bimanuelle, deux axes très actifs dans les laboratoires académiques (Inria, ETH Zurich, CMU) comme chez les acteurs industriels tels que Physical Intelligence (Pi-0), Covariant ou le Boston Dynamics AI Institute.

IA physiquePaper
1 source
Intégration de contraintes environnementales dans la préhension de matériaux flexibles type papier avec une pince souple
494arXiv cs.RO 

Intégration de contraintes environnementales dans la préhension de matériaux flexibles type papier avec une pince souple

Une équipe de chercheurs a publié sur arXiv (référence 2605.11714) une étude systématique consacrée à la préhension robotique de matériaux flexibles de type papier, feuilles, documents, cartons fins, à l'aide d'un préhenseur souple universel. L'approche centrale consiste à exploiter les contraintes environnementales du poste de travail (surfaces planes, arêtes de table, bords d'obstacle) comme appuis passifs pour faciliter la saisie, plutôt que de compter uniquement sur les capacités intrinsèques du gripper. Les chercheurs ont défini un ensemble de primitives de manipulation, formalisé leurs modèles mécaniques et cinématiques, puis mis en place un banc d'évaluation mesurant force de préhension et taux de succès sur différents matériaux et conditions opérationnelles. Les résultats caractérisent les espaces de travail spécifiques et les conditions de validité de chaque stratégie, avec pour cible déclarée les robots de service à domicile devant manipuler des objets plats et flexibles. L'article ne fournit pas de chiffres absolus de taux de succès dans le résumé disponible, ce qui limite l'évaluation externe des performances revendiquées. Le verrou technique adressé est réel : les matériaux de type papier se distinguent des textiles par une sensibilité élevée aux contraintes de compression, et de faibles variations de grammage ou d'humidité peuvent faire échouer une prise. Les approches classiques par aspiration (ventouse) ou par pincement rigide échouent sur des géométries planes et déformables. L'exploitation des contraintes environnementales, approche connue sous le nom d'extrinsic dexterity en manipulation robotique, permet de compenser les limitations d'un gripper à degrés de liberté réduits, ce qui est directement pertinent pour les intégrateurs cherchant des solutions à faible coût mécanique. Si les résultats se confirment sur un spectre matériaux large, cela ouvre une voie pour automatiser des tâches de manutention documentaire ou d'emballage léger sans recourir à des effecteurs complexes. Le domaine de la manipulation d'objets déformables (Deformable Object Manipulation, DOM) est en pleine expansion, porté par des groupes comme le Stanford IRIS Lab, le MIT CSAIL ou le DLR, qui travaillent principalement sur les textiles. Les matériaux plans de type papier restent comparativement sous-étudiés malgré leur omniprésence en logistique et en bureautique. Les préhenseurs souples universels, notamment ceux à actionnement pneumatique ou par câbles, sont au coeur des développements de plusieurs startups (Soft Robotics, acquise par Applied Robotics, ou Festo Bionic) et des bras collaboratifs grand public. La prochaine étape naturelle serait une validation sur robot mobile de service en environnement non structuré, condition nécessaire pour passer de la démonstration académique à un déploiement industriel ou domestique crédible.

RecherchePaper
1 source
Prédiction de la stabilité de préhension sans contact par capteurs ToF intégrés en main
495arXiv cs.RO 

Prédiction de la stabilité de préhension sans contact par capteurs ToF intégrés en main

Des chercheurs ont publié sur arXiv (arXiv:2605.05461, mai 2025) une méthode de prédiction de stabilité de préhension sans contact physique, reposant sur des capteurs ToF (time-of-flight) multi-zones intégrés dans les liaisons distales d'un préhenseur robotique. Contrairement aux approches existantes qui détectent l'échec de saisie uniquement après contact avec l'objet, ce système évalue la stabilité de la prise en amont de tout contact, à une fréquence de 15 Hz. Le jeu de données d'entraînement comprend plus de 2 500 saisies réelles effectuées sur 15 objets distincts. Le classificateur a ensuite été évalué sur 6 objets inédits, trois pour la validation et trois pour le test, avec des précisions respectives de 85,5 % et 86,0 %. Le gain pratique est direct : en découplant la prédiction de stabilité de la phase de contact, on réduit significativement le temps de cycle et, surtout, on évite des tentatives de saisie vouées à l'échec avant même qu'elles ne démarrent. Pour un intégrateur industriel ou un COO confronté à des lignes de picking à cadence élevée, cela se traduit par moins d'interruptions, moins de manipulations correctives, et une meilleure robustesse face aux variations de capteurs. La fréquence de 15 Hz est compatible avec des boucles de contrôle temps réel. Il faut toutefois rester mesuré : le corpus d'entraînement reste modeste (15 objets, 2 500 grasps), et les résultats sur objets "unseen" portent sur un échantillon de seulement trois pièces de test, ce qui rend la généralisation à des catalogues industriels réels encore incertaine. La prédiction de stabilité de saisie est un problème central en manipulation robotique depuis plusieurs décennies. Les approches tactiles, dominantes dans la littérature récente, offrent une richesse d'information mais imposent un contact préalable et nécessitent des capteurs coûteux et fragiles. Les capteurs ToF, eux, sont bon marché, robustes et déjà embarqués dans de nombreux systèmes. Ce travail s'inscrit dans un courant plus large visant à exploiter des modalités de capteurs proximaux, sans contact, pour la planification de mouvement, aux côtés de travaux sur les caméras de profondeur et les capteurs capacitifs. La prochaine étape naturelle sera de valider l'approche sur des objets déformables ou transparents, catégories notoirement problématiques pour les capteurs ToF, et de tester la robustesse en conditions d'éclairage variable.

RecherchePaper
1 source
Combler le fossé entre les corps : édition vidéo inter-embodiment disentangled
496arXiv cs.RO 

Combler le fossé entre les corps : édition vidéo inter-embodiment disentangled

Une équipe de chercheurs a publié le 6 mai 2026 sur arXiv (réf. 2605.03637) un framework génératif pour convertir des vidéos de démonstration humaine en séquences d'exécution robotique plausibles, sans données appariées humain-robot. La méthode décompose la vidéo source en deux espaces latents orthogonaux: l'un encodant la tâche accomplie, l'autre la morphologie du corps en mouvement. Un double objectif contrastif impose cette séparation en minimisant l'information mutuelle entre les deux espaces pour garantir leur indépendance, tout en maximisant la cohérence intra-espace pour stabiliser les représentations. Un adaptateur à faible coût paramétrique injecte ces codes latents dans un modèle de diffusion vidéo figé, produisant des démonstrations robotiques morphologiquement précises et cohérentes dans le temps à partir d'une seule séquence humaine. L'enjeu est critique: les approches existantes génèrent des représentations enchevêtrées où l'information de tâche reste couplée à la cinématique humaine spécifique, ce qui bloque le transfert vers d'autres morphologies. En découplant explicitement ces deux dimensions, la méthode ouvre la voie à l'exploitation des vastes corpus de vidéos humaines disponibles sur internet pour entraîner des politiques de manipulation robotique, sans collecte de démonstrations robot coûteuse par télé-opération. Les expériences rapportent des vidéos générées temporellement consistantes et morphologiquement fidèles, bien que l'abstract ne fournisse pas de métriques quantitatives comparatives avec les baselines; les résultats visuels restent la principale validation. Pour un intégrateur ou un décideur industriel, la promesse est de réduire significativement le coût de labeling nécessaire à l'apprentissage de nouveaux comportements de manipulation. Cette publication s'inscrit dans une compétition intense autour des politiques de manipulation généralisables: Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA (UC Berkeley) cherchent tous à réduire la dépendance aux démonstrations robot propriétaires. L'approche par édition vidéo emprunte un chemin différent des VLA classiques: plutôt qu'apprendre une politique directement depuis des vidéos humaines, elle synthétise d'abord une démonstration robot plausible exploitable par les pipelines d'imitation learning standards. Il s'agit à ce stade d'un preprint préliminaire, sans déploiement industriel ni partenariat annoncé. Le cadre latent disentangled proposé pourrait néanmoins rapidement intéresser des acteurs comme 1X Technologies ou Apptronik, et côté européen, des équipes travaillant sur l'imitation learning comme certains labs INRIA ou des spin-offs de manipulation comme Enchanted Tools.

UEDes équipes INRIA et des spin-offs de manipulation comme Enchanted Tools pourraient bénéficier de cette approche pour réduire le coût de collecte de démonstrations robotiques, mais aucun partenariat ou déploiement européen n'est impliqué à ce stade.

IA physiqueOpinion
1 source
Préhension optimisée dans les robots à pattes : une approche par apprentissage profond pour la loco-manipulation
497arXiv cs.RO 

Préhension optimisée dans les robots à pattes : une approche par apprentissage profond pour la loco-manipulation

Des chercheurs ont publié sur arXiv (référence 2508.17466v3) un framework de deep learning destiné à améliorer les capacités de préhension des robots quadrupèdes équipés d'un bras manipulateur, une configuration connue sous le nom de loco-manipulation. L'approche repose sur une méthodologie sim-to-real développée dans l'environnement de simulation Genesis, où des milliers d'interactions synthétiques ont été générées sur des objets courants pour produire des cartes annotées pixel par pixel de qualité de préhension. Ces données ont servi à entraîner un réseau de neurones convolutif inspiré de l'architecture U-Net, qui fusionne en entrée des flux multi-modaux issus de caméras embarquées : images RGB, cartes de profondeur, masques de segmentation et cartes de normales de surface. En sortie, le modèle produit une heatmap identifiant le point de préhension optimal. Le système complet a été validé sur un vrai robot quadrupède, qui a exécuté de façon autonome la séquence complète : navigation vers l'objet cible, perception, prédiction de la pose de préhension, puis saisie effective. Le principal intérêt de ce travail est de montrer qu'un pipeline sim-to-real bien conçu peut substituer la collecte de données physiques, historiquement le goulet d'étranglement du développement en manipulation robotique. Pour les intégrateurs et décideurs industriels, cela suggère qu'il devient possible de déployer des capacités de manipulation sur robots mobiles sans investissement massif en démonstrations réelles. Cela dit, l'abstract ne fournit aucun taux de succès quantifié, aucune comparaison avec une baseline, et aucun détail sur le nombre d'objets testés ou la robustesse aux variations d'éclairage et de pose : des lacunes habituelles dans les preprints mais qui freinent l'évaluation sérieuse de la transférabilité industrielle. Ce travail s'inscrit dans un champ académique très actif autour des robots quadrupèdes à bras, popularisé par des plateformes comme l'ANYmal de ANYbotics (Suisse) ou le Spot d'Boston Dynamics, tous deux cibles régulières de recherches en loco-manipulation. L'environnement Genesis, relativement récent, se positionne comme alternative à Isaac Sim (NVIDIA) et MuJoCo pour la génération de données synthétiques. L'architecture U-Net, initialement conçue pour la segmentation médicale, est ici réutilisée pour un problème de régression spatiale, une transposition qui gagne du terrain en robotique de manipulation. Ce papier, en version 3 de révision, reste un travail de recherche en laboratoire : aucun déploiement opérationnel ni partenariat industriel n'est mentionné.

UEImpact indirect limité : ANYbotics (Suisse) est citée comme plateforme cible type, mais le travail est un preprint académique sans affiliation institutionnelle européenne identifiée ni déploiement opérationnel.

RecherchePaper
1 source
Décomposer et recomposer : inférer de nouvelles compétences robotiques à partir des capacités existantes
498arXiv cs.RO 

Décomposer et recomposer : inférer de nouvelles compétences robotiques à partir des capacités existantes

Une équipe de chercheurs a publié en mai 2025 sur arXiv (identifiant 2605.01448) un framework baptisé "Decompose and Recompose" visant à résoudre la généralisation inter-tâches en manipulation robotique en milieu ouvert. L'approche repose sur des paires compétence-action atomiques comme représentation intermédiaire : le système décompose des démonstrations de tâches connues en alignements interprétables, puis recompose ces compétences pour accomplir des tâches inconnues via un raisonnement compositionnel. Concrètement, la méthode construit une bibliothèque dynamique de démonstrations adaptative, fondée sur une récupération visuo-sémantique couplée aux séquences de compétences produites par un agent planificateur, complétée d'une bibliothèque statique sensible à la couverture pour combler les patterns manquants. Les expériences sont conduites sur le benchmark AGNOSTOS et en environnement réel, avec des résultats de généralisation zero-shot sur des tâches non présentées durant l'entraînement. La généralisation inter-tâches reste l'un des verrous fondamentaux pour déployer des robots manipulateurs polyvalents dans des environnements industriels non structurés. Les approches d'apprentissage en contexte existantes fournissent uniquement des séquences d'actions continues de bas niveau, conduisant les modèles à imiter superficiellement des trajectoires sans extraire de connaissances transférables. "Decompose and Recompose" introduit une couche d'abstraction explicite, les compétences atomiques, qui permet de raisonner sur la composition et l'ordonnancement des actions plutôt que de mémoriser des trajectoires. Pour les intégrateurs et décideurs industriels, cela ouvre une voie pour réduire le volume de démonstrations nécessaires lors du déploiement sur de nouvelles tâches, point de friction majeur dans l'industrialisation de la manipulation apprenante, sans nécessiter aucune mise à jour des paramètres du modèle. Cette recherche s'inscrit dans un courant actif d'apprentissage en contexte appliqué à la robotique, en contrepoint des approches fondées sur des modèles VLA (Vision-Language-Action) massivement entraînés comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, ou les politiques embarquées de Figure et 1X Technologies. Là où ces systèmes misent sur des jeux de données d'entraînement volumineux, "Decompose and Recompose" parie sur le raisonnement compositionnel à l'inférence. Le benchmark AGNOSTOS est conçu spécifiquement pour évaluer la généralisation à des tâches non vues, offrant un cadre plus rigoureux que les benchmarks standards comme RLBench ou MetaWorld. Ce travail en est au stade de preprint, sans annonce de déploiement industriel ni de partenariat commercial associé.

RecherchePaper
1 source
Planificateurs de préhension 2D et 3D pour la pince asymétrique GET
499arXiv cs.RO 

Planificateurs de préhension 2D et 3D pour la pince asymétrique GET

Des chercheurs ont présenté sur arXiv (2604.26212) deux planificateurs de préhension pour le préhenseur asymétrique GET. GET-2D-1.0 opère depuis une image RGB-D à vue unique en combinant la métrique Ferrari-Canny à une stratégie d'échantillonnage originale, avec un temps de planification de 683 millisecondes. GET-3D-1.0 repose sur un modèle maillé 3D du préhenseur couplé à un lancé de rayons, pour une latence moyenne de 17 secondes. Validés par des expériences physiques, les deux systèmes surpassent une baseline par boîte englobante : GET-2D-1.0 améliore de plus de 40 % le succès au soulèvement, la résistance aux secousses et la résistance aux forces. GET-3D-1.0 progresse légèrement sur ces deux premiers critères, mais avec un coût de calcul environ 25 fois supérieur. Ce travail expose un compromis structurant en manipulation robotique : vitesse de réponse versus fidélité du modèle géométrique. Un gain de 40 % face à une baseline bounding-box reste significatif, car ces baselines demeurent courantes en production industrielle. L'évaluation sur hardware physique, et non en simulation, renforce la portée des résultats dans un secteur encore confronté au sim-to-real gap. La métrique Ferrari-Canny, référence académique depuis les années 1990 pour quantifier la qualité d'une prise par optimisation des forces de contact, est rarement intégrée dans les pipelines industriels modernes. Le préhenseur GET adopte une géométrie asymétrique, plus contraignante à planifier que les pinces parallèles standard commercialisées par Robotiq ou OnRobot. Cette publication se positionne face aux approches généralistes comme GraspNet ou AnyGrasp, en ciblant explicitement les morphologies non standard, un segment encore peu couvert par les solutions clés en main du marché.

RecherchePaper
1 source
ARM : modélisation des récompenses par avantage pour la manipulation à long horizon
500arXiv cs.RO 

ARM : modélisation des récompenses par avantage pour la manipulation à long horizon

Une équipe de chercheurs propose ARM (Advantage Reward Modeling, arXiv:2604.03037), un framework pour améliorer l'apprentissage par renforcement (RL) sur des tâches de manipulation robotique à long horizon. Le problème de fond : les récompenses éparses fournissent trop peu de signal pour guider l'apprentissage quand une tâche implique des dizaines d'étapes. ARM substitue la mesure de progression absolue par une estimation de l'avantage relatif, via un protocole de labeling à trois états : Progressif, Régressif, Stagnant. Ce schéma tri-état réduit la charge cognitive des annotateurs humains tout en assurant une forte cohérence inter-annotateurs. Intégré dans un pipeline de RL offline, il pondère les données de façon adaptative pour filtrer les échantillons sous-optimaux. Résultat annoncé : 99,4 % de réussite sur une tâche de pliage de serviette à long horizon, avec quasi-absence d'intervention humaine pendant l'entraînement. L'atout principal d'ARM est son coût d'annotation réduit face aux méthodes classiques de reward shaping dense, qui exigent une ingénierie fine de la fonction de récompense et peinent à modéliser des comportements non monotones comme le backtracking ou la récupération d'erreur. ARM ramène l'annotation à une classification intuitive, applicable aux démonstrations complètes comme aux données fragmentées issues de DAgger (imitation learning itératif). Les auteurs rapportent un gain sur les baselines VLA (Vision-Language-Action) actuels en stabilité et en efficacité des données, mais le benchmark se limite à un seul scénario de pliage de serviette : un résultat prometteur qui reste à confirmer sur un panel de tâches plus large et diversifié. La manipulation à long horizon demeure l'un des problèmes les plus ouverts de la robotique, au coeur de la compétition entre Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et d'autres architectures VLA. ARM s'inscrit dans le courant qui vise à rendre le RL applicable en conditions réelles sans dépendre massivement de la simulation (sim-to-real) ni de fonctions de récompense codifiées manuellement. Il s'agit d'un résultat de laboratoire : aucun déploiement terrain ni partenaire industriel n'est mentionné dans la publication. Les suites attendues sont une validation sur des tâches plus variées et des plateformes robotiques commerciales, notamment les humanoïdes actuellement en phase de commercialisation.

IA physiqueOpinion
1 source