Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Je ne saurai qu'en essayant : collecte interactive d'informations pour la manipulation à long horizon

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (référence 2610.33959, première version) un cadre de planification de tâches et de mouvements (TAMP, task and motion planning) qui intègre la collecte d'information par interaction physique dans la manipulation longue durée. Le point de départ est simple. Certaines propriétés d'objets ne se lisent pas sur l'image: un objet est-il déplaçable, un stylo contient-il encore de l'encre, un tiroir s'ouvre-t-il, un récipient est-il vide. Le système repose sur PDDLStream. Il planifie de façon optimiste en incluant des actions interactives de sondage, vérifie leur résultat à l'exécution, puis adapte le reste du plan. Il conserve les actions encore valables et ne replanifie que les liaisons nécessaires pour poursuivre. Les tests ont eu lieu en simulation et sur un robot réel. Le résumé ne donne ni taux de réussite, ni temps de cycle, ni modèle de robot, ni nombre d'essais.

L'intérêt tient à un problème que les déploiements industriels rencontrent sans cesse: la perception seule ne suffit pas, et tester un objet peut modifier la scène au point d'invalider la suite de la séquence. Ici, l'incertitude est traitée comme une étape du plan, avec une récupération ciblée plutôt qu'un redémarrage complet. C'est pertinent pour des tâches de logistique, de maintenance ou de service où l'état caché des objets est la norme. Il faut toutefois rester prudent. Quatre scénarios de démonstration, sans métriques publiées, ne permettent pas de juger de la robustesse hors laboratoire, du coût de calcul à l'échelle, ni de la comparaison avec d'autres approches. Il s'agit de recherche académique, sans produit ni pilote annoncé.

Le TAMP existe depuis plus d'une décennie, et PDDLStream est l'un de ses outils de référence pour intégrer des échantillonneurs de mouvements à un planificateur symbolique. Son hypothèse classique d'état largement observable est précisément ce que ce travail cherche à lever. En face, les modèles vision-langage-action (VLA) comme Pi-0, GR00T N2 ou Helix gèrent l'incertitude de façon implicite, par apprentissage, sans garantie explicite de séquencement ni de vérification. Les approches hybrides, qui combinent planificateur structuré et politiques apprises, sont une suite plausible. Les prochaines étapes à surveiller sont la version complète avec résultats chiffrés, la publication du code et des comparaisons directes avec des politiques apprises sur les mêmes tâches.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

LAMP : planification adaptative de manipulation à long horizon pour la collaboration multi-robots en espace encombré
1arXiv cs.RO 

LAMP : planification adaptative de manipulation à long horizon pour la collaboration multi-robots en espace encombré

Une équipe de chercheurs a publié sur arXiv (référence 2606.29358v1) un nouveau cadre de planification intitulé LAMP, pour Long-horizon Adaptive Manipulation Planning, conçu pour coordonner plusieurs robots manipulateurs dans des environnements très encombrés. Le système repose sur deux planificateurs complémentaires : LAMPA*, qui effectue une recherche systématique dans l'espace couplé objets-robots, et LAMP-Lazy, un planificateur dit "paresseux" qui diffère certaines évaluations pour permettre une replanification en temps réel. Les expériences ont été menées dans des environnements simulés à haute densité d'obstacles, où les méthodes existantes échouent à trouver des solutions. Aucun déploiement physique ni timeline de commercialisation n'est annoncé. Le verrou technique que LAMP cherche à lever est fondamental pour l'industrie : coordonner plusieurs bras robotiques sur des tâches longues dans des espaces confinés implique de raisonner simultanément sur les contacts physiques, les dynamiques couplées entre robots, et l'évitement de collision. Les deux approches dominantes aujourd'hui se heurtent à des murs de scalabilité distincts. L'apprentissage par renforcement end-to-end peine à généraliser dès que l'horizon de tâche s'allonge ou que le nombre de robots augmente. Les méthodes hybrides, qui planifient les trajectoires d'objets et apprennent des primitives de contact à courte portée, ne tiennent pas dans des scènes très denses. LAMP propose de rendre ce problème tractable via un modèle génératif appris, combiné à une stratégie de recherche adaptative, ce qui constitue une approche architecturalement différente des VLA (Vision-Language-Action models) qui dominent l'espace humanoïde. La planification multi-robot en environnement encombré est un problème central pour l'automatisation logistique et industrielle, où des acteurs comme Exotec (France) déploient des flottes de robots AMR dans des entrepôts à haute densité. La recherche en robotique académique a longtemps traité la manipulation et la coordination de flotte séparément ; des travaux comme LAMP signalent une convergence vers des systèmes unifiés capables de gérer les deux dimensions. Cependant, l'absence totale de validation sur hardware réel est une limite importante : le sim-to-real gap reste le principal obstacle entre des résultats de simulation convaincants et une industrialisation effective. Les prochaines étapes naturelles seraient des tests sur bancs physiques multi-bras, dans des configurations représentatives de cellules de picking ou d'assemblage.

RecherchePaper
1 source
RopeFormer : adaptation inter-essais à partir de l'historique d'interaction pour la manipulation dynamique de corde
2arXiv cs.RO 

RopeFormer : adaptation inter-essais à partir de l'historique d'interaction pour la manipulation dynamique de corde

Des chercheurs présentent RopeFormer, un système de contrôle robotique conditionné par l'historique d'interaction pour la manipulation dynamique de cordes, un problème classique de robotique où le même mouvement produit des réponses très différentes selon les propriétés physiques de l'objet manipulé, difficiles à identifier explicitement. La politique conserve en mémoire l'historique des couples action-réponse d'un essai à l'autre sans modifier ses poids ni estimer en ligne les paramètres de la corde. En simulation, sur des scénarios de rotation mono-bras soutenue, de rotation bimanuelle et de fouettement transitoire, conserver ce contexte améliore le contrôle par rapport à une remise à zéro du même point de contrôle, avec un bénéfice qui varie selon la dynamique de la corde et les conditions d'observation. Les chercheurs ont ensuite déployé ces politiques figées sur un robot humanoïde Unitree H1-2 confronté à des cordes physiques inédites. Entre le premier et le troisième essai, le temps d'acquisition de cible chute de 30,9% pour l'exercice "Rope Swing" et de 33,9% pour "Rope Twirl", tandis que le nombre moyen de cibles touchées lors du "Rope Whip" passe de 0,2 à 2,3 sur trois. Code, données et vidéos sont publiés sur ropeformer.github.io. Ce résultat intéresse la manipulation d'objets déformables en général, câbles, tissus, cordages, un domaine où l'identification explicite des paramètres physiques reste un goulot d'étranglement pour l'industrie. En s'appuyant sur un mécanisme d'adaptation en contexte, à la manière d'un grand modèle de langage qui ajuste son comportement sans réentraînement, plutôt que sur une estimation de paramètres physiques ou un réentraînement en ligne, l'approche suggère qu'une politique unique et figée peut s'ajuster à des objets jamais vus simplement en accumulant de l'expérience au sein d'une session. Pour les intégrateurs travaillant sur la manipulation fine ou les tâches impliquant des matériaux souples, cela ouvre une piste pour réduire la recalibration par objet, un coût récurrent en déploiement industriel. Le travail s'inscrit dans la lignée des recherches sur l'adaptation rapide par contexte plutôt que par identification de système explicite, un axe qui gagne en traction face aux limites des méthodes classiques de modélisation physique des objets déformables. Les auteurs restent prudents: les gains varient selon la dynamique de la corde et les conditions d'observation, et le déploiement réel reste limité à un seul robot humanoïde et des essais contrôlés. La publication complète du code et des données ouvre la voie à des réplications et extensions par d'autres équipes de recherche en manipulation robotique.

UEAucun acteur français ou européen implique dans ces travaux, mais le code et les données publies en open source pourraient intéresser les équipes de recherche européennes travaillant sur la manipulation d'objets déformables.

RecherchePaper
1 source
SparkVLA : un VLA hiérarchique conscient des arrêts, avec segmentation d'action adaptative pour la manipulation à long horizon
3arXiv cs.RO 

SparkVLA : un VLA hiérarchique conscient des arrêts, avec segmentation d'action adaptative pour la manipulation à long horizon

Une équipe de recherche a publié le 18 août 2026 sur arXiv (référence 2608.16172) SparkVLA, une architecture hiérarchique Vision-Language-Action conçue pour la manipulation robotique sur des tâches longues et multi-étapes. Le système règle un problème d'interface récurrent : à chaque point de ré-observation, il faut décider si la sous-tâche en cours s'arrête et jusqu'où exécuter le segment d'actions proposé, deux choix interdépendants que les architectures existantes évaluaient jusqu'ici séparément. SparkVLA les fusionne en un seul classement, où l'option d'arrêt est mise en concurrence avec chaque longueur possible de préfixe d'actions et le meilleur score l'emporte, sans seuil à régler manuellement. Le mécanisme repose sur deux modules : un encodeur contextuel ancré qui met en cache une représentation de la sous-tâche tenant compte de l'historique pour guider l'élagage des tokens visuels vers les zones pertinentes, et une tête de sélection qui note tous les candidats par auto-attention aux frontières des segments. Sur le benchmark RoboCerebra, SparkVLA atteint 47,12% de réussite, soit 30,57 points de plus que la référence hiérarchique officielle et 26,83 points de plus que la meilleure méthode reproductible connue, des gains confirmés par des essais complémentaires sur robot réel. Ce résultat cible un goulot d'étranglement classique des VLA hiérarchiques, où un module de planification en langage naturel et un module d'exécution bas niveau doivent se synchroniser : un mauvais calibrage provoque des arrêts prématurés ou des segments trop longs qui font dériver le robot sur les tâches à plusieurs étapes, l'un des écarts récurrents entre démonstrations en simulation et comportement réel. Pour les équipes qui construisent des pipelines de manipulation multi-étapes (kitting, assemblage, logistique), l'intérêt tient aussi à la méthode d'entraînement : SparkVLA ne requiert que des préférences ordinales hors ligne, moins coûteuses à collecter que des récompenses denses. Il s'agit toutefois d'un résultat de recherche mesuré sur un benchmark académique, complété par des essais robot réel que les auteurs présentent eux-mêmes comme de portée limitée, et non d'un produit déployé ou commercialisé. Le travail s'inscrit dans la lignée des modèles VLA hiérarchiques, qui séparent un raisonnement haut niveau découpant l'instruction en sous-tâches d'une politique d'action bas niveau entraînée par imitation, une famille d'architectures étudiée pour dépasser les limites des politiques VLA monolithiques sur l'horizon long. Sa contribution se distingue des approches à découpage d'actions de longueur fixe en rendant la longueur du segment exécuté adaptative et couplée à la décision d'arrêt. L'article compare ses résultats à la référence hiérarchique officielle du benchmark RoboCerebra et à la meilleure méthode reproductible publiée à ce jour, sans nommer d'acteur industriel ni annoncer de calendrier de mise à disposition du code, de partenariat ou de pilote de déploiement.

RechercheActu
1 source
2AM : ancrer la mémoire de l'agent pour guider des modèles d'action pilotables en manipulation à long horizon
4arXiv cs.RO 

2AM : ancrer la mémoire de l'agent pour guider des modèles d'action pilotables en manipulation à long horizon

Publiée le 11 septembre 2026 sur arXiv sous la référence 2609.11308, une nouvelle architecture baptisée 2AM propose une autre méthode pour la manipulation robotique à long horizon, ces tâches multi-étapes qui exigent de se souvenir de ce qui a déjà été fait. Le système sépare strictement deux rôles : un agent multimodal conserve seul la mémoire de la tâche et traduit l'historique des interactions en instructions de sous-tâches en langage naturel, complétées par des indices optionnels en 2D (points de préhension, de dépose et de déplacement) ; un modèle d'action unique, basé uniquement sur des images RGB et sans état interne entre les épisodes, exécute le mouvement. Pour le rendre pilotable, les auteurs ont enrichi les démonstrations d'étiquettes d'indices structurées et entraîné le modèle avec abandon aléatoire de conditions, bruit spatial et décalage temporel, afin qu'il tolère des instructions imparfaites. Testé sur le benchmark LIBERO-Mem, sans profondeur, sans géométrie calculée en ligne ni déplacement d'objets planifié, 2AM atteint un taux de complétion moyen de 76,3 %, contre 14,8 % pour la meilleure référence publiée à ce jour, soit un gain de 61,5 points, avec 63,0 % de réussite au sens large et 11,8 % au sens strict. Ce résultat vise un problème méthodologique récurrent des systèmes agentiques actuels, qui combinent souvent des modèles vision-langage-action (VLA) avec planificateurs et outils géométriques, parfois appuyés par de la profondeur ou une géométrie calibrée : il devient difficile de savoir si les gains viennent d'observations plus riches, d'outils moteurs alternatifs ou de la politique elle-même, et si les échecs viennent de la politique ou d'une interface langagière mal spécifiée. En réduisant volontairement la panoplie d'outils au profit d'une interface à plus haute bande passante entre agent et modèle d'action, 2AM isole la variable de précision du pilotage. Le résultat suggère que la mémoire de tâche peut rester entièrement côté agent, sans être intégrée dans la politique d'action, un choix opposé à la tendance qui consiste à faire porter mémoire et raisonnement par un seul grand modèle entraîné de bout en bout. Pour les équipes qui développent des modèles d'action génératifs comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, ce travail introduit une hypothèse alternative : la capacité effective d'un modèle dépendrait autant de la précision avec laquelle il est piloté que de ce qu'il a appris à l'entraînement, ce qui interroge la course actuelle aux VLA toujours plus massifs. Le travail s'inscrit dans la lignée des benchmarks LIBERO, largement utilisés en apprentissage de politiques robotiques, dont LIBERO-Mem constitue une extension dédiée aux tâches à mémoire longue. Il se positionne en creux face aux architectures dominantes du secteur, qui empilent VLA, planificateurs symboliques et perception 3D pour gérer des séquences de manipulation complexes, une approche que la publication critique implicitement pour son opacité dans l'attribution des performances. Aucun déploiement matériel réel n'est mentionné : les résultats restent circonscrits à la simulation et au benchmark, sans validation sur robot physique ni pilote industriel annoncé. L'affiliation institutionnelle des auteurs et un calendrier de suite ne sont pas précisés, ce qui situe cette publication au stade de la recherche amont plutôt que d'un produit ou d'un partenariat commercial.

RechercheActu
1 source