Aller au contenu principal
FORM : manipulation robotique par identification directe des lois de comportement des matériauxIllustration générée par IA
RecherchearXiv cs.RO 

FORM : manipulation robotique par identification directe des lois de comportement des matériaux

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs présentent FORM (From Observed Response to Material laws), une méthode qui identifie les propriétés mécaniques d'un matériau déformable à partir d'une seule interaction robotique, puis réutilise le modèle obtenu pour planifier de nouvelles manipulations. Le principe consiste à appliquer un bilan de quantité de mouvement en forme faible. Le mouvement observé du matériau et les forces de contact mesurées deviennent ainsi des équations linéaires en fonction des paramètres inconnus. Ces équations sont assemblées avec la même discrétisation MPM (material point method) que le simulateur direct, si bien que l'identification se réduit à des moindres carrés linéaires. Le résultat s'utilise directement en prédiction, sans réajustement ni conversion. Sur quatre classes de matériaux, le temps d'identification passe d'environ 10 à 25 minutes pour les méthodes itératives de référence à 2 à 5 secondes. La précision reste comparable sur de nouveaux mouvements, conditions initiales et géométries. Les tests couvrent la simulation et du matériel réel, sur quatre tâches : insertion d'une tige élastique, putting de golf avec un club élastique, façonnage élastoplastique et versement d'un volume cible. L'erreur d'estimation est de 3,4 % sur les propriétés élastiques et de 2 % sur les propriétés élastoplastiques. Le façonnage de pâte atteint 72,4 à 77,8 % d'IoU, et l'erreur moyenne de versement est de 3,8 mL pour des cibles de 60 à 160 mL.

L'intérêt est d'abord pratique. Face à un matériau inconnu, un robot doit aujourd'hui soit s'appuyer sur des modèles appris qui généralisent mal, soit faire tourner une optimisation itérative trop lente pour une boucle de production. Passer de plusieurs minutes à quelques secondes rend l'identification compatible avec un cycle de travail réel, par exemple pour l'agroalimentaire, le dosage de fluides ou la manipulation de pâtes et de mousses. Le fait que le modèle soit réutilisé sur d'autres géométries suggère aussi qu'une identification physique explicite peut compléter, voire concurrencer, les approches purement apprises comme les VLA (vision-language-action), qui demandent de grandes quantités de démonstrations. Il faut toutefois relativiser. Les tâches sont des démonstrations de laboratoire, avec quatre classes de matériaux et des géométries contrôlées. Rien n'indique une robustesse face à des matériaux hétérogènes, à des propriétés qui varient dans le temps ou à du bruit de capteurs industriel.

Ce travail s'inscrit dans la lignée des simulateurs différentiables et de l'identification de paramètres par optimisation, qui offrent de la précision au prix d'un calcul lourd. Il s'oppose aussi aux approches de manipulation déformable par apprentissage end-to-end. Il s'agit d'une prépublication arXiv (v1), sans relecture par les pairs ni acteur industriel ou déploiement annoncé, et aucun acteur français ou européen n'est cité. La suite logique serait de tester des matériaux plus variés, des interactions plus complexes et une intégration avec des politiques apprises.

À lire aussi

WatchAct : un benchmark de manipulation robotique fondée sur le comportement
Illustration générée par IA
1arXiv cs.RO 

WatchAct : un benchmark de manipulation robotique fondée sur le comportement

Une équipe de chercheurs a publié WatchAct (arXiv:2606.26443), un nouveau benchmark pour la manipulation robotique fondé sur l'observation du comportement humain. Contrairement aux évaluations existantes, qui associent une instruction textuelle à une image statique, WatchAct impose aux systèmes robotiques de raisonner à partir d'une vidéo montrant un humain accomplir une tâche, puis d'en déduire un plan d'action exécutable. Le benchmark comprend 3 000 instances réparties sur 14 tâches dans quatre domaines cognitifs : compréhension des événements (Event Grounding), récupération de la structure procédurale (Procedural Reasoning), inférence d'intentions implicites (Implicit Intent Inference) et suivi des modifications de scène (Episodic Reasoning). Chaque instance couple une vidéo réelle, une instruction en langue naturelle, une scène simulée dans le framework LIBERO et une tâche exécutable sur un robot Franka Research 3. Le meilleur pipeline testé, associant Gemini-3.1-Pro et le modèle π₀.₅ de Physical Intelligence, atteint seulement 16,3 % de taux de réussite en simulation et 14,0 % sur robot réel. Ces chiffres révèlent un fossé considérable entre capacités humaines et systèmes actuels. Sur la seule composante de planification vidéo-vers-plan, Gemini-3.1-Pro obtient 36,8 % de Plan SR, contre 97,1 % pour les humains, soit un écart de plus de 60 points de pourcentage. Même avec un plan oracle fourni directement, sans recours à un VLM, π₀.₅ ne dépasse pas 21,5 % de Task SR, et chute à 10,6 % sur des scénarios hors domaine. Le protocole d'évaluation décomposé de WatchAct, qui mesure séparément le raisonnement VLM, l'exécution de la politique robotique et la performance bout-en-bout, est méthodologiquement précieux : il permet d'identifier précisément où chaque composant échoue, plutôt que d'observer un taux global difficile à interpréter. Pour les intégrateurs et les équipes R&D industrielles, ce résultat indique que ni les grands modèles vision-langage actuels ni les politiques de manipulation ne sont prêts pour des scénarios de collaboration humain-robot en environnement non structuré. WatchAct s'inscrit dans une tendance de fond visant à dépasser les benchmarks « instruction + image unique » qui ne capturent pas la complexité temporelle du travail réel en atelier ou en logistique. Les évaluations existantes comme LIBERO (utilisé ici comme substrat de simulation), RoboSuite ou BridgeData évaluent principalement l'exécution sous contraintes statiques. WatchAct introduit une dimension de video-grounding qui rapproche l'évaluation des conditions réelles, où un robot doit comprendre ce qu'un collègue humain vient de faire pour enchaîner correctement. Le modèle π₀.₅ est développé par Physical Intelligence, l'une des startups VLA les plus suivies du secteur aux côtés de Figure AI, Agility Robotics et 1X Technologies. Aucun acteur européen n'est impliqué dans ce benchmark. Le dataset et le code sont disponibles publiquement ; les prochaines étapes naturelles incluent l'intégration de modèles de raisonnement vidéo plus récents et l'extension à des scénarios multi-agents.

RechercheOpinion
1 source
CABTO : ancrage contextuel d'arbres de comportement pour la manipulation robotique
Illustration générée par IA
2arXiv cs.RO 

CABTO : ancrage contextuel d'arbres de comportement pour la manipulation robotique

Des chercheurs présentent CABTO (Context-Aware Behavior Tree grOunding), un framework qui automatise la construction de systèmes d'arbres de comportement (Behavior Trees, BT) pour le contrôle de robots manipulateurs. Les auteurs formalisent d'abord le problème du "BT Grounding" : produire automatiquement, a la fois, les modèles d'action de haut niveau et les politiques de contrôle bas niveau qui rendent un arbre de comportement exécutable, une étape qui exigeait jusqu'ici un travail d'expert manuel conséquent. CABTO s'appuie sur des grands modèles pré-entraines (LLMs) pour explorer heuristiquement l'espace des modèles d'action et des politiques de contrôle possibles, guide par un retour contextuel issu des planificateurs de BT et des observations de l'environnement. Les chercheurs ont évalué leur méthode sur sept ensembles de taches repartis sur trois scenarios distincts de manipulation robotique, et rapportent des résultats montrant l'efficacité et la rapidité de l'approche pour générer des systèmes de BT complets et cohérents. Ce travail cible un goulot d'étranglement concret dans le déploiement des arbres de comportement en robotique : jusqu'ici, faire le lien entre une architecture BT théoriquement valide et son exécution réelle sur un robot demandait un réglage manuel des modèles d'action et des politiques bas niveau, un frein a l'automatisation complète du pipeline de conception de contrôleurs. En automatisant cette étape de "grounding" via des LLMs, CABTO réduit la dépendance a l'expertise humaine pour construire des contrôleurs modulaires et réactifs, un enjeu direct pour les intégrateurs et laboratoires qui cherchent a déployer plus vite des comportements robotiques fiables sans réécrire manuellement chaque politique de bas niveau. Le papier s'inscrit dans le champ émergent du "BT planning", qui fournit des garanties théoriques pour générer automatiquement des arbres de comportement fiables, mais suppose généralement qu'un système BT déjà "ground" (modèles et politiques définis) est disponible en amont. CABTO se positionne comme la première approche a s'attaquer explicitement a cette hypothèse manquante, en s'inscrivant dans la vague plus large des méthodes combinant LLMs et planification symbolique en robotique. La version arXiv consultée est une republication (v2) de l'article.

RecherchePaper
1 source
Modèle du monde à quantification vectorielle : planification de mouvement par rétroaction latente pour la manipulation robotique
Illustration générée par IA
3arXiv cs.RO 

Modèle du monde à quantification vectorielle : planification de mouvement par rétroaction latente pour la manipulation robotique

Des chercheurs proposent le Vector-Quantized World Model (VQ-WM), un cadre de planification de mouvement à retour d'information latent pour la manipulation robotique, décrit dans la version 2 d'un preprint arXiv (2610.25600). L'architecture combine deux étages. Un prédicteur latent discret modélise les transitions entre états visuels quantifiés par vecteurs, ce qui permet au planificateur de chercher en profondeur et de trouver le plus court chemin vers le but par recherche discrète. Un contrôleur continu appris atteint ensuite ces états planifiés l'un après l'autre, en s'appuyant sur le retour visuel pour corriger les déviations. L'innovation technique tient à la métrique de quantification. Là où la quantification vectorielle classique utilise la distance euclidienne, les auteurs emploient un nouvel estimateur du temps de premier passage, utilisé comme quasi-métrique, afin que l'abstraction de planification reflète ce que le contrôleur sait réellement atteindre. L'évaluation physique porte sur la tour de Hanoï, avec 100 % de réussite à partir de données de jeu courtes. Sur des benchmarks en simulation couvrant manipulation et locomotion, la méthode devance les meilleurs modèles du monde de 13,3 à 85,3 points de pourcentage. L'intérêt tient à l'un des points faibles les plus cités des approches actuelles, la manipulation à long horizon. Les auteurs affirment que les modèles fondation de pointe, qu'il s'agisse de VLA (vision-langage-action) ou de WAM (world action models), ne réussissent la tâche que si la trace de la solution figure dans leurs données d'entraînement. VQ-WM, lui, recompose des solutions longues à partir de démonstrations courtes. Si ce résultat se confirmait, il plaiderait pour des architectures hybrides, où la recherche explicite et le contrôle par retour visuel complètent l'apprentissage de politiques de bout en bout, et pour une collecte de données moins coûteuse, car elle n'aurait plus à couvrir chaque séquence complète. Il faut toutefois rester prudent. Hanoï est une tâche structurée, à états discrets bien définis et à solution connue, très éloignée du désordre d'un entrepôt ou d'une ligne d'assemblage. L'écart de 13,3 à 85,3 points est une fourchette très large, qui dépend sans doute fortement des benchmarks et des baselines retenus. Le résumé ne précise ni le nombre d'essais, ni le robot utilisé, ni les temps de cycle. Ces travaux s'inscrivent dans la montée des modèles du monde visuels pour la planification, qui se heurtent à l'accumulation des erreurs de prédiction, à la complexité de la recherche et à des plans latents que le contrôleur bas niveau ne peut pas exécuter. VQ-WM s'attaque à ces trois obstacles. Il se place face aux VLA comme Pi-0 ou GR00T, et face aux WAM, qui dominent les démonstrations industrielles actuelles. Il s'agit d'une publication académique, non d'un produit ni d'un pilote : aucune commercialisation ni calendrier n'est annoncé. Les prochaines étapes à surveiller sont la validation sur des tâches non structurées, avec des objets variés et des perturbations réelles, ainsi que la publication du code et des données.

RecherchePaper
1 source
Lois d'échelle des données en apprentissage par imitation pour la manipulation robotique
Illustration générée par IA
4arXiv cs.RO 

Lois d'échelle des données en apprentissage par imitation pour la manipulation robotique

Une équipe de chercheurs publie sur arXiv (référence 2410.18647, désormais à sa quatrième révision) une étude empirique sur les lois d'échelle des données appliquées à l'apprentissage par imitation en manipulation robotique. Le protocole est rigoureux : plus de 40 000 démonstrations collectées dans de nombreux environnements et avec des objets variés, suivies de plus de 15 000 exécutions réelles sur robot, ce qui en fait l'une des études de scaling en manipulation les plus extensives à ce jour. Résultat central : la performance de généralisation d'une politique d'imitation suit une relation en loi de puissance avec le nombre d'environnements et d'objets d'entraînement. Surtout, quatre collecteurs de données travaillant une seule après-midi ont suffi pour obtenir environ 90 % de taux de réussite en déploiement zéro-shot sur des objets inconnus dans des environnements non vus, sur deux tâches distinctes. Ce que cette recherche établit, c'est que la diversité des environnements et des objets prime largement sur le volume brut de démonstrations : au-delà d'un certain seuil de démonstrations par environnement ou par objet, en ajouter davantage n'améliore plus la généralisation. Ce résultat remet en cause la stratégie intuitive qui consiste à multiplier les répétitions dans un même contexte, et oriente clairement la priorité vers la couverture de distribution plutôt que la densité d'annotation. Pour les intégrateurs industriels et les équipes robotique qui budgètent la collecte de données, l'implication est directe : mieux vaut disperser les efforts sur des scènes variées que d'accumuler des trajectoires dans un seul setup. Le fait d'atteindre 90 % de succès en zéro-shot sur des objets inédits est également un signal fort sur la maturité du paradigme VLA (Vision-Language-Action) en manipulation monomode. Ce travail s'inscrit dans le sillage des succès de scaling en NLP et vision par ordinateur, que des équipes comme DeepMind (RT-2), Physical Intelligence avec Pi-0, ou encore NVIDIA avec GR00T cherchent à transposer en robotique. L'étude reste purement académique pour l'instant, aucun déploiement industriel n'étant annoncé, et les tâches testées demeurent mono-bras sur périmètre contrôlé. Une limite à noter : les vidéos de démonstration et les protocoles d'évaluation exacts ne sont pas tous publics dans la version arXiv, ce qui rend difficile la comparaison directe avec d'autres benchmarks. Les prochaines étapes logiques seront d'étendre ces lois d'échelle aux politiques multi-tâches et de tester leur robustesse sur des plateformes humanoïdes comme Figure 03 ou Optimus Gen 3, où la distribution des états physiques est bien plus large.

RecherchePaper
1 source