Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Exploiter les affordances entre objets pour une planification efficace des tâches à contact riche
RecherchearXiv cs.RO 

Exploiter les affordances entre objets pour une planification efficace des tâches à contact riche

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent une nouvelle méthode de planification robotique baptisée U-TAMP (Unified Task-and-Motion Planning), détaillée dans un preprint publié le 27 août 2026 sur arXiv (référence 2608.25641v1). Le travail s'attaque à une limite connue des approches classiques de planification tâche-mouvement (TAMP), qui modélisent les objets de façon simplifiée et ignorent des propriétés physiques essentielles (matière, forme, prise possible) pour réussir des tâches impliquant des contacts complexes, comme empoigner ou poser un objet sur un autre. Les auteurs utilisent un modèle vision-langage (VLM) pour générer automatiquement des abstractions des affordances entre objets, c'est-à-dire des contraintes de préhension et de support qui décrivent comment deux objets peuvent interagir physiquement. Ces contraintes enrichissent le domaine de planification pour gérer des objets aux propriétés variables. La méthode a été testée dans des scénarios simulés de rangement de table de cuisine, et comparée à la version originale de U-TAMP ainsi qu'à un planificateur VLM de référence s'appuyant sur le sens commun pour déduire les affordances. Résultat annoncé : un taux de réussite de planification nettement supérieur et des temps de calcul réduits d'un à deux ordres de grandeur par rapport aux méthodes concurrentes.

Pour les équipes de recherche en robotique manipulatrice, ce travail illustre une piste alternative à l'apprentissage de bout en bout défendu par les modèles vision-langage-action comme Pi-0 ou GR00T N2 : plutôt que de tout confier à un réseau appris sur des données, il s'agit d'injecter du sens commun physique, via un VLM, dans un moteur de planification symbolique classique, pour gagner en vitesse et en fiabilité sans sacrifier l'interprétabilité. La réduction du temps de planification est particulièrement pertinente pour les tâches longues et séquentielles typiques de l'industrie et du service à la personne. Il faut toutefois noter que ces résultats restent cantonnés à la simulation, sur un seul type de scénario domestique, sans validation sur robot réel ni indication de déploiement industriel.

Le TAMP est un champ de recherche établi qui combine raisonnement symbolique et planification de mouvement continue ; ce papier s'inscrit dans la lignée d'un système U-TAMP préexistant, qu'il étend avec la brique VLM pour l'affordance. Les prochaines étapes attendues, non précisées dans l'article, seraient une validation sur plateforme physique et une extension à des tâches de manipulation plus variées que le simple rangement de table.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

Utiliser le raisonnement des VLM pour contraindre la planification tâche-mouvement
1arXiv cs.RO 

Utiliser le raisonnement des VLM pour contraindre la planification tâche-mouvement

Des chercheurs proposent une méthode baptisée VIZ-COAST, décrite dans une nouvelle version (v3) d'un article déposé sur arXiv (2510.25548), qui exploite des modèles vision-langage (VLM) pré-entraînés à grande échelle pour améliorer la planification de tâches et de mouvements (TAMP, Task and Motion Planning) en robotique. Le principe repose sur le raisonnement spatial de bon sens de ces VLM pour repérer, avant même de lancer la recherche de plan, les endroits où un plan de haut niveau risque de ne pas se traduire en trajectoire de mouvement continue exécutable. Les auteurs ont testé leur approche sur trois domaines TAMP jugés complexes, en extrayant des contraintes plausibles directement à partir d'images et de descriptions de domaine. Résultat annoncé : une réduction drastique des temps de planification, et dans certains cas une élimination complète des échecs de raffinement (downward refinement), avec une généralisation à un ensemble varié d'instances au sein d'un même domaine plus large. Il s'agit à ce stade d'un travail de recherche publié en prépublication, sans déploiement industriel ni produit commercialisé associé. L'enjeu touche un goulot d'étranglement classique de la planification robotique à long horizon : les plans de tâches sont construits sur une abstraction du monde pour rendre la recherche efficace, mais cette abstraction ne garantit pas qu'un plan valide au niveau symbolique puisse réellement être exécuté par un planificateur de mouvement continu. Quand ce lien (le raffinement descendant) est mauvais, des plans en apparence corrects échouent en cours d'exécution, forçant un replanification coûteuse en temps. Les méthodes existantes ne corrigent ce problème qu'après coup, une fois l'échec constaté, en gaspillant du temps de calcul sur des branches de recherche infaisables. L'apport de VIZ-COAST est de déplacer cette détection en amont, en utilisant le sens commun spatial des VLM comme filtre a priori plutôt que comme diagnostic a posteriori, ce qui rejoint une tendance plus large consistant à injecter les capacités des modèles de fondation vision-langage dans les piles de planification classiques utilisées par l'industrie robotique, notamment pour les systèmes de manipulation et de navigation à long horizon. Le contexte scientifique est celui des limites bien connues du TAMP, où l'écart entre plan symbolique et exécution physique reste un frein à l'autonomie des robots sur des tâches longues et complexes. Les travaux antérieurs cités par les auteurs se contentaient d'encoder les échecs de raffinement en contraintes correctives une fois détectés pendant la planification. VIZ-COAST s'inscrit dans la lignée des approches combinant VLM et robotique symbolique, sans toutefois préciser d'implémentation matérielle, de partenaire industriel ni de calendrier de déploiement : il s'agit pour l'instant d'une validation expérimentale sur des domaines de test, dont la prochaine étape logique serait une évaluation sur des plateformes robotiques réelles.

RecherchePaper
1 source
OSDAG : planification en ligne pour une collaboration multi-robots efficace
2arXiv cs.RO 

OSDAG : planification en ligne pour une collaboration multi-robots efficace

Des chercheurs ont publié le 18 juin 2026 sur arXiv (réf. 2606.15255) un framework appelé OSDAG, conçu pour coordonner des flottes de robots hétérogènes sur des tâches longues et complexes en combinant raisonnement par grand modèle de langage (LLM) et ordonnancement en ligne par graphe orienté acyclique (DAG). Le principe central : le LLM n'est invoqué qu'une seule fois, à la réception d'une instruction en langage naturel, pour décomposer la tâche en un graphe annoté de dépendances. Un ordonnanceur léger prend ensuite le relais en temps réel pour affecter à chaque robot disponible les sous-tâches dont les prérequis sont satisfaits. Les expériences portent sur cinq scénarios de référence, incluant des validations en simulation et sur des systèmes réels de manipulation à deux bras. Les résultats annoncés sont un gain de raisonnement de 5 à 15 fois par rapport aux approches conversationnelles, et une réduction du makespan (temps total d'exécution de la flotte) allant jusqu'à 38 % face aux baselines séquentielles, avec des taux de succès restant comparables. L'intérêt architectural est réel pour les intégrateurs de systèmes multi-robots : l'approche résout deux goulots d'étranglement identifiés dans les méthodes LLM existantes. Le premier est la latence cumulée des appels LLM répétés à chaque étape d'exécution, qui empire linéairement avec le nombre d'agents. Le second est l'ordonnancement pré-engagé hors ligne, qui force les robots à attendre leurs prédécesseurs même quand des tâches indépendantes sont disponibles. En encodant à la fois les contraintes de précédence et les contraintes de ressources dans le DAG, OSDAG expose tout le parallélisme exploitable sans sacrifier la correction du plan. Sur des lignes d'assemblage ou des entrepôts logistiques, cette distinction entre "planifier une fois" et "ordonnancer en continu" peut transformer la densité d'utilisation d'une flotte. OSDAG s'inscrit dans une vague de travaux cherchant à rendre les LLM opérationnels pour la robotique collaborative, aux côtés de frameworks comme SayPlan, RoCo ou les approches VLA (Vision-Language-Action). Ces méthodes souffrent généralement du dialogue-loop problem : chaque décision remonte au modèle, ce qui devient prohibitif à l'échelle. OSDAG adopte une architecture de séparation stricte planification/exécution, plus proche des moteurs de workflow industriels (type BPMN) que des agents conversationnels. Les auteurs valident sur des bras manipulateurs duaux, un environnement contrôlé, mais l'extension à des flottes AMR en entrepôt ou à des cellules de production réelles reste à démontrer. Le code et les ressources sont accessibles sur le site du projet (thanhnguyencanh.github.io/LLM_DAG4MultiRobot). Aucun partenariat industriel ni timeline de déploiement n'est mentionné : il s'agit d'une contribution de recherche, pas d'un produit.

UELes intégrateurs européens de flottes multi-robots (logistique, assemblage automatisé) pourraient bénéficier de ce framework open-source, mais aucun acteur ou déploiement européen n'est impliqué à ce stade.

RecherchePaper
1 source
Prédire la distribution des forces de contact à partir de la vision en exploitant les a priori de géométrie des objets
3arXiv cs.RO 

Prédire la distribution des forces de contact à partir de la vision en exploitant les a priori de géométrie des objets

Une équipe de recherche a publié le 1er août 2026 sur arXiv (référence 2608.00464) un modèle qui prédit la distribution tridimensionnelle des forces de contact à partir d'une seule image RGB, appliqué à des scènes d'objets du quotidien empilés en vrac. Pour entraîner ce système, les auteurs ont d'abord généré des données appariées vision-force via un simulateur de corps rigides classique en robotique, un outil qui produit normalement des forces ponctuelles bruitées et peu exploitables telles quelles. Leur idée centrale consiste à lisser statistiquement ces forces ponctuelles pour obtenir des distributions continues, plus proches de la façon dont un humain anticipe intuitivement le comportement physique d'une pile d'objets. Ils vont plus loin en intégrant la géométrie de chaque objet dans ce processus de lissage, afin de tenir compte des variations d'état de contact selon la forme des pièces. Le modèle a été évalué à la fois en simulation et sur des scènes réelles, alors qu'il n'a jamais été entraîné que sur des données synthétiques. L'enjeu dépasse la simple précision de prédiction : il touche directement au problème classique du transfert sim-to-real, l'un des principaux points de friction pour rendre la manipulation robotique fiable hors laboratoire. Un robot capable d'anticiper visuellement où et comment les forces se répartissent dans une pile d'objets peut ajuster sa stratégie de préhension avant même le contact, ce qui intéresse directement les intégrateurs travaillant sur le tri, le bin-picking ou la logistique en environnement non structuré. Les résultats indiqués montrent que le lissage améliore non seulement la prédiction elle-même, mais aussi la performance sur les tâches en aval, et que le guidage par géométrie apporte un gain supplémentaire, ce qui suggère que la représentation du signal cible compte autant que l'architecture du modèle. Ce travail s'inscrit dans un courant de recherche plus large sur l'estimation de propriétés physiques à partir de la seule vision, sans capteurs de force embarqués coûteux. Il reste à ce stade une contribution académique, sans déploiement industriel annoncé ni partenaire cité, et les prochaines étapes attendues concernent probablement l'extension à des géométries d'objets plus variées et des scénarios de manipulation plus complexes.

RecherchePaper
1 source
HEART : coordination d'agents experts hétérogènes pour la planification de tâches robotiques ancrée dans le réel
4arXiv cs.RO 

HEART : coordination d'agents experts hétérogènes pour la planification de tâches robotiques ancrée dans le réel

Une équipe de chercheurs publie sur arXiv (réf. 2606.25404) HEART, un framework de planification robotique qui distribue le raisonnement entre plusieurs LLM spécialisés plutôt que de confier l'ensemble de la tâche à un seul modèle. Le principe : décomposer une instruction complexe en sous-tâches atomiques (vérification des capacités du robot, analyse de l'atteignabilité des objets, respect des contraintes logiques et temporelles), puis allouer chacune à un agent LLM dédié, le tout sous une contrainte de budget en tokens pour rester viable sur du matériel embarqué ou en communication limitée. La synthèse finale produit un plan d'actions physiquement exécutable, validé avant transmission au robot. Les expériences sur plusieurs benchmarks de scénarios domestiques montrent une amélioration consistante du taux de succès face aux planificateurs mono-LLM et aux approches à base de règles, sans que l'abstract disponible détaille de chiffres absolus. La contribution centrale de HEART est d'intégrer une couche de validation physique avant la génération du plan, un angle mort chronique des approches LLM-only. Les modèles de langage généralisent bien le raisonnement symbolique mais peinent avec les contraintes géométriques réelles : objet hors de portée, séquence d'actions physiquement impossible, outil absent. En déléguant ces vérifications à des agents rôle-spécialisés, le framework réduit le taux de plans invalides ou incomplets. Pour les intégrateurs travaillant sur l'automatisation de tâches non-structurées en environnement domestique ou industriel léger, c'est un signal pertinent : la spécialisation des agents LLM par type de contrainte commence à produire des gains mesurables sur les benchmarks standard. Ce travail s'inscrit dans un courant de recherche actif qui cherche à dépasser les limites du "single LLM as planner", avec des approches comme SayPlan, LLM+P ou Code as Policies comme antécédents directs. Aucun acteur industriel ni déploiement terrain n'est mentionné, et le papier reste un preprint non relu par les pairs. L'absence de métriques chiffrées précises dans l'abstract (taux de succès, nombre de benchmarks, configurations matérielles testées) rend l'évaluation externe difficile. Les prochaines étapes naturelles seraient une validation sur robot physique réel et une comparaison contre des frameworks VLA (Vision-Language-Action) comme pi-0 ou GR00T N2, qui intègrent déjà un raisonnement ancré dans la perception sensorielle.

RecherchePaper
1 source