RecherchearXiv cs.RO 21 octobre 2026

Modélisation visuelle des tâches et planification automatisée pour robots humanoïdes dans l'éducation de personnes autistes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2610.27162v1) une méthode permettant à un robot semi-autonome équipé d'une caméra de comprendre l'objectif d'une tâche et de planifier les actions pour l'atteindre, dans un cadre d'éducation assistée par robot. Le travail porte sur les « Shoebox Tasks », des activités de tri et d'assemblage couramment utilisées auprès de personnes autistes (TSA), conçues pour que le but se déduise directement de leur structure visuelle. L'équipe a développé un solveur qui s'appuie sur un grand modèle de langage doté de vision pour convertir des photos de la tâche en représentation PDDL (Planning Domain Definition Language, le langage standard de planification automatique), puis générer un plan d'actions. Une interface robotique permet à un robot Nao, le petit humanoïde éducatif de SoftBank/Aldebaran, d'exécuter seul diverses Shoebox Tasks et d'assister l'élève en suggérant la prochaine étape ou en signalant une erreur, par démonstration d'actions, commandes vocales ou gestes. Le solveur n'utilise que des images capturées en entrée. Aucun chiffre de performance, taux de réussite ou modèle de vision-langage précis n'apparaît dans le résumé.

L'intérêt tient à l'architecture : le LLM ne pilote pas directement le robot, il traduit la scène en un problème formel que résout un planificateur symbolique. Ce découpage limite les actions incohérentes que produisent souvent les modèles de bout en bout, et rend le plan vérifiable, ce qui compte dans un contexte éducatif où une erreur peut déstabiliser un élève. L'absence de programmation requise côté enseignant s'attaque à un frein réel du secteur : les robots sociaux ont longtemps exigé des scénarios écrits à la main. Avec une interface adaptée, le solveur peut en outre être porté sur d'autres robots éducatifs, ce qui réduit la dépendance à une plateforme. Il faut toutefois rester prudent : il s'agit d'un preprint non évalué par les pairs, sans données chiffrées dans le résumé, et rien n'indique encore une validation avec des élèves, un déploiement en classe ou un gain d'apprentissage mesuré.

Le contexte est celui d'un champ de recherche établi, où les travaux en éducation spécialisée suggèrent que les élèves avec TSA tirent un bénéfice notable de l'enseignement assisté par robot, le Nao étant depuis des années la plateforme de référence de ces études. Ce travail s'écarte de la tendance dominante en robotique, celle des modèles vision-langage-action de bout en bout comme Pi-0 ou GR00T, en privilégiant la planification symbolique, plus lisible. Les suites logiques sont des essais en situation réelle avec des enseignants et des élèves, des mesures de fiabilité de la conversion image vers PDDL, et le portage vers d'autres robots, y compris des humanoïdes plus récents. Les auteurs affichent aussi l'objectif de susciter l'intérêt des personnes autistes pour la robotique.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modélisation du monde et des actions avec planification visuelle progressive

Des chercheurs présentent ProWAM, un « world action model » (WAM) progressif qui prédit conjointement des actions robotiques et une séquence ordonnée de sous-objectifs visuels épars, à partir d'une observation initiale et d'une instruction. Les WAM existants butent sur les tâches longues : générer des vidéos denses est coûteux, et les variantes qui ne prédisent qu'une seule image future ne disent pas comment progresser vers le but. ProWAM exécute une seule passe avant du backbone vidéo pour mettre en cache les caractéristiques de ces sous-objectifs, puis n'effectue qu'un débruitage d'actions léger à chaque replanification. Les résultats annoncés en simulation sont 85,8 % sur LIBERO-Plus et 75,7 % sur RoboTwin randomisé, soit jusqu'à +35,9 % en relatif face à la meilleure référence. Sur RoboCasa365, le modèle atteint 48,1 % de réussite globale (4e rang) et 18,2 % sur le split difficile Composite-Unseen. En conditions réelles, en zéro-shot dans des scènes inédites, il obtient 70,0 % de réussite contre 55,0 % pour la meilleure référence, soit +15 points (+27,3 % en relatif). L'intérêt tient à la manière dont le modèle sépare planification visuelle et contrôle. Comme la prédiction de sous-objectifs peut s'apprendre sur de grands volumes de vidéos sans actions annotées, le backbone vidéo absorbe la planification que la politique d'action n'a plus à apprendre seule. Cela exploite des données bien plus abondantes que les démonstrations téléopérées. Le coût d'inférence est aussi un enjeu concret : éviter la génération itérative de vidéo complète rend la replanification en boucle fermée plus réaliste sur du matériel embarqué. Le gain porte surtout sur la robustesse hors distribution, point faible classique des politiques VLA et WAM, ce qui touche directement l'écart entre démonstration et déploiement. Quelques réserves : le test réel repose sur un échantillon qui semble réduit (les pourcentages sont des multiples de 5 points, ce qui suggère une vingtaine d'essais), l'écart de 15 points est donc statistiquement fragile. Le classement 4e sur RoboCasa365 nuance aussi une domination qui n'est établie que sur certains benchmarks. Il s'agit en outre d'un préprint arXiv (2610.02508v1), non évalué par les pairs, sans produit ni déploiement industriel associé. Ce travail s'inscrit dans la montée des modèles du monde appliqués au contrôle, qui cherchent à dépasser les VLA purement réactifs en ajoutant une anticipation visuelle. Les approches denses, qui génèrent des vidéos complètes, pèsent lourd en calcul, tandis que les approches à image future unique manquent de guidage intermédiaire. ProWAM se place entre les deux, avec une anticipation indexée sur la progression de la tâche. Le projet est hébergé sous le nom d'organisation « sii-ferenas » ; le résumé ne précise ni le code ni les poids publiés, ni la comparaison détaillée avec des modèles comme Pi-0 ou GR00T. La suite logique serait une validation sur davantage de tâches réelles, avec des essais plus nombreux, et des mesures de latence sur robot pour confirmer le gain d'efficacité revendiqué.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Robot humanoïde : planification dynamique de tâches guidée par LLM et logique temporelle hiérarchique pour le transfert d'objets

Des chercheurs proposent un nouveau cadre neuro-symbolique pour piloter des tâches de transfert d'objets (handover) entre plusieurs robots en présence d'humains, en combinant modèles de langage (LLM) et logique temporelle formelle. Le système traduit une instruction humaine en langage naturel en spécifications hiérarchiques de type LTLf (Linear Temporal Logic sur traces finies), puis résout un problème conjoint d'allocation de tâches et de planification, appelé STAP (Simultaneous Task Allocation and Planning). Contrairement aux approches statiques classiques, l'architecture intègre une boucle de planification à horizon glissant (receding horizon planning) couplée à une perception en temps réel, ce qui lui permet de réajuster dynamiquement les plans lorsque l'environnement change, par exemple si une personne se déplace ou modifie sa consigne. Les auteurs rapportent des expériences menées à la fois en simulation et sur des robots réels. Ce travail s'attaque à un problème central pour l'industrie robotique : les LLM permettent aujourd'hui à des non-experts de formuler des tâches complexes en langage naturel, mais les plans générés restent souvent cinématiquement infaisables ou inefficaces sur des horizons longs, faute de garanties formelles. À l'inverse, les méthodes de logique temporelle offrent des garanties de correction et d'optimalité, mais fonctionnent généralement hors-ligne et passent mal à l'échelle. En démontrant un gain mesurable de taux de réussite, de fluidité d'interaction et une réduction du surcoût de replanification par rapport à des méthodes de référence, cette approche illustre une piste concrète pour fiabiliser les systèmes multi-robots collaboratifs en environnement partagé avec des humains, un enjeu direct pour les intégrateurs qui cherchent à dépasser le stade de la démonstration contrôlée. Le papier s'inscrit dans la lignée des travaux cherchant à combiner l'expressivité des LLM avec la rigueur des méthodes formelles de planification, un axe de recherche actif face aux limites connues des architectures purement neuronales de type VLA (vision-language-action) pour les tâches longues et critiques en sécurité. Il s'agit d'une republication (replace) sur arXiv, signe d'une révision par les auteurs ; le texte ne précise pas d'affiliation industrielle ni de calendrier de déploiement commercial, ce qui en fait une contribution de recherche plutôt qu'une annonce produit.

RecherchePaper

1 source

3arXiv cs.RO

Vision-Langage-Politique : un modèle pour la planification dynamique des tâches robotiques

Une équipe de recherche propose un nouveau modèle baptisé Vision-Language-Policy, ou VLP, destiné à la planification dynamique de tâches robotiques à partir de commandes en langage naturel. Décrit dans un article déposé sur arXiv (2512.19178, version révisée), le système s'appuie sur un modèle vision-langage affiné sur des données réelles, capable d'interpréter des instructions sémantiques et de raisonner sur la scène de travail observée pour générer directement des politiques de comportement pilotant le robot. Les auteurs ont testé leur approche sur plusieurs robots différents et sur une variété de tâches en conditions réelles, démontrant que le modèle peut ajuster sa stratégie en cours d'exécution lorsque les instructions changent, sans nécessiter de replanification complète. Des vidéos de démonstration sont disponibles sur robovlp.github.io. L'article ne précise pas de métriques chiffrées de type charge utile, degrés de liberté ou temps de cycle, ni de nom de robot commercial identifiable, ce qui limite l'évaluation de la performance réelle du système face aux standards du secteur. L'intérêt de ce travail réside dans la promesse de généralisation inter-incarnations, c'est-à-dire la capacité d'un même modèle à fonctionner sur des morphologies de robots différentes sans réentraînement spécifique à chaque plateforme. C'est l'un des points durs actuels de l'IA robotique, où les modèles VLA (vision-language-action) peinent souvent à transférer d'un bras ou d'un humanoïde à un autre. Si l'adaptabilité dynamique aux changements de consigne se confirme à plus grande échelle, cela répondrait à une limite classique des architectures de planification traditionnelles, qui séparent rigidement le raisonnement de haut niveau de l'exécution bas niveau et s'adaptent mal aux imprévus. Ce travail s'inscrit dans la lignée des modèles VLA récents comme Pi-0 ou GR00T N2, qui cherchent tous à unifier perception, langage et action dans un même modèle entraîné de bout en bout. Il s'agit ici d'une contribution académique, sans annonce de partenaire industriel ni de déploiement commercial, et la prudence reste de mise tant qu'une validation indépendante sur des benchmarks standardisés n'a pas été publiée.

RechercheActu

1 source

4arXiv cs.RO

HEART : coordination d'agents experts hétérogènes pour la planification de tâches robotiques ancrée dans le réel

Une équipe de chercheurs publie sur arXiv (réf. 2606.25404) HEART, un framework de planification robotique qui distribue le raisonnement entre plusieurs LLM spécialisés plutôt que de confier l'ensemble de la tâche à un seul modèle. Le principe : décomposer une instruction complexe en sous-tâches atomiques (vérification des capacités du robot, analyse de l'atteignabilité des objets, respect des contraintes logiques et temporelles), puis allouer chacune à un agent LLM dédié, le tout sous une contrainte de budget en tokens pour rester viable sur du matériel embarqué ou en communication limitée. La synthèse finale produit un plan d'actions physiquement exécutable, validé avant transmission au robot. Les expériences sur plusieurs benchmarks de scénarios domestiques montrent une amélioration consistante du taux de succès face aux planificateurs mono-LLM et aux approches à base de règles, sans que l'abstract disponible détaille de chiffres absolus. La contribution centrale de HEART est d'intégrer une couche de validation physique avant la génération du plan, un angle mort chronique des approches LLM-only. Les modèles de langage généralisent bien le raisonnement symbolique mais peinent avec les contraintes géométriques réelles : objet hors de portée, séquence d'actions physiquement impossible, outil absent. En déléguant ces vérifications à des agents rôle-spécialisés, le framework réduit le taux de plans invalides ou incomplets. Pour les intégrateurs travaillant sur l'automatisation de tâches non-structurées en environnement domestique ou industriel léger, c'est un signal pertinent : la spécialisation des agents LLM par type de contrainte commence à produire des gains mesurables sur les benchmarks standard. Ce travail s'inscrit dans un courant de recherche actif qui cherche à dépasser les limites du "single LLM as planner", avec des approches comme SayPlan, LLM+P ou Code as Policies comme antécédents directs. Aucun acteur industriel ni déploiement terrain n'est mentionné, et le papier reste un preprint non relu par les pairs. L'absence de métriques chiffrées précises dans l'abstract (taux de succès, nombre de benchmarks, configurations matérielles testées) rend l'évaluation externe difficile. Les prochaines étapes naturelles seraient une validation sur robot physique réel et une comparaison contre des frameworks VLA (Vision-Language-Action) comme pi-0 ou GR00T N2, qui intègrent déjà un raisonnement ancré dans la perception sensorielle.

RecherchePaper

1 source