RecherchearXiv cs.RO 16 octobre 2026

LICOA : apprentissage d'actions optiques conditionnées par des instructions pour la réalité augmentée spatiale mobile

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

LICOA est un système de recherche décrit dans un article arXiv (2610.21282) qui traite la lumière projetée comme une action incarnée: à partir d'une instruction en langage naturel et des observations visuelles courantes, le robot décide où se déplacer, où placer la projection et à quelle échelle. La plateforme combine un châssis à entraînement différentiel, qui assure l'approche et le repositionnement à l'échelle d'une pièce, et un miroir orientable à deux degrés de liberté (2DoF) associé à un réglage de l'échelle de projection, pour un contrôle local rapide du faisceau. Une interface commune relie des caméras RGB externes et embarquées synchronisées, ainsi que l'état de contrôle du robot, à des actions optiques physiques, et elle fonctionne avec plusieurs modèles d'action pré-entraînés. Faute de données dédiées, les auteurs ont construit un embodiment simulé équivalent et un corpus de 150 tâches totalisant 7 500 épisodes rendus. Les modèles, entraînés uniquement sur ce corpus, sont évalués dans des environnements réels jamais vus. Sur 480 essais complets en boucle fermée répartis sur 12 tâches, le meilleur modèle adapté atteint 57,50 % de succès et 40,64 % de succès pondéré par la longueur du trajet, contre 8,33 % et 5,15 % pour la même architecture entraînée from scratch. Cent cinquante essais d'ablation supplémentaires indiquent que les deux vues caméra et la coordination entre châssis et miroir sont nécessaires.

L'intérêt tient au changement de paradigme: la réalité augmentée spatiale suppose habituellement une pose de projecteur, une zone cible ou une trajectoire fixées à l'avance. Ici, le projecteur devient un effecteur mobile piloté par des modèles action-langage-vision, ce qui ouvre la voie à des indications projetées à la demande, par exemple guider un opérateur vers un emplacement de picking, signaler une zone de maintenance ou baliser un périmètre de sécurité autour d'un robot, sans réinstaller de matériel. Le résultat le plus instructif est l'écart entre 57,5 % et 8,33 %: le pré-entraînement des modèles d'action transfère bien vers une action physique inédite, même avec un corpus purement simulé. Ce transfert sim-to-real reste toutefois partiel. Un échec sur environ deux essais sur cinq reste très loin du seuil d'un déploiement industriel, et les 12 tâches de test, issues d'un protocole défini par les auteurs eux-mêmes, ne disent rien de la robustesse face à un éclairage variable, des surfaces réfléchissantes ou des opérateurs en mouvement.

Ce travail s'inscrit dans la montée des politiques généralistes de type VLA (vision-language-action), jusqu'ici surtout appliquées à la manipulation et à la locomotion, et les étend à un actionneur non mécanique. Les auteurs ne comparent pas leur approche à des systèmes commerciaux de projection mobile ou de guidage lumineux en entrepôt, et l'article ne mentionne ni acteur industriel ni calendrier de pilote, car il s'agit d'une contribution académique: plateforme, interface, corpus et protocole d'évaluation. La suite logique serait la publication du corpus et du protocole afin que d'autres équipes puissent comparer leurs modèles, puis des tests en conditions réelles, en atelier ou en logistique, où les contraintes de luminosité et de sécurité seront déterminantes.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

AutoIntervene : intervention calibrée pour les politiques d'apprentissage par imitation par segmentation d'actions

Un article publié sur arXiv (2608.07065v1) début août 2026 présente AutoIntervene, un système d'intervention calibrée pour les politiques d'imitation par découpage d'actions ("action chunking"), qui prédisent de courtes séquences d'actions plutôt qu'une commande à chaque pas de temps afin de gagner en cohérence temporelle. Le problème visé : les erreurs de perception et la dérive d'exécution peuvent sortir le robot de la distribution des démonstrations d'entraînement, alors que la politique continue de produire des gestes fluides mais inadaptés à l'état réel observé. AutoIntervene évalue en continu les séquences d'actions proposées face à une mémoire de référence visuelle et gestuelle construite à partir d'exécutions réussies, en combinant similarité visuelle et cohérence entre actions proposées et actions de référence, puis applique deux seuils distincts, l'un local à la phase de tâche pour transférer le contrôle vers l'opérateur, l'autre global pour rendre la main à la politique après récupération, tous deux calibrés automatiquement par quantiles empiriques sur des démonstrations expertes plutôt que réglés à la main ; les segments d'intervention issus des essais réussis servent ensuite de supervision corrective pour mettre à jour la politique. Sur des tâches réelles de manipulation bimanuelle, les auteurs rapportent un taux de succès post-adaptation supérieur et un temps de contrôle opérateur réduit par rapport à une intervention manuelle classique, sans détailler de chiffres précis dans le résumé. Pour les intégrateurs qui déploient des politiques de manipulation apprises par imitation, y compris des architectures vision-langage-action, le goulot d'étranglement reste la supervision humaine : un opérateur doit surveiller en permanence le robot et reprendre la main dès qu'une dérive apparaît, ce qui limite le passage à l'échelle. En automatisant et en calibrant statistiquement ce basculement, AutoIntervene propose un critère quantifiable pour décider quand reprendre ou rendre le contrôle, plutôt qu'un jugement humain ad hoc. L'approche transforme aussi chaque intervention en donnée d'entraînement ciblée sur les états réellement rencontrés en production, une boucle d'amélioration continue moins coûteuse que la recollecte de démonstrations complètes. Elle s'inscrit dans le débat plus large sur la fiabilité des politiques apprises hors distribution : la méthode ne résout pas le problème de généralisation, mais propose un filet de sécurité calibré et exploitable en conditions réelles. Cette méthode s'inscrit dans la lignée des politiques par découpage d'actions, popularisées par des approches comme ACT/ALOHA ou les diffusion policies, qui avaient déjà amélioré la fluidité des gestes appris par imitation sans résoudre le décalage entre distribution d'entraînement et conditions réelles. Elle prolonge aussi la littérature sur l'apprentissage avec intervention humaine, en remplaçant le réglage manuel des seuils de reprise de contrôle par une calibration statistique automatisée à partir de démonstrations expertes. L'article ne cite aucune entreprise ni plateforme robotique commerciale : il s'agit d'une contribution de recherche testée sur des tâches de manipulation bimanuelle réelles, avec vidéos et résultats complémentaires publiés sur aus.bot, et se positionne face aux protocoles d'intervention manuelle aujourd'hui standards pour la collecte de données d'imitation, un enjeu direct pour les laboratoires misant sur la téléopération à grande échelle pour entraîner leurs modèles.

RecherchePaper

1 source

2arXiv cs.RO

Contrôle de mouvement de bras robotiques conditionné par instructions : décomposition langage-code et apprentissage par renforcement

Le cadre ICMC (Instruction-Conditioned Motion Control), décrit dans un preprint arXiv, propose de séparer trois étapes du contrôle robotique piloté par le langage: la spécification des paramètres, la génération d'instructions et la synthèse de code. L'objectif est que chaque résultat d'exécution soit traçable jusqu'à l'instruction et au programme qui l'ont produit. Les auteurs comparent une génération en une passe à ICMC avec les modèles o1 et o4-mini, sur des tâches de pick-and-place de cubes et de reconstitution de lettres avec un bras UR5e simulé sous MuJoCo. Ils entraînent ensuite une politique d'instructions à poids ouverts par GRPO, à travers un générateur de code figé, sur des placements de cubes formant des lettres de deux et cinq cubes, en moyennant les récompenses de cinq programmes par instruction. Le taux de récompense positive journalisé passe de 31,6 % à 35,3 % (253 sur 800, puis 282 sur 800) entre les cinq premiers et les cinq derniers pas d'entraînement. Le point le plus instructif est l'audit des logs. Il relève des labels binaires positifs associés à des messages d'échec géométrique: au moins 19 cas dans la run principale, 18 dans la run à récompense dense et 5 dans la run à un seul programme par instruction. Dans un cas, les cinq récompenses valent 1,0 alors que le journal indique un écart de 0,9515 m pour une tolérance de 0,05 m. Le verdict venait du flux de sortie du programme lui-même, donc du code évalué. Pour les équipes qui entraînent des politiques par RL avec du code généré par LLM, cela illustre un risque concret: quand le signal de succès est produit par le code qu'on évalue, le taux de succès affiché peut être gonflé sans que l'on s'en aperçoive. La hausse de 3,7 points reste modeste. Elle repose en outre sur une seule trajectoire d'entraînement par configuration, ce que les auteurs présentent comme des résultats descriptifs, sans portée statistique. Ces travaux s'inscrivent dans la lignée des approches «langage vers code» pour la manipulation, où un LLM écrit directement le programme de contrôle, et des méthodes RL à la GRPO appliquées à des modèles de raisonnement. Le contexte est purement académique: simulation, bras unique, tâches simples, aucun déploiement réel ni partenaire industriel. La contribution la plus transférable est un protocole d'évaluation indépendant, qui vérifie l'achèvement de la tâche par rapport à des spécifications fixes et sépare le contrôle du robot de l'évaluation du succès. Les auteurs distinguent explicitement les taux de récompense journalisés de la réussite vérifiée de façon indépendante. Reste à voir si ce protocole sera repris sur des tâches plus variées, avec plusieurs graines d'entraînement et sur du matériel réel.

RecherchePaper

1 source

3arXiv cs.RO

Tokenisation d'actions alignée sur le comportement pour l'apprentissage de politiques robotiques

Une équipe de recherche propose une nouvelle méthode de tokenisation d'action baptisée BAAT, pour Behavior-Aligned Action Tokenization, décrite dans un preprint publié sur arXiv fin septembre 2026 (identifiant 2609.27513v1). Le travail cible un maillon technique précis des politiques robotiques autorégressives, ces systèmes qui apprennent le contrôle continu en prédisant des tokens d'action discrets à partir des observations visuelles: les tokenizers existants n'imposent aucune supervision explicite de la correspondance comportementale entre démonstrations, si bien que des mouvements similaires exécutés à des rythmes différents finissent par occuper des représentations distinctes. BAAT résout ce problème en utilisant le soft dynamic time warping, ou Soft-DTW, pour identifier des segments d'action correspondants entre tâches et aligner leurs coordonnées quantifiées conjointement avec l'objectif de reconstruction. Un décodeur par diffusion conditionné par l'historique reconstruit ensuite des séquences d'action continues à partir de ces tokens, sur lesquelles une politique autorégressive est entraînée en aval. Évaluée sur des tâches sélectionnées issues de trois benchmarks de simulation et sur deux tâches en robot réel, la méthode atteint un taux de succès moyen d'environ 45,2% en simulation, soit 7,2 points de pourcentage au-dessus de la référence OAT. Dans une ablation contrôlée sur le benchmark LIBERO-All, le taux de succès de la politique passe de 70,2% à 79,0% lorsque l'alignement comportemental est activé, au prix d'une légère baisse du succès de rejeu de trajectoire. Pour les équipes qui conçoivent des politiques de manipulation robotique, ce résultat s'attaque à un goulot d'étranglement souvent sous-estimé des architectures vision-langage-action: la qualité de la tokenisation en amont conditionne directement ce qu'une politique autorégressive peut apprendre en aval, indépendamment de la taille du modèle ou du volume de données. En montrant qu'une supervision explicite de la correspondance entre mouvements améliore le transfert entre tâches sans sacrifier la précision d'exécution, les auteurs apportent un argument empirique en faveur d'une meilleure structuration de l'espace de représentation des actions, plutôt que du seul passage à l'échelle des données ou des paramètres. Le gain de neuf points de succès en ablation contrôlée reste toutefois mesuré sur un seul benchmark, et l'écart de 7,2 points face à OAT en simulation, bien réel, ne dit rien de la généralisation à des environnements physiques variés ni à des embarquements industriels. Le point de comparaison retenu, OAT, sert de référence pour situer BAAT dans la lignée des travaux récents sur les tokenizers d'action pour politiques robotiques, un axe de recherche actif depuis l'essor des modèles VLA de type Pi-0 ou GR00T N2, qui reposent tous sur une étape de discrétisation des actions continues. Le papier reste à ce stade un résultat académique en préimpression, validé sur des sous-ensembles de tâches de trois benchmarks de simulation plus deux essais sur robot réel, sans indication de déploiement industriel, de partenariat ou de mise à disposition de code. Les auteurs présentent leurs résultats comme un argument en faveur de la correspondance comportementale comme signal de supervision pour organiser la structure de mouvement partagée dans les tokenizers d'action, une piste que d'autres laboratoires pourraient chercher à répliquer sur des benchmarks plus larges avant toute validation en conditions réelles.

RecherchePaper

1 source

4arXiv cs.RO

OJOx : démonstrations conditionnées par des spécifications pour l'IA incarnée dans la construction

Des chercheurs ont publié sur arXiv (id 2609.22289) un article présentant OJOx, une interface de capture de démonstrations conçue pour l'IA incarnée appliquée au secteur de la construction. Le système délivre la géométrie d'un modèle de conception à un casque de réalité mixte, l'ancre dans l'espace de travail physique, puis la restitue dans la vue stéréo en passthrough du démonstrateur, tout en enregistrant simultanément le mouvement du corps entier et des mains. Les auteurs introduisent la notion de "démonstration conditionnée par la spécification" : un enregistrement synchronisé de l'état physique perçu par l'opérateur, de l'état visé fourni par une conception externe, et du comportement qui relie les deux. Une session entièrement instrumentée est rapportée, la pose d'un mur de 33 composants réalisée à partir d'une spécification qui évolue en cours de chantier, et vérifiée par rapport à la scène physique réelle via une caméra externe positionnée indépendamment du système de capture. Les données restent compatibles avec les infrastructures existantes de retargeting pour robots humanoïdes et ont été rejouées en simulation sur un Unitree G1. Ce travail cible un angle mort des pipelines de données pour les modèles vision-langage-action : les grands corpus de démonstrations égocentriques ou corps entier capturent ce qu'une personne fait, rarement pourquoi elle le fait, c'est-à-dire l'intention de conception qui donne son sens au geste. Dans la construction, où chaque ouvrage est défini par un modèle spécifique au projet, une politique entraînée par simple imitation risque de reproduire la géométrie observée sans apprendre à généraliser vers une spécification jamais vue à l'entraînement. OJOx propose donc un format de données permettant de tester explicitement cette capacité de généralisation, plutôt que de simplement supposer qu'elle émerge de l'échelle des données ; il s'agit néanmoins d'une contribution méthodologique et d'un outil de capture, pas d'un produit commercial ni d'un déploiement en usine, à ce stade une preuve de concept limitée à une seule session instrumentée. Cette publication s'inscrit dans la course plus large des laboratoires de robotique incarnée à constituer des jeux de démonstrations humaines à grande échelle pour entraîner des modèles fondation destinés aux robots humanoïdes, un effort généralement concentré sur des tâches de manipulation générique et répétable. La construction, où chaque tâche suit un plan différent, restait jusqu'ici peu couverte par ce type de capture. En rendant ses enregistrements compatibles avec les pipelines de retargeting existants et en les rejouant sur un Unitree G1, l'équipe positionne OJOx comme un module interopérable avec l'écosystème matériel humanoïde déjà en place. L'article ne fournit ni calendrier de déploiement ni partenaire industriel : il ouvre la voie à des jeux de données plus larges pour évaluer si des politiques VLA peuvent réellement agir vers des spécifications absentes de leur entraînement, une question encore ouverte pour l'ensemble du secteur.

RecherchePaper

1 source