Actualités robotique — page 13

7 422 articles au fil, du plus récent au plus ancien.

40

601arXiv cs.RO 

FastOPD : distillation sur politique pour un déploiement léger des modèles VLA

Des chercheurs proposent FastOPD, un cadre de distillation « on-policy » qui transforme un grand modèle VLA (Vision-Language-Action) en élève compact, déployable sur un robot réel. La méthode adapte une flow map pour fournir au modèle élève une supervision à partir d'un seul état du modèle enseignant, puis la combine avec un objectif d'auto-cohérence afin que l'élève apprenne la dynamique de l'enseignant. Les auteurs affirment aussi démontrer théoriquement que l'élève distillé peut retrouver une distribution équivalente à celle d'un enseignant idéal à peu d'étapes. Sur le benchmark de simulation LIBERO, FastOPD conserve 84 % des performances de π0.5 avec seulement deux étapes d'inférence, ce qui réduit la latence de 78,1 % et dépasse les méthodes de distillation à peu d'étapes existantes sur le taux de succès moyen. Avec LingBot-VLA comme enseignant, l'approche gagne 15,9 points de pourcentage en succès à une seule étape par rapport à l'élève de base sur RoboTwin 2.0. Elle est aussi appliquée à un World Action Model (WAM), et un élève compact distillé de MolmoAct2 a été déployé sur un robot réel. L'enjeu est le coût de calcul des VLA, qui croît avec la taille des modèles de fondation et complique leur exécution embarquée à fréquence de contrôle suffisante. Les solutions courantes consistent à concevoir des architectures plus petites ou à réduire les étapes de débruitage des politiques à flux. FastOPD vise une troisième voie : garder le modèle massif comme enseignant et distiller un élève léger. Le résultat est utile pour les intégrateurs, car il suggère qu'une partie de la capacité de généralisation peut être conservée sur du matériel moins coûteux. Il faut toutefois lire les chiffres avec prudence. Conserver 84 % des performances signifie perdre 16 % de succès, un écart qui peut compter en production, et LIBERO comme RoboTwin 2.0 sont des benchmarks simulés. La seule validation physique mentionnée est le déploiement sur un robot réel avec l'élève issu de MolmoAct2. Le résumé ne donne ni tâches, ni taux de succès, ni matériel, donc le fossé entre démonstration et réalité reste à mesurer. Ce travail s'inscrit dans la course à l'efficacité des VLA, après la montée en échelle de modèles comme π0.5. Il compare ses résultats à des références de distillation à peu d'étapes, sans les nommer dans le résumé. Il teste aussi plusieurs enseignants (π0.5, LingBot-VLA, MolmoAct2 et un WAM), ce qui suggère une méthode relativement indépendante de l'architecture. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs, et aucun produit ni calendrier de déploiement commercial n'est annoncé. Les prochaines étapes à surveiller sont la publication du code et des poids, des mesures de latence sur calculateurs embarqués, et des évaluations sur des tâches longues en conditions réelles, qui diront si la distillation tient hors des benchmarks.

Recherche❖Paper

1 source

40

602arXiv cs.RO 

Trouve ce que tu ne sais pas faire : apprentissage par renforcement en conditions réelles à base d'agents pour des modèles VLA auto-améliorants

Des chercheurs proposent FIND, un cadre d'apprentissage par renforcement (RL) en conditions réelles qui permet à un modèle vision-langage-action (VLA) de s'améliorer seul à partir de ses propres échecs. Le dispositif repose sur un VLA π0.5 gelé, complété par un RL « off-policy » résiduel, c'est-à-dire une couche de correction apprise sans toucher aux poids du modèle de base. Sur huit tâches de manipulation réelles, le taux de succès, évalué indépendamment par des humains, passe de 55 % à 71,9 %. Une exécution représentative enchaîne 456 épisodes autonomes en 6 heures d'interaction, avec 30 interventions humaines de remise en ordre de la scène et aucune étiquette de récompense fournie par un humain pendant l'apprentissage en ligne. Un site de projet (FIND.github.io) est annoncé. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel. L'enjeu porte sur deux verrous du RL en monde réel : les remises à zéro manuelles de l'environnement après chaque essai et la supervision du succès par un opérateur. FIND les contourne. Plutôt que de restaurer une scène prédéfinie, un agent vision-langage observe l'état obtenu après chaque essai, choisit dans une bibliothèque prédéfinie les tâches réalisables, privilégie celles au taux de succès récent le plus faible et juge le résultat en comparant les images avant et après exécution. La pratique devient ainsi un problème de sélection de tâches conditionnée par la scène et par la performance. Pour un intégrateur, cela esquisse des VLA qui progressent sur site sans cellule de reset dédiée ni annotation continue. Des réserves s'imposent : le gain reste de 17 points environ, le plafond est inférieur à 72 %, le périmètre se limite à huit tâches d'une bibliothèque fixe, et 30 interventions humaines subsistent. La fiabilité du juge visuel est examinée dans les ablations, ce qui reste le point à vérifier, car une erreur d'évaluation se propage directement à la politique. Ces travaux s'inscrivent dans la série des modèles π0 puis π0.5 de Physical Intelligence, généralement déployés comme politiques figées après pré-entraînement et affinage supervisé. Le RL en monde réel sur ces modèles, déjà exploré par d'autres équipes, se heurtait aux coûts humains que FIND cherche à réduire. L'approche rejoint les boucles d'auto-amélioration revendiquées par des acteurs comme Physical Intelligence, Figure ou Tesla, sans que leurs résultats soient comparables, faute de protocole commun. Les suites probables sont l'extension à des bibliothèques de tâches ouvertes, la réduction des interventions restantes et des tests sur d'autres VLA ou en conditions de production.

Recherche❖Paper

1 source

40

603arXiv cs.RO 

Détecter et supprimer : une défense mécanistique contre les patchs adversariaux dans les modèles VLA

Des chercheurs proposent une défense mécaniste contre les patchs adversariaux qui perturbent les modèles Vision-Langage-Action (VLA), ces politiques de contrôle robotique qui transforment images et instructions textuelles en actions. Les auteurs analysent les représentations internes d'un VLA à l'aide d'un autoencodeur parcimonieux (SAE) et isolent une caractéristique dont l'activation est fortement corrélée à la présence d'un patch adversarial dans l'image. Une sonde linéaire détecte l'attaque, et ce n'est qu'à ce moment que la caractéristique identifiée est supprimée à l'inférence. La méthode ne demande aucun réentraînement du VLA. Les tests portent sur LIBERO-10, un banc d'essai de manipulation en simulation, face à des attaques par patch contre des VLA. Le taux de réussite s'améliore sous attaques intermittentes. Le résumé publié ne donne pas de chiffres précis, et l'évaluation reste cantonnée à la simulation. L'intérêt tient à deux enseignements. D'abord, les défaillances causées par un patch ne sont pas diffuses : elles passent par une direction identifiable dans l'espace des représentations, donc ciblable. Cela ouvre une alternative à l'entraînement adversarial, coûteux, qui impose de réentraîner ou d'affiner des modèles de plusieurs milliards de paramètres. Ensuite, le moment de l'intervention compte. Appliquer la même suppression en continu dégrade nettement la politique en fonctionnement normal. Le coût d'une défense passive est donc réel, et la détection conditionnelle devient la pièce centrale. Pour un intégrateur ou un responsable de site, c'est un rappel que la robustesse des VLA face à des perturbations visuelles physiques (autocollants, objets inattendus, éléments d'affichage) n'est pas acquise. Elle ne se règle pas par un simple filtre appliqué en permanence. Les limites sont à garder en tête : un seul benchmark simulé, des attaques intermittentes, et une défense dont l'efficacité face à un adversaire qui connaîtrait la sonde de détection n'est pas démontrée. Un attaquant adaptatif pourrait chercher à contourner à la fois le détecteur et la caractéristique ciblée. Ces travaux s'inscrivent dans la montée en puissance des VLA (Pi-0, GR00T, Helix et d'autres), dont la sécurité reste moins étudiée que les capacités. Les attaques par patch, héritées de la vision par ordinateur classique, ont été transposées à la robotique : elles y provoquent des erreurs de contrôle et non plus seulement de classification. Cette approche reprend les outils d'interprétabilité mécaniste, notamment les SAE, développés pour l'analyse des grands modèles de langage, et les applique à la défense de politiques robotiques. Les prochaines étapes logiques sont la validation sur des robots physiques, le test d'autres architectures de VLA et de patchs imprimés, ainsi que l'évaluation face à des attaques adaptatives. Aucun déploiement industriel n'est annoncé : il s'agit d'une preuve de concept de recherche publiée sur arXiv.

Recherche❖Paper

1 source

40

604arXiv cs.RO 

AVL-JEPA : éviter l'effondrement de l'information sur la dynamique causale dans les modèles du monde à architecture prédictive à plongement conjoint

Des chercheurs proposent AVL-JEPA (action-grounded vision-invariance latent), une méthode d'entraînement destinée aux world models de type JEPA (joint embedding prédictive architecture), publiée sur arXiv sous la référence 2610.03587v1. Les JEPA prédisent les représentations latentes futures sans reconstruire les observations, ce qui leur permet de se concentrer sur la dynamique sémantique de haut niveau. Les auteurs décrivent toutefois un défaut qu'ils nomment « causal dynamics information collapse » : le modèle conserve beaucoup d'information visuelle tout en perdant celle qui relie une action à ses conséquences physiques. Pour y remédier, AVL utilise d'abord l'action exécutée comme ancre auxiliaire de dynamique, afin d'obliger le modèle à préserver cette information. Une seconde voie, dite d'invariance visuelle, aligne ensuite les prédictions latentes issues d'observations perturbées et propres, sans sacrifier cette information. La validation porte sur quatre tâches de contrôle robotique : TwoRoom, PushT, OGBench Cube et Reacher. Selon les auteurs, les taux de succès progressent nettement sous perturbations visuelles, sans dégrader les performances en environnement propre. Le résumé ne donne aucun chiffre précis, ni de gain, ni de taille de modèle. L'enjeu concerne la robustesse des world models, un point faible fréquent dans le passage du laboratoire au terrain. Un modèle qui planifie dans l'espace latent peut paraître performant en démonstration, puis échouer quand l'éclairage, le bruit de capteur ou les reflets changent, ce qui est courant en usine ou en entrepôt. L'article désigne un mécanisme concret : un JEPA entraîné sans contrainte explicite peut bien reconstruire l'apparence de la scène tout en ignorant ce qui compte pour la planification. Les auteurs ajoutent des diagnostics au-delà du taux de succès : alignement des conséquences physiques, cohérence de la dynamique entre entrées propres et bruitées, et effacement ciblé du sous-espace de transition pour mesurer son effet causal. Cette approche est plus informative qu'un simple score. Pour un intégrateur ou un responsable R&D, ces tests montrent comment vérifier si un modèle comprend vraiment la dynamique avant de le déployer. Il faut cependant relativiser : les quatre tâches sont des benchmarks de recherche, en simulation ou en environnement simplifié, loin de la variabilité industrielle. Il s'agit d'un résultat académique préliminaire (v1), sans validation sur robot réel annoncée. Ce travail s'inscrit dans le courant des world models prédictifs en espace latent, popularisé par les architectures JEPA, et dans la recherche de planification à partir de représentations apprises. Les benchmarks choisis (PushT, OGBench Cube, Reacher) sont des références courantes pour la manipulation et le contrôle, mais restent modestes face aux modèles de fondation robotiques développés par des acteurs industriels. Le résumé ne cite ni comparaison avec des baselines nommées, ni pilote, ni calendrier de transfert. La suite logique serait de tester la méthode sur des plateformes physiques, avec des perturbations réalistes et des tâches plus longues, avant d'envisager toute intégration dans des pipelines de production.

Recherche❖Paper

1 source

40

605arXiv cs.RO 

TimelyDAgger : interrogation d'expert au bon moment pour améliorer les politiques VLA

Des chercheurs proposent TimelyDAgger, une méthode d'apprentissage par imitation interactive pour améliorer des politiques robotiques de type VLA (vision-langage-action). Elle repose sur DAgger, qui agrège les corrections d'un expert dans les états réellement visités par la politique pendant son exécution. Dans la variante « robot-gated », le robot décide lui-même quand demander la reprise en main par l'expert. TimelyDAgger combine deux briques: Bridge-PCA, qui surveille les représentations internes du modèle VLA, et Feedback-guided Threshold Adaptation, qui ajuste le seuil de déclenchement d'après le comportement de l'expert. Les auteurs introduisent aussi un cadre d'évaluation reliant détection d'échec, moment de la reprise et progrès de la politique, avec une métrique, le Target-Aligned Supervision Ratio (TASR), qui mesure la qualité de la supervision sans réentraîner le modèle. Le travail, publié sur arXiv (version 2 du 2609.33157), s'accompagne d'un site de projet. Aucun chiffre de performance n'est donné dans le résumé. L'enjeu touche un point peu discuté du déploiement de VLA: le coût de la supervision humaine. Jusqu'ici, les portes d'appel à l'expert cherchaient surtout à détecter quand le robot est en difficulté. Les auteurs soutiennent que l'instant de la reprise façonne le contenu des démonstrations collectées, donc leur valeur pour l'apprentissage. Une reprise trop tardive ou trop précoce produit des données moins utiles. Pour un intégrateur ou un exploitant qui mobilise des téléopérateurs, le budget d'actions expertes est le vrai facteur limitant. Sous budget égal, TimelyDAgger obtiendrait un taux de succès supérieur après réentraînement dans la plupart des configurations testées, avec une détection d'échec seulement « compétitive », donc pas systématiquement meilleure. La formulation prudente invite à la réserve: on ignore l'ampleur des gains, les robots, les tâches et le nombre d'essais, et le TASR est une métrique proposée par les auteurs eux-mêmes, qui reste à valider par d'autres équipes. Ce travail s'inscrit dans le prolongement de DAgger, introduit en 2011, et de ses variantes à déclenchement autonome (HG-DAgger, ThriftyDAgger et apparentées), qui ont popularisé l'idée de laisser le robot solliciter l'humain. L'essor des modèles VLA généralistes, comme Pi-0 ou Helix, rend la question plus pressante: ces modèles se perfectionnent désormais par corrections en conditions réelles, et la collecte de données d'intervention devient un goulot d'étranglement. Les suites logiques seraient des tests sur plusieurs architectures VLA, des évaluations sur robots physiques à plus grande échelle et une comparaison directe avec les méthodes concurrentes de collecte de corrections. Aucun partenariat industriel ni calendrier de déploiement n'est annoncé, et le résultat relève pour l'instant de la recherche académique.

Recherche❖Paper

1 source

39

606arXiv cs.RO 

CORNAV : raisonnement tenant compte des travaux pour la navigation de robots sur chantiers actifs

CORNAV, un cadre de navigation pour robots publié sur arXiv (2610.03622), vise à faire circuler des robots mobiles sur des chantiers actifs à partir de plans CAD 2D et de plannings de projet, sans exiger de maquette numérique BIM. Le système aligne les plans architecturaux sur des graphes de scène 3D hiérarchiques à vocabulaire ouvert pour ancrer les requêtes en langage naturel. Il convertit ensuite le planning en contraintes de navigation variables dans le temps. Un module de sécurité fondé sur un LLM valide chaque demande et fait remonter les zones dangereuses avant la planification. Un planificateur A* impose enfin des zones d'exclusion obligatoires et évite de préférence les zones à risque élevé. Les tests ont eu lieu dans un bureau intérieur et sur un vrai chantier. L'ancrage par plans fait passer le taux de réussite des tâches de 13,0 % à 72,2 %, par rapport à la seule récupération sémantique. La prise en compte du planning supprime toutes les violations de zones strictes. Le module de sécurité rejette correctement les demandes dangereuses issues de plannings mal étiquetés. Ces résultats comptent d'abord parce qu'ils visent une limite connue des systèmes de navigation guidés par le langage. Ceux-ci reposent sur la seule compréhension sémantique de la scène et localisent mal les éléments permanents du bâtiment. Le saut de 13,0 % à 72,2 % montre que le goulot d'étranglement est le contexte métier plutôt que la perception brute. Exploiter des plans 2D et des plannings déjà présents sur la plupart des chantiers abaisse la barrière d'entrée, car peu de chantiers disposent d'un BIM à jour. Pour les intégrateurs et les responsables de sites, l'intérêt est une navigation qui respecte les zones interdites évolutives. Le rejet de requêtes issues de plannings erronés répond à un risque réel : les données de chantier sont souvent incomplètes ou fausses. Il faut toutefois rester prudent. Les résultats viennent d'un travail académique, sur un nombre limité d'environnements, et le seul site réel testé ne dit rien de la robustesse à grande échelle. Les auteurs partent d'un constat économique : la construction souffre de pénuries de main-d'œuvre, d'une faible productivité estimée à plus de 1 600 milliards de dollars de coût annuel pour l'économie mondiale, et d'un des taux d'accidents les plus élevés parmi les grands secteurs. Ces facteurs alimentent l'intérêt pour les robots autonomes sur chantier, déjà explorés par des acteurs comme Boston Dynamics avec Spot pour la capture de l'avancement. Les approches de navigation par graphes de scène à vocabulaire ouvert, qui servent de base ici, restent peu adaptées aux contraintes réglementaires et temporelles d'un chantier. CORNAV est un travail de recherche, pas un produit ni un déploiement commercial, et aucun calendrier de pilote n'est annoncé. Les suites logiques seraient des essais sur davantage de sites, une intégration avec des robots de terrain et une évaluation de la fiabilité du module de sécurité face à des plannings dégradés.

Recherche❖Paper

1 source

39

607arXiv cs.RO 

Skill2Real : apprentissage de compétences à base d'agents pour la manipulation robotique en transfert simulation-réel sans entraînement supplémentaire

Des chercheurs publient sur arXiv (2610.02788) Skill2Real, un cadre de politiques « agentiques » qui apprend des compétences robotiques exécutables à travers une interface de programmation (API) partagée, puis les transfère à un robot réel en zero-shot, sans réglage fin de la politique de tâche ni mise à jour de la mémoire de compétences. L'architecture est hiérarchique : un « Cerebellum » acquiert d'abord des compétences locales de manipulation, puis un « Brain » apprend la composition au niveau de la tâche, le Cerebellum restant gelé. Un cycle Proposer-Verifier-Governor (PVG) s'appuie sur des données privilégiées de simulation pour diagnostiquer les échecs et valider les modifications, tout en gardant les compétences ancrées dans les observations publiques et la sémantique de l'API. Les chiffres annoncés : avec GPT-5.6 Sol apprenant sur LIBERO-90 et GPT-6 Astra évaluant chaque checkpoint gelé, le taux de réussite sur LIBERO-Pro Long passe de 2,0 % à 56,3 %, sans entraînement sur ce jeu. Un entraînement indépendant sur Robosuite atteint 85,1 % (Sol) et 89,4 % (Opus 5) de réussite moyenne sur sept tâches. Sur quatre tâches réelles, les compétences gelées apprises par Sol sur LIBERO-90 atteignent 78,75 % d'achèvement moyen avec Astra. L'intérêt tient à l'approche : plutôt que d'entraîner un VLA de bout en bout et de combler l'écart sim-to-real par de la randomisation de domaine ou du fine-tuning sur données réelles, le travail fait apprendre à un LLM des programmes qui appellent une API commune. Cette couche d'abstraction absorbe en partie les différences de perception, de dynamique et d'embodiment. Les ablations donnent un signal utile : retirer le Verifier ou le Governor pendant l'entraînement réduit le succès final sur Pro Long de 17,3 et 13,3 points, ce qui suggère que la boucle de validation compte autant que le modèle. Pour les intégrateurs, cela évoque une voie où les compétences deviennent des actifs logiciels réutilisables d'un robot à l'autre. Les réserves sont nettes : quatre tâches réelles seulement, une moyenne de 78,75 % qui masque sans doute des écarts entre tâches, un résultat dépendant de modèles de fondation propriétaires, et une dépendance à une API bien conçue qui déplace une partie de la difficulté plutôt qu'elle ne la supprime. Il s'agit de résultats de laboratoire, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la lignée des approches « code as policies » et des agents LLM pour la robotique, qui rivalisent avec les VLA comme Pi-0 ou GR00T, entraînés sur de grands volumes de démonstrations. LIBERO et Robosuite sont des bancs d'essai standards de manipulation en simulation, et LIBERO-Pro est une variante plus exigeante visant à tester la robustesse, ce qui rend le bond de 2,0 % à 56,3 % d'autant plus notable, même s'il reste loin d'une fiabilité industrielle. L'article ne mentionne ni calendrier ni pilote industriel. Les prochaines étapes à surveiller sont des tests sur davantage de tâches et d'embodiments, une évaluation avec des modèles ouverts, et une comparaison directe avec des VLA affinés sur données réelles.

Recherche❖Paper

1 source

39

608arXiv cs.RO 

Apprentissage de comportements réflexes pour la manipulation riche en contacts

Des chercheurs publient sur arXiv (2610.02811) une politique « réflexe » proprioceptive pour la manipulation riche en contacts. Elle est entraînée uniquement en simulation, sur trois primitives d'interaction très simples : un ressort, un plan et un rail. Elle convertit des commandes exprimées dans l'espace tâche en consignes de position articulaire, à partir de l'historique d'état du robot. Elle n'utilise aucune mesure directe de force ni de géométrie. Une fois entraînée, elle est figée et placée sous des contrôleurs de plus haut niveau, comme une couche d'exécution. Les tests couvrent le levage de caisse à deux bras, l'insertion de pion et le suivi de surface. Pour la caisse, la force reste sous le seuil fixé, alors que la référence échoue. Sur surface rugueuse, elle reste sous la référence de 10 N, au niveau d'un contrôle hybride force-position réglé à la main. Pour l'insertion de pion avec un jeu de 0,02 mm, la force de contact moyenne estimée est divisée par plus de deux, et le taux de réussite sur matériel passe d'au plus 22 % à 36-58 %. L'intérêt tient à la séparation entre génération de commande et réponse au contact. Les approches courantes, contrôle en position, hybride force-position ou impédance cartésienne, imposent une raideur, un objectif de suivi ou des directions de force qui ne correspondent pas toujours à la géométrie locale. Ici, une même couche réflexe peut servir sous un planificateur de mouvement, une politique apprise (type VLA) ou un opérateur en téléopération, sans réglage propre à chaque tâche. Si le résultat se confirme, il va dans le sens d'un transfert sim-to-real réussi pour le contact avec des primitives minimales. Il permet aussi un contrôle sans capteur de force, donc moins coûteux, ce qui intéresse les intégrateurs de cellules d'assemblage. Les limites sont nettes : les taux d'insertion de 36-58 % restent loin des exigences industrielles, la force de contact est estimée et non mesurée, et le résumé ne précise ni la plateforme ni le nombre d'essais. Ce travail s'inscrit dans le débat entre contrôle classique du contact (impédance, admittance, hybride force-position) et apprentissage par renforcement en simulation, jusqu'ici surtout appliqué à la locomotion. Il ne s'agit pas d'un produit mais d'une prépublication v1, non évaluée par les pairs, sans calendrier de déploiement. Les suites logiques sont une validation sur davantage de tâches et de robots, une comparaison avec des politiques de manipulation de bout en bout, et une intégration sous des modèles VLA, qui produisent des commandes de haut niveau peu sensibles aux contraintes de contact.

Recherche❖Paper

1 source

39

609arXiv cs.RO 

Repenser le modèle monde-action pour la manipulation robotique compositionnelle et en contexte

Des chercheurs proposent ViGAR (Visual Goal-conditioned Action Reasoning), un cadre hiérarchique pour la manipulation robotique compositionnelle à long horizon, détaillé dans un preprint arXiv (2610.02368). Il sépare la tâche en deux modules. Un planificateur de sous-buts visuels prédit, à partir de l'observation courante et de l'instruction globale, une image du sous-but de la prochaine sous-tâche. Un exécuteur de sous-buts génère ensuite conjointement les trajectoires visuelles futures et les actions, conditionnées par ce sous-but. Les deux composants partagent la même représentation de world model pré-entraîné. Sur le benchmark simulé RoboTwin Clean2Random, ViGAR atteint 82,00 % de réussite en configuration Clean et 67,02 % en configuration Random. Cela représente 12,86 points de pourcentage de mieux que la meilleure référence, en moyenne. Les auteurs ajoutent des essais sur robot réel : cinq tâches compositionnelles et deux tâches d'apprentissage en contexte. Le résumé ne précise ni la plateforme matérielle, ni le nombre d'essais, ni les modèles de référence. Ce travail s'attaque à une limite connue des world-action models (WAM), qui prédisent à la fois de courts futurs visuels et des actions, mais sans raisonnement explicite au niveau des sous-tâches. Pour un intégrateur, la plupart des tâches utiles, comme l'assemblage, le tri ou le conditionnement, enchaînent plusieurs gestes coordonnés, et c'est sur cet enchaînement que les politiques de bout en bout échouent le plus souvent. Introduire un sous-but visuel explicite rend le plan lisible et inspectable, ce qui compte pour le diagnostic en production. L'apprentissage en contexte va dans le même sens. Une image du but global fournie comme contexte suffit à induire des décompositions et des comportements différents, sans mise à jour des paramètres. Cela réduirait le coût de reconfiguration d'une cellule robotisée. Les résultats restent à relativiser : le score Random de 67 % montre qu'une perte de performance subsiste face à la variabilité de l'environnement, et les tests réels sont peu nombreux. Ce travail s'inscrit dans la montée des politiques vision-langage-action (VLA) et des world models comme base de la manipulation généraliste. Il se place face à des approches qui produisent des actions seules, comme Pi-0, ou des modèles qui prédisent des futurs vidéo sans hiérarchie. Le benchmark RoboTwin, de manipulation bimanuelle avec randomisation de l'environnement, sert de plus en plus de test de robustesse. C'est un résultat académique, sans produit ni déploiement annoncé. Les prochaines étapes à surveiller sont la validation sur des horizons plus longs et des plateformes variées, la publication du code et des poids, et le coût de calcul d'une prédiction visuelle à chaque sous-tâche, que le résumé ne chiffre pas.

Recherche❖Paper

1 source

39

610arXiv cs.RO 

Esquisses proprioceptives comme intention à long terme pour des politiques d'action génératives

Des chercheurs proposent les Proprioceptive Action Models (PAM), une architecture de politique générative qui produit, dans un même transformer de débruitage (diffusion), deux sorties jointes : un « croquis » compact du chemin articulaire restant à parcourir, et un chunk d'actions dense directement exécutable. Le croquis est paramétré par l'abscisse curviligne (arc length) plutôt que par le temps, ce qui encode une intention géométrique indépendante du rythme d'exécution. Une attention block-causal et un calendrier de débruitage décalé (staggered) imposent une dépendance orientée du croquis vers les actions : les tokens d'action sont conditionnés sur un croquis de plus en plus propre au fil de l'échantillonnage. En simulation, PAM améliore ses équivalents « actions seules » sur Push-T et LIBERO-Long. Sur quatre tâches bimanuelles réelles, le taux de réussite passe de 47,5 % à 75,0 %. L'étude, publiée sur arXiv (2610.02759), est accompagnée d'une page projet. Aucun matériel commercial ni déploiement n'est annoncé : il s'agit d'un résultat de recherche. Le problème visé est bien connu des équipes qui déploient des politiques de type VLA ou diffusion : ces modèles prédisent des chunks d'actions courts et n'ont pas de représentation explicite de l'intention à long horizon, d'où des dérives ou des hésitations sur les tâches longues. Les solutions existantes (plans en langage, images de sous-buts, prévisions vidéo) sont coûteuses à générer et doivent encore être converties en mouvement robot. Prédire directement des trajectoires futures évite cette traduction, mais une trajectoire dense indexée sur le temps exige beaucoup de paramètres pour couvrir toute la tâche restante, et sur un horizon court elle répète le chunk d'actions. Le croquis en espace articulaire, léger et sans temps, offre un compromis : un signal de guidage long horizon qui reste dans l'espace propre du robot. Un bémol : un gain de 47,5 % à 75,0 % sur quatre tâches réelles est encourageant, mais le résumé ne donne ni le nombre d'essais, ni les plateformes, ni la variance, et la comparaison se fait uniquement avec la version sans croquis du même modèle, pas avec des baselines externes comme Pi-0 ou des modèles à plans en langage. Ce travail s'inscrit dans la course pour doter les politiques génératives (Diffusion Policy, ACT, puis les VLA de type Pi-0, GR00T ou Helix) d'une planification plus longue sans alourdir l'inférence. Il se positionne contre les approches qui passent par la vidéo ou le langage, plus lourdes à calculer. Les prochaines étapes à surveiller sont une validation sur des modèles de fondation à grande échelle, des tâches de manipulation plus variées et des comparaisons directes avec les VLA actuels, avant que l'idée ne passe en intégration industrielle.

Recherche❖Paper

1 source

39

611arXiv cs.RO 

Garder l'effet, supprimer l'acteur : modèles monde-action programmables de l'effet à l'exécution

Des chercheurs proposent PEWAM, un modèle monde-action de 71,5 millions de paramètres qui part d'une idée simple : une démonstration robotique enregistre à la fois ce qui arrive aux objets et la façon dont un bras précis l'a obtenu, et seul le premier élément devrait être conservé. La démonstration est « compilée » en un programme d'effet : trajectoires de keypoints 3D des objets déplacés, deux points indiquant où chacun a été saisi, et configuration finale de la scène, démonstrateur effacé. PEWAM génère quatre flux (effet, exécution du robot, action, état terminal) avec des temps de flow-matching indépendants. Fixer le programme et échantillonner l'exécution revient à « programmer » le robot, avec une résolution répétée en boucle fermée depuis la scène réelle. Sur les tâches LIBERO-Goal hors entraînement, le programme issu d'une seule démonstration réussit 40 épisodes sur 90, contre 19 au maximum pour le même backbone conditionné par une image-but ou du langage, et pour les méthodes publiées conditionnées par démonstration. Sur Meta-World, il dépasse les meilleurs résultats publiés sur trois classes tenues à l'écart, mais pas sur la moyenne des cinq classes. L'enjeu pratique tient à la nature du programme : un ensemble de coordonnées, donc modifiable par un opérateur. Décaler l'état terminal déplace le placement, et pivoter les points de contact fait tourner la prise. Le même programme s'exécute sur quatre bras différents sans réentraînement, ce qui touche directement le problème de transfert entre embodiments qui freine les intégrateurs. Après une poussée perturbatrice, la ré-résolution réussit 23 épisodes sur 60, contre 6 pour un simple rejeu de la démonstration, un écart qui illustre la fragilité des approches par rejeu. Sur un bras Franka, affiné sur des démonstrations réelles d'autres tâches, des programmes compilés à partir de vidéos humaines uniques aboutissent à 36 essais sur 40, contre 22 pour le même backbone conditionné par la dernière image de la vidéo. Ces résultats suggèrent qu'apprendre un « quoi » explicite plutôt qu'un « comment » lié à un acteur améliore la généralisation, mais ils proviennent d'une publication préprint, sans évaluation indépendante. Il faut relativiser la portée : LIBERO et Meta-World sont des benchmarks de simulation, et seule l'expérience Franka touche au réel, sur un nombre limité d'essais (40). Un taux de 40/90 en simulation reste loin d'un seuil de fiabilité industriel. Le travail s'inscrit dans la course aux VLA et modèles monde-action, face à des approches généralistes comme Pi-0 ou GR00T, qui misent sur l'échelle des données plutôt que sur une représentation intermédiaire éditable. Sa taille réduite (71,5M de paramètres, très inférieure aux modèles de ces acteurs) en fait une piste intéressante pour l'imitation à partir d'une seule vidéo humaine. Les prochaines étapes à surveiller sont la validation sur des tâches réelles plus variées, la robustesse de l'extraction de keypoints en environnement encombré et une éventuelle mise à disposition du code. Aucun acteur français ou européen n'est cité dans cette publication.

Recherche❖Paper

1 source

39

612arXiv cs.RO 

UniIntervene++ : un agent d'intervention adaptatif pour un apprentissage par renforcement efficace en conditions réelles

UniIntervene++ est un agent d'intervention adaptatif pour l'apprentissage par renforcement (RL) en ligne sur robot réel, décrit dans un preprint arXiv publié en octobre 2026, avec code sur GitHub. Il décide, pendant l'entraînement, de qui contrôle le robot : la politique RL en cours d'apprentissage, une correction de trajectoire, ou une CodePolicy, c'est-à-dire un comportement structuré par la tâche et écrit sous forme de code. Ces trois comportements sont modélisés comme des « options » dans un processus de décision semi-markovien, dont l'agent apprend les valeurs relatives en ligne. Il sonde aussi régulièrement la politique RL en la laissant s'exécuter sans assistance, pour mesurer sa compétence réelle. Sur cinq tâches de manipulation réelles, le taux de succès moyen atteint 89,67 %, soit au moins 6 points de plus que tous les baselines. L'intervention humaine tombe à 0,77 % des pas, une réduction relative d'au moins 94,6 % face au meilleur baseline. Cela implique que celui-ci en demandait environ 14 % ou plus. L'enjeu est le coût du RL en conditions réelles, aujourd'hui dominé par le temps opérateur. Les stratégies existantes reposent sur des estimations hors ligne ou des règles fixes, qui deviennent inadaptées à mesure que la politique progresse. Passer sous 1 % d'intervention, si cela se confirme, rendrait l'amélioration d'une politique sur site beaucoup moins coûteuse pour un intégrateur. Les résultats viennent toutefois d'une seule équipe, sur cinq tâches que l'abstract ne détaille pas. Les baselines ne sont pas nommés non plus, et rien n'indique la robustesse hors de ces tâches ni le coût d'écriture des CodePolicies, qui demandent une connaissance experte de la tâche. Ce travail prolonge les approches de RL avec humain dans la boucle, où l'opérateur reprend la main pour corriger le robot, dont HIL-SERL est l'exemple le plus connu. Ces méthodes laissent l'opérateur décider seul du moment et de la manière d'intervenir, et leur charge reste élevée. UniIntervene++ remplace cette décision par un agent qui apprend quand intervenir, comment, et quand rendre le contrôle. L'expérience gagnée sous assistance sert aussi à améliorer la politique RL, dont les résultats modifient ensuite les décisions d'intervention. Il s'agit d'une recherche académique : aucun déploiement industriel ni calendrier n'est annoncé. La prochaine étape sera de voir si d'autres laboratoires reproduisent les résultats grâce au code publié, notamment sur des tâches plus longues ou des robots différents.

Recherche❖Paper

1 source

39

613arXiv cs.RO 

EyeRobot 2.0 : regard actif pour une manipulation précise, sans caméras au poignet

EyeRobot 2.0, un framework décrit dans un preprint arXiv (2610.03710), propose de remplacer les caméras de poignet des robots bimanuels par une seule caméra stéréo mobile qui imite le regard humain. Le système pivote physiquement deux points de vue « yeux » pour centrer leur regard sur un point de fixation 3D de la scène. Les images sont ensuite traitées de façon fovéale : davantage de tokens visuels sont alloués au centre de l'image, ce qui concentre le calcul sur les éléments utiles à la tâche. Les auteurs ont collecté des données de téléopération pour 7 tâches réelles et 6 tâches simulées, puis mené plus de 1000 essais physiques et 1800 essais en simulation. Ils comparent leur approche à des politiques à stéréo passive et à des politiques « ego + caméras de poignet », entraînées sur les mêmes données. Sans caméras de poignet, une politique standard à stéréo passive voit son taux de succès réel chuter de 52 % à 27 %. EyeRobot 2.0 comble cet écart avec la seule stéréo : +40 % face à la stéréo passive en réel et +20 % en simulation. Il atteint 69 % contre 64 % pour les politiques à caméras de poignet lorsque leurs vues sont dégagées, et 48 % contre 22 % lorsque l'objet saisi occulte ces caméras. Ces résultats touchent un choix de conception très répandu en manipulation par apprentissage : les caméras de poignet sont devenues quasi systématiques pour obtenir de la précision en saisie fine, au prix de câblage, de fragilité, d'occlusions et de coûts de calibration. Montrer qu'un regard actif peut les remplacer, et même les surpasser quand la pince masque la vue, simplifie potentiellement le matériel et réduit les pannes sur des cellules robotisées. Le résultat suggère aussi que la contrainte principale n'est pas la résolution mais l'allocation de l'attention visuelle. Il faut toutefois rester prudent : il s'agit d'un preprint, sans déploiement industriel, sur 7 tâches de laboratoire avec des données de téléopération, et les gains relatifs sont à lire avec les taux absolus, qui restent modestes (69 % au mieux). Techniquement, la coordination du regard est hiérarchique. Une politique de bas niveau d'asservissement du regard, conditionnée par un objet cible, est entraînée par apprentissage par renforcement (RL) sur données réelles avec une récompense géométrique dense. Un sélecteur de cibles, qui émet les points de fixation selon l'avancement de la tâche, est co-entraîné avec la politique de pince en clonage comportemental (BC). Il découvre ainsi des séquences de fixation proches de celles d'un humain. Le système exprime aussi les informations de pince dans un repère SE(3) relatif à la fixation, ce qui réduit la taille de la distribution d'actions à apprendre. Cette approche prolonge les travaux de vision active et de têtes robotiques fovéales, et se positionne face aux politiques VLA multi-caméras qui s'appuient sur des vues de poignet. Aucune échéance de déploiement n'est annoncée.

Recherche❖Paper

1 source

39

614arXiv cs.RO 

DeltaWorld : simulateurs de monde interactifs physiquement cohérents par apprentissage d'incréments latents conditionnés par l'action

Des chercheurs proposent DeltaWorld, un simulateur de monde interactif pour la manipulation robotique, décrit dans un preprint arXiv (2610.02691v1). Les modèles de monde actuels prédisent l'état latent suivant en entier, ce qui leur fait souvent manquer les changements subtils provoqués par les actions du robot. Le résultat peut être physiquement implausible : objets qui s'interpénètrent, déformations excessives. DeltaWorld change de paradigme avec un « Delta Latent Transition Model » (Delta-LTM). Celui-ci prédit uniquement la variation latente induite par l'action, puis l'ajoute à l'état courant pour obtenir l'état suivant. Un second module, l'« Interaction-aware Latent Alignment », construit des régions d'interaction contrefactuelles et supervise les changements latents liés au contact. Le modèle est évalué sur le benchmark de manipulation IWS et sur un jeu de données multi-robots collecté par les auteurs, couvrant plusieurs morphologies et tâches. Sur ce dernier, DeltaWorld réduit la FVD (Fréchet Video Distance) de 46,6 % et la LPIPS de 31,1 % par rapport à la baseline IWS. L'enjeu dépasse la métrique vidéo. Un simulateur interactif fiable permettrait de planifier, d'entraîner des politiques et de les évaluer sans multiplier les essais physiques, ce qui coûte cher en temps, en matériel et en supervision. Or un modèle de monde qui laisse un objet traverser la pince produit des trajectoires inexploitables pour l'entraînement de politiques VLA (vision-langage-action) ou pour l'évaluation hors ligne. Prédire l'incrément plutôt que l'état complet est un choix d'architecture simple, et il cible le défaut principal des modèles actuels : la dérive physique sur les longs horizons. Il faut toutefois rester prudent. FVD et LPIPS mesurent la qualité perceptuelle, pas la justesse physique ; aucune mesure de taux de succès de politique ou de corrélation avec le monde réel n'est mentionnée dans le résumé. Le jeu de données multi-robots n'étant pas public à ce stade, les gains restent à confirmer indépendamment. Ce travail s'inscrit dans la course aux « world models » pour la robotique, où les simulateurs appris sont présentés comme une alternative ou un complément à la simulation physique classique, et comme un moyen de réduire l'écart simulation-réel. Il se positionne contre IWS, la baseline de référence ici, et s'adresse au même terrain que les grands modèles de monde et de vidéo développés par les laboratoires industriels. Aucune implication d'entreprise, européenne ou autre, ni calendrier de déploiement ou de mise en open source n'est précisé dans le résumé. Il s'agit d'un preprint de recherche, non d'un produit livré. Les prochaines étapes à surveiller sont la publication du code et des données, des tests sur des horizons plus longs, et surtout la preuve que ces simulateurs améliorent concrètement l'entraînement et l'évaluation de politiques sur robot réel.

Recherche❖Paper

1 source

39

615arXiv cs.RO 

Modélisation du monde et des actions avec planification visuelle progressive

Des chercheurs présentent ProWAM, un « world action model » (WAM) progressif qui prédit conjointement des actions robotiques et une séquence ordonnée de sous-objectifs visuels épars, à partir d'une observation initiale et d'une instruction. Les WAM existants butent sur les tâches longues : générer des vidéos denses est coûteux, et les variantes qui ne prédisent qu'une seule image future ne disent pas comment progresser vers le but. ProWAM exécute une seule passe avant du backbone vidéo pour mettre en cache les caractéristiques de ces sous-objectifs, puis n'effectue qu'un débruitage d'actions léger à chaque replanification. Les résultats annoncés en simulation sont 85,8 % sur LIBERO-Plus et 75,7 % sur RoboTwin randomisé, soit jusqu'à +35,9 % en relatif face à la meilleure référence. Sur RoboCasa365, le modèle atteint 48,1 % de réussite globale (4e rang) et 18,2 % sur le split difficile Composite-Unseen. En conditions réelles, en zéro-shot dans des scènes inédites, il obtient 70,0 % de réussite contre 55,0 % pour la meilleure référence, soit +15 points (+27,3 % en relatif). L'intérêt tient à la manière dont le modèle sépare planification visuelle et contrôle. Comme la prédiction de sous-objectifs peut s'apprendre sur de grands volumes de vidéos sans actions annotées, le backbone vidéo absorbe la planification que la politique d'action n'a plus à apprendre seule. Cela exploite des données bien plus abondantes que les démonstrations téléopérées. Le coût d'inférence est aussi un enjeu concret : éviter la génération itérative de vidéo complète rend la replanification en boucle fermée plus réaliste sur du matériel embarqué. Le gain porte surtout sur la robustesse hors distribution, point faible classique des politiques VLA et WAM, ce qui touche directement l'écart entre démonstration et déploiement. Quelques réserves : le test réel repose sur un échantillon qui semble réduit (les pourcentages sont des multiples de 5 points, ce qui suggère une vingtaine d'essais), l'écart de 15 points est donc statistiquement fragile. Le classement 4e sur RoboCasa365 nuance aussi une domination qui n'est établie que sur certains benchmarks. Il s'agit en outre d'un préprint arXiv (2610.02508v1), non évalué par les pairs, sans produit ni déploiement industriel associé. Ce travail s'inscrit dans la montée des modèles du monde appliqués au contrôle, qui cherchent à dépasser les VLA purement réactifs en ajoutant une anticipation visuelle. Les approches denses, qui génèrent des vidéos complètes, pèsent lourd en calcul, tandis que les approches à image future unique manquent de guidage intermédiaire. ProWAM se place entre les deux, avec une anticipation indexée sur la progression de la tâche. Le projet est hébergé sous le nom d'organisation « sii-ferenas » ; le résumé ne précise ni le code ni les poids publiés, ni la comparaison détaillée avec des modèles comme Pi-0 ou GR00T. La suite logique serait une validation sur davantage de tâches réelles, avec des essais plus nombreux, et des mesures de latence sur robot pour confirmer le gain d'efficacité revendiqué.

Recherche❖Paper

1 source

39

616arXiv cs.RO 

PointWAM : modélisation d'actions du monde en 3D pour la manipulation robotique dextre

Des chercheurs publient sur arXiv (2610.02840) PointWAM, un « Point World Action Model » qui prédit conjointement l'évolution du monde et les actions d'un robot sous forme de trajectoires de points 3D. Le modèle décompose la scène en deux entités, l'environnement et les mains (l'acteur). Les deux sont prévus dans un même repère espace-temps. À partir d'un nuage de points coloré et d'une instruction en langage naturel, il anticipe comment la scène et les mains évoluent ensemble. Il retranspose ensuite le mouvement de main prévu en commandes robot. Les résultats sont ceux des auteurs, sur le benchmark DexJoCo et sur un robot réel. Le pré-entraînement sur des vidéos de démonstrations humaines améliore le taux de succès moyen sur DexJoCo de 56,9 points de pourcentage. Ajouter la supervision des trajectoires de la scène, et pas seulement celles des mains, apporte 10,9 points de plus. Avec les deux ingrédients, PointWAM dépasse de 11,7 points l'état de l'art précédent sur dix tâches DexJoCo et surpasse de « solides » VLA (modèles vision-langage-action) sur un robot physique. L'article ne précise pas dans cet extrait les modèles de référence, le robot ou le nombre d'essais. L'enjeu est la manipulation dextre, où les approches courantes montrent leurs limites. Les world action models habituels représentent le monde en images RGB ou en espaces latents, et les actions en poses d'effecteur ou en angles articulaires. Ces représentations capturent mal la structure spatiale 3D et la géométrie des contacts, qui décident pourtant du succès d'une saisie ou d'une manipulation en main. Une représentation explicite en points 3D évite aussi de choisir à la main les objets ou points-clés propres à chaque tâche. Elle permet ainsi un pré-entraînement à grande échelle sur des vidéos humaines, une source de données bien moins coûteuse que la téléopération robotique. Le gain de 56,9 points suggère que le transfert humain vers robot dépend beaucoup du choix de représentation. Ces chiffres viennent d'un preprint non évalué par les pairs, sur un benchmark très probablement en grande partie simulé. Le résultat sur robot réel reste à qualifier, notamment sur la diversité des tâches et la robustesse hors laboratoire. Ce travail s'inscrit dans la montée des world action models, qui fusionnent prédiction de dynamique et génération d'actions, en réaction aux VLA purement réactifs. Ces derniers, comme Pi-0 ou Helix, s'appuient sur des représentations 2D et des données robot coûteuses. PointWAM se place sur le créneau de l'apprentissage à partir de vidéos humaines et de la 3D explicite, face aux approches par images ou latents. La suite dépendra de la reproduction des résultats, d'une éventuelle publication du code et des poids, et de tests sur des mains robotiques multi-doigts variées. Aucune application industrielle ni calendrier de déploiement n'est annoncé à ce stade.

Recherche❖Paper

1 source

39

617arXiv cs.RO 

Apprentissage d'actions du monde par guidage latent spectral centré sur l'interaction

Des chercheurs publient sur arXiv WING (World Action Learning via INteraction-Centric Spectral Latent Guidance), un cadre qui transfère des connaissances d'interaction depuis des vidéos égocentriques humaines vers des politiques de manipulation robotique. Il s'attaque à deux obstacles. D'une part, les actions latentes inférées par reconstruction d'images sont polluées par des variations parasites, au premier rang desquelles le mouvement de la caméra portée. WING sépare donc le mouvement induit par l'observateur de l'interaction main-objet, et ne distille que cette seconde composante en actions latentes. D'autre part, humains et robots n'ont pas la même dynamique temporelle. Le système identifie alors, dans le domaine spectral, les composantes basses fréquences communes aux actions latentes égocentriques et aux comportements du robot, puis s'en sert pour guider la génération d'actions. Les auteurs annoncent 99,20 % de réussite moyenne sur LIBERO, 93,80 % sur RoboTwin 2.0 et 57,7 % sur RoboCasa-GR1, ainsi que de bons résultats sur quatre tâches réelles, sans en détailler les chiffres dans le résumé. L'intérêt tient à l'hypothèse de départ : la sémantique d'une tâche, commune à l'humain et au robot, se loge dans les structures temporelles lentes, alors que la haute fréquence dépend du corps. Si elle se confirme, la vidéo humaine, abondante et peu chère, deviendrait un substitut crédible aux démonstrations téléopérées, dont le coût freine la montée en échelle. Il faut toutefois relativiser. LIBERO approche la saturation, et RoboCasa-GR1, à 57,7 %, rappelle l'écart qui subsiste en simulation sur des tâches plus longues et plus variées. Les résultats réels, sur seulement quatre tâches, ne permettent pas de conclure sur la robustesse en production. Il s'agit d'un article de recherche, sans produit, ni déploiement, ni calendrier. WING s'inscrit dans la lignée des modèles d'actions latentes, comme LAPA, ou des approches qui exploitent la vidéo humaine pour entraîner des modèles vision-langage-action de type Pi-0 ou GR00T. Tous butent sur le même problème de transfert entre embodiments. La nouveauté ici est le filtrage fréquentiel. La suite logique serait une comparaison directe avec ces références sur des tâches réelles plus nombreuses, avec des chiffres détaillés. Une page projet est disponible pour suivre les démonstrations et, éventuellement, le code.

Recherche❖Paper

1 source

39

618arXiv cs.RO 

Contrôle précis en boucle ouverte d'un robot continu souple grâce à une dynamique latente apprise visuellement

Des chercheurs ont publié sur arXiv (2603.19655v2) une méthode de commande en boucle ouverte d'un robot continuum souple (SCR) à partir d'une dynamique latente apprise uniquement sur vidéo. Le travail s'appuie sur les Visual Oscillator Networks (VON) d'un article précédent, qui produisent des latents d'oscillateurs 2D interprétables mécaniquement grâce à un décodeur à diffusion d'attention (ABCD, attention broadcast decoder). Une commande optimale en tir simple (single-shooting) est calculée directement dans l'espace latent pour suivre des points de passage définis par image, sans aucun retour caméra pendant l'exécution. Un simulateur interactif en direct permet de dessiner des cibles statiques, dynamiques ou extrapolées, puis de les convertir en points de passage latents propres à chaque modèle. Les tests ont été menés sur un robot pneumatique à deux segments. Les chercheurs ont comparé trois familles de dynamiques (Koopman, MLP, oscillateurs), chacune avec et sans ABCD, sur des consignes fixes et des trajectoires dynamiques. Les modèles avec ABCD réduisent systématiquement l'erreur de suivi dans l'espace image. Les erreurs quadratiques moyennes les plus basses reviennent au VON et au modèle Koopman avec ABCD. Des études d'ablation et des tests de robustesse en simulation indiquent que les choix d'entraînement et d'architecture soutiennent la performance : maintien statique, équilibres extrapolés stables, retour au repos. L'article ne fournit pas, dans ce résumé, de valeurs chiffrées d'erreur ni de durée d'horizon. L'enjeu dépasse la robotique souple. Ces machines sont difficiles à modéliser : leurs déformations sont continues, non linéaires et sujettes à l'hystérésis, et elles sont presque impossibles à instrumenter par capteurs sans en altérer le comportement. Une commande fiable en boucle ouverte, apprise depuis de simples images, ouvre la voie à des systèmes sans capteur proprioceptif embarqué ni caméra au moment de l'usage, ce qui intéresse la chirurgie mini-invasive, l'inspection en espaces confinés ou la manipulation d'objets fragiles. Le résultat suggère aussi que l'interprétabilité n'est pas un luxe : des latents à structure mécanique (oscillateurs) se révèlent plus stables en extrapolation qu'un MLP générique. Il faut toutefois rester prudent : les auteurs revendiquent une première démonstration de commande fiable à long horizon sur un robot souple physique avec des modèles interprétables appris sur vidéo, mais il s'agit d'un banc de laboratoire, avec un seul robot, et sans comparaison à des méthodes de commande classiques fondées sur la physique. Ce travail s'inscrit dans une série consacrée à l'apprentissage de dynamiques latentes visuelles, qui prolonge les VON et s'oppose à la modélisation analytique (courbure constante par morceaux, éléments finis) et aux approches Koopman ou de réseaux de neurones purs. Il s'éloigne aussi des politiques de type VLA (vision-langage-action) pour humanoïdes, qui visent la généralisation de tâches plutôt que la précision de suivi de trajectoire. Aucun pilote industriel ni calendrier de transfert n'est annoncé. Les prochaines étapes plausibles seraient l'extension à des robots à plus de segments, l'ajout de perturbations et de charges externes, et le couplage avec un retour visuel pour corriger la dérive inévitable d'une boucle ouverte.

Recherche❖Paper

1 source

38

619arXiv cs.RO 

RoboBridge : un cadre d'agent incarné auto-évolutif pour le transfert simulation-réel

Des chercheurs publient sur arXiv (identifiant 2610.02717, première version) RoboBridge, un cadre logiciel pour agents incarnés qui aborde le transfert simulation-réel comme une adaptation continue de compétences exécutables, plutôt que comme un réentraînement de politique. L'agent représente le savoir-faire d'une tâche sous forme de procédures reliant l'intention, les observations, les opérations d'outils et la vérification du résultat. Les retours d'interaction servent à générer des révisions candidates de ces compétences, qui sont évaluées avant d'être conservées ou rejetées. Une politique vision-langage-action (VLA) préentraînée est exposée comme un outil d'action réutilisable, complété par un guidage à l'inférence, ce qui permet une exécution fine sans modifier ses poids. Le cadre est évalué sur le benchmark de simulation LIBERO-PRO et sur des tâches physiques correspondantes, avec deux axes d'étude : l'évolution des compétences et l'adaptation après transfert. Le résumé ne donne ni taux de réussite, ni nombre de tâches, ni plateforme robotique, et ces éléments restent à vérifier dans l'article complet. L'intérêt tient à la méthode de transfert. Le passage de la simulation au réel repose aujourd'hui, pour les politiques VLA de bout en bout, sur le calage des conditions visuelles et dynamiques simulées, la collecte de démonstrations supplémentaires dans le domaine cible et un nouvel entraînement. Ce sont des étapes coûteuses, à refaire à chaque changement d'environnement. RoboBridge déplace l'adaptation vers une couche procédurale, ancrée dans une sémantique de tâche et des interfaces d'interaction communes à la simulation et au réel. La structure réutilisable de la tâche est conservée, et seules les opérations dépendant de l'environnement sont révisées à partir des retours d'exécution réels. Pour un intégrateur, l'enjeu serait de passer d'un déploiement de politique figé à un apprentissage procédural continu après la mise en service. Il s'agit toutefois d'un travail académique à un stade préliminaire : sans chiffres publiés dans le résumé, rien ne permet de dire si l'approche tient la comparaison avec un réglage fin classique, ni à quel coût en appels de modèle et en temps d'adaptation. Ce travail s'inscrit dans deux courants qu'il cherche à rapprocher. D'un côté, les politiques VLA offrent de fortes capacités de manipulation mais restent difficiles à transférer. De l'autre, les agents robotiques utilisant des outils orchestrent bien les tâches, mais réutilisent surtout l'expérience au sein d'un même environnement. Les auteurs positionnent leur cadre comme une voie intermédiaire. Le choix de LIBERO-PRO, variante plus exigeante d'un benchmark de manipulation très répandu, suggère une volonté de tester la robustesse plutôt que la mémorisation. Les prochaines étapes à surveiller sont la publication du code, des résultats chiffrés sur robot réel et une validation sur des tâches industrielles plus longues, seules à même de confirmer la portée de l'approche.

Recherche❖Paper

1 source

38

620arXiv cs.RO 

Des a priori linguistiques à l'adaptation sur le terrain : l'apprentissage par préférences pour l'estimation de la traversabilité

Des chercheurs proposent une méthode d'estimation de la traversabilité par images qui réduit fortement le nombre d'annotations nécessaires pour adapter un modèle à un nouveau robot ou à un nouveau terrain. Publié sur arXiv (2610.02974), le travail représente la traversabilité par des prototypes de mélange de von Mises-Fisher, des distributions directionnelles, dans l'espace de caractéristiques figé d'un modèle vision-langage. Des règles relatives en langage naturel (par exemple, un type de surface est préférable à un autre) fournissent un a priori de bon sens. Quelques annotations d'images, elles aussi relatives, ajustent ensuite les directions des prototypes et leurs utilités au domaine cible, par un fine-tuning léger en calcul comme en données. Les tests sont menés sur WayFAST. Les auteurs annoncent une précision comparable à celle d'estimateurs entraînés de bout en bout, sans fournir de chiffres dans le résumé. Ils montrent aussi, de façon qualitative, que l'a priori linguistique fonctionne en zero-shot et que le modèle affiné améliore la prédiction dense sur des cartes sémantiques. Le code et les estimateurs entraînés sont publiés sur resireg.github.io. L'enjeu est très concret pour les intégrateurs et les exploitants de robots mobiles hors site structuré. La traversabilité dépend de la plateforme (roues, chenilles, quadrupède), du terrain et des préférences de mission : un même sol boueux n'a pas la même valeur pour un robot agricole que pour une unité d'inspection. Les modèles entraînés pour un seul cas se transfèrent donc mal, et chaque nouveau déploiement exige un coût d'annotation élevé. S'appuyer sur des comparaisons relatives plutôt que sur des labels absolus abaisse cette barrière, et l'encodage de préférences en langage naturel permet à un opérateur non spécialiste de régler le comportement sans réentraîner un réseau complet. L'interprétabilité apporte un second atout : l'analyse des prototypes appris, rapprochés de prompts sémantiquement proches, rend visible ce que le modèle considère comme franchissable, un point utile pour la validation de sûreté. Il faut toutefois rester prudent : il s'agit d'un résultat de recherche évalué sur un seul jeu de données connu dans le résumé, sans déploiement terrain annoncé. Ce travail s'inscrit dans la tendance qui consiste à réutiliser des modèles de fondation vision-langage figés pour la navigation, afin d'éviter des chaînes d'annotation coûteuses et propres à chaque robot. Il se place face aux estimateurs de traversabilité supervisés de bout en bout, qui restent la référence en précision mais exigent beaucoup de données, et face aux approches auto-supervisées fondées sur l'expérience du robot. Les suites probables sont des validations sur d'autres plateformes et d'autres environnements, ainsi qu'une intégration dans des piles de planification de trajectoire. Aucun calendrier de pilote n'est annoncé.

Recherche❖Paper

1 source

38

621arXiv cs.RO 

GlowTact : un capteur tactile visuel simple et compact, à haute sensibilité et haute résolution spatiale

GlowTact, un capteur tactile à base de vision (VBTS) décrit dans un preprint arXiv (v2), vise explicitement les bouts de doigts de robots humanoïdes. Son principe repose sur une membrane en nitrile durable qui visualise directement la pression de contact. Là où de nombreux VBTS exigent un éclairage multicolore ou directionnel et une reconstruction géométrique explicite, GlowTact se contente d'une illumination monochrome non directionnelle. L'image brute de la caméra représente directement la distribution de pression, sans étape de reconstruction intermédiaire. Les auteurs affirment une détection de contact à l'échelle du gramme, une estimation précise de la force normale et la restitution de géométries fines, jusqu'aux filets d'une vis M1 (environ 1 mm de diamètre). Le résumé ne donne ni dimensions du capteur, ni erreur chiffrée sur la force, ni résolution spatiale en millimètres, ni nombre d'essais. L'intérêt tient à la simplification. Les VBTS, dans la lignée de GelSight, fournissent une information de contact très riche, mais leur optique (LED de plusieurs couleurs, gel épais, miroirs, calibration photométrique) les rend difficiles à miniaturiser et à adapter à des doigts de la taille d'une main humaine. Une architecture à lumière unique et à lecture directe de la pression réduit le nombre de pièces, le coût potentiel et la charge de calcul, trois points décisifs pour un intégrateur qui doit équiper dix à vingt doigts par robot. Le choix du nitrile, matériau courant et résistant à l'usure, répond aussi à la question de la durabilité, souvent éludée dans les démonstrations de laboratoire. Reste à vérifier ces promesses : il s'agit de résultats de laboratoire, sans test de longévité, de reproductibilité entre capteurs ni de comparaison quantitative publiée avec des références comme GelSight Mini ou DIGIT. Ce travail s'inscrit dans la course à la dextérité des humanoïdes, où le toucher est devenu le chaînon manquant des politiques de manipulation de type VLA, majoritairement guidées par la seule vision. Les mains de Tesla (Optimus), Figure ou Sharpa misent sur des capteurs tactiles plus ou moins intégrés, tandis que Meta (DIGIT), GelSight ou la recherche académique poussent le tactile optique. Il s'agit ici d'un composant de recherche, sans produit commercial, client ni calendrier annoncé. Les prochaines étapes à surveiller sont une intégration sur une main dextre complète, des tests de manipulation en boucle fermée et une éventuelle disponibilité en open source.

Recherche❖Paper

1 source

38

622arXiv cs.RO 

Cadre de caractérisation sans apprentissage de la résilience et de la sensibilité des capteurs tactiles visuels en polyuréthane

Des chercheurs proposent un cadre de caractérisation pour comparer le matériel des capteurs tactiles à base de vision (VBTS, pour vision-based tactile sensors) et testent le polyuréthane comme alternative aux gels de silicone qui équipent aujourd'hui ces capteurs. L'étude, publiée sur arXiv (2511.07797, troisième version), part d'un constat : les surfaces tactiles en silicone offrent une grande sensibilité, mais se dégradent vite sous charge et sous l'effet de l'usure. Le polyuréthane est un matériau plus dur, utilisé pour les semelles de chaussures, les roues en caoutchouc et les joints industriels. Les auteurs l'ont soumis à trois tests de résilience : charge normale, charge en cisaillement et abrasion. Pour la sensibilité, ils ont conçu des mesures « sans apprentissage » de la sensibilité en force et de la sensibilité spatiale. Le résumé ne donne aucun chiffre précis. Une tâche de dévissage et de revissage de bouchon de bouteille sert de validation au niveau système. Selon les résultats, le polyuréthane améliore nettement la résilience. Il perd en sensibilité aux faibles forces, mais sa plage de force utile s'élargit largement. Ces travaux touchent un point faible rarement mesuré de la manipulation dextre : la durabilité du toucher. Les démonstrations de mains robotiques et de modèles de manipulation (VLA) s'appuient de plus en plus sur des signaux tactiles denses. Pourtant, la littérature évalue peu la tenue des capteurs sur la durée, et leur performance intrinsèque se confond souvent avec les choix de jeu de données et d'architecture de réseau. L'approche sans apprentissage isole la qualité du capteur de ces effets, ce qui permet de comparer des matériaux et des designs sur une base commune. Pour un intégrateur, le compromis est net : le silicone convient aux tâches de précision à faible effort, le polyuréthane aux environnements rugueux et à forte charge, plus proches d'un atelier ou d'une logistique réelle. Le gel est une pièce d'usure, donc un coût de maintenance. Ce n'est toutefois pas encore une preuve de déploiement industriel. La validation repose sur une seule tâche de laboratoire, et le résumé ne donne ni cycles d'usure ni seuils de force chiffrés. Les capteurs VBTS, dont la famille GelSight est la référence historique, filment la déformation d'un gel par une caméra interne pour reconstruire la géométrie et les forces de contact. Ils sont devenus un standard de recherche, mais leurs gels souples restent fragiles. D'autres équipes cherchent à durcir les capteurs tactiles par d'autres voies, notamment des peaux électroniques et des architectures magnétiques. Le texte ne mentionne aucun acteur français ou européen, et les auteurs ne sont pas nommés dans le résumé. La suite logique serait de publier des seuils de force, des durées de vie en cycles et des tests sur davantage de tâches. Une adoption dans des mains dextres commerciales supposerait des essais de longue durée en conditions réelles.

Recherche❖Paper

1 source

38

623arXiv cs.RO 

KungfuAthleteBot : apprendre des mouvements humanoïdes très dynamiques à partir de vidéos, avec une récupération robuste unifiée

Des chercheurs publient KungfuAthleteBot (KAB), un cadre d'apprentissage qui fait acquérir à un robot humanoïde des mouvements très dynamiques à partir de vidéos. Les auteurs ont constitué le jeu de données KungfuAthlete à partir de vidéos d'artistes martiaux de niveau national. Ils y appliquent une correction de trajectoire parabolique guidée par la physique. Elle supprime trois défauts de la reconstruction vidéo dans les phases aériennes et d'atterrissage : flottement en hauteur, pénétration du sol et vibrations haute fréquence. Ils introduisent ensuite un échantillonnage dit « pseudo-LKE » (low kinetic energy, faible énergie cinétique), qui oriente l'initialisation de l'entraînement vers des états dynamiquement faisables. Enfin, la récupération après perturbation et après chute est apprise dans la même politique que le suivi du mouvement vidéo. Cette approche n'exige ni données de référence de récupération ni bascule manuelle entre modes. Sur un robot humanoïde, les auteurs rapportent une récupération après des chutes arbitraires en environ 0,7 s. Ils la présentent comme la plus rapide publiée pour une politique unifiée. Le robot utilisé et le détail des conditions d'essai ne figurent pas dans le résumé de l'étude (preprint arXiv 2610.03388, non évalué par des pairs). L'intérêt tient au diagnostic plus qu'au record. La vidéo est une source de mouvement abondante et bon marché, mais reciblage direct d'une trajectoire reconstruite ne suffit pas. Elle est physiquement incohérente, ne contient aucune information de couple ou de force, et ne dit rien des échecs. Suivre strictement une telle référence est dynamiquement irréalisable, et une initialisation guidée par l'erreur relance sans cesse la politique depuis des poses aériennes impossibles. Les ablations indiquent que réparer et compenser les données vidéo compte plus que d'en accumuler davantage. Cette conclusion nuance la tendance à tout miser sur le volume de données pour les politiques de mouvement du corps entier. Pour un intégrateur, la fusion du suivi et de la récupération dans un seul réseau simplifie l'architecture de contrôle et réduit les transitions fragiles entre contrôleurs. Les réserves habituelles s'appliquent toutefois : le résultat vient d'un laboratoire, et le résumé ne donne ni taux de réussite ni nombre d'essais. Le chiffre de 0,7 s dépend aussi de la définition de la « récupération » et de la posture initiale de chute, que le résumé ne précise pas. Ces travaux s'inscrivent dans la série de méthodes qui apprennent à des humanoïdes des mouvements humains par suivi de référence en simulation, puis par transfert vers le robot réel. Des approches comme DeepMimic, puis les politiques de suivi du corps entier, ont popularisé cette logique. La difficulté restait le passage de mouvements capturés en studio à des mouvements acrobatiques extraits de vidéos. Les gestes de kung-fu, avec sauts et réceptions, sont un banc d'essai exigeant pour cette question. Les prochaines étapes à surveiller sont la publication du code et du jeu de données, la validation sur plusieurs plateformes et la mesure de la robustesse hors laboratoire. Aucun déploiement industriel ni produit n'est annoncé à ce stade.

Recherche❖Paper

1 source

38

624arXiv cs.RO 

MixVLA : mélange adaptatif des informations non invariantes pour des modèles vision-langage-action (VLA) généralisables

Des chercheurs publient sur arXiv (2610.02898) MixVLA, un cadre d'entraînement pour modèles Vision-Language-Action (VLA) qui vise à améliorer la généralisation zéro-shot en conditions hors distribution (OOD). Le principe repose sur un module baptisé Adaptive Mixing of Non-Invariant Information (AMI). Celui-ci mélange de façon stochastique les représentations « non invariantes », c'est-à-dire les facteurs propres à un environnement comme l'apparence, l'éclairage ou la texture. Les représentations mélangées sont ensuite fusionnées avec les représentations invariantes, liées à la structure de la tâche, pour prédire l'action finale. La méthode est dite agnostique au modèle : elle ne demande ni donnée OOD supplémentaire ni modification d'architecture. Les auteurs l'évaluent sur LIBERO, LIBERO-Plus, la suite de perturbations de RoboTwin et des tâches réelles, et affirment une meilleure robustesse zéro-shot sans perte de performance en domaine. Le résumé ne donne aucun chiffre, ni gain, ni nom de modèle de base, ni nombre d'essais réels. L'enjeu touche l'un des points faibles les mieux identifiés des VLA : leur fragilité dès que la scène s'écarte des données d'entraînement. Ces politiques tendent à s'appuyer sur des indices visuels parasites (fond, couleur, position de caméra) plutôt que sur la structure de la tâche, ce qui explique une part de l'écart entre démonstration et déploiement. Pour un intégrateur ou un responsable industriel, un gain obtenu par simple recette d'entraînement, sans nouvelle collecte de données ni changement d'architecture, serait précieux, car la collecte de téléopération reste l'un des postes de coût les plus lourds. Il faut toutefois rester prudent : sans résultats chiffrés, il est impossible de juger l'ampleur du gain, et les benchmarks de simulation, même perturbés, ne garantissent pas la robustesse en atelier. Le volet réel, dont l'ampleur n'est pas précisée, devra être examiné dans l'article complet. Ce travail s'inscrit dans une série de recherches sur la robustesse des VLA. LIBERO-Plus et la suite de perturbations de RoboTwin ont été conçus pour exposer la sensibilité de ces modèles aux variations de caméra, d'éclairage, d'objets ou de langage, après que les scores quasi saturés sur LIBERO standard ont montré leurs limites. MixVLA se rapproche des techniques de régularisation et d'augmentation de représentations issues de la généralisation de domaine, ici transposées aux VLA. Il reste à voir s'il se montre complémentaire des grands modèles généralistes comme Pi-0 ou GR00T, et si le code et les poids sont publiés pour permettre une reproduction indépendante. Il s'agit d'une prépublication v1, non évaluée par des pairs, qui relève de la recherche et non d'un produit livré ou d'un déploiement.

Recherche❖Paper

1 source

38

625arXiv cs.RO 

Apprentissage natif de prior d'action à partir de vidéos pour les modèles d'action du monde

Des chercheurs publient sur arXiv (2610.03391) NAVA-WAM, un « world action model » (WAM) qui apprend une politique d'action directement à partir de vidéos sans annotation d'actions. Un WAM combine la prédiction de la dynamique visuelle future et celle des actions du robot. Jusqu'ici, ces modèles dépendaient de trajectoires robotiques annotées avec les actions, rares et coûteuses à collecter. NAVA-WAM s'entraîne en deux étapes. Le pré-entraînement porte sur des vidéos d'observation seule : une supervision par flow matching sur les transitions visuelles futures est propagée, via une attention jointe structurée par transitions, jusqu'à l'Action-DiT, le module de diffusion qui produit les actions. Celui-ci acquiert ainsi des « priors » d'action. La seconde étape affine l'Action-DiT sur des démonstrations étiquetées par un flow matching conjoint vidéo-action. Une attention asymétrique découple la branche visuelle du débruitage itératif des actions, ce qui permet une inférence rapide, limitée aux actions. Les auteurs affirment de meilleurs résultats que les approches antérieures, en distribution comme hors distribution, une bonne efficacité en nombre d'étiquettes d'action et une généralisation sur robot réel. Le résumé ne fournit ni score chiffré, ni liste de tâches, ni nom de plateforme robotique. L'enjeu est celui du goulot d'étranglement des données. Les modèles vision-langage-action (VLA) et leurs variantes à modèle de monde se heurtent au coût de la téléopération. Les vidéos humaines ou robotiques sans étiquettes, elles, existent en grande quantité. Les méthodes actuelles les exploitent par deux voies indirectes : pré-entraîner des représentations visuelles qu'il faut ensuite adapter au contrôle, ou inférer des « actions latentes » à ancrer ensuite sur des commandes robot. NAVA-WAM supprime ces intermédiaires, ce qui limiterait les pertes de transfert et la complexité d'un modèle d'action latente séparé. Si le résultat tient à grande échelle, le volume de données robotiques annotées nécessaires pour une nouvelle tâche ou un nouvel embodiment pourrait baisser. Un intégrateur pourrait alors réutiliser des vidéos de ses propres lignes. Prudence toutefois : il s'agit d'un preprint non évalué par des pairs. Les gains annoncés restent à confirmer par des benchmarks indépendants, avec des détails sur la quantité de vidéos et la diversité des tâches réelles testées. Ce travail s'inscrit dans la course aux WAM et aux politiques apprises de vidéo, face aux VLA entraînés sur démonstrations (Pi-0, GR00T) et aux approches par actions latentes. Les prochaines étapes à surveiller sont la publication du code et des poids, des évaluations sur des corpus vidéo plus larges, et une comparaison directe avec les modèles de fondation industriels. Les auteurs ne signalent aucun partenaire industriel ni déploiement.

Recherche❖Paper

1 source

38

626arXiv cs.RO 

GeoScaffold : apprendre des latents géométriques compacts par reconstruction pour une navigation vision-langage efficace

Une équipe de chercheurs publie sur arXiv GeoScaffold, un cadre de supervision géométrique pour la navigation vision-langage (VLN) en environnement continu. Il cible les politiques Video-LLM en streaming. Ces modèles convertissent directement des images RGB égocentriques et une instruction en actions de bas niveau, mais héritent de faibles a priori 3D de leur préentraînement 2D. La méthode se déroule en deux temps. Un tokenizer de profondeur compact est d'abord appris sur les cartes de profondeur des trajectoires d'entraînement, puis gelé. La politique est ensuite affinée avec quelques tokens de requête géométrique apprenables, dont les états cachés doivent reconstruire des informations utiles à la navigation: profondeur, connectivité de l'espace et traversabilité. Après l'entraînement, le tokenizer, les générateurs de cibles et les têtes de reconstruction sont supprimés. Le backbone et l'interface d'action restent identiques. Les auteurs affirment que GeoScaffold surpasse les navigateurs purement visuels de référence sur des benchmarks VLN continus. Le résumé ne donne aucun chiffre, ni taux de succès, ni latence, ni taille de modèle. L'enjeu est le coût d'inférence. Les extensions géométriques existantes imposent en production des capteurs de profondeur, des encodeurs 3D ou des appels d'outils de perception à chaque pas. Cela alourdit la nomenclature matérielle, la consommation et la latence. GeoScaffold déplace ce coût vers l'entraînement. Pour un intégrateur qui vise un déploiement embarqué sur robot mobile ou quadrupède, l'idée est donc de gagner en compréhension spatiale sans ajouter de capteur. Il faut toutefois rester prudent. Les résultats portent sur des benchmarks, probablement simulés, et aucun essai sur robot réel n'est mentionné. La profondeur reste indispensable à l'entraînement, ce qui suppose des données qui en contiennent. Ce travail ne tranche donc pas la question du transfert sim-to-real. Ce travail s'inscrit dans le passage des pipelines de navigation modulaires aux politiques de bout en bout de type VLA et Video-LLM. Ces dernières sont séduisantes par leur simplicité, mais limitées par leur pauvreté géométrique. Les approches concurrentes y répondent en ajoutant des modules au moment de l'inférence. GeoScaffold suit l'autre voie, qui consiste à injecter la structure 3D dans les poids par des objectifs auxiliaires de reconstruction. Aucun acteur français ou européen n'est cité. Il s'agit d'un preprint, sans produit ni déploiement. Les prochaines étapes à surveiller sont la publication du code, la mesure de la latence sur matériel embarqué et une validation sur robot physique.

Recherche❖Paper

1 source

38

627arXiv cs.RO 

RoboChemGym : un cadre de simulation générative piloté par protocoles pour la manipulation chimique de longue durée

RoboChemGym est un framework de simulation générative qui produit automatiquement des démonstrations de manipulation robotique alignées sur de vrais protocoles de laboratoire de chimie. Il a été décrit dans un preprint arXiv (2610.02708v1, octobre 2026). Son mécanisme central, la « synthèse de tâches auto-améliorante », affine de façon itérative l'exécution des tâches et la configuration des scènes. Il génère ainsi des trajectoires expertes fiables pour des protocoles multi-objets dépassant 10 étapes d'interaction. Les auteurs proposent aussi un benchmark hiérarchique qui évalue les agents à plusieurs granularités, des opérations atomiques jusqu'aux cycles expérimentaux complets. Le résumé ne donne ni taux de réussite, ni nom de robot ou de modèle testé, ni validation sur matériel réel. Il s'agit donc d'une contribution de recherche, sans produit ni déploiement. L'enjeu porte sur la donnée, pas sur le matériel. L'expérimentation en laboratoire humide reste l'étalon-or pour vérifier des hypothèses scientifiques, mais elle est coûteuse, laborieuse et risquée. Les données réelles pour entraîner des agents incarnés y sont rares : chaque démonstration mobilise de la verrerie, des réactifs et des opérateurs formés. Les générateurs de démonstrations en simulation visent surtout des tâches courtes et peu contraintes, alors qu'une manipulation chimique impose un ordre strict des opérations et une précision fine, par exemple pour verser, transvaser ou doser. Si l'approche tient ses promesses, elle fournirait une source de données à l'échelle pour les politiques VLA (vision-langage-action) ou d'imitation sur des horizons longs. Reste la question habituelle du transfert sim-to-real, que le résumé ne traite pas. Les liquides, la transparence du verre et les contacts délicats sont précisément les points où l'écart entre simulation et réalité est le plus marqué. Sans résultats chiffrés, la fiabilité annoncée reste à confirmer. Ce travail s'inscrit dans le mouvement des « laboratoires autonomes » ou « self-driving labs ». Ceux-ci ont surtout reposé jusqu'ici sur des plateformes d'automatisation fixes ou sur des bras robotiques programmés à la main pour un protocole donné. Les approches de génération de données en simulation, pilotées par des modèles de langage ou des modèles de fondation, ont progressé sur des tâches domestiques ou de tri, mais rarement sur des procédures scientifiques aussi structurées. La suite logique serait une validation sur robot réel, des comparaisons de politiques sur le benchmark et une publication du code et des scènes pour permettre la reproduction. Ces éléments conditionneront l'intérêt réel pour les intégrateurs de robotique de laboratoire.

Recherche❖Paper

1 source

38

628arXiv cs.RO 

Relier le raisonnement de pointe et l'exécution robotique : de la génération autonome de démonstrations à la supervision dense par le langage

Des chercheurs publient sur arXiv (2610.03615) une méthode pour relier les grands modèles « frontier » et les politiques robotiques locales rapides, deux briques qui ne tournent pas à la même vitesse. Le point de départ : ces modèles de raisonnement permettent déjà de faire manipuler un robot à partir de quelques démonstrations seulement, mais leur latence d'inférence les rend inutilisables pour du contrôle en temps réel. L'équipe explore deux « ponts » complémentaires. Le premier fait générer de façon autonome par le modèle frontier des démonstrations, qui viennent compléter celles des humains pour entraîner une politique locale rapide. Les exemples fournis en contexte sont enrichis de segments correctifs montrant comment récupérer après une erreur physique, ce qui fiabilise la génération. Le temps et le coût de génération diminuent à mesure que les exemples réussis s'accumulent dans le contexte. Au déploiement, un « harness » associe les instructions du modèle frontier à la politique locale, qui exécute vite pendant que le modèle continue de guider et de corriger. Le second pont introduit une supervision linguistique dense à trois niveaux imbriqués (primitif, atomique, composite), avec plusieurs descriptions par niveau. L'intérêt tient à la répartition des rôles. Les approches VLA (vision-langage-action) actuelles butent sur un compromis : le raisonnement fin est lent, l'exécution rapide est peu flexible. Ici, le goulot d'étranglement se déplace vers la capacité de la politique locale à suivre de manière fiable des instructions variées, et c'est précisément ce que cible la supervision dense. Sur des tâches longues dans RoboCasa 365 et BEHAVIOR-1K, où les consignes changent en cours d'exécution, la combinaison des deux niveaux de supervision obtient les meilleurs résultats, aussi bien avec un instructeur « oracle » qu'avec un modèle frontier. Pour un intégrateur, cela suggère que l'interface langagière peut servir de couche de contrôle stable entre un « cerveau » cloud et un exécutant embarqué, sans réentraîner l'ensemble. À nuancer : les résultats annoncés sont principalement obtenus en simulation et les chiffres précis ne figurent pas dans le résumé, de sorte que l'écart entre démonstration et déploiement industriel reste à mesurer. Ce travail s'inscrit dans la tendance des architectures à double système, popularisées par des approches comme Helix de Figure ou GR00T de NVIDIA, qui séparent planification lente et exécution rapide. Les benchmarks RoboCasa 365 et BEHAVIOR-1K, centrés sur des tâches domestiques de longue durée, servent de terrain d'évaluation commun. Les auteurs testent enfin les deux ponts ensemble sur une tâche de mots croisés combinant planification sémantique et manipulation dans un budget de temps fixe, un cas volontairement atypique. Aucun déploiement ni calendrier de commercialisation n'est annoncé : il s'agit d'une publication de recherche, dont la suite logique serait une validation sur robots physiques et des tâches industrielles.

Recherche❖Paper

1 source

37

629arXiv cs.RO 

CSIR : des robots sensibles au contexte et aux normes sociales pour une navigation efficace vers une personne cible

Des chercheurs proposent CSIR, un cadre de planification qui permet à un robot mobile de retrouver une personne en intérieur pour lui remettre un objet, même quand la demande est vague et que les informations sur le destinataire sont incomplètes. Le travail, publié sur arXiv (2610.02750) et accompagné d'un site de démonstration anonymisé, traite le problème dit « Person Goal Navigation » (PersonNav). La méthode combine deux signaux : la distance jusqu'aux lieux candidats et des informations sémantiques sur la personne (habitudes, intention), pondérées par le degré de confiance accordé aux renseignements fournis par l'utilisateur. Les auteurs ont aussi construit un banc d'essai synthétique, avec acteurs, objets et requêtes en langage naturel, pour évaluer les performances avant tout déploiement réel. Selon l'étude, la recherche informée surpasse nettement les références classiques fondées sur des graphes et la seule distance. La sémantique employée seule produit une exploration sporadique, mal ancrée dans l'espace. Une variante pilotée par un LLM obtient des résultats comparables. Des essais sur matériel ont été réalisés. Le résumé ne donne ni chiffres de gain, ni plateforme robotique, ni site de test. L'intérêt tient au problème visé. Les systèmes de recherche de personnes existants supposent en général une connaissance exacte de l'individu, ce qui ne correspond pas aux usages de livraison en bureaux, hôpitaux ou hôtels, où la consigne est du type « apporte ça à la personne de la comptabilité ». Le résultat contredit aussi une tentation courante : le tout-sémantique, ou le tout-LLM, ne suffit pas sans ancrage métrique. Le fait que la variante LLM ne fasse que jeu égal avec le planificateur explicite relativise l'idée qu'un modèle de langage généraliste serait nécessaire ici. La représentation explicite des croyances ouvre en outre la voie à un filtrage bayésien, plus auditable pour un intégrateur. Reste une réserve : les gains sont mesurés surtout en simulation sur un benchmark conçu par les auteurs, et la validation matérielle est décrite de façon qualitative. Ce travail s'inscrit dans la navigation orientée objectif (ObjectNav, puis PersonNav), où les approches apprises souffrent d'un manque de données publiques, la confidentialité des personnes limitant la collecte. Les auteurs contournent ce verrou par la planification et la génération synthétique, plutôt que par l'apprentissage de bout en bout adopté par de nombreux laboratoires. Il s'agit d'une publication de recherche, pas d'un produit ni d'un pilote : aucun calendrier de déploiement n'est annoncé. La suite logique serait le filtrage bayésien évoqué, puis des tests en environnement occupé et sur de longues durées.

Recherche❖Paper

1 source

36

630arXiv cs.RO 

LOCUS : discrimination de conteneurs par repères à l'aide de graphes spatiaux

Des chercheurs proposent LOCUS (Landmark-Oriented Container Discrimination Using Spatial Graphs), une méthode destinée à aider un robot à décider où chercher un objet qui n'est pas visible, par exemple dans quel meuble ou conteneur d'une pièce. Le système entraîne un réseau de neurones sur graphes (GNN) qui met à jour des embeddings CLIP sur un graphe de scène complet de l'environnement, en faisant circuler l'information entre nœuds selon leur proximité. Ces embeddings sont enrichis par des connaissances sémantiques issues d'une fusion d'ontologies domestiques. L'évaluation en simulation repose sur un graphe de scène sans bruit, tiré des métadonnées du simulateur, ce qui rend l'approche indépendante du détecteur. LOCUS surpasse quatre références (choix aléatoire, similarité cosinus avec CLIP, Tidybot et un planificateur à base de LLM) dans la majorité des types de pièces et des configurations testés. Les auteurs ne donnent pas, dans le résumé, de chiffres de performance. Une démonstration sur un manipulateur mobile physique couvre un pipeline d'exploration complet, avec des étiquettes de graphe produites par le détecteur Detic. L'enjeu dépasse la recherche d'objets domestiques. Le raisonnement sur les relations spatiales et sémantiques reste un point faible des robots déployés hors environnements structurés, et la similarité CLIP seule peine à départager des conteneurs proches, à la fois par leur position et par leur sens. Ici, la décision tient compte de ce qui est physiquement plausible et de ce qui est sémantiquement probable. Pour un intégrateur, c'est un levier de réduction du temps d'exploration, donc de productivité, dans la logistique, le soin ou la maison. Il faut toutefois relativiser. Le principal protocole chiffré utilise un graphe parfait issu du simulateur, et la robustesse au bruit n'est montrée que par une démonstration réelle unique, sans statistiques. L'écart entre simulation et déploiement reste donc largement ouvert, et la domination sur « la majorité » des configurations suppose que certaines échappent à LOCUS. Ces travaux s'inscrivent dans la recherche sur les graphes de scène et la navigation guidée par le langage, où CLIP s'est imposé comme brique sémantique par défaut et où les planificateurs LLM prolifèrent. Le choix de Tidybot comme référence rappelle la filiation avec la manipulation domestique pilotée par des modèles de langage. L'approche concurrence ainsi les méthodes purement LLM, plus coûteuses et moins ancrées dans la géométrie, tout comme les modèles vision-langage-action de bout en bout, qui n'exploitent pas explicitement la structure spatiale. Il s'agit d'une publication académique (arXiv, 1re version), sans produit, sans calendrier ni partenaire industriel annoncé. Les suites naturelles seraient une évaluation sur graphes bruités à grande échelle, des essais dans plusieurs domiciles réels et une intégration avec des modèles de fondation pour la manipulation.

Recherche❖Paper

1 source

36

631arXiv cs.RO 

Autour du monde : une locomotion apprise unifiée sur un quadrupède de 270 g à rotation continue

Des chercheurs ont publié sur arXiv (v1, octobre 2026) une étude sur MiNI-Q, un quadrupède de 270 g dont les jambes à rotation continue lui permettent de prendre appui de part et d'autre du corps. Un seul réseau de neurones, de moins de 100 000 paramètres, entraîné par apprentissage par renforcement et conditionné par la posture, tourne entièrement à bord du robot. Il pilote la marche à l'endroit, la marche à l'envers et la récupération après réception d'une chute, sans machine à états ni commutation de phases. La référence de mouvement est une trajectoire continue dans l'espace articulaire, sur le tore T^8, transformée en fonction de la gravité. L'entraînement combine des curriculums de posture et de lâcher. Sur matériel réel, le robot suit une vitesse d'avance avec une erreur RMSE de 0,037 m/s à l'endroit et de 0,050 m/s à l'envers. Il reprend la marche dans 24 essais de lâcher sur 30, soit 80 %. Il fonctionne avec quatre géométries de pied interchangeables sur quatre surfaces d'intérieur. Les auteurs s'appuient sur une identification des actionneurs, une validation croisée entre moteurs de simulation et une exécution embarquée pour le transfert vers le matériel. Des vidéos et un complément sont en ligne sur le site du projet. L'intérêt tient moins à la performance brute qu'à l'unification. Sur les quadrupèdes commerciaux, la locomotion apprise en boucle fermée est bien établie. Elle reste rare à l'échelle sub-kilogramme, où les contraintes de calcul, de couple et de précision des actionneurs sont plus sévères. Montrer qu'une seule politique compacte couvre trois comportements habituellement traités par des contrôleurs distincts va dans le sens de politiques unifiées plutôt que de piles logicielles à états. Le résultat est aussi un cas de transfert simulation-réel sur une plateforme bon marché et très légère. Le taux de réussite de 80 % à la reprise après lâcher montre que la robustesse n'est pas encore acquise. Les chiffres viennent de laboratoire, en intérieur, sur des surfaces peu variées. Les conditions de lâcher ne sont pas détaillées dans le résumé. L'étude ne doit donc pas être lue comme une preuve de robustesse en conditions réelles. Pour le contexte, MiNI-Q relève de la recherche académique sur les robots à pattes miniatures, loin des humanoïdes et des grands quadrupèdes industriels. Il se distingue par l'accès à des configurations d'appui des deux côtés du corps, offert par la rotation continue. La plupart des plateformes apprises, comme celles de Boston Dynamics, Unitree ou ANYbotics, sont plus lourdes et limitées à une posture dominante. Aucun produit, prix ni calendrier de déploiement n'est annoncé, et il s'agit d'un préprint. La suite attendue passe par une évaluation par les pairs, une publication du code et des matériaux, puis des tests sur terrains extérieurs plus variés.

Recherche❖Paper

1 source

36

632arXiv cs.RO 

RRT* sensible à la durée de vie résiduelle (RUL) : planification de mouvement équilibrant la dégradation des manipulateurs robotiques

Des chercheurs publient sur arXiv (2610.02469) le RUL-aware RRT, une variante de l'algorithme de planification de mouvement RRT qui intègre la durée de vie utile restante (RUL, remaining useful life) de chaque articulation d'un bras manipulateur. Le principe : plutôt que de chercher uniquement le chemin le plus court ou le plus fluide, le planificateur ajuste en continu la sollicitation de chaque axe en fonction de son état de santé estimé, afin de répartir l'usure. La méthode est évaluée en simulation sur trois scénarios : santé complète (Full Health Scenario), dégradation hétérogène entre articulations (Heterogeneous Degradation Scenario) et dégradation localisée sur un axe (Local Degradation Scenario). Selon les auteurs, elle réduit le déséquilibre de dégradation, retarde l'apparition de la défaillance de l'articulation la plus faible et améliore la fiabilité à long terme. Le résumé publié ne fournit ni chiffres de gain, ni modèle de robot, ni validation sur matériel réel. L'enjeu est d'abord économique. Sur un bras en service continu, c'est l'actionneur le plus usé qui fixe la date de l'arrêt non planifié, même si les autres axes ont de la marge. Les planificateurs classiques ignorent cet état de santé et peuvent aggraver le déséquilibre en réutilisant toujours les mêmes articulations. Pour un intégrateur ou un responsable de maintenance, l'intérêt est de décaler la panne du maillon faible et de rapprocher les interventions, sans changer le matériel. Cela renforce la maintenance prédictive, qui passe de la simple alerte à un levier de commande du mouvement. Les résultats restent toutefois à relativiser : les scénarios sont synthétiques, la fiabilité de l'estimation de RUL est supposée acquise, et le coût de calcul comme l'impact sur le temps de cycle ne sont pas documentés. Un chemin qui ménage un axe peut allonger la trajectoire ou dégrader la précision. Ce travail s'inscrit dans la recherche sur le pronostic et la gestion de santé (PHM) des robots, longtemps séparée de la planification de mouvement. RRT* est un standard d'échantillonnage asymptotiquement optimal, et y ajouter un coût lié à la santé est une extension naturelle, déjà explorée pour l'énergie ou les couples articulaires. Pour que cela quitte le papier, il faudra des estimateurs de RUL fiables sur des cobots et bras industriels réels, ce qu'ont commencé à proposer les grands fabricants via leurs offres de surveillance d'état. Les suites logiques sont des essais sur banc avec des actionneurs vieillissants, puis des tests en cellule de production avec mesure du temps de cycle et des arrêts évités.

Recherche❖Paper

1 source

35

633arXiv cs.RO 

CrowdOcc : complétion sémantique de scènes par vision monoculaire pour robots quadrupèdes en intérieur bondé

Une équipe de chercheurs publie CrowdOcc, un jeu de données RGB-D et un cadre de complétion sémantique de scène (SSC, semantic scene complétion) monoculaire destinés aux robots quadrupèdes évoluant dans des intérieurs fréquentés. Le jeu de données compte 25,1 K images issues de 11 scènes d'intérieur, avec des annotations d'occupation sémantique 3D construites par « découplage statique/dynamique », c'est-à-dire en traitant séparément la géométrie fixe de l'environnement et les personnes en mouvement. Le cadre repose sur deux modules. Le premier, NGSGF (Normal Guided Scene Geometry Fusion), complète la projection 3D guidée par la profondeur avec des normales de surface, afin de rendre la géométrie plus robuste aux occlusions. Le second, HCSI (Human-Centric Sparse Interaction), modélise de façon sélective, en 3D, les relations entre personnes ainsi qu'entre une personne et son environnement local. Sur le jeu de test à scènes disjointes, la méthode atteint 15,80 d'IoU, 11,40 de mIoU et 46,23 d'IoU sur la classe « humain ». Il s'agit d'un résultat de recherche académique, sans produit ni déploiement associé. L'enjeu porte sur une hypothèse rarement testée : la perception 3D des robots mobiles est surtout validée dans des scènes statiques ou peu peuplées. Or, dans une foule, les personnes masquent les murs, le mobilier et le sol, et leur propre occupation prédite est souvent incomplète ou mal placée. Pour un quadrupède opérant dans un hall, un commerce ou un site d'inspection partagé avec des employés, c'est la fiabilité de la carte d'occupation locale, donc de la planification de trajectoire et de l'évitement, qui est en jeu. Le fait de se limiter à une seule caméra, avec profondeur, va dans le sens de plateformes à faible coût et à capteurs réduits. Les chiffres appellent toutefois à la prudence : 15,80 d'IoU et 11,40 de mIoU restent modestes en valeur absolue. Le jeu de données est aussi petit (11 scènes), et la généralisation n'est démontrée que sur des scènes d'intérieur invisibles du même corpus. L'écart avec une robustesse exploitable en production est donc probablement important, d'autant que les résumés ne donnent ni latence ni cadence d'inférence embarquée. Ces travaux prolongent la lignée de la complétion sémantique de scène monoculaire, née dans le contexte de la conduite autonome (SemanticKITTI, approches de type MonoScene), puis étendue à l'occupation 3D en intérieur. La plupart de ces références supposent des scènes statiques ou des points de vue de véhicule, et non celui d'un quadrupède, plus bas et plus instable. CrowdOcc comble ce vide avec un banc d'essai dédié aux scènes peuplées. Les prochaines étapes naturelles sont l'évaluation sur une plateforme réelle, la mesure du temps d'inférence embarqué et l'extension à davantage de scènes. Le papier ne mentionne aucun acteur industriel ou européen précis. Il s'adresse aux équipes qui développent des quadrupèdes commerciaux et aux laboratoires travaillant sur la navigation en environnement humain.

Recherche❖Paper

1 source

35

634arXiv cs.RO 

La robustesse à la permutation ne suffit pas : l'effondrement des actions dans les politiques multi-agents à base de transformeurs

Une étude publiée sur arXiv (2610.02848) examine un défaut peu discuté des politiques multi-agents à base de transformers. Les équipes de robots n'ont pas d'ordre naturel, alors que les transformers lisent les agents comme une séquence de tokens ordonnée. Les auteurs testent des politiques de navigation coopérative sous permutation de l'ordre des agents. Ils mesurent la cohérence aux permutations, mais aussi l'effondrement des actions, via trois indicateurs : la diversité des actions, la fraction d'agents jouant la même action et la fréquence maximale d'une action. Le résultat central est qu'une faible erreur de permutation peut tromper, car une politique paraît robuste dès que tous les agents choisissent la même action. La base PPO-ID évite cet effondrement mais reste sensible à l'ordre. Une forte régularisation d'équivariance produit un comportement homogène. Une pénalité faible améliore la robustesse tout en conservant des actions variées avec N=3 agents, tandis que N=4 exige des poids de régularisation nettement plus petits. Le résumé ne donne aucune valeur chiffrée. Pour les intégrateurs et les équipes qui visent des flottes coopératives (AMR, bras multiples, futurs humanoïdes en équipe), l'enseignement est méthodologique. Le retour cumulé et la robustesse aux permutations ne suffisent pas à valider une politique, car une politique dégénérée, où tous les agents font la même chose, passe ces tests sans coordonner quoi que ce soit. La sensibilité de la bonne régularisation à la taille de l'équipe est plus inquiétante pour le passage à l'échelle : si le réglage change dès le passage de 3 à 4 agents, rien ne garantit qu'il tienne sur des flottes de dizaines de robots. Il faut toutefois relativiser. Le cadre est une tâche de navigation en simulation, avec de très petites équipes et sans robots réels, et la portée pratique reste donc à démontrer. Le travail s'inscrit dans le débat sur les architectures adaptées aux ensembles non ordonnés. Les approches invariantes ou équivariantes, comme les Deep Sets ou les réseaux de graphes, sont l'alternative classique aux transformers ordonnés, et les politiques multi-agents à base de transformers gagnent en popularité en apprentissage par renforcement. Aucun acteur industriel, ni européen ni autre, n'est cité. Aucune suite n'est annoncée. Les prolongements logiques seraient de tester des équipes plus grandes, des actions continues et des plateformes physiques, et d'intégrer ces diagnostics d'effondrement aux protocoles d'évaluation standard.

Recherche❖Paper

1 source

34

635arXiv cs.RO 

RATE : encodage tactile sensible au risque pour la manipulation robotique riche en contacts

Des chercheurs publient sur arXiv (2610.03538) RATE, pour Risk-Aware Tactile Encoding, une méthode d'encodage tactile destinée à la manipulation robotique riche en contacts. Le principe est d'apprendre des représentations tactiles qui portent explicitement le risque d'interaction propre à la tâche. Deux mécanismes y contribuent. Une prédiction conditionnée par l'historique des contacts capture le contexte d'interaction. Une supervision par « alertes » associe ensuite ce contexte à un niveau de risque. La représentation obtenue s'ajoute aux caractéristiques tactiles classiques via un adaptateur résiduel léger, sans remplacer l'encodeur existant. Les auteurs annoncent des gains substantiels de taux de réussite en simulation comme sur robot réel. Des ablations contrôlées montrent que l'apprentissage guidé par les alertes et la modélisation temporelle prédictive apportent chacun un bénéfice complémentaire. Le résumé ne chiffre ni les gains, ni les tâches, ni le matériel, ni les capteurs utilisés. Le travail s'attaque à une ambiguïté bien connue de la manipulation tactile. Un même signal peut venir de situations aux conséquences très différentes : bruit du capteur, variation normale et nécessaire à la tâche, ou début d'un contact indésirable. Sans information de risque ancrée dans le contexte, une politique aval ne sait pas les distinguer. Elle corrige alors inutilement des variations bénignes, ou réagit trop tard à un contact réellement dangereux. Pour les intégrateurs, cela touche les opérations d'assemblage, d'insertion ou de manipulation d'objets fragiles, où la robustesse compte plus que le taux de réussite moyen. L'approche est peu invasive, puisqu'un adaptateur résiduel se greffe sur des pipelines existants. Elle reste toutefois une preuve de concept académique. En l'absence de chiffres dans le résumé, il faut attendre le papier complet pour juger l'ampleur des gains, la diversité des tâches et la dépendance au choix des seuils d'alerte. Ce travail s'inscrit dans la progression rapide de l'apprentissage de représentations tactiles, qui a surtout cherché à produire des encodages généraux à partir de capteurs optiques ou de peau électronique. Les modèles vision-langage-action (VLA) actuels, tels que Pi-0 ou GR00T, s'appuient surtout sur la vision et traitent encore peu le toucher. Des représentations tactiles qui signalent le risque pourraient combler cette lacune. L'article est une pré-publication, non évaluée par les pairs. Aucun déploiement industriel, aucun produit ni aucun calendrier n'est annoncé. Les prochaines étapes à surveiller sont la publication du code, la validation sur des tâches plus variées et l'intégration à des politiques de type VLA.

Recherche❖Paper

1 source

33

636arXiv cs.RO 

Sur l'alignement des représentations entre agents incarnés

Des chercheurs publient sur arXiv (2610.02985, octobre 2026) un travail théorique sur l'alignement des représentations entre agents incarnés. Le point de départ est que plusieurs agents qui interagissent avec le même processus physique ont rarement des représentations identiques. Elles sont hétérogènes, asynchrones et relatives à l'observateur. Les auteurs ne cherchent pas à les aligner globalement. Ils se demandent quelles distinctions doivent réellement être résolues pour qu'une interaction reste cohérente. Ils formalisent la question par la notion de « suffisance relationnelle ». Une carte de preuves relationnelles, propre à l'interaction, définit l'ambiguïté laissée après comparaison des représentations. La suffisance est atteinte quand chaque fibre d'ambiguïté résiduelle reste dans une même classe d'équivalence d'interaction. Si la condition échoue, il faut ajouter des ancrages sensorimoteurs qui séparent précisément les ambiguïtés capables de changer le résultat utile. Pour les systèmes lisses, les auteurs dérivent une borne inférieure locale au premier ordre. Le nombre d'ancrages scalaires indépendants est au moins égal à la dimension des directions invisibles à la preuve relationnelle mais visibles pour la carte pertinente pour l'interaction. L'article l'illustre par un scénario de passage de relais asynchrone, en deux variantes avec les mêmes agents observateurs, représentations, transports et preuves relationnelles. La synchronisation relative n'exige aucun ancrage supplémentaire. Le passage à un instant absolu en exige exactement un. Le résultat est une condition d'arrêt, relative à la tâche, pour l'alignement des représentations. Un désaccord résiduel n'a pas besoin d'être éliminé s'il n'a aucun effet sur l'interaction. Pour les équipes qui conçoivent des flottes multi-robots, des cellules mixtes humains-robots ou des échanges entre robots de fournisseurs différents, cela déplace la question. On ne demande plus si deux systèmes partagent le même modèle du monde, mais quelle information minimale ils doivent partager pour la tâche visée. Le cas du passage de relais montre aussi qu'une exigence d'horloge absolue a un coût réel en capteurs ou en signaux de synchronisation, alors qu'une coordination relative peut s'en passer. Il faut toutefois rester prudent. Il s'agit d'un cadre théorique, sans validation sur du matériel, sans benchmark, sans chiffres de performance, et la borne n'est établie que localement pour des systèmes lisses. Rien n'indique encore que le cadre passe à l'échelle de politiques apprises de type VLA ou de dynamiques avec contacts non lisses. Ces travaux s'inscrivent dans un débat plus large sur la communication et l'alignement de représentations dans les systèmes multi-agents. Les approches habituelles cherchent souvent un espace latent commun ou un étalonnage global, ce qui est coûteux et souvent superflu. La contribution ici est une manière de dire à l'avance où s'arrêter. Les prochaines étapes naturelles seraient de calculer cette borne sur des tâches robotiques concrètes, comme le transfert d'objet entre manipulateurs ou la coordination entre AMR, et de la relier à des politiques apprises. Aucune implémentation ni échéance n'est annoncée.

Recherche❖Paper

1 source

41

637Pandaily 

Qwen3.8-Max d'Alibaba et Nebula de ZTE à égalité en tête des modèles chinois du classement SuperCLUE Embodied Brain

Le groupe d'évaluation chinois SuperCLUE a publié l'édition de septembre 2026 de son classement EmbodiedCLUE-VLA, qui mesure la capacité d'un modèle d'IA à servir de « cerveau » à un robot, c'est-à-dire à planifier et raisonner sur des tâches physiques. Parmi les modèles chinois, Qwen3.8-Max-0902 d'Alibaba et Nebula-EmbodiedBrain de ZTE partagent la première place avec un score total identique de 77,48. Le benchmark couvre quatre domaines : la perception de base (temporelle, d'objets, spatiale), le raisonnement visuel (mathématique, temporel, spatial, logique), l'interaction et la planification (planification de tâches et de trajectoires) et la sécurité incarnée (conformité éthique, sécurité physique, protection de la vie privée). SuperCLUE considère comme à égalité les modèles séparés de moins d'un point et ne cite les modèles internationaux qu'à titre indicatif, hors classement. Les deux leaders y arrivent par des chemins différents. Qwen3.8-Max-0902 obtient les meilleurs scores chinois en perception de base (83,33) et en raisonnement visuel (84,72). Nebula-EmbodiedBrain domine en sécurité (97,92 contre 89,58). Les deux font 39,29 en interaction et planification, mais le modèle de ZTE est meilleur en planification de tâches (64,29 contre 28,57), celui d'Alibaba en planification de trajectoires (50 contre 14,29). Derrière, on trouve des modèles open source de 10 milliards de paramètres ou moins : MiMo-Embodied-7B de Xiaomi (56,95, également premier du classement séparé des moins de 10B), RynnBrain1.1-9B d'Alibaba (50,33), RoboBrain2.5-8B-NV de BAAI (46,36) et HY-Embodied-0.5 de Tencent, 4B (29,14). Pour les intégrateurs et les décideurs industriels, le signal principal est que la planification reste le maillon faible : aucun modèle chinois ne dépasse 40 en interaction et planification, et les quatre modèles open source plafonnent à 14,29 ou moins. Autrement dit, la perception et le raisonnement visuel progressent nettement plus vite que la capacité à enchaîner des actions fiables, ce qui limite l'autonomie réelle des robots sur des tâches longues. L'écart avec les références internationales reste net : GPT-6 Astra atteint 86,75, Gemini-3.8-Flash 82,12 et Gemini-Robotics-ER-2-Preview, spécialisé en robotique, 70,86. Il faut toutefois lire ces chiffres avec prudence. Il s'agit d'un benchmark par un seul organisme, et le média chinois MyDrivers note lui-même que les classements fondés sur des jeux de tests différents donnent souvent des résultats contradictoires. Les deux leaders sont par ailleurs des modèles fermés accessibles par API, ce qui pèse sur leur reproductibilité et leur adoption embarquée. Le positionnement diffère : selon MyDrivers, Alibaba se distingue par sa mémoire spatio-temporelle, capable de retenir une tâche inachevée après une interruption, tandis que ZTE vise le déploiement sur machine et l'adaptation au matériel. Ce classement s'inscrit dans une série : SuperCLUE avait déjà publié des éditions en janvier et février 2026. ZTE avait auparavant sorti EmbodiedBrain 1.0, un modèle vision-langage pour la planification de tâches incarnées, dont les poids 7B et 32B sont publiés sur Hugging Face. Xiaomi a ouvert MiMo-Embodied, Alibaba DAMO Academy a lancé RynnBrain et Tencent Robotics X a publié trois modèles incarnés en open source, ce qui montre que les grands groupes chinois du numérique et des télécoms se disputent désormais la couche cognitive des robots, face aux modèles américains. Aucun déploiement industriel ni calendrier de pilote n'est annoncé ici : il s'agit d'une évaluation, pas d'une preuve de performance en production. La prochaine édition dira si l'écart en planification se réduit et si les modèles ouverts rattrapent les modèles fermés.

Chine/Asie⚡Actu

1 source

35

638Robotics Business Review 

Comment la robotique et l'IA physique peuvent répondre de façon responsable aux grands défis de la sécurité physique

Le secteur de la sécurité physique se tourne vers la robotique et l'IA physique pour répondre à des menaces de plus en plus connectées. Selon l'article, plus de 23 milliards de dollars ont été investis en 2026 dans des entreprises qui travaillent à rapprocher ces deux technologies. Les risques se regroupent en trois familles : la convergence cyber-physique, les contraintes des systèmes hérités et la volatilité mondiale. Caméras, contrôle d'accès et capteurs interconnectés forment une surface d'attaque : si la plateforme centrale est compromise, les actifs deviennent exposés au vol, aux dégâts et aux interruptions. L'exemple cité est l'attaque contre Jaguar Land Rover l'an dernier. Des identifiants volés et de l'ingénierie sociale, attribués à des acteurs présumés liés à un État, ont donné accès au système d'information du constructeur et arrêté totalement la production, pour un coût estimé à 2,5 milliards de dollars pour l'économie britannique. Côté robotique, Foxlink a présenté au GTC Taipei 2025 un chien robot quadrupède de patrouille, développé avec Luminys et embarquant des technologies NVIDIA et SYNC. Ses capteurs intégrés observent la zone, et l'IA détecte les anomalies, les traite et déclenche une réaction. L'article le destine à la sécurité d'entreprise et à l'intervention d'urgence. L'intérêt pour les décideurs tient au déplacement du modèle de sécurité, de la réaction vers la prévention. Un parc de matériel et de logiciels anciens ne permet que de constater les incidents, alors qu'un agent mobile capable d'apprendre peut patrouiller en continu et signaler les écarts avant qu'ils ne deviennent des sinistres. Pour les exploitants de centres de données et d'usines, cibles désignées par l'article, cela ouvre une couche de surveillance mobile et évolutive, là où les caméras fixes laissent des angles morts. Il faut toutefois lire ce texte avec recul. Il décrit une orientation stratégique plus qu'un déploiement : aucun payload, autonomie, nombre de degrés de liberté, prix, taux de fausses alertes ni site client n'est mentionné pour le robot de Foxlink. On est donc face à une présentation de salon, pas à un produit livré ni à un retour d'expérience. Le chiffre de 23 milliards de dollars, sans détail des bénéficiaires, indique surtout un afflux de capitaux, pas une maturité opérationnelle. Quant au cas Jaguar Land Rover, il relève d'une intrusion informatique, qu'un robot de patrouille n'aurait pas empêchée. Le lien avec la robotique reste donc indirect. Ce positionnement s'inscrit dans une tendance où l'IA physique, le cerveau, vient équiper des plateformes mobiles, le corps, jusque-là surtout rigides et programmées. NVIDIA fournit ici la pile logicielle et le calcul embarqué, comme chez beaucoup d'acteurs de la robotique mobile. Le quadrupède de sécurité est un segment déjà disputé, notamment par Boston Dynamics avec Spot et Unitree, que l'article ne cite pas. Le texte est relayé avant RoboBusiness, qui fête ses 20 ans. La suite dépendra de pilotes mesurables chez des opérateurs d'infrastructures critiques, et de la capacité à sécuriser ces robots eux-mêmes, qui ajoutent un maillon connecté à protéger.

Infrastructure❧Opinion

1 source

33

639Robotics & Automation News 

Cyngn décroche une nouvelle commande de tracteurs de remorquage autonomes auprès d'un fabricant du Fortune 100

Cyngn a annoncé une commande de suivi pour son DriveMod Tugger, un tracteur de convoi autonome, passée par un fabricant d'engins lourds que l'entreprise décrit seulement comme un « Fortune 100 ». Le déploiement supplémentaire doit couvrir une nouvelle application de manutention de matériaux dans l'usine du client, qui utilise déjà la technologie de Cyngn. Le CEO Lior Tal explique que le déplacement répétitif de matériaux représente un coût important pour les grands industriels. Le texte disponible ne donne ni le nombre de véhicules, ni le montant de la commande, ni la charge remorquée, ni la date de mise en service. Le client n'est pas nommé. L'information vaut surtout par le mot « répétée ». Dans l'AMR et le tracteur autonome industriel, le premier pilote ne prouve presque rien, car beaucoup de projets s'arrêtent après la phase d'essai. Une extension sur un second cas d'usage chez un même grand compte indique que la première installation a rempli ses objectifs de fiabilité et de retour sur investissement, ou au moins qu'elle n'a pas posé de problème d'exploitation. C'est le signal que suivent les directeurs des opérations et les intégrateurs. Il faut toutefois rester prudent : sans volumes, sans prix ni indicateurs de performance, l'ampleur réelle du déploiement reste inconnue. Il peut s'agir de quelques unités, et l'anonymat du client empêche toute vérification indépendante. Cyngn vend des logiciels de conduite autonome destinés à équiper des véhicules industriels existants, en particulier des tracteurs de convoi, plutôt que des robots complets. Il se place face aux fabricants d'AMR et de chariots autonomes, comme Seegrid, Vecna ou OTTO (Rockwell) aux États-Unis, ou Balyo et Exotec en France, sur un créneau d'automatisation à faible complexité de la logistique interne, loin de la course aux humanoïdes. La suite dépendra de la capacité de Cyngn à transformer ces extensions chez un client en contrats récurrents, puis à les répliquer chez d'autres industriels. Les prochaines communications de résultats montreront si ces commandes pèsent réellement sur son chiffre d'affaires.

Industriel⚡Actu

1 source

41

640Robotics Business Review 

La course à l'IA physique se gagnera à l'office des brevets

Un conseil en brevets, qui compte vingt ans de métier et plus de 300 dépôts en automatisation industrielle, publie une tribune associée à Lightbringer. Il y soutient que la course à l'IA physique sera tranchée par la propriété intellectuelle plus que par la qualité des robots. Selon lui, la valeur se loge moins dans la machine que dans la technologie qui détermine son comportement, et cette technologie peut couvrir le matériel, le logiciel, les modèles d'IA et les méthodes de calibration. Son exemple central est la plainte déposée en 2022 par Boston Dynamics contre Ghost Robotics. Elle visait une "technologie centrale" qui régissait la façon dont le robot se relève après une chute, entre le quadrupède Spot et le Vision 60. Le litige a été réglé en 2025. L'auteur cite aussi la robotique en essaim, où l'innovation naît de l'interaction entre des dizaines de machines. Il rappelle que l'Office européen des brevets indique que, selon la nature de ces interactions, les revendications doivent parfois définir les entités individuelles, le système global et leur interaction, voire se limiter à leur combinaison. Pour les fondateurs et les décideurs, l'enjeu est concret. Un brevet qui ne protège que le robot peut laisser le comportement, donc la vraie valeur, sans défense. Dans les cas ambigus, les startups n'ont rarement le dessus, faute du budget contentieux nécessaire. Les risques décrits sont l'exclusion de leurs propres mécanismes, le blocage d'accès au marché, ou un rachat "pour les pièces" plutôt que pour la valeur. L'auteur en déduit que la stratégie de propriété intellectuelle doit exister dès le départ, pas après une Série A. Il ne recommande pas pour autant de multiplier les dépôts : une équipe qui brevette chaque composant épuise son temps d'ingénierie, et un concurrent peut déposer en premier sur l'invention décisive. Il faut aussi garder à l'esprit la nature du texte : c'est un plaidoyer de praticien, sans données chiffrées sur la fréquence des litiges ni sur leur coût. Le contexte est celui d'un secteur qui se prépare à une phase contentieuse. La responsable de la propriété intellectuelle de RoboSense avait averti l'an dernier que les litiges de brevets en robotique pourraient se multiplier comme dans les smartphones des années 2010, quand les batailles judiciaires mondiales ont structuré licences, rachats et contrôle des marchés. L'auteur ajoute qu'un brevet est une publication, ce qui peut desservir certaines inventions. Pour un procédé de fabrication ou une technique de calibration difficiles à rétroconcevoir, le secret peut coûter moins cher et protéger mieux. En défense, publier un brevet révélerait aux concurrents, et aux adversaires, quel problème a été résolu et où se situe l'avantage. Pour les acteurs européens, la position de l'OEB sur les revendications de systèmes multi-entités sera à suivre de près. Le texte ne cite aucun nouveau procès, mais l'issue amiable du dossier Boston Dynamics contre Ghost Robotics n'a pas levé l'incertitude juridique sur la brevetabilité du comportement d'un essaim.

Regulation❧Opinion

1 source

33

641Robotics Business Review 

Découvrez les robots mobiles LD de nouvelle génération d'Omron

Dans l'épisode 264 du Robot Report Podcast, l'équipe reçoit Miguel Garcés Moreno, responsable marketing produit pour les robots mobiles d'OMRON Industrial Automation Europe, sur la zone Europe, Moyen-Orient et Afrique (EMEA). Ingénieur industriel de formation, titulaire d'un master en Industrie 4.0, il pilote la stratégie produit d'OMRON sur trois familles : les robots mobiles autonomes (AMR), l'automatisation industrielle et les robots collaboratifs à force et puissance limitées. Son champ d'expertise couvre aussi la vision par IA, le contrôle de mouvement et les automates programmables (PLC). L'entretien porte sur la nouvelle génération des AMR de la gamme LD, dans une logique d'intralogistique flexible, compacte et entièrement automatisée pour les usines. Le descriptif de l'épisode ne publie ni charge utile, ni vitesse, ni autonomie, ni prix, ni calendrier de disponibilité. Il s'agit donc, à ce stade, d'une annonce de positionnement et non d'un produit documenté chiffre à l'appui. L'épisode est également ponctué d'une revue de l'actualité : une nouvelle main de robot humanoïde chez Boston Dynamics, l'humanoïde domestique Flourish One basé sur un Raspberry Pi, et un investissement de 100 millions de dollars d'Amazon dans une usine dans l'Indiana. L'intérêt tient moins à une annonce technique, absente du texte, qu'au signal envoyé par un acteur historique de l'automatisation industrielle. Le fait qu'OMRON mette en avant un responsable EMEA pour présenter sa prochaine génération de LD indique que le marché européen de l'intralogistique reste un terrain d'affrontement entre AMR, cobots et systèmes de convoyage. Pour un intégrateur ou un directeur des opérations, la question utile sera de savoir si cette génération améliore les points qui bloquent aujourd'hui les déploiements : intégration aux PLC existants, gestion de flotte, sécurité en environnement mixte et coût total par site. L'épisode n'apporte pas ces réponses dans son descriptif. Il faudra attendre les fiches techniques, ou l'écoute de l'entretien, pour juger de la substance. Côté contexte, OMRON défend de longue date une offre qui combine robots mobiles, cobots et contrôle-commande, ce qui lui permet de vendre une cellule cohérente plutôt qu'un robot isolé. Cette approche le met en concurrence avec les spécialistes des AMR et les grands de l'automatisation, comme Mobile Industrial Robots (Teradyne) ou les fabricants de cobots qui étendent leur gamme vers la mobilité. L'épisode est sponsorisé par WiBotic, spécialiste de la recharge sans fil pour robots, ce qui rappelle que l'autonomie énergétique des flottes reste un sujet central. Les prochaines étapes à surveiller sont la publication des spécifications de la nouvelle gamme LD et les premiers déploiements clients en Europe. Le podcast annonce par ailleurs les 20 ans de RoboBusiness comme prochain rendez-vous du secteur.

Industriel⚡Actu

1 source

40

642Interesting Engineering 

Un robot apprend en 5 minutes des tâches complexes de 12 étapes et replanifie en cas d'imprévu

Des chercheurs de l'Université de Pennsylvanie (Penn Engineering) ont présenté SymSkill, un système qui permet à un bras robotique d'exécuter des tâches allant jusqu'à 12 étapes après seulement cinq minutes de démonstrations vidéo. Le travail, mené par Yifei Simon Shao, doctorant dans le laboratoire de Nadia Figueroa, a été validé en simulation et sur un bras robotique physique. Le scénario type consiste à sortir une banane d'une casserole fermée : le robot retire le couvercle, saisit la banane et la dépose sur une assiette. Il continue lorsqu'une personne l'interrompt ou qu'une tentative échoue. Les séquences de 12 étapes n'ont fait l'objet d'aucune démonstration dédiée : le système recombine des compétences élémentaires apprises séparément. L'architecture repose sur deux niveaux. Un planificateur symbolique représente objets, actions et relations pour déduire l'ordre des opérations nécessaires à un objectif. En dessous, une approche par systèmes dynamiques gère l'exécution du mouvement et permet de réagir en temps réel aux perturbations, comme un humain qui se place dans la trajectoire. L'intérêt tient à la voie choisie. La tendance dominante en manipulation, notamment avec les modèles VLA (vision-langage-action), consiste à accroître les volumes de données de téléopération pour couvrir toujours plus de cas. SymSkill adopte la logique inverse : apprendre peu de primitives, puis composer. Pour un intégrateur, la promesse est de réduire le coût de programmation ou de collecte de données à chaque nouvelle séquence, et d'obtenir une reprise après échec sans relancer toute la tâche, point sensible dans les environnements partagés avec des opérateurs. Les réserves sont néanmoins réelles : aucun taux de réussite, temps de cycle ni nombre d'essais n'est communiqué, les tâches restent des démonstrations de laboratoire (une banane, une casserole) et un seul bras a été utilisé. Rien ne dit encore comment le planificateur symbolique gère des scènes encombrées, des objets inconnus ou des prédicats mal perçus, ce qui fait traditionnellement la fragilité des approches symboliques hors du laboratoire. Ce travail s'inscrit dans la recherche du laboratoire de Nadia Figueroa, professeure assistante en génie mécanique et mécanique appliquée à Penn Engineering, sur la réutilisation de mouvements appris. Une autre brique, Gaussian Graph, transforme des mouvements démontrés en carte de trajectoires possibles dans l'espace de travail, afin de générer des chemins jamais montrés au robot. Face aux approches à grande échelle de données telles que Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure, SymSkill relève d'une voie néo-symbolique, plus économe en données et plus interprétable, mais non comparée à ces modèles dans ce qui est publié. La suite annoncée est académique : couplage avec des modèles de langage pour interpréter les instructions humaines, puis extension aux robots bimanuels, aux humanoïdes et aux manipulateurs mobiles. Aucun pilote industriel ni calendrier de transfert n'est mentionné à ce stade.

Recherche❖Paper

1 source

25

643Robotics Business Review 

Eli Lilly et Purdue partageront leurs retours de terrain sur l'interaction homme-robot à RoboBusiness

Eli Lilly et l'université Purdue présenteront leurs retours de terrain sur l'interaction homme-robot (HRI) lors de RoboBusiness 2026, qui se tiendra les 20 et 21 octobre à Santa Clara, en Californie. La conférence, intitulée « Human-Robot Interaction: Bridging Academia and Industry », aura lieu le premier jour à 11h45 (heure du Pacifique). Elle sera donnée par Faraz Yousuf, ingénieur principal senior en applications robotiques chez Eli Lilly, et par la Dr Anastasia Kouvaras Ostrowski, professeure assistante à la School of Applied and Creative Computing de Purdue, avec une nomination associée en génie mécanique. Les deux intervenants exposeront les enseignements d'études HRI menées avec des opérateurs de sites de fabrication et d'entrepôts, au contact de véhicules à guidage automatique (AGV) en fonctionnement. Ils présenteront aussi des premiers résultats sur la perception des robots par les personnes sur le plancher de production, ainsi que la méthode qu'ils ont construite pour rendre ce partenariat reproductible. Aucun chiffre sur la taille des échantillons, les sites ou les résultats n'est communiqué à ce stade : il s'agit d'une annonce de programme, pas d'une publication de données. L'enjeu tient à un écart bien connu. La recherche en HRI se déroule surtout sur les campus et produit des données qui survivent rarement à l'épreuve d'une ligne de production réelle. Mener des études dans un site industriel en activité est assez lourd, sur le plan logistique et réglementaire, pour que la plupart des partenariats académie-industrie n'aboutissent pas. Un protocole documenté et réutilisable, issu d'un site pharmaceutique en exploitation, intéresserait donc les intégrateurs et les responsables sécurité qui déploient des AGV et des AMR près d'opérateurs humains. L'HRI est présentée comme l'un des derniers leviers importants pour améliorer la sécurité en automatisation industrielle. Cette affirmation reste celle de l'organisateur de l'événement. La valeur de la session dépendra de la qualité des données présentées, que l'annonce ne permet pas d'évaluer. Le profil des intervenants éclaire le contexte. Chez Eli Lilly, Faraz Yousuf travaille sur l'HRI, la sécurité robotique, la robotique d'inspection et l'intégration de systèmes dans des environnements de production pharmaceutique. Il a conçu, déployé et supporté des ASRS, des AGV, des AMR et des quadrupèdes d'inspection. Il contribue aussi aux comités de normalisation ANSI R15.08 partie 3, ISO 25785-1 et TR R15.108, consacrés à la sécurité des robots dynamiquement stables, catégorie qui inclut les robots à pattes et, à terme, les humanoïdes. Anastasia Kouvaras Ostrowski travaille sur la co-conception et la conception participative de robots et d'IA en contexte industriel, manufacturier et domestique, ainsi que sur les politiques encadrant ces technologies. Elle a été chercheuse postdoctorale au MIT Schwarzman College of Computing et au Personal Robots Group du MIT Media Lab, et est docteure en media arts and sciences du MIT. Cette session s'inscrit dans un salon qui réunit des développeurs de robotique commerciale, avec des offres de tarifs réduits pour l'académie, les associations et les groupes d'entreprises.

Industriel⚡Actu

1 source

38

644Interesting Engineering 

Pourquoi la sécurité déterminera l'avenir des robots humanoïdes

Rick Balzano, vice-président go-to-market pour les services IA, la sécurité et la robotique chez TaskUs, a détaillé dans l'épisode « Lexicon » d'Interesting Engineering le travail de l'ombre qui conditionne la fiabilité des robots humanoïdes. TaskUs intervient auprès d'entreprises de robotique, de véhicules autonomes et de systèmes d'IA : elle collecte, annote et valide les données qui servent à entraîner des machines à opérer dans le monde physique. Contrairement aux grands modèles de langage, qui apprennent à partir de textes et d'images disponibles en ligne, l'IA incarnée doit percevoir son environnement puis décider d'une action sans abîmer ni elle-même, ni l'équipement, ni les personnes proches. Une grande partie des données doit donc être captée dans le réel : vidéos à la première personne, relevés de capteurs, démonstrations de tâches, réactions des objets au toucher. Balzano estime que les humanoïdes actuels restent « probablement des robots très spécialisés dans un format humain ». Il cite un exemple concret de mise en scène : des robots qui semblent circuler librement dans une usine alors qu'ils évoluent dans une zone de 40 sur 40, avec garde-fous et téléopérateurs. Aucun chiffre de payload, de DOF ou de déploiement n'est avancé dans l'entretien. L'intérêt de ce témoignage tient à sa source : un prestataire de données, non un constructeur, qui confirme l'écart entre démonstration et réalité. La téléopération cachée, les zones délimitées et la préparation intensive derrière les vidéos virales sont désignés comme des facteurs de biais pour qui évalue ces machines. Pour un intégrateur ou un COO industriel, cela invite à demander dans quelles conditions un cycle a été mesuré, avec quelle part d'assistance humaine, et sur combien d'essais. Balzano souligne aussi que la sécurité est plus complexe que pour la robotique industrielle classique, car l'humanoïde évolue dans un environnement presque entièrement imprévisible. Les données les plus difficiles à obtenir concernent les événements rares et dangereux, comme une chute dans un escalier ou une collision, que personne ne veut provoquer volontairement sur une machine coûteuse. La dextérité fine, c'est-à-dire la force à appliquer pour saisir un objet fragile ou plier du linge, reste un autre verrou. Selon lui, l'apprentissage autonome est un objectif futur : aujourd'hui, les humains font encore l'essentiel de l'enseignement. Cet entretien s'inscrit dans le débat sur la généralisation des modèles robotiques, qui exige selon Balzano une grande diversité d'environnements et des données égocentriques à fort signal. Il ne tranche pas pour autant en faveur de la forme humanoïde : certaines tâches appelleraient des pinces, des roues ou des outils dédiés, et la finalité serait un « cerveau » assez capable pour s'adapter à différentes configurations physiques. L'extrait disponible s'interrompt au moment d'aborder la simulation, présentée comme un moyen moins coûteux et plus sûr de répéter des tâches à très grande échelle, mais dont les limites sont annoncées. Il s'agit d'un point de vue d'un acteur de la chaîne de données, et non d'une annonce de produit, de pilote ou de calendrier. Il rappelle toutefois que le goulet d'étranglement du secteur se déplace de la mécanique vers la donnée et la validation de sécurité.

Humanoïdes❧Opinion

1 source

45

645Robotics Business Review 

Runway présente Praxis-1, un modèle du monde et d'action pour la robotique

Runway AI, la société new-yorkaise fondée en 2018 et connue pour ses modèles génératifs vidéo, a présenté cette semaine Praxis-1, un « world action model » à poids ouverts qui convertit son pré-entraînement vidéo à grande échelle en commandes pour robots. Le modèle s'appuie sur la même base que les world models généraux de l'entreprise (GWM-1, Gen-4.5, Aleph 2.0, Act-Two) et apprend surtout à partir de vidéos filmées à la troisième personne, non de démonstrations téléopérées. Il a été entraîné sur des tâches de manipulation allant du simple pick-and-place (soulever des canettes) à la manipulation d'objets déformables (emballer des sacs cadeaux). Runway affirme que la simulation de politiques robotiques dans son world model prédit les résultats réels avec une corrélation de 0,95, mieux que des techniques plus coûteuses fondées sur la reconstruction 3D, sans publier de détails méthodologiques. Des partenaires pilotes (Noble Machines, Standard Bots et Ultra) font tourner Praxis-1 sur leur propre matériel, des bras bimanuels aux humanoïdes, avec un fine-tuning léger. La sortie publique est annoncée « dans les prochains mois », sans date. L'enjeu est de savoir si la vidéo peut remplacer, au moins en partie, la donnée robot, rare et chère à collecter. Selon Kamil Sindi, directeur technique de Runway, la performance progresse avec le volume de vidéo, de sorte que le plafond du modèle dépendrait de la quantité de vidéo disponible plutôt que du nombre de démonstrations. Si cela se confirme, le goulot d'étranglement des politiques généralistes se déplacerait de la collecte téléopérée vers le curage de données vidéo. Pour les intégrateurs, la promesse d'un modèle unique adaptable à plusieurs morphologies avec peu de fine-tuning serait un gain de coût réel. Il faut toutefois rester prudent : aucun taux de réussite, aucun temps de cycle ni aucune comparaison avec des politiques existantes n'a été publié, et les retours des partenaires sont rapportés par Runway elle-même. Le chiffre de 0,95 mesure la fidélité de la simulation, pas la performance sur site. À ce stade, il s'agit d'une annonce avec des tests partenaires, pas d'un produit livré ni d'un déploiement en production. Runway arrive en robotique depuis la vidéo générative, après GWM-1 et des modèles interactifs temps réel comme Solaris et GWM Worlds 2, conçus pour créer des environnements d'entraînement d'agents. L'entreprise, qui a des bureaux à New York, San Francisco, Seattle, Londres, Paris, Tel Aviv et Tokyo, rejoint un champ où les approches VLA (vision-langage-action) et world models se disputent le terrain, face à des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix), qui s'appuient davantage sur des données robot. Le choix des poids ouverts est assumé : Sindi y voit un levier pour que les États-Unis retrouvent leur avance industrielle, en laissant aux fabricants de matériel de la flexibilité. Les prochaines étapes sont l'élargissement du cercle de partenaires avant la sortie publique et la validation sur davantage de robots, pour combler les écarts avant la disponibilité générale. Aucun acteur français ou européen n'est cité parmi les partenaires.

IA physique⚡Actu

1 source

45

646Robotics & Automation News 

L'association A3 publie la dernière partie de la norme de sécurité pour les robots mobiles industriels

L'Association for Advancing Automation (A3) a annoncé la disponibilité à l'achat de l'ANSI/A3 R15.08-3-2026, troisième et dernière partie de la norme américaine de sécurité des robots mobiles industriels (IMR). Intitulée « Use of IMR Applications », cette partie traite des responsabilités des utilisateurs qui exploitent des applications de robots mobiles dans leurs sites. Elle complète la série R15.08, dont les deux premières parties visent respectivement les fabricants de robots et les intégrateurs. Le communiqué ne détaille pas, dans sa version courte, le contenu technique des exigences ni leur prix. Pour les industriels, la série couvre désormais toute la chaîne de responsabilité, du constructeur de l'AMR ou du chariot autonome jusqu'à l'exploitant qui le fait circuler parmi des opérateurs, des piétons et des chariots conventionnels. C'est un point concret pour les COO et responsables sécurité, car l'exploitant porte la charge de l'évaluation des risques, de la formation et de la gestion des zones partagées. Les intégrateurs disposent d'un cadre plus clair à citer dans leurs contrats et leurs réceptions de site. Il s'agit toutefois d'un document normatif, et non d'une preuve de déploiement ou de performance. Cette série prolonge le travail historique de l'ex-RIA, aujourd'hui intégrée à A3, et répond à la multiplication des flottes d'IMR en entrepôt et en usine. Elle reste une référence nord-américaine. En Europe, les acteurs comme Exotec s'appuient plutôt sur le cadre ISO 3691-4 et la directive Machines, ce qui impose aux fabricants exportateurs de gérer deux référentiels. Les prochaines étapes à surveiller sont l'adoption par les assureurs et les donneurs d'ordre, ainsi que l'alignement avec les normes ISO.

Regulation⚖Reglementation

1 source

38

647Robotics & Automation News 

FMC³ Robotics, Vector et PEM Motion préparent une coentreprise dans l'IA incarnée

Lors du Humanoid Robots Summit 2026 à Stuttgart, Vector Informatik, PEM Motion et FMC³ Robotics ont signé un protocole d'accord (MoU) au siège de Vector. L'objectif est de développer ensemble une infrastructure de données standardisée pour l'IA embarquée (embodied AI) industrielle. Le texte associe l'ingénierie de production, les technologies de données industrielles standardisées, la robotique et l'IA embarquée. Le titre évoque une coentreprise (joint venture), mais l'accord signé reste un MoU. Aucun montant, calendrier, site pilote ni robot n'est communiqué dans le passage disponible. L'enjeu est moins le robot que ce qu'il consomme. Les modèles VLA et les politiques apprises dépendent de données de démonstration et de production hétérogènes, rarement exploitables d'un site à l'autre. Un format commun pour collecter, annoter et échanger ces données pourrait réduire le coût d'intégration, qui freine le passage de la démo au déploiement en usine. Pour les intégrateurs et les responsables d'exploitation, c'est un signal en faveur de la standardisation, avec des acteurs issus de l'automobile et de la production plutôt que de la seule robotique. Vector est un éditeur allemand connu pour ses outils et logiciels de standards automobiles, ce qui explique son intérêt pour une couche de données normalisée. L'initiative s'inscrit dans la course européenne à l'IA embarquée, où l'Allemagne cherche à contrer les écosystèmes américains et chinois, adossés à des plateformes propriétaires. Reste à voir si le MoU débouchera sur une spécification publique, des pilotes industriels ou une entité commune. À ce stade, il s'agit d'une annonce d'intention, sans produit livré ni déploiement réel.

FR/EU ecosysteme⚡Actu

1 source

27

648IEEE Spectrum Robotics 

Vidéo du vendredi : l'albatros chute, tournoie, se redresse et s'éloigne à la voile

Le dernier Video Friday d'IEEE Spectrum met en avant ALBATROSS, un robot hybride aérien et marin conçu à la Singapore University of Technology and Design et décrit dans Science Robotics. Il se largue depuis les airs, descend en autorotation sans parachute, se redresse passivement après son amerrissage, puis réutilise ses ailes rigides comme voiles pour naviguer de façon autonome grâce au vent, avec un minimum d'actionneurs. Sharpa a dévoilé à l'IROS trois produits : D01, présenté comme un robot à détection tactile intégrée pour la manipulation dextre, W02, une main dextre tactile ultra-compacte, et AE01, un gant exosquelette haptique destiné à collecter des données. Boston Dynamics affirme qu'Atlas lui fera gagner la course aux humanoïdes, en s'appuyant sur le précédent commercial de Spot et de Stretch. La sélection compte aussi un patin de pied souple à épines pour robot sauteur (CLIMB Lab, Toronto), la plateforme HARP, où des drones indépendants se reconfigurent physiquement en vol (General Robotics Lab), des démonstrations de mobilité d'ANYmal (ETH Zurich), un bras robotisé auto-assemblé conçu par un lycéen canadien, Daniel Zhu, pour le secours en décombres, et une démonstration de conduite autonome d'XPENG. L'équipe IT Imperial a enfin relié le connectome MaleCNS d'une mouche drosophile mâle à un humanoïde Unitree G1, dans une boucle caméra, modèle neuronal, décodage moteur, mouvement. Ce qui ressort tient moins à un produit qu'à un déplacement des centres d'intérêt. ALBATROSS illustre une logique de morphologie intelligente, où la structure remplace des sous-systèmes embarqués, avec une promesse de capteurs marins persistants et déployables rapidement. Reste à savoir si cela dépasse le stade du prototype académique. Côté dextérité, Sharpa vise une brique recherchée, le tactile, ainsi que la collecte de données par téléopération haptique, devenue un goulot d'étranglement pour entraîner les modèles de manipulation. Les formules de Boston Dynamics relèvent du positionnement commercial et ne sont accompagnées d'aucun chiffre de déploiement ou de production dans ce numéro. Le rédacteur de Spectrum se dit lui-même lassé des coups de communication autour des humanoïdes, un signal de fatigue du secteur face aux vidéos spectaculaires non contextualisées. L'expérience IT Imperial est à prendre avec prudence : le rédacteur ignore si la tâche est bien plus facile ou plus difficile qu'elle n'en a l'air, et aucune métrique n'est fournie. Ces travaux s'inscrivent dans un calendrier de conférences chargé, avec CoRL 2026 du 9 au 12 novembre à Austin puis Humanoids 2026 du 6 au 9 décembre à Santa Clara. Boston Dynamics y défend sa position face aux acteurs de l'humanoïde, tandis que l'ETH Zurich, via ANYmal, et XPENG illustrent la pression venue de la recherche académique et de l'automobile. Tevel, dont les drones cueilleurs de fruits sont salués par Spectrum comme une survivance inattendue, rappelle qu'une robotique agricole peut durer sans les budgets de l'humanoïde. Aucun acteur français ou européen n'est cité dans ce numéro, hormis l'ETH Zurich côté suisse. Les prochaines étapes sont celles de la publication académique : validation sur le terrain pour ALBATROSS, démonstrations de Sharpa et suites des projets HARP et IT Imperial.

Recherche⚡Actu

1 source

37

649Interesting Engineering 

Vidéo : des images brutes montrent un robot humanoïde au travail en usine avec une autonomie annoncée de 60 %

Nucleus, une jeune pousse qui vend du travail humanoïde à l'heure aux usines, a publié le 1er octobre près de deux heures de séquences sans coupe montrant son robot humanoïde exécuter des tâches industrielles courantes. Son fondateur et CEO, Melvin Schwarz, assume que la démonstration était environ à 60 % autonome et à 40 % téléopérée, hésitations et interventions humaines comprises. L'entreprise n'a pas précisé comment ces pourcentages ont été calculés : ils décrivent cette séquence précise, pas un indicateur général d'autonomie. Schwarz affirme par ailleurs que Nucleus enchaîne désormais régulièrement des postes de quatre à six heures, le robot menant un travail de bout en bout. Cela décrit la durée des postes, pas une autonomie continue sur cette durée. Les applications citées sont le picking de pièces, le chargement de rayonnages, la manutention de produits et le transport de chariots. Le système enregistre images, profondeur, mouvements du robot, signaux de contact, corrections humaines et résultats de tâche. Ni le modèle de robot, ni le site, ni le nom du client, ni le prix de l'heure facturée ne sont précisés. L'intérêt tient au choix de la mesure. La plupart des démonstrations humanoïdes montrent une séquence courte, souvent sélectionnée, ce qui nourrit l'écart entre la vidéo et la réalité du terrain. Une usine exige l'inverse : répétabilité, reprise après erreur, tolérance aux variations de lumière, de placement des objets et de flux de travail. Publier un enregistrement brut avec ses ratés est donc un signal de transparence plutôt rare dans le secteur. Pour un intégrateur ou un COO industriel, le chiffre le plus parlant est le ratio d'intervention humaine, et 40 % de téléopération reste élevé. Il pose la question du coût réel : si un opérateur doit assister le robot près de la moitié du temps, l'économie à l'heure dépend du nombre de robots qu'un seul opérateur peut superviser, une donnée non communiquée. Il faut aussi rappeler que l'on ne voit qu'une séquence, choisie par l'entreprise elle-même, même si elle est sans coupe. Nucleus ne présente pas la téléopération comme une béquille provisoire, mais comme un élément de son modèle de déploiement. Prompts de tâche, instructions d'experts et corrections à distance sont enregistrés avec ce que le robot a perçu et fait, puis réinjectés pour améliorer ses modèles d'IA : chaque blocage devient une donnée d'entraînement. L'approche rappelle celle d'acteurs américains et chinois qui adossent leurs flottes à des opérateurs humains, tandis que Figure, Tesla (Optimus) ou Agility misent sur une autonomie plus poussée, avec leurs propres écarts entre annonces et déploiements vérifiables. Côté européen, des acteurs comme Enchanted Tools suivent aussi la voie du déploiement progressif. La suite à surveiller : une baisse mesurable de la part téléopérée, des durées d'autonomie continue, et des sites clients nommés.

Industriel⚡Actu

1 source

39

650Interesting Engineering 

Un robot d'usine du F-35 aux États-Unis réduit la pose de boulons de plusieurs heures à quelques minutes

Northrop Grumman a ramené de plusieurs heures à quelques minutes une opération d'assemblage sur les modules avioniques du F-35, grâce à un cobot installé sur sa ligne de production. Le robot travaille aux côtés des techniciens qui construisent le module CNI (Communications, Navigation and Identification), l'un des éléments du système avionique intégré du chasseur. Sa tâche est de guider l'installation précise des boulons qui fixent la zone du boîtier avant. Lavell Catlin, responsable de fabrication de la ligne CNI, affirme que cette opération « prenait des heures » et ne demande plus que « quelques minutes ». Le robot assiste l'opérateur, il n'assemble pas seul. L'industriel indique aussi avoir réaffecté « un couple » d'employés à d'autres tâches. En parallèle, des outils d'inspection par IA examinent les modules terminés et signalent les défauts potentiels avant expédition, y compris de très petites anomalies. Northrop étend ces systèmes à d'autres zones de la ligne CNI. Aucune donnée n'est publiée sur le modèle de cobot, sa charge utile, le taux de défauts détectés ou le nombre de modules concernés. Le point à retenir est moins la prouesse robotique que le type d'application. Il s'agit d'une tâche de vissage de précision, assistée et non autonome, dans un environnement aéronautique de défense à faible volume et à forte exigence de traçabilité. C'est précisément là que la cobotique industrielle tient ses promesses de façon tangible, loin des démonstrations d'humanoïdes polyvalents. Pour les intégrateurs et les responsables d'usine, le signal est que l'assistance ciblée sur une opération à fort enjeu qualité produit des gains mesurables sans refonte de ligne. Une réserve s'impose toutefois : le « de plusieurs heures à quelques minutes » vient d'un responsable de production, sans définition du périmètre (réglage, contrôle et mise en position inclus ou non), ni mesure indépendante. Le gain de temps est plausible, mais son ampleur exacte reste invérifiable. Le discours sur le redéploiement de deux employés, plutôt que sur des suppressions de postes, relève aussi de la communication. Cette annonce s'inscrit dans une automatisation plus large chez Northrop Grumman, partenaire du programme F-35 mené par Lockheed Martin, dont il assure le fuselage central, le radar, les systèmes de communication et la furtivité. À Palmdale, en Californie, sa ligne d'assemblage intégrée combine robotique, automatisation et réalité mixte, et sort un fuselage central toutes les 30 heures. L'entreprise fabrique aussi par procédés automatisés des pièces composites comme les peaux d'aile et les nacelles pour les trois variantes de l'appareil. L'objectif affiché est d'augmenter la capacité de production tout en préservant la qualité, alors que les livraisons continuent pour l'armée américaine et ses alliés. Aucun calendrier de déploiement sur d'autres lignes n'a été communiqué. Sur ce terrain, Northrop suit une trajectoire comparable à celle d'autres grands de l'aéronautique, qui misent sur le cobot et la vision par IA avant toute robotique mobile avancée.

Industriel⚡Actu

1 source