Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Robot apprend à communiquer via des abstractions visuelles projetées
RecherchearXiv cs.RO 

Robot apprend à communiquer via des abstractions visuelles projetées

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs presentent un systeme robotique capable d'exprimer des formes via des ombres projetees, construit autour d'une main dexterisee a 21 degres de liberte recouverte d'une peau souple compliante qui limite les fuites de lumiere et produit des silhouettes continues. Le coeur du systeme est un "self-model" differentiable, appris par exploration autonome sans tache predefinie, qui associe chaque configuration de la main a l'ombre qu'elle projette. A partir d'une image ou d'une video cible, le robot optimise sa configuration par descente de gradient sur ce modele appris, puis affine la solution via une simulation tenant compte des collisions pour garantir des mouvements physiquement realisables. Pour les ombres en mouvement, les chercheurs ajoutent des objectifs de region expressive, une regularisation de lissage temporel et une optimisation par images-cles. Les demonstrations couvrent la langue des signes, les ombres chinoises artisanales et l'imitation de mouvements animaux, testees en simulation et sur robot physique.

L'interet depasse le gadget: peu de travaux en robotique expressive abordent la communication via une abstraction visuelle du corps plutot que par la morphologie elle-meme. Pour la recherche en interaction homme-robot, cela ouvre un canal alternatif aux gestes directs ou aux ecrans expressifs, en exploitant un phenomene physique universellement lisible. La demonstration valide aussi, a petite echelle, la faisabilite d'un self-model differentiable appris par auto-exploration plutot que programme manuellement, une approche qui rejoint la tendance des modeles de monde appris pour la manipulation dexterisee. Reste que ce travail est une preuve de concept en laboratoire, sans donnees sur la robustesse en conditions reelles ni sur le temps de calcul requis.

Cette recherche s'inscrit dans la lignee des mains robotiques a haut nombre de degres de liberte, un axe distinct des mains de prehension des humanoides generalistes comme Figure ou Tesla Optimus, davantage orientees manipulation qu'expression. La question des abstractions corporelles projetees prolonge les travaux sur les visages expressifs des robots sociaux, ici sous un angle purement optique. Publie sur arXiv, l'article ne mentionne ni calendrier de suite ni application commerciale visee: il s'agit d'une demonstration de faisabilite scientifique posant un cadre reutilisable par d'autres equipes travaillant sur l'expressivite robotique, non d'un produit ou d'un pilote industriel.

Dans nos dossiers

Tesla OptimusarXiv cs.RO

À lire aussi

CORE : régularités communes issues de démonstrations visuelles sans actions pour la manipulation robotique
1arXiv cs.RO 

CORE : régularités communes issues de démonstrations visuelles sans actions pour la manipulation robotique

Des chercheurs ont publié fin juin 2026 CORE (Common Outcome Regularities from Action-Free Visual Demonstrations), un cadre d'apprentissage de politique robotique conçu pour exploiter des vidéos humaines sans annotations de mouvements, afin d'entraîner des robots manipulateurs. La méthode s'appuie sur une observation clé : bien que les trajectoires menant à une même tâche varient, leurs états terminaux partagent des configurations d'objets stables, des relations spatiales et des contraintes de contact reproductibles. CORE entraîne d'abord un encodeur d'état terminal par apprentissage contrastif et objectifs temporels auxiliaires, agrège ensuite les embeddings terminaux réussis en prototypes visuels de but (visual goal prototypes), puis injecte ces prototypes comme conditions globales dans la politique de contrôle du robot. Les gains de taux de succès mesurés sur les benchmarks de référence sont de +3,9 points de pourcentage sur Meta-World, +11,1 pp sur RoboTwin 2.0, et jusqu'à +17,0 pp en manipulation réelle. L'enjeu est direct pour les intégrateurs : collecter des démonstrations robotiques est coûteux en équipement, en opérateurs et en temps de setup, tandis que des millions d'heures de vidéos humaines d'assemblage, de logistique ou de cuisine existent déjà. L'écart morphologique entre la main humaine et un préhenseur robotique a jusqu'ici rendu ces vidéos inutilisables pour l'apprentissage par imitation direct. CORE contourne le problème en ne cherchant pas à transférer les actions elles-mêmes, mais uniquement les régularités des états finaux. Le gain de +17 pp en conditions réelles est particulièrement notable car il indique une réduction du fossé sim-to-real sans contrainte sur la morphologie du robot. En surpassant les variantes conditionnées par texte (architecture VLA classique), CORE suggère que les prototypes visuels de but apportent des contraintes géométriques et physiques plus exploitables que les instructions en langage naturel, une nuance importante pour la calibration de politiques multi-tâches. L'apprentissage par imitation depuis des vidéos humaines est un axe de recherche actif, porté notamment par Google DeepMind avec RT-2, Physical Intelligence avec pi-0, et Meta FAIR. Des méthodes comme R3M ou VIP apprennent des représentations visuelles transférables depuis des vidéos humaines, mais CORE cible spécifiquement les états terminaux plutôt que les représentations d'observation générales, ce qui constitue sa distinction architecturale principale. Les benchmarks retenus, Meta-World et RoboTwin 2.0, sont reconnus sans être universellement adoptés, ce qui limite les comparaisons directes avec les résultats concurrents. Aucun partenariat industriel ni déploiement commercial n'est mentionné : il s'agit d'un preprint arXiv, dont les suites dépendront de réplications indépendantes et d'extensions vers des tâches plus complexes, notamment la manipulation en chaîne longue ou en environnements non structurés.

RechercheOpinion
1 source
Apprentissage robotique dextérique à grande échelle via des interactions homme-robot à distance en réalité augmentée
2arXiv cs.RO 

Apprentissage robotique dextérique à grande échelle via des interactions homme-robot à distance en réalité augmentée

Des chercheurs publient une nouvelle méthode d'apprentissage pour robots manipulateurs dexterity, combinant téléopération à distance en réalité augmentée (AR) et apprentissage par renforcement. Le système fonctionne en deux phases: d'abord un entraînement par clonage comportemental (behavior cloning) à partir de démonstrations collectées via une interface AR permettant à un opérateur humain de piloter à distance un bras-main robotique; ensuite un raffinement par apprentissage par renforcement enrichi de contrastive learning, avec une tête de projection dédiée pour accélérer la convergence. Un système de récompense événementiel a été ajouté pour renforcer la sécurité des interactions. Les auteurs ont validé leur approche à la fois en simulation physique sous PyBullet et lors d'expériences réelles sur robot, en comparant les résultats à plusieurs méthodes de référence. Les démonstrations vidéo sont disponibles sur le site des auteurs (cyberyyc.github.io). Cette publication s'inscrit dans un axe de recherche central pour la robotique dexterity: comment collecter efficacement des données de démonstration de qualité, le principal goulot d'étranglement des politiques de manipulation apprises. La téléopération AR répond directement à ce problème en rendant la collecte de données à distance plus rapide et moins coûteuse que les setups de téléprésence classiques. Plus significatif encore, les auteurs affirment que leur combinaison BC puis RL contrastif règle un problème connu et documenté du RL appliqué à la manipulation robotique: l'effondrement de politique (policy collapse), où l'agent converge vers un comportement dégénéré. Si les gains de vitesse d'entraînement et de taux de réussite se confirment au-delà du cadre académique, la méthode pourrait intéresser les équipes travaillant sur des politiques de manipulation généralistes, dans la lignée des approches VLA comme Pi-0 ou GR00T N2. L'article s'inscrit dans la vague de travaux combinant téléopération immersive et apprentissage par imitation puis renforcement, une direction explorée par plusieurs laboratoires académiques et industriels depuis l'essor des politiques vision-langage-action. Contrairement aux démonstrations commerciales de Figure ou Optimus, ce travail reste à un stade de recherche, validé en simulation et sur banc d'essai, sans annonce de déploiement industriel ni de partenaire commercial.

RecherchePaper
1 source
StARS : recommandation d'actions robotiques socialement appropriées via un système de recommandation
3arXiv cs.RO 

StARS : recommandation d'actions robotiques socialement appropriées via un système de recommandation

Des chercheurs de l'Université de Cambridge (groupe Cambridge-AFAR) publient StARS, un nouveau cadre pour générer des actions robotiques socialement appropriées en tenant compte de la variabilité des jugements humains. Le constat de départ est simple : deux personnes peuvent juger différemment la même action d'un robot dans une situation identique, ce qui rend obsolète l'idée d'un score d'appropriation universel. Plutôt que d'entraîner un modèle unique censé plaire à tout le monde, l'équipe reformule le problème comme un système de recommandation, en traitant les annotateurs comme des utilisateurs, les scènes ou contextes comme des items, et les scores d'appropriation attribués à un ensemble d'actions candidates comme les cibles à prédire. StARS combine du filtrage collaboratif avec des représentations de scène apprenables, et reste agnostique au modèle sous-jacent : il peut s'intégrer à différents encodeurs de scène et backbones sans redesign complet. Les auteurs l'ont testé sur deux jeux de données de référence en robotique sociale, MannersDB+ et SocNav1, avec une analyse de robustesse en cas de retours de préférence peu nombreux. Le code est disponible publiquement sur GitHub. Pour l'industrie de l'interaction humain-robot, cette approche s'attaque à un angle mort classique des systèmes actuels : la plupart des modèles d'appropriation sociale produisent un score moyen, sans distinguer les préférences individuelles des utilisateurs, ce qui limite leur usage réel en contexte domestique, hospitalier ou en espace public partagé. En montrant des gains constants d'accord avec les annotateurs sur plusieurs jeux de données et plusieurs architectures, StARS suggère qu'une personnalisation légère, sans réentraîner le modèle de base, est possible pour affiner le comportement social des robots selon l'utilisateur. Ce travail s'inscrit dans la lignée des travaux sur l'évaluation de l'appropriation sociale en HRI (notamment les jeux de données MannersDB et SocNav utilisés ici) et dans la tradition plus large des systèmes de recommandation appliqués hors du e-commerce. Il reste à ce stade une contribution académique, publiée en préprint sur arXiv sans annonce de déploiement industriel ni de partenariat commercial ; la suite logique serait une validation sur des interactions robot-humain en conditions réelles, au-delà des jeux de données existants.

RecherchePaper
1 source
Apprentissage continu de politiques robotiques via des dynamiques neuronales variationnelles
4arXiv cs.RO 

Apprentissage continu de politiques robotiques via des dynamiques neuronales variationnelles

Des chercheurs ont publié en juin 2026 (arXiv:2606.27353) un framework d'apprentissage continu permettant à un robot de s'adapter en temps réel à des dynamiques changeantes et non observées, sans nécessiter de réentraînement complet. Le système combine un modèle de dynamique analytique (prior physique) avec un résidu neuronal entraîné à capturer les effets non modélisés. Un encodeur récurrent infère en ligne la "condition cachée" courante du robot, c'est-à-dire l'état du système non directement mesurable (charge utile variable, usure mécanique, perturbations aérologiques), à partir des trajectoires état-action récentes. Cette condition estimée pilote à la fois le modèle résiduel et la politique de contrôle. Lors de l'apprentissage, la politique est optimisée par simulation différentiable en échantillonnant un ensemble de dynamiques plausibles issues du modèle latent. Sur un quadrotor réel soumis à des vents récurrents, le système récupère une perturbation connue en environ 1 seconde, soit cinq fois plus rapidement qu'un réentraînement résiduel en ligne classique, et réduit les erreurs de vol stationnaire et de suivi de trajectoire respectivement de 65,7 % et 53,3 % par rapport aux approches d'adaptation en ligne de l'état de l'art. L'enjeu industriel est direct : la quasi-totalité des contrôleurs appris actuels sont entraînés une fois, puis déployés statiquement, comme si la dynamique du robot restait constante. En pratique, batteries qui se déchargent, charges qui changent de mission en mission, surfaces de contact qui évoluent, conditions météo variables, tout cela dégrade les performances sans mécanisme de correction. L'originalité de cette approche tient à la distinction entre "reconnaissance" et "réadaptation" : plutôt que de réajuster un modèle depuis zéro à chaque perturbation rencontrée (coûteux en données et en temps), le système reconnaît une dynamique déjà vue et l'applique immédiatement via l'encodeur récurrent. Ce paradigme est particulièrement pertinent pour les intégrateurs de drones industriels, de robots manipulateurs en logistique ou de plateformes mobiles en environnement extérieur, où les cycles de déploiement sont longs et les recalibrages manuels coûteux. Les résultats valident aussi une hypothèse clé du champ sim-to-real : qu'un prior physique structuré couplé à un résidu neuronal permet de généraliser à des conditions non vues lors de l'entraînement, à condition que ces conditions aient été préalablement "vécues" lors d'autres déploiements. Ce travail s'inscrit dans une lignée de recherches sur l'adaptation dynamique de politiques robotiques incluant la randomisation de domaine (popularisée par OpenAI Robotics dès 2018), les approches méta-learning type MAML, et les méthodes d'adaptation en ligne par processus gaussiens. Le réentraînement résiduel en ligne, utilisé comme baseline de comparaison, est une technique établie mais limitée par sa latence de convergence, problème central que ce framework adresse directement par la reconnaissance latente. L'article est à ce stade un preprint non relu par les pairs, et les expériences réelles restent limitées au quadrotor ; la généralisation à des robots à pattes ou à des bras manipulateurs industriels reste à démontrer. Aucun partenaire industriel ni calendrier de transfert technologique n'est mentionné. Les prochaines étapes probables incluent des tests sur des plateformes à dynamiques plus complexes et une validation sur des dynamiques à distribution plus large.

RecherchePaper
1 source