Aller au contenu principal

Actualités robotique — page 11

7 422 articles au fil, du plus récent au plus ancien.

OntoPlan : une représentation de scène fondée sur une ontologie et un cadre à base d'agents pour la planification de tâches robotiques à grande échelle
501arXiv cs.RO 

OntoPlan : une représentation de scène fondée sur une ontologie et un cadre à base d'agents pour la planification de tâches robotiques à grande échelle

Des chercheurs publient OntoPlan, un cadre de planification de tâches robotiques fondé sur une représentation ontologique de la scène, accompagné d'un code ouvert sur GitHub (dépôt namhyeongwoo/OntoPlan). Le système cible un défaut connu de la planification par grands modèles de langage (LLM) : sur les tâches à long horizon dans de vastes environnements, la performance se dégrade. Quand la géométrie de la scène est transmise sous forme de texte, le modèle saisit mal le contexte spatial, et le coût en tokens croît avec la taille de l'environnement. OntoPlan aligne objets, espaces, relations et états dans un vocabulaire symbolique commun. Un cadre agentique interprète l'instruction, récupère de façon sélective les informations utiles, formalise buts et contraintes, puis produit un plan exécutable. Sur 150 tâches générales réparties dans cinq environnements intérieurs et trois échelles de scène, il atteint un taux de réussite moyen de 0,89, contre 0,27 pour la meilleure méthode de référence. Il consomme en moyenne 18,1 k tokens par tâche, soit environ 5,6 fois moins que la référence la plus économe. L'enjeu est double pour les intégrateurs et les équipes qui déploient des robots pilotés par LLM. D'abord, l'écart de 0,89 contre 0,27 suggère que le goulot d'étranglement tient moins à la capacité de raisonnement du modèle qu'à la manière de lui présenter le monde : un LLM qui génère directement des séquences d'actions peine à respecter l'état courant et les préconditions, alors qu'une formalisation symbolique les rend vérifiables. Ensuite, le coût en tokens, rarement discuté dans les démonstrations, détermine la viabilité économique et la latence en exploitation. Les auteurs indiquent que l'avantage persiste quand l'échelle de la scène augmente, alors que les méthodes concurrentes perdent davantage en réussite et restent beaucoup plus coûteuses. Le système demande aussi des précisions face à une instruction ambiguë, ou signale un manque d'information face à une instruction infaisable, au lieu de s'engager dans un plan invalide. C'est un comportement de sécurité utile pour tout déploiement industriel. Plusieurs réserves s'imposent. Il s'agit d'un préprint arXiv (v1), non évalué par les pairs. Les résultats viennent d'un banc d'essai de 150 tâches, sans précision dans le résumé sur la nature des environnements (simulés ou réels) ni sur les méthodes de référence. Les chiffres ne disent donc rien de la robustesse en conditions réelles, où perception bruitée et échecs d'exécution compliquent la construction de l'ontologie. Ce travail s'inscrit dans le courant de la planification neuro-symbolique, qui combine LLM et planificateurs formels (type PDDL) pour pallier les limites des approches où le modèle génère directement les actions. Il se distingue des modèles vision-langage-action de bout en bout, qui traitent le bas niveau. La publication du code permettra une reproduction indépendante, étape décisive pour juger si l'écart de performance tient hors du banc d'essai des auteurs.

RecherchePaper
1 source
R2RI : un jeu de données multi-vues d'événements et RGB pour l'interaction robot-robot
502arXiv cs.RO 

R2RI : un jeu de données multi-vues d'événements et RGB pour l'interaction robot-robot

Des chercheurs publient R2RI (Robot-to-Robot Interaction), un jeu de données présenté comme le premier conçu spécifiquement pour la tâche d'interaction robot-robot (RRI). Il réunit plusieurs robots humanoïdes de modèles différents, mis en scène dans des interactions calquées sur des comportements sociaux humains réels. Chaque scène est filmée selon deux points de vue complémentaires : une vue égocentrique, issue des capteurs embarqués de chaque robot, et une vue exocentrique, captée par des caméras fixes extérieures. Le corpus compte plus de 6,5 millions d'images et environ 5 000 vidéos à 120 images par seconde, dans deux domaines : RGB classique et caméra événementielle, qui ne transmet que les changements de luminosité pixel par pixel, avec une latence très faible et une bonne tenue aux mouvements rapides. Les auteurs comparent les avantages et limites de chaque domaine en confrontant des approches de l'état de l'art sur plusieurs tâches clés de perception et d'interaction. Données et annotations sont publiées sur GitHub (MagriniGabriele/R2RI), pour toutes les tâches et toutes les modalités. L'enjeu est d'abord méthodologique. La modélisation des interactions entre agents autonomes pèse sur les systèmes collaboratifs, la robotique sociale et la coexistence homme-robot. Elle manquait pourtant de référence à grande échelle, ce qui empêchait de comparer les méthodes entre elles. Pour un intégrateur ou un responsable d'exploitation, l'intérêt est concret : à mesure que des flottes de robots hétérogènes partagent un même espace (entrepôt, usine, site logistique), la capacité d'un robot à interpréter les gestes et intentions d'un autre devient un sujet d'ingénierie, au-delà de la simple détection d'obstacles. L'ajout du flux événementiel est notable, car ce type de capteur est précisément pertinent pour des mouvements rapides ou des éclairages difficiles, où le RGB souffre de flou et de latence. Une réserve s'impose toutefois : il s'agit d'un jeu de données, sans démonstration de déploiement. Les interactions sont scénarisées et enregistrées en environnement contrôlé, et le résumé ne précise ni les modèles de robots utilisés, ni les tâches évaluées, ni les scores obtenus. L'écart entre benchmark et comportement autonome en conditions réelles reste donc entier. Ce travail s'inscrit dans une tendance visible de la vision et de la robotique : les jeux de données d'interaction se sont d'abord concentrés sur l'humain, avec des corpus d'interactions homme-homme ou homme-robot, alors que l'interaction entre machines restait quasi absente. Avec la multiplication des humanoïdes en phase pilote chez plusieurs acteurs américains et chinois, la question de la coordination entre robots de marques différentes va gagner en importance. Les suites probables sont l'adoption du jeu de données comme banc d'essai par d'autres laboratoires, puis l'entraînement de modèles de perception sociale ou de politiques multi-agents. Aucun calendrier industriel n'est annoncé et aucun acteur européen n'est cité dans le résumé. La valeur réelle de R2RI se jugera à son adoption par la communauté et à la diversité des plateformes qu'il couvre effectivement.

RecherchePaper
1 source
Ce que la carte d'élévation ne voit pas : locomotion sémantique et navigation tenant compte de l'exécution pour robot humanoïde
503arXiv cs.RO 

Ce que la carte d'élévation ne voit pas : locomotion sémantique et navigation tenant compte de l'exécution pour robot humanoïde

Des chercheurs proposent un nouveau benchmark de simulation pour la navigation des robots humanoïdes, accompagné d'un cadre de contrôle en boucle fermée associant navigation visuelle guidée par le langage (VLN) et politique de locomotion. Le travail, publié sur arXiv (2610.07396), part d'un constat : les benchmarks VLN existants produisent certes des déplacements physiquement exécutables, mais reposent sur deux hypothèses jugées irréalistes. La première est que tous les dangers sont visibles dans une carte d'élévation. La seconde est que les mouvements réalisés correspondent fidèlement aux mouvements commandés. Le nouveau benchmark modélise à la fois des obstacles « subtils en élévation » (une bouteille tombée, ambiguë sur une carte de hauteur, ou la difficulté de distinguer un téléphone d'une flaque d'eau) et des écarts d'exécution. Le cadre proposé réaligne en continu la navigation de haut niveau sur l'état réel du robot. L'évaluation est menée en simulation, et la politique de locomotion est validée sur un humanoïde Unitree G1 réel. Les résultats indiquent que l'entrée sémantique réduit les contacts avec les dangers mal représentés par les cartes d'élévation, et que le mécanisme anti-déviation améliore le taux de réussite de navigation. L'extrait disponible ne fournit ni taux de réussite chiffrés, ni taille du benchmark, ni nombre d'essais sur le matériel. L'intérêt tient à ce que ce travail s'attaque à un angle mort des évaluations actuelles. Quand la locomotion esquive un danger, le robot s'écarte du chemin voulu par la politique de navigation, et cet écart se cumule jusqu'à conduire la machine vers un endroit non prévu. Pour les intégrateurs et les responsables d'exploitation qui envisagent des humanoïdes dans des environnements encombrés (entrepôts, ateliers, commerces), le message est clair : mesurer seulement l'achèvement du trajet, ou seulement l'évitement d'obstacles, donne une image trompeuse. Les auteurs plaident pour une évaluation conjointe des deux. Cela relativise aussi les démonstrations où la carte d'élévation suffit à tout : un liquide au sol ou un objet plat échappe à la géométrie pure, et la perception sémantique devient nécessaire. Il faut toutefois rester prudent : il s'agit d'un benchmark simulé, et la validation physique porte sur la locomotion, pas sur la chaîne complète de navigation. Ce travail s'inscrit dans la montée en puissance des approches VLN et des politiques de locomotion apprises pour humanoïdes, où le G1 d'Unitree est devenu une plateforme de recherche courante grâce à son coût relativement abordable. Les évaluations sur matériel à grande échelle restent coûteuses et risquées, ce qui explique le recours aux benchmarks de simulation, au prix d'un écart sim-to-real que ce papier ne referme pas entièrement. La suite logique serait une validation de bout en bout sur robot physique, avec davantage de scénarios et de types de dangers. Aucun calendrier ni partenaire industriel n'est annoncé.

RecherchePaper
1 source
Vers des modèles de manipulation robotique efficaces grâce à l'élagage auto-récursif
504arXiv cs.RO 

Vers des modèles de manipulation robotique efficaces grâce à l'élagage auto-récursif

Des chercheurs proposent LCAM (Loss-Conditioned Activation-Moment pruning), une méthode d'élagage non structuré, sans réentraînement, pour des politiques de manipulation robotique déjà pré-entraînées. Le travail, publié sur arXiv (2610.08555), classe les connexions du réseau selon trois signaux : la contribution des poids normalisée par ligne, les moments d'activation mesurés sur des démonstrations de calibration, et la sensibilité des directions de sortie à la perte de prédiction d'action. Une procédure récursive du grossier au fin recalibre l'importance après chaque étape d'élagage grossier. Une fois passé un « genou » de sparsité, un budget fin est alloué selon la distorsion d'action hors ligne sur des données de validation. Testée sur trois suites LIBERO avec plusieurs politiques robotiques et sur OpenVLA, la méthode atteint 84,0 % de réussite sur LIBERO-Object avec OpenVLA à 50 % d'élagage non structuré, soit plus de 90 % du taux de succès de la politique dense. Les auteurs ajoutent un test réel sur une tâche de ping-pong robotisé, dont ils ne détaillent pas les chiffres dans le résumé. L'enjeu est le déploiement embarqué de modèles VLA (vision-langage-action), dont la taille pèse sur la latence, la mémoire et la consommation. Les critères d'élagage classiques sont conçus pour la classification d'images ou la vraisemblance des modèles de langage, et dégradent le comportement en boucle fermée. En ciblant directement la perte d'action et en évitant à la fois le réentraînement de récupération et les rollouts en simulateur, LCAM abaisse le coût de compression pour un intégrateur qui souhaite faire tourner une politique sur un calculateur contraint. Il faut toutefois rester prudent. L'élagage non structuré produit des matrices creuses qui n'accélèrent pas automatiquement l'inférence sur GPU ou sur les puces embarquées courantes, sauf support matériel dédié. Les gains annoncés portent sur le taux de succès, pas sur la latence mesurée. Le résultat à 84,0 % concerne une seule suite, LIBERO-Object, un benchmark de simulation relativement favorable, et le ping-pong réel reste une démonstration unique sans statistiques publiées. Ces travaux s'inscrivent dans le mouvement de compression des modèles VLA, après la montée en puissance d'OpenVLA, de Pi-0 et des approches de distillation, de quantification ou de réduction de couches. Ils prolongent des méthodes d'élagage générales comme Wanda ou SparseGPT, conçues pour les modèles de langage et ici adaptées à l'action. Les suites logiques seraient une validation sur des politiques plus grandes, un élagage structuré compatible avec les accélérateurs, et des mesures de latence sur matériel embarqué, ainsi que des tests sur des tâches de manipulation plus longues et plus variées que LIBERO. Aucun acteur européen n'est cité dans le résumé, et aucun calendrier de diffusion du code ou d'application industrielle n'est annoncé.

RecherchePaper
1 source
Apprentissage de la manipulation robotique à force régulée avec une pince tactile à contrôle de force à faible coût
505arXiv cs.RO 

Apprentissage de la manipulation robotique à force régulée avec une pince tactile à contrôle de force à faible coût

Des chercheurs présentent TF-Gripper, une pince parallèle à force contrôlée dont le coût avoisine 150 dollars. Elle intègre un retour tactile et couvre une plage de force effective de 0,45 à 45 N. Elle se monte sur différents bras robotiques. Les auteurs l'associent à un dispositif de téléopération qui enregistre les forces de préhension appliquées par un opérateur humain. Ils proposent aussi RETAF (REactive Tactile Adaptation of Force), un cadre logiciel qui sépare le contrôle de la force de serrage de la prédiction de pose de l'effecteur. RETAF régule la force à haute fréquence à partir d'images de poignet et du retour tactile. Une politique de base prédit, elle, la pose de l'effecteur et l'ordre d'ouverture ou de fermeture. Les expériences portent sur six tâches réelles. Le contrôle direct de la force y améliore la stabilité de la prise et la performance globale par rapport au contrôle en position. Selon les auteurs, RETAF surpasse systématiquement les références testées et s'intègre à plusieurs politiques de base. Le travail est publié sur arXiv (version 2), avec une page de projet associée. Il s'agit d'un résultat de laboratoire, sans déploiement industriel ni produit commercialisé. L'enjeu tient à un angle mort de l'apprentissage par imitation et des modèles vision-langage-action (VLA). La plupart des pinces du marché sont soit chères, soit limitées par une force minimale trop élevée. Elles sont donc inadaptées aux objets fragiles du quotidien, comme les chips, qui se brisent si la force n'est pas modulée. Une pince à 150 dollars capable de descendre sous 0,5 N abaisse nettement le coût d'entrée pour les laboratoires qui étudient la manipulation sensible à la force. Pour les intégrateurs, le résultat suggère que le contrôle en force doit tourner sur une boucle rapide et dédiée. Les politiques génériques à basse fréquence peuvent être entraînées sur des données de force, mais les auteurs reconnaissent que leur fiabilité reste difficile à obtenir, car la tâche est réactive et dépend du contact. Il faut toutefois rester prudent. Six tâches en laboratoire ne disent rien de la durabilité de la pince, de la dérive des capteurs tactiles ni de la répétabilité en cadence industrielle. Le résumé ne donne pas non plus les taux de réussite chiffrés. Ce travail s'inscrit dans le déplacement de la recherche en manipulation, de la seule géométrie vers le contact. Les pinces tactiles et les mains dextres sont aujourd'hui souvent coûteuses ou propriétaires. Les politiques de type Pi-0 ou les VLA actuels se concentrent surtout sur la pose de l'effecteur et sur un état binaire de la pince. La séparation entre politique de base et régulation de force de RETAF est modulaire, ce qui la rend compatible avec ces architectures. Les auteurs affichent l'ambition de faire passer à l'échelle l'apprentissage de politiques à force contrôlée. Pour cela, il faudrait des jeux de données de force plus larges, collectés avec leur dispositif de téléopération, et des validations sur des objets plus variés. Aucun calendrier de commercialisation n'est annoncé.

RecherchePaper
1 source
CUSP : alarmes de risque de survie pilotées par CUSUM dès l'apparition de la perception, pour la navigation tout-terrain
506arXiv cs.RO 

CUSP : alarmes de risque de survie pilotées par CUSUM dès l'apparition de la perception, pour la navigation tout-terrain

Des chercheurs publient sur arXiv (2610.07882) CUSP, une alarme de danger en temps réel pour la navigation tout-terrain, conçue pour fonctionner avec n'importe quel modèle de navigation. Le système apprend à partir de journaux de terrain où un humain a interrompu le robot avant l'échec, de sorte que la défaillance elle-même n'est jamais observée. Les auteurs ajoutent une annotation séparée de ce qu'ils appellent le « perception onset » : l'instant où l'opérateur juge la conduite dangereuse, généralement bien avant d'intervenir. Une tête visuelle est entraînée sur cet instant avec un objectif de survie en temps discret, qui exploite aussi bien les trajets avec que sans onset. Un CUSUM, outil statistique de détection de rupture, cumule le risque prédit et déclenche l'alarme. Les tests couvrent cinq sites inédits (deux autonomes, trois téléopérés) et 142 événements, chaque méthode étant réglée sur dix fausses alarmes par heure. CUSP détecte 85 événements, contre 26 pour la meilleure de neuf approches de référence adaptées. L'enjeu est la sécurité de l'autonomie hors route, un point faible des déploiements en mines, agriculture, chantiers ou inspection. Les modèles de navigation apprenants choisissent un chemin à partir d'une supervision de sécurité, mais ne disent pas si le robot qui le suit se dirige vers un danger. Un taux de détection de 85 sur 142, soit environ 60 %, contre 18 % pour la meilleure référence, à taux de fausses alarmes égal, est un écart notable. Selon les auteurs, il vient de dangers auxquels aucun signal interne du modèle de navigation n'est sensible : les incertitudes ou coûts du planificateur ne suffisent donc pas comme alarme. Autre intérêt pratique : les journaux d'intervention humaine existent déjà en grande quantité, et l'approche les valorise sans exiger de collecter des échecs réels, coûteux et risqués. Deux réserves : ces résultats viennent d'un seul article, sans validation externe, et les référence sont des adaptations réalisées par les auteurs eux-mêmes. Le taux de fausses alarmes de dix par heure reste aussi élevé pour une exploitation sans surveillance. Ce travail s'inscrit dans la lignée des méthodes de navigation tout-terrain apprise, qui utilisent l'intervention humaine comme signal de supervision implicite, mais qui ciblaient jusqu'ici le choix du chemin plutôt que l'alarme en cours d'exécution. Les auteurs affirment qu'aucune méthode supervisée par intervention n'avait visé cet instant de bascule perçu par l'humain. L'article ne précise ni le matériel, ni les noms de plateformes, ni les latences ou délais d'anticipation, des éléments décisifs pour juger de l'utilité opérationnelle. Il s'agit d'un résultat de recherche, non d'un produit ni d'un déploiement commercial. La suite logique serait une validation sur davantage de plateformes et de terrains, ainsi qu'une intégration à des piles de navigation industrielles.

RecherchePaper
1 source
Exploration réactive d'environnements inconnus pour robots redondants par contrôle par modèle virtuel
507arXiv cs.RO 

Exploration réactive d'environnements inconnus pour robots redondants par contrôle par modèle virtuel

Des chercheurs publient sur arXiv (2610.08110) une méthode d'exploration active pour bras robotiques redondants, c'est-à-dire dotés de plus de degrés de liberté que nécessaire pour atteindre une pose donnée, équipés d'une caméra embarquée au poignet (configuration « eye-in-hand »). L'approche cible les espaces confinés, occultés et partiellement connus. Elle repose sur un score original qui sélectionne directement un voxel cible dans l'espace non exploré, en combinant l'état courant du robot et le gain d'information attendu. Pour rejoindre ce voxel, le système recourt au Virtual Model Control, une technique qui simule des éléments mécaniques virtuels (ressorts, amortisseurs) pour garantir une conduite compliante. Elle permet un évitement d'obstacles réactif sur l'ensemble du bras, sans replanification de trajectoire. Les essais, menés en simulation et sur robot réel, en environnements confinés comme ouverts, atteignent plus de 90 % de couverture cartographique en moins de 120 secondes, sans aucune collision. Pour l'industrie, l'intérêt est de traiter conjointement perception active et contrôle du corps entier. Les tâches d'inspection ou de maintenance dans des zones étroites (intérieur de machines, baies, cuves, armoires techniques) exigent que le bras découvre son environnement tout en le traversant. Remplacer la replanification par un contrôle réactif réduit la latence et la charge de calcul, deux points critiques pour des applications embarquées. Le résultat est toutefois à nuancer : il s'agit d'une prépublication non évaluée par les pairs, et le résumé ne précise ni le nombre d'environnements, ni le robot utilisé, ni la comparaison avec des méthodes de référence. Le seuil de 90 % de couverture et la limite de 120 secondes ne disent rien de la répétabilité sur des scènes plus encombrées, ni de la robustesse face aux obstacles mobiles ou aux erreurs de perception. Ces travaux s'inscrivent dans la lignée de la planification de « next-best-view » et de la reconstruction active, dominées par des approches qui calculent des vues candidates puis planifient un chemin, souvent au prix d'un temps de calcul élevé. Le Virtual Model Control, issu de la commande de robots marcheurs et de manipulateurs compliants, offre ici une alternative plus légère. Face à elles, les approches d'apprentissage de bout en bout, comme les politiques VLA, restent peu orientées vers l'exploration géométrique garantie en espace confiné. La suite logique serait une validation sur des bras industriels ou collaboratifs, des scènes dynamiques et des benchmarks publics. Aucun partenaire industriel ni calendrier de transfert n'est annoncé à ce stade.

RecherchePaper
1 source
Commande de robots à pattes tenant compte des aimants
508arXiv cs.RO 

Commande de robots à pattes tenant compte des aimants

Des chercheurs proposent un cadre de commande pour robots quadrupèdes capable de compenser les forces et couples magnétiques qui s'exercent sur eux près d'aimants puissants. La publication, parue sur arXiv (2610.08653), vise les installations de « Big Science » comme les accélérateurs de particules, où des robots autonomes pourraient accroître la disponibilité des machines et limiter l'exposition du personnel. Le problème est double : les champs intenses faussent les capteurs et génèrent sur les éléments métalliques des efforts qui dépendent de la pose du robot, ce qui déstabilise la marche. L'équipe a développé un plugin physique sur mesure pour le simulateur MuJoCo, qui modélise les forces magnétiques sur des corps rigides. Elle y ajoute une méthode d'estimation inverse qui reconstruit le champ magnétique latent à partir de la réponse dynamique du quadrupède et d'un nombre quelconque de lectures de capteurs. Enfin, une architecture combinant commande prédictive (MPC) et commande du corps entier (WBC) prédit les perturbations magnétiques et les contre pendant la locomotion. Les essais ont été menés en simulation et sur matériel réel. Les perturbations maximales rejetables passent à 2,5 fois leur valeur initiale dans l'espace des forces, et à 1,6 à 2 fois dans l'espace des couples, par rapport à un système non compensé. Pour les exploitants d'installations scientifiques et industrielles, l'enjeu est concret : les robots à pattes déployés pour l'inspection ou la maintenance échouent précisément là où leur valeur est la plus forte, près des aimants supraconducteurs ou des zones à fort champ. Les contrôleurs réactifs classiques traitent la perturbation magnétique comme un bruit à rejeter après coup, alors que ce travail la modélise et l'anticipe. Le gain annoncé s'exprime en surface opérable : le robot peut évoluer dans une zone 29,34 % plus étendue du champ étudié, dont 10,84 % auraient provoqué un effondrement immédiat avec un contrôleur non compensé. Il faut toutefois relativiser. Il s'agit d'un résultat académique, mesuré sur un champ défini par les auteurs, sans indication dans le résumé sur la plateforme employée ni sur l'intensité des champs testés. Ces chiffres ne se transposent donc pas directement à un site réel. Ce travail s'inscrit dans la montée en puissance des quadrupèdes d'inspection dans les sites sensibles, déjà testés dans des environnements radioactifs ou dangereux, où le magnétisme reste un angle mort peu étudié. Les approches MPC et WBC sont devenues la base de la locomotion robuste des robots à pattes, et l'article les étend à une classe de perturbations jusque-là ignorée. Aucun partenariat industriel, calendrier de déploiement ni pilote sur un site de type CERN n'est mentionné. La suite logique serait de valider l'approche sur des installations réelles, avec des champs plus intenses et variables dans le temps, puis de l'intégrer aux piles logicielles des fabricants de robots d'inspection. En l'état, il s'agit d'une preuve de concept de recherche, et non d'un produit ni d'un déploiement.

RecherchePaper
1 source
Micro-politiques neuronales pour un contrôle robotique sûr en temps réel
509arXiv cs.RO 

Micro-politiques neuronales pour un contrôle robotique sûr en temps réel

Des chercheurs publient sur arXiv (2610.08541v1) une méthode de synthèse de « Micro Neural Policies » (MNP), des politiques de contrôle neuronales minuscules, conçues pour piloter des robots en temps réel sur des microcontrôleurs aux ressources très limitées. La recherche d'une politique combine une stratégie d'évolution (Evolution Strategy, ES) et une vérification par model checking statistique (SMC). Selon les auteurs, cette combinaison réduit fortement la taille du réseau sans dégrader la sécurité ni la robustesse. L'entraînement et l'évaluation ont été menés à grande échelle sur deux tâches, le pendule inversé sur chariot (Cartpole) et le contrôle d'un quadrirotor. Les fréquences de contrôle et les architectures de réseau variaient. Après validation en simulation, les politiques ont été transférées en « zero-shot » sur des systèmes physiques, c'est-à-dire sans réentraînement ni ajustement. Leur empreinte mémoire va de 0,5 à 7,5 ko. Sur microcontrôleur, la latence d'inférence est déterministe, avec moins de 25 ns de gigue, et la puce reste inactive plus de 97 % du temps. Cela laisse de la marge pour d'autres charges de travail. L'intérêt tient à ce que ce travail va à contre-courant de la tendance dominante. Les modèles VLA (vision-langage-action) et les politiques de fondation grossissent et exigent des GPU embarqués. Ici, la contrainte s'inverse : un contrôleur de quelques kilo-octets, avec une exécution prévisible et une vérification formelle de la sécurité. Pour un intégrateur, c'est la couche basse qui compte, celle des boucles rapides de stabilisation, de la commande de moteurs et des drones légers. Le temps réel dur et la certifiabilité y pèsent davantage que la capacité de généralisation. Le résultat de sim-to-real sans perte de performance est encourageant. Il faut cependant le relativiser : Cartpole et un quadrirotor sont des bancs d'essai classiques, de faible dimension, loin de la manipulation dextre ou de la locomotion d'un humanoïde. Le résumé ne donne ni les marges de sécurité mesurées ni les comparaisons chiffrées avec d'autres méthodes. Ces points restent donc à vérifier dans l'article complet. Ces travaux s'inscrivent dans un courant plus large qui cherche à réduire les politiques neuronales (distillation, quantification, TinyML) et à les doter de garanties formelles. Ils répondent à un frein bien connu, la difficulté de certifier un réseau opaque dans un système critique. Ils se démarquent aussi des approches par apprentissage par renforcement profond, plus gourmandes en calcul et plus difficiles à vérifier. Le résumé ne cite ni partenaire industriel ni calendrier de déploiement. Il s'agit donc d'une publication de recherche, pas d'un produit. La suite logique serait de tester l'approche sur des systèmes plus complexes, avec davantage de degrés de liberté, et de l'intégrer dans des chaînes de contrôle hiérarchiques. Un modèle de haut niveau y fixerait les objectifs, et une micro-politique vérifiée assurerait la stabilité en temps réel.

RecherchePaper
1 source
Navigation indépendante de la disposition des capteurs grâce à la canonicalisation géométrique des observations
510arXiv cs.RO 

Navigation indépendante de la disposition des capteurs grâce à la canonicalisation géométrique des observations

Des chercheurs publient sur arXiv (2610.08306) une politique de navigation par profondeur conçue pour fonctionner avec des configurations de capteurs variables sur un quadrirotor. Le système prend des mesures de profondeur issues de charges utiles arbitraires, qui diffèrent par le nombre de caméras, leurs extrinsèques de montage et leurs intrinsèques. Il les reprojette explicitement dans un repère commun centré sur le robot. Elles sont ensuite assemblées en une image de distance sphérique unifiée, accompagnée d'un masque binaire de validité. Ce masque indique à la politique quelles zones sont observées et lesquelles sont des angles morts. La politique est entraînée par apprentissage par renforcement avec une randomisation agressive des caméras. Elle se généralise sans réentraînement (zero-shot) à des agencements inédits comptant jusqu'à sept caméras. Le taux de réussite passe de 78 % à 95 % à mesure que la couverture spatiale totale augmente. Des essais en vol réel ont été menés sur un quadrirotor physique, dans un couloir encombré d'obstacles et dans une forêt en extérieur. Ils portent sur le transfert entre configurations de caméras et sur la tolérance à des pannes soudaines de capteurs en cours de vol. L'article ne donne ni nombre d'essais réels ni modèle de drone précis dans ce résumé. Il s'agit d'une prépublication, sans produit ni déploiement associé. Le point central est la dissociation entre la politique et le montage matériel. Jusqu'ici, la plupart des politiques de navigation visuelle apprises restent liées à la disposition de caméras sur laquelle elles ont été entraînées. Changer de capteur ou de position impose donc de collecter des données et de réentraîner. Pour un intégrateur de drones ou un fabricant de plateformes, ce verrou freine la réutilisation d'un même logiciel sur plusieurs modèles ou plusieurs charges utiles. La courbe de 78 % à 95 % est aussi instructive. Elle montre que la performance dépend de la couverture sensorielle, et que le masque de validité permet à la politique d'exploiter chaque caméra supplémentaire sans se déstabiliser. La tolérance aux pannes est un argument concret pour les opérations d'inspection ou de sécurité, où la perte d'une caméra ne doit plus signifier l'arrêt de la mission. Les chiffres viennent surtout de la simulation, et la validation réelle reste limitée à deux environnements. La robustesse à plus grande échelle reste donc à démontrer. Ce travail s'inscrit dans la recherche sur les politiques « cross-embodiment », déjà bien présente en manipulation et en locomotion, mais plus rare en navigation aérienne par profondeur. L'approche privilégie une canonicalisation géométrique explicite plutôt qu'un apprentissage implicite des alignements spatiaux, comme le font de nombreux modèles de bout en bout. Les suites logiques sont l'extension à d'autres capteurs (lidar, événementiel), à d'autres plateformes que le quadrirotor, et des essais plus longs en conditions réelles. Aucun calendrier de pilote n'est annoncé.

RecherchePaper
1 source
LEAP : rendre efficace la supervision géométrique privilégiée pour l'apprentissage visuomoteur
511arXiv cs.RO 

LEAP : rendre efficace la supervision géométrique privilégiée pour l'apprentissage visuomoteur

Des chercheurs publient sur arXiv (2610.07015) LEAP, pour Latent Encoding with Aligned Privileged Geometry, un cadre d'entraînement qui exploite la géométrie 3D pendant l'apprentissage de politiques visuomotrices, sans l'exiger au déploiement. Le principe : un décodeur auxiliaire reconstruit des nuages de points de l'espace de travail à partir des seules caractéristiques visuelles, tandis que la proprioception reste réservée à la prédiction d'actions. Deux ajouts complètent la reconstruction complète : un « wrist-view dropout », qui masque aléatoirement la caméra poignet, et des cibles de reconstruction partielles alignées sur la vue poignet conservée, pour pousser l'encodeur à capter une géométrie locale complémentaire. Le décodeur est retiré à l'inférence : la politique ne reçoit que des images RGB et l'état du robot. Les tests couvrent les benchmarks RoboTwin et ManiSkill ainsi que des tâches réelles, face à Diffusion Policy et ACT. Les auteurs annoncent des gains « consistants et substantiels », avec un faible surcoût en paramètres et sans perte de vitesse d'inférence. L'extrait disponible ne chiffre ni les taux de succès, ni les tâches réelles, ni le matériel utilisé. L'intérêt pratique tient à la nature du problème visé. Ajouter une supervision 3D à l'entraînement évite d'équiper chaque robot de capteurs de profondeur ou de nuages de points en production, ce qui préserve coût, calibration et latence. Mais l'étude conteste une hypothèse implicite : une faible erreur de reconstruction ne garantit pas que les représentations visuelles encodent la géométrie utile au contrôle. Les auteurs identifient trois défaillances : des raccourcis proprioceptifs (le réseau s'appuie sur l'état du robot plutôt que sur la vision), une dépendance à la vue dominante, et des objectifs de reconstruction dominés par une géométrie sans rapport avec la tâche. Pour un intégrateur, le message est que la qualité de la supervision auxiliaire compte autant que sa présence, et qu'un gain « gratuit » à l'inférence rend l'approche facilement transférable à des politiques existantes. Reste à vérifier la robustesse hors benchmarks simulés. Ce travail s'inscrit dans la course aux politiques d'imitation par diffusion, popularisées par Diffusion Policy, et aux architectures à découpage d'actions comme ACT, devenues des références de base pour la manipulation bimanuelle. Les approches 3D, qui consomment directement des nuages de points, gagnent en précision mais alourdissent le matériel ; LEAP vise un compromis en gardant l'entrée RGB. Les comparaisons se limitent ici à ces deux bases, sans VLA de grande échelle comme Pi-0 ou GR00T, et il s'agit d'un preprint non évalué par les pairs. La suite logique serait un test sur des modèles généralistes et des déploiements industriels plus larges.

RecherchePaper
1 source
Apprentissage du ciblage de préhension à partir de nuages de points pour le dégagement de piles de grumes avec une grue hydraulique
512arXiv cs.RO 

Apprentissage du ciblage de préhension à partir de nuages de points pour le dégagement de piles de grumes avec une grue hydraulique

Des chercheurs ont publié sur arXiv (2610.07613) une politique apprise qui choisit où placer et orienter le grappin d'une grue forestière hydraulique, montée sur remorque, pour vider des piles de grumes dans une cour de scierie. Ces piles comptent des centaines de billes en contact, et chaque prélèvement modifie la pile vue par la prise suivante. Le réseau prend en entrée des nuages de points bruts, non segmentés. Il classe le point observé où saisir, puis prédit la profondeur et l'orientation du grappin en ce point. Les mêmes sorties servent à l'imitation (BC), à l'apprentissage par renforcement (RL) et au déploiement. La BC apprend de démonstrations réussies prises au sommet de la pile. Le RL affine la politique clonée (BC→RL) ou s'entraîne de zéro. En simulation, la BC vide 98 piles sur 100, chacune de 200 billes. Sur la grue réelle, douze essais comparent une heuristique géométrique, le RL depuis zéro, la BC et la BC→RL, sur des cycles complets de saisie, transport et dépôt. La BC et la BC→RL déposent 93,8 % et 88,9 % de l'inventaire cumulé, contre 80,4 % pour l'heuristique. La BC→RL dépose des billes dans 83,6 % de ses cycles, contre 79,6 % pour l'heuristique et 65,7 % pour la BC. Le gain de stabilité de charge observé en simulation avec la BC→RL ne se retrouve pas sur le banc d'essai. Les politiques ont été entraînées entièrement en simulation et exécutées sans adaptation sur la grue. Le résultat est intéressant parce qu'il touche un cas de manipulation lourde, en contact dense, sur un engin hydraulique, loin des bras électriques de laboratoire. Un transfert simulation-réel sans recalage est démontré sur une tâche où chaque prise déforme la scène suivante. Les politiques apprises dépassent une heuristique dont les nuages avaient été filtrés à la main, alors qu'elles reçoivent des nuages bruts contenant encore les rails et poteaux du rack de stockage. Il faut toutefois lire les chiffres avec prudence. Douze essais sur un seul banc de test donnent peu de puissance statistique. Les gains restent modestes, d'environ 8 à 13 points d'inventaire déposé. Le gain de stabilité obtenu par RL en simulation ne se transfère pas, ce qui montre que l'écart simulation-réel persiste sur la dynamique de charge. Le résumé ne donne pas de temps de cycle, de payload ni de débit en tonnes par heure, des données que demanderait un exploitant. Ce travail s'inscrit dans l'automatisation des machines forestières et de manutention de bois, où la téléopération et l'assistance au conducteur dominent encore. Le schéma est classique : une imitation de démonstrations expertes, puis un affinage par RL en simulation, déjà courant en manipulation robotique. Le résumé ne cite aucun acteur industriel, aucun pilote ni aucune échéance. Les suites logiques seraient des essais sur grue de scierie en exploitation, sur davantage de configurations de piles, et une mesure des cadences réelles face à un opérateur humain.

RecherchePaper
1 source
RMRRT : RRT à métrique de barrière riemannienne pour un pilotage tenant compte des inégalités sur variétés d'égalité
513arXiv cs.RO 

RMRRT : RRT à métrique de barrière riemannienne pour un pilotage tenant compte des inégalités sur variétés d'égalité

Des chercheurs proposent RMRRT (Riemannian Barrier Metric RRT), un planificateur de mouvement par échantillonnage qui traite dans une même formulation géométrique les contraintes d'égalité et d'inégalité pour des systèmes robotiques de grande dimension. Dans les planificateurs classiques de type RRT, les contraintes d'égalité (par exemple garder un objet à l'horizontale pendant son transport) sont imposées par projection sur la variété admissible, tandis que les contraintes d'inégalité, dont l'évitement de collision, sont gérées à part par de simples tests de validité binaires. RMRRT construit d'abord une métrique de barrière ambiante à partir de termes sensibles aux inégalités, puis en déduit une métrique sur l'espace tangent via une projection G-orthogonale associée aux contraintes d'égalité. Cette métrique sert à la fois pour l'extension de l'arbre (steering) et pour le choix du plus proche voisin, ce qui éloigne l'exploration des frontières proches tout en conservant la cohérence au premier ordre avec les contraintes d'égalité. Les auteurs annoncent un taux de succès de 100 % sur diverses tâches de manipulation contrainte, en simulation et en conditions réelles, avec un temps de planification réduit par rapport à des références de planification contrainte. Une étude d'ablation indique que la métrique diminue le nombre d'échantillons rejetés et raccourcit les trajectoires. L'intérêt pratique tient à la manipulation sous contraintes, qui reste un point dur dans les cellules robotisées encombrées : tenir un récipient sans le pencher, insérer une pièce, évoluer près d'obstacles. Le temps de planification y pèse directement sur le temps de cycle et sur la facilité de reprogrammation, donc sur la rentabilité pour un intégrateur. Un planificateur qui gaspille moins d'échantillons en collision réduit la latence et la variabilité des calculs, ce qui compte pour des robots censés replanifier en ligne. Le résultat est toutefois à lire avec prudence. Les chiffres sont des mesures d'auteurs sur des tâches choisies par eux, le gain en temps n'est pas chiffré dans le résumé, et les baselines ne sont pas nommées. Autre limite explicite : la métrique repose sur des inégalités « proxy » issues de distances signées, qui orientent seulement les directions dans l'espace tangent. La faisabilité stricte reste garantie par les tests de validité habituels, donc la collision n'est pas traitée de façon formelle. Ces travaux s'inscrivent dans la lignée des planificateurs contraints par projection ou par atlas, qui ont popularisé la gestion des variétés d'égalité dans les RRT, et des méthodes à fonctions barrière issues de l'optimisation et de la commande, ici transposées à la géométrie de l'échantillonnage. Ils se positionnent face à l'optimisation de trajectoire (type CHOMP ou TrajOpt) et aux approches apprises, qui visent le même objectif de planification rapide en environnement contraint. L'article, publié sur arXiv (2610.06863), est une prépublication non évaluée par les pairs. Le site compagnon, aux ressources anonymisées, annonce la mise à disposition de vidéos et du code, ce qui permettra de vérifier les résultats sur d'autres plateformes. Aucun déploiement industriel ni partenaire n'est mentionné à ce stade.

RecherchePaper
1 source
Remises robot-humain réactives orientées tâche par sélection générative d'hypothèses
514arXiv cs.RO 

Remises robot-humain réactives orientées tâche par sélection générative d'hypothèses

Des chercheurs proposent GENESIS-Handover (GENErative HypotheSIS), une méthode de remise d'objets entre robot et humain qui tient compte de la tâche à accomplir. Elle s'appuie sur un modèle vision-langage (VLM) génératif d'images pour produire plusieurs hypothèses d'interaction main-objet propres à la tâche visée. Ces hypothèses sont comparées en temps réel à la pose de la main de l'humain observée par le robot, ce qui permet de déduire la configuration de remise la plus adaptée. Les auteurs ont d'abord évalué isolément le module de proposition d'interactions, puis déployé le système complet sur un manipulateur mobile. Une étude utilisateur a porté sur 12 participants et cinq paires tâche-objet. Parmi eux, 83,3 % (10 sur 12) ont jugé que la méthode comprenait mieux la tâche que l'état de l'art précédent. Le résumé ne donne ni le nom du robot, ni les temps de cycle, ni les taux de réussite de saisie, ni le détail des baselines. L'enjeu est la manière dont un robot présente un objet. Tendre un couteau côté manche plutôt que côté lame relève à la fois de l'ergonomie et de la sécurité, et c'est un point bloquant pour les robots d'assistance, de cuisine ou d'atelier qui travaillent au contact d'opérateurs. Les approches récentes sont passées de la seule géométrie de l'objet à la prise en compte des affordances (les zones d'un objet qui se prêtent à une action). Elles prédisent pourtant rarement la pose de main précise qu'un humain adopte selon l'usage. Un marteau à panne fendue, par exemple, sert à frapper ou à arracher des clous, avec deux prises différentes. Modéliser cette variabilité est donc nécessaire pour des remises robustes. L'approche confirme aussi que les VLM génératifs peuvent servir d'a priori sur les interactions plausibles, et ainsi traiter des couples objet-tâche jamais vus, sans jeu de données dédié pour chacun. Les limites sont nettes. L'échantillon est petit (12 personnes), le résultat repose sur une perception subjective de la « compréhension de la tâche », et la génération d'images par un VLM ajoute une latence et un risque d'hypothèses erronées. Le résumé ne chiffre pas ces points. Ces travaux, publiés sur arXiv (2610.08003), prolongent une lignée qui a d'abord traité la remise sous l'angle de la géométrie et de la prise sûre, puis des affordances. GENESIS-Handover ajoute à cela une prédiction explicite de la pose de main. Il s'agit d'une publication académique en preuve de concept. Aucun produit, déploiement industriel ni calendrier de transfert n'est annoncé. Les prochaines étapes probables sont des tests sur davantage d'objets, de tâches et d'utilisateurs, des mesures de latence et de fiabilité en conditions réelles, et une comparaison chiffrée plus détaillée avec les méthodes concurrentes, sur lesquelles le résumé reste muet.

RecherchePaper
1 source
Voir l'invisible : invite visuelle guidée par la physique pour une navigation VLA sensible à la température et aux radiations
515arXiv cs.RO 

Voir l'invisible : invite visuelle guidée par la physique pour une navigation VLA sensible à la température et aux radiations

Des chercheurs proposent PG-VP (Physics-Guided Visual Prompting), un module de perception multimodal « plug-and-play » qui permet à un modèle vision-langage-action (VLA) de navigation d'éviter des dangers invisibles à une caméra RGB, comme une source de rayonnement ou un pic de température. Le module évalue le risque à partir de la physique d'une source thermique ou radioactive proche, détermine la direction d'évitement, puis superpose aux images un obstacle virtuel qui se déplace d'une image à l'autre (Dynamic Visual Prompting). La politique de navigation, restée gelée, contourne alors le danger comme elle le ferait pour un obstacle visible. L'obstacle virtuel est identique quel que soit le type de risque. Sans danger détecté, rien n'est affiché et la politique se comporte comme sans PG-VP. Sur OmniNav, avec les splits val-unseen de R2R-CE et RxR-CE, le module oriente la politique vers l'action à faible risque dans 84,9 % et 83,2 % des cas, pour un coût de 6,8 et 7,9 points de taux de succès de navigation. Un test sur robot réel, avec de vraies sources thermiques et radioactives et sans réentraînement, améliore de 63,45 % (thermique) et 32,59 % (radiation) la sécurité moyenne des 10 % pires trajectoires. L'intérêt tient à la méthode. Intégrer un nouveau risque à un VLA exige d'ordinaire un encodeur dédié, de nouvelles données et un réentraînement, un coût qui freine le déploiement en site sensible (installations nucléaires, sites industriels chauds). PG-VP déplace le problème vers l'entrée visuelle. Ajouter un capteur ne change pas le motif de prompt, ce qui rend l'extension peu coûteuse pour un intégrateur. Le travail montre aussi qu'un VLA gelé peut être détourné vers un comportement de sécurité sans toucher à ses poids. Deux réserves s'imposent. Le gain n'est pas gratuit : la perte de 7 à 8 points de succès est significative pour un robot de production. Et les résultats réels portent sur des « scénarios distincts » dont l'ampleur n'est pas précisée, avec une métrique centrée sur les pires 10 % des trajectoires. Il s'agit d'une preuve de concept académique, pas d'un produit. Le travail s'inscrit dans la vague des modèles VLA appliqués à la navigation vision-langage (VLN), évalués sur les benchmarks R2R-CE et RxR-CE, ici avec OmniNav comme politique de base. La sécurité de ces modèles reste un angle peu traité : la plupart des travaux visent le taux de succès en environnement domestique simulé, pas les risques non visuels. L'approche concurrence implicitement les solutions qui ajoutent des modalités et réentraînent les modèles. Aucun pilote ni calendrier n'est annoncé. Les prochaines étapes probables sont l'ajout d'autres capteurs (gaz, champs électromagnétiques), des tests sur plus de scénarios réels et une réduction du compromis sur le succès de navigation.

RecherchePaper
1 source
Inutile d'arrêter la flotte : isolation locale des anomalies par zones mortes dans les flottes d'AGV
516arXiv cs.RO 

Inutile d'arrêter la flotte : isolation locale des anomalies par zones mortes dans les flottes d'AGV

Des chercheurs proposent un mécanisme de « zones mortes » (dead zones) pour les flottes de véhicules à guidage automatique (AGV) en production et en logistique, afin d'éviter l'arrêt d'urgence généralisé aujourd'hui déclenché dès qu'une anomalie locale survient : panne, danger, zone contaminée. Ce dispositif isole uniquement le secteur concerné, tandis que les robots non touchés continuent à travailler. Deux stratégies sont définies. Dans la version de base, les robots qui entrent dans la zone s'y immobilisent. Dans la version avec évasion, ceux qui en sont suffisamment éloignés recalculent leur trajectoire pour la contourner. Pour les trajectoires en sens antihoraire, les auteurs démontrent l'absence de collision et un retard d'arrivée borné pour tous les robots en évasion, à condition qu'une séparation minimale entre robots soit respectée. Des expériences valident ces garanties et mesurent le compromis de débit entre trois approches : arrêt d'urgence complet, zone morte de base, zone morte avec évasion. Le travail est publié sur arXiv (2610.08524v1) et les chiffres précis de gain de débit ne figurent pas dans le résumé. L'enjeu est très concret pour les exploitants de flottes. Un arrêt système, sûr par construction, transforme un incident local en perte de productivité globale, ce qui pèse lourd dans les entrepôts et lignes de production à forte densité de véhicules. L'approche s'inscrit dans une logique « fail-operational » : dégrader le service localement plutôt que tout couper. Elle vient en complément de l'arrêt d'urgence, pas en remplacement, et ne s'applique que lorsqu'un arrêt complet n'est pas strictement nécessaire. Son intérêt est aussi méthodologique : la preuve formelle de non-collision, rare dans un domaine où la gestion de flotte reste souvent heuristique, répond aux exigences de sécurité des intégrateurs et des responsables HSE. Il faut toutefois lire les limites : la preuve ne couvre que les trajectoires antihoraires et suppose une distance minimale entre robots, hypothèses à vérifier sur des sites réels avec trafic mixte, croisements et intervention humaine. Les résultats restent expérimentaux, sans déploiement industriel annoncé. Ce travail s'inscrit dans l'effort de fiabilisation des flottes d'AGV et d'AMR, où les gestionnaires de trafic multi-robots, développés notamment par des acteurs de la logistique comme l'Exotec français ou les grands fournisseurs de systèmes d'entrepôt, doivent concilier sécurité certifiable et disponibilité. Le résumé ne nomme aucun partenaire industriel ni site pilote. Les suites logiques seraient l'extension à d'autres topologies de circuits, l'intégration dans un orchestrateur de flotte existant et une évaluation sur flotte physique, avec des mesures de débit chiffrées en conditions réelles. Tant que ces étapes manquent, il s'agit d'une contribution académique prometteuse plutôt que d'un produit disponible.

RecherchePaper
1 source
AutodidactWAM : auto-distillation intermodale de la vidéo générée vers les actions du robot
517arXiv cs.RO 

AutodidactWAM : auto-distillation intermodale de la vidéo générée vers les actions du robot

Des chercheurs ont publié sur arXiv (2610.08119) AutodidactWAM, une méthode d'auto-distillation qui corrige les actions générées par un modèle monde-action (WAM) en s'appuyant sur la vidéo que ce même modèle produit. Le point de départ est Cosmos 3, un WAM qui génère conjointement vidéo future et actions robot à partir d'une observation et d'une instruction. Adapté par un fine-tuning LoRA léger à un humanoïde Unitree G1 doté de mains à cinq doigts BrainCo, il révèle une asymétrie : la vidéo montre des exécutions plausibles, mais l'action co-générée vise systématiquement à côté. En essais réels en boucle fermée, l'action native réussit environ 17 % (pré-saisie), 10 % (saisie) et 7 % (pick-and-place), avec de moins bons résultats sur objets inconnus. La méthode entraîne, sans téléopération, un estimateur de pose de main appliqué à la vidéo générée, puis une cinématique inverse en tire des actions. Ces actions « récupérées » donnent environ 75 %, 47 % et 42 % de réussite sur les trois étapes. Le meilleur objectif combine préférence, ajustement supervisé et ancrage de trajectoire cartésienne (DPO+SFT+DTW). Sur l'Oreo d'entraînement, il atteint 90 % en pré-saisie et 20 % sur la tâche complète. Sur un objet hors entraînement, il atteint 80 % et 30 %. L'intérêt tient d'abord au diagnostic. Le goulot d'étranglement des WAM n'est pas forcément la compréhension de la tâche, que la vidéo exprime correctement, mais le décodage vers les actions d'un nouvel embodiment. Cela nuance les démonstrations de vidéos plausibles : un rendu convaincant ne garantit pas un contrôle exploitable. Pour les intégrateurs, la piste est séduisante : après une adaptation unique à la morphologie, plus de téléopération par tâche, ce qui réduit le coût principal de collecte de données. Les chiffres appellent toutefois la prudence. Le taux de réussite complet reste de 20 à 30 % sur des essais apparemment peu nombreux, avec un seul type de robot et peu d'objets. Un tel niveau est très loin d'un seuil industriel. L'écart entre pré-saisie (90 %) et tâche complète (20 %) montre que la saisie et le placement restent le point faible. Un résultat négatif mérite attention : le Flow-DPO seul tombe à 0 % de réussite malgré 1,000 de précision de préférence en validation. L'objectif contrastif n'est donc pas la cause des gains, et une métrique de validation parfaite peut masquer un échec en conditions réelles. Côté contexte, ces travaux s'inscrivent dans la montée des modèles de fondation d'action, des VLA type Pi-0 ou GR00T aux WAM comme Cosmos, qui cherchent à exploiter les priors vidéo pour la robotique. Le G1 d'Unitree est devenu une plateforme de recherche courante, notamment pour son prix relativement bas. Les prochaines étapes probables sont des validations sur d'autres embodiments, davantage de tâches et des statistiques plus solides, ainsi qu'une réduction de l'écart sur la saisie.

RecherchePaper
1 source
Planification de mouvement multi-robot et multi-objectif avec compétences stochastiques
518arXiv cs.RO 

Planification de mouvement multi-robot et multi-objectif avec compétences stochastiques

Des chercheurs proposent une méthode de planification de trajectoires pour plusieurs robots partageant un même espace de travail, qui intègre des compétences de manipulation stochastiques. Ces compétences ont un temps d'exécution variable et des trajectoires continues incertaines. Le travail, publié sur arXiv sous la référence 2610.07784, formule le problème comme un processus de décision markovien (MDP) défini sur une feuille de route composite multimodale, construite par échantillonnage. Pour les compétences stochastiques, la résolution du MDP produit une politique réactive. Chaque robot contrôlable ajuste alors ses mouvements en temps réel selon l'avancement des manipulations menées par les autres robots. Le code des planificateurs est disponible en accès libre sur le site de l'auteur, vhartmann.com/stochastic-skills. Le résumé ne donne aucun chiffre de performance, aucun nombre de robots testés et aucun site de déploiement. Il s'agit d'un préprint de recherche, sans produit ni pilote industriel. Le problème visé est concret pour les intégrateurs de cellules robotisées multi-bras ou de flottes de manipulateurs mobiles. Une prise, une insertion ou un geste de manipulation appris dure rarement le même temps d'une exécution à l'autre, surtout avec une politique pilotée par un modèle de type VLA. Les approches existantes se répartissent en trois familles. Les unes se limitent à un seul robot. D'autres reposent sur des chemins en boucle ouverte. Les dernières font un ordonnancement a posteriori, qui fige la coordination avant l'exécution. Pour absorber l'incertitude, ces méthodes doivent prévoir des marges de sécurité larges, ce qui allonge les temps de cycle et réduit le débit. Les auteurs affirment que traiter l'incertitude dès la planification évite ce pessimisme et permet une coordination dynamique robuste. Cette conclusion reste à vérifier : le résumé ne chiffre pas le gain face aux références conservatrices, et les résultats peuvent venir de simulation ou de scénarios limités. Ce travail s'inscrit dans la planification multi-robots à objectifs multiples, un champ ancien. Les planificateurs par échantillonnage de type feuille de route et les méthodes de planification de tâches et de mouvements (TAMP) y dominent. Ces méthodes supposent surtout des compétences déterministes ou des durées connues. Or les entrepôts et les usines déploient de plus en plus de robots dans des volumes partagés, avec des gestes appris dont la durée varie. Le décalage entre planificateur et exécution devient donc un frein pratique. Les prochaines étapes à surveiller sont la validation sur du matériel réel avec plusieurs bras, des comparaisons chiffrées en temps de cycle, et l'étude du passage à l'échelle à mesure que le nombre de robots augmente. Le coût de résolution d'un MDP sur un espace composite croît vite avec ce nombre, et c'est la principale limite probable de l'approche.

RecherchePaper
1 source
Humanoid Horizon : allonger l'horizon des tâches de loco-manipulation du corps entier par entraînement parallèle, démarrage dynamique et filtrage de la récompense
519arXiv cs.RO 

Humanoid Horizon : allonger l'horizon des tâches de loco-manipulation du corps entier par entraînement parallèle, démarrage dynamique et filtrage de la récompense

Des chercheurs proposent Humanoid Horizon, un cadre de politique unifiée pour qu'un robot humanoïde enchaîne, en un seul épisode ininterrompu, la navigation, la saisie, le transport et le placement précis de plusieurs objets lourds ou volumineux dans un intérieur encombré. Trois mécanismes le composent. Le Parallel Training Strategy répartit N scènes en S flux d'étapes concurrents, tous pilotés par une politique partagée, si bien que chaque étape de transport reçoit des mises à jour de gradient en continu. Le Dynamic Starting Mechanism réinitialise l'état de départ de chaque environnement avec les états terminaux issus des déroulés des étapes amont, ce qui élargit progressivement la couverture des transitions. Enfin, le Reward Gating annule la récompense pour le reste de l'épisode, dans les flux des étapes ultérieures, lorsque l'objet précédent est déplacé au-delà d'un seuil. Sur le benchmark LHM-Humanoid à deux objets (350 scènes d'entraînement, 66 scènes de test non vues), la méthode dépasse 80 % de réussite par étape. Au-delà de deux objets, le taux de succès baisse avec l'horizon, mais de façon graduelle, alors que tous les baselines comparés chutent brutalement. L'intérêt de ce travail tient à un verrou concret de la manipulation mobile humanoïde : tenir une tâche longue sans que les étapes tardives dégradent les précédentes. Les auteurs identifient deux modes d'échec qui expliquent pourquoi les politiques de bout en bout s'effondrent sur les longues séquences. Le premier est le biais de récompense facile, où l'entraînement sur-optimise les premières étapes de transport. Le second est l'oubli catastrophique, où se concentrer sur les dernières étapes fait régresser les premières. Le Reward Gating est notable pour un cas d'usage logistique : il apprend à la politique à ne pas perturber un objet qui vient d'être posé, une exigence évidente en entrepôt ou en intérieur domestique. Il faut toutefois relativiser. Les résultats portent sur un benchmark, apparemment en simulation, avec seulement deux objets pour le chiffre phare de 80 %. Le texte ne mentionne ni transfert sim-to-real, ni robot physique, ni temps de cycle, ni payload précis. Il ne prouve donc pas qu'un déploiement industriel soit prêt, mais il apporte une recette d'entraînement reproductible. Ce travail s'inscrit dans la montée de l'apprentissage par renforcement pour la locomanipulation du corps entier, qui se heurte aux horizons longs, où les récompenses sont éparses et où les erreurs s'accumulent d'une étape à l'autre. Il se place face aux approches séquentielles, qui entraînent les étapes l'une après l'autre, et face aux baselines non nommés dans le résumé, sur lesquels la comparaison reste à examiner dans l'article complet. Le débat plus large oppose les politiques VLA généralistes, portées par des acteurs comme Figure avec Helix ou NVIDIA avec GR00T, aux politiques de contrôle entraînées en simulation, dont celle-ci relève. Les prochaines étapes à surveiller sont la validation sur matériel réel, le passage à trois objets ou plus avec une dégradation maîtrisée et la publication du code et du benchmark pour permettre une réplication indépendante.

RecherchePaper
1 source
ProactiveVLA : enrichir la mémoire incarnée par l'exploration proactive de l'environnement
520arXiv cs.RO 

ProactiveVLA : enrichir la mémoire incarnée par l'exploration proactive de l'environnement

ProactiveVLA, un système présenté sur arXiv (2610.06999v1), s'attaque à un problème d'adaptation en déploiement: comment un robot acquiert-il rapidement des connaissances utiles sur les objets, les états et les interactions d'un nouvel environnement à partir d'une expérience limitée. L'architecture associe un agent de raisonnement à un modèle vision-langage-action (VLA) gelé, c'est-à-dire non réentraîné, et s'adapte via le retour d'exécution et une mémoire. Une fois la tâche initiale accomplie, l'agent consacre le budget d'interaction restant à des objectifs qu'il se fixe lui-même: affordances des objets (ce qu'on peut en faire), interactions changeant l'état de l'environnement, et compositions de ces interactions. Il vérifie les résultats de chaque exécution, puis consolide l'expérience dirigée par la tâche comme l'expérience exploratoire dans une mémoire qui guide la planification et le contrôle ultérieurs. À budget de tours égal, le système dépasse les méthodes de référence sur LIBERO-Pro et sur RoboCasa365 Composite-Seen. Sur LIBERO-Pro Goal-T, avec au plus une invocation de primitive VLA autorisée à l'évaluation, il réussit 48 % des instances, contre 19 % pour la meilleure méthode de raffinement de tâche. L'intérêt tient à ce que ces résultats suggèrent sur la manière de dépenser l'expérience. Les approches de référence répètent la tâche cible pour affiner une solution déjà connue, ce qui laisse non testées les interactions pertinentes dès que les conditions changent. Ici, explorer au-delà de la tâche donnée produit des connaissances réutilisables, et l'écart (48 % contre 19 %) indique que la qualité de l'expérience pèse davantage que sa quantité. Pour les intégrateurs, l'enjeu est concret: un VLA généraliste figé, qu'on ne veut ou ne peut pas réentraîner chez le client, pourrait être rendu plus robuste par une couche de mémoire et de planification, sans recalibrage coûteux. Il faut toutefois rester prudent: il s'agit d'un préprint évalué en simulation, sur des benchmarks, sans déploiement physique rapporté dans le résumé. Le chiffre de 48 % vaut pour un réglage restrictif (une seule invocation de primitive) et ne dit rien du temps de cycle ni du coût en interactions de la phase d'exploration, qui reste à documenter. Ce travail s'inscrit dans la tendance des agents de raisonnement qui orchestrent des VLA gelés, par opposition au réglage fin continu de ces modèles. LIBERO-Pro, variante plus exigeante de LIBERO centrée sur des conditions modifiées, et RoboCasa365, benchmark de tâches domestiques composites, servent de terrains d'essai à cette génération de méthodes d'adaptation au déploiement. Le résumé ne nomme ni le VLA sous-jacent ni les auteurs, et ne cite aucun acteur européen. Les prochaines étapes à surveiller sont la publication du code et des détails d'évaluation, une validation sur robot réel, et une mesure du surcoût de l'exploration face au gain de fiabilité, critère décisif pour tout COO envisageant une mise en service sur site.

RecherchePaper
1 source
Réparation cinématique après la saisie pour l'insertion robotique par réorientation de l'objet dans la pince
521arXiv cs.RO 

Réparation cinématique après la saisie pour l'insertion robotique par réorientation de l'objet dans la pince

Une prise stable ne garantit pas qu'une insertion robotisée soit cinématiquement faisable. Dans un article déposé sur arXiv (2610.08421v1), les auteurs montrent que la transformation entre l'objet et la pince peut pousser le bras vers des singularités ou des butées articulaires le long de la trajectoire d'insertion imposée. Ils étudient une « réparation » après la saisie. Pour une prise déjà obtenue et une trajectoire d'insertion fixe, ils cherchent la plus petite réorientation de l'objet dans la pince qui rétablisse la faisabilité. Le planificateur évalue chaque candidat avec un graphe de cinématique inverse (IK) sensible aux branches de solutions. Ce graphe maximise la marge de faisabilité minimale sur la trajectoire discrétisée. Un a priori appris, conditionné par la tâche, ordonne les requêtes. La réorientation retenue est exécutée par manipulation extrinsèque guidée par le toucher, c'est-à-dire en s'appuyant sur l'environnement avec un retour tactile. En simulation sur un UR5e, le planificateur sans classement appris réduit de 51,5 % la réorientation moyenne sur les essais réussis, par rapport à une IK séquentielle sur grille. L'ajout du classement appris diminue ensuite de 51,1 % le temps de planification moyen. Des essais sur robot réel valident la chaîne complète. Le résumé ne donne ni taux de réussite, ni types de pièces, ni tolérances d'insertion. L'intérêt est très concret pour l'assemblage industriel. Un échec d'insertion vient souvent moins de la prise elle-même que d'une configuration du bras devenue inatteignable une fois l'objet saisi. Aujourd'hui, ces cas se traitent par une nouvelle prise, un repositionnement manuel ou un réglage de cellule par l'intégrateur. Corriger la pose de l'objet dans la pince, sans lâcher la pièce, pourrait réduire les temps de cycle et le nombre de reprises. L'idée d'une IK séquentielle qui rate des solutions faute de suivre le bon chemin dans l'espace articulaire est aussi pertinente pour les planificateurs du commerce. Il faut cependant relativiser. Les gains chiffrés viennent de la simulation, avec un seul bras de 6 axes, et le résumé ne précise pas l'ampleur des essais réels. Il ne donne ni taux de succès global, ni comparaison avec une simple nouvelle saisie. Les 51,5 % portent sur la réorientation moyenne des seuls essais réussis, pas sur l'ensemble des cas. Ce travail s'inscrit dans la recherche sur la manipulation de précision et l'insertion, où l'on a longtemps traité séparément la planification de prise, la planification de mouvement et le contrôle de contact. Les approches récentes de politiques apprises de bout en bout, VLA compris, progressent sur la généralisation mais restent peu fiables sur les contraintes de précision et de faisabilité cinématique. Cette étude suit plutôt une voie hybride : un planificateur géométrique garantit la faisabilité, et un modèle appris n'accélère que la recherche. La manipulation extrinsèque et le retour tactile deviennent ainsi des briques de réparation plutôt que des fins en soi. Il s'agit d'une publication académique, donc d'un résultat de laboratoire et non d'un produit ou d'un déploiement. Le code, les jeux de tâches et des tests sur d'autres bras ou sur des pièces plus variées seront nécessaires pour juger de la portée réelle de la méthode.

RecherchePaper
1 source
ExoBridge : apprendre la correspondance entre main nue et exosquelette de main grâce au couplage des membres humains
522arXiv cs.RO 

ExoBridge : apprendre la correspondance entre main nue et exosquelette de main grâce au couplage des membres humains

Des chercheurs publient sur arXiv (2610.07692) ExoBridge, un cadre d'apprentissage qui prédit l'état moteur et tactile d'un exosquelette instrumenté à partir d'une simple vidéo de main nue. La collecte repose sur un protocole bimanuel. Une main reste nue et fournit les observations visuelles, tandis que l'autre porte l'exosquelette et fournit des mesures synchronisées de mouvement et de toucher. Ces démonstrations appariées entraînent un modèle visuel temporel qui prédit trois grandeurs à partir de la seule vidéo de la main nue : le contact des bouts de doigts, l'intensité tactile continue et le mouvement relatif des encodeurs. L'évaluation porte sur 1 215 démonstrations réparties sur quatre tâches de manipulation, avec des sessions de collecte mises de côté pour le test. Elle donne une AUROC de 0,916 pour la détection de tout contact et une corrélation de Pearson de 0,790 pour l'intensité tactile. Le modèle prédit aussi les variations relatives de configuration de l'exosquelette. Les mesures sont agrégées sur l'ensemble des tâches. L'article ne donne ni le détail par tâche, ni le nombre d'opérateurs, ni les objets manipulés. Aucune démonstration sur robot n'est annoncée. Il s'agit d'un résultat de recherche, sans produit ni déploiement. L'enjeu est la pénurie de données pour la manipulation dextre. Les vidéos humaines sont abondantes et bon marché, mais elles ne contiennent ni force ni contact, et ce sont justement ces signaux qui distinguent une saisie réussie d'un glissement. Les gants et exosquelettes mesurent ces grandeurs, mais ils gênent le geste, déforment la prise naturelle et se déploient mal à grande échelle. ExoBridge propose de n'instrumenter qu'une main pendant la collecte, puis de ne conserver que la vidéo à l'inférence. Si cela se confirme, un corpus de vidéos de mains nues pourrait recevoir des pseudo-étiquettes tactiles utilisables pour entraîner des politiques de type VLA. Les limites sont nettes. La méthode suppose que les deux mains se comportent de façon couplée, ce qui exclut les gestes asymétriques. Un AUROC de 0,916 sur le contact binaire ne garantit pas une estimation de force assez précise pour piloter un contrôleur. Le lien avec une main robotique passe par une calibration existante de l'exosquelette, et non par une validation de bout en bout. Ce travail s'inscrit dans l'effort général pour apprendre la dextérité à partir de l'humain. Il croise la téléopération par exosquelette, les gants tactiles et les approches par vidéo seule, qui renoncent au tactile. ExoBridge se place entre les deux, en utilisant le capteur comme enseignant temporaire plutôt que comme équipement permanent. La suite logique est de tester la chaîne complète sur une main dextre réelle, de vérifier la généralisation à d'autres opérateurs, objets et caméras, et de mesurer le gain obtenu en politique apprise par rapport à une simple imitation visuelle. Ces éléments ne figurent pas encore dans l'article.

RecherchePaper
1 source
Neuf essais pour récupérer : un benchmark reproductible de l'adaptation aux dommages des robots souples sans répertoire de comportements
523arXiv cs.RO 

Neuf essais pour récupérer : un benchmark reproductible de l'adaptation aux dommages des robots souples sans répertoire de comportements

Un nouveau benchmark publié sur arXiv (2610.07616) propose un protocole reproductible pour mesurer la récupération de robots souples endommagés, sans répertoire de comportements précalculés, avec seulement neuf essais en ligne. Le protocole apparie des masques de dommages au sein de chaque morphologie, conserve un contrôleur nominal mesuré comme solution de repli et sépare le développement des méthodes de leur évaluation sur des corps inédits. Le contrôleur de référence repose sur un processus gaussien avec amélioration espérée (GP-EI) qui ajuste les phases des actionneurs en trois sondes d'initialisation puis six essais choisis d'après le retour du système. Sur deux cohortes disjointes de 75 corps, il dépasse la recherche aléatoire, Sobol, CEM et CMA-ES à budget égal. Il améliore le gain du pire masque sur 69 des 75 corps de confirmation, avec un avantage de 0,235 à 0,310 de récompense moyenne sur le pire masque. Lors d'un test de résistance sur la cohorte de développement, où 10 % des voxels occupés sont retirés physiquement, GP-EI progresse sur 71 corps sur 75 et devance l'implémentation officielle de TuRBO (BoTorch) de 0,356. L'intérêt tient moins à l'algorithme qu'à la méthode d'évaluation. Les travaux d'adaptation aux dommages se comparent souvent sur des corps de développement, avec des budgets inégaux et sans repli mesuré, ce qui gonfle les gains. Ici, l'inférence est menée corps par corps et la cohorte de confirmation reste gelée. Le coût de sécurité est aussi chiffré : le rejeu à contrôleur fixe donne 5,06 largeurs de voxel de récupération moyenne, pour une hausse de seulement 0,0031 du p99 de déformation d'arête dans le pire masque. Une porte de déploiement stricte, interdisant toute sollicitation supplémentaire, ne conserve toutefois que 48,7 % du gain moyen. Pour un intégrateur, cela signifie qu'une partie de la récupération s'obtient en sollicitant davantage la structure. Une réserve s'impose : le comparateur le plus proche, un GP local de type TuRBO, n'est pas distingué statistiquement, puisque l'intervalle de confiance apparié inclut zéro. Tout cela relève de la simulation de voxels, sans validation sur matériel physique. Le travail s'inscrit dans la lignée de l'algorithme Intelligent Trial and Error (Cully et al., 2015), qui adaptait un robot endommagé en quelques essais grâce à un répertoire de comportements précalculé en simulation. Le benchmark cherche à mesurer ce que de tels a priori appris de dommages apportent réellement par rapport à une optimisation bayésienne sans répertoire, et fournit le point de comparaison manquant. Les contrôleurs rejouables, l'inférence au niveau des corps et les cohortes gelées sont publiés pour permettre aux futures méthodes d'être comparées dans les mêmes conditions. La suite logique serait de confronter les approches à répertoire, les politiques apprises et ce socle GP-EI, puis de passer du voxel simulé à des robots souples réels.

RecherchePaper
1 source
MobileVISTA : augmentation générative de données pour la généralisation des poses en manipulation mobile
524arXiv cs.RO 

MobileVISTA : augmentation générative de données pour la généralisation des poses en manipulation mobile

Des chercheurs présentent MobileVISTA, un cadre de génération de données destiné aux manipulateurs mobiles, dont les robots humanoïdes. Il transforme des démonstrations enregistrées à une pose canonique unique en données d'entraînement variées, avec des poses de base perturbées. Deux opérations sont combinées : l'augmentation des observations visuelles égocentriques, puis le retargeting des actions pour compenser le déplacement de la base. Les tests portent sur des tâches simulées avec des embodiments humanoïdes et bimanuels, et sur un robot réel Galaxea R1 Pro. Les politiques entraînées sur les données augmentées résistent mieux aux poses hors distribution rencontrées au déploiement. Cela se fait sans nouvelle collecte de démonstrations et sans modèle génératif entraîné. Le gain est le plus marqué sur les humanoïdes, où la caméra suit la chaîne cinématique et où le robot occupe une grande part de l'image. Le travail est publié sur arXiv (2610.07511) avec vidéos et annexe sur le site du projet. L'abstract ne donne aucun chiffre de taux de réussite. L'enjeu est un défaut bien connu mais peu chiffré : la fragilité des politiques de manipulation de bout en bout entraînées par imitation. Quand les démonstrations viennent d'une seule pose du robot, un écart de quelques centimètres au déploiement suffit à faire sortir les images égocentriques et les trajectoires de l'effecteur de la distribution d'entraînement, et les performances chutent. Pour un intégrateur, c'est l'un des écarts entre démo et production. Une base mobile ne s'arrête jamais exactement au même endroit, alors qu'une démo filmée depuis une pose fixe passe très bien. Une méthode purement géométrique, sans modèle génératif, réduit le coût de collecte, puisqu'elle évite de multiplier les téléopérations pour couvrir les variations de pose. Elle évite aussi la dérive visuelle des modèles génératifs. Les résultats restent à nuancer : le banc réel se limite à un robot, et les gains annoncés sont qualitatifs dans le résumé. Ce travail s'inscrit dans l'essor des politiques VLA et des humanoïdes déployés en environnements non structurés. Les méthodes d'augmentation antérieures supposaient une caméra fixée hors de la chaîne actionnée, ou une géométrie articulée du robot largement hors champ. Ces hypothèses ne tiennent pas pour un humanoïde, dont la caméra bouge avec le corps et doit voir les bras. MobileVISTA vise donc le cas où les plateformes de type Figure, Optimus ou Galaxea sont les plus exposées. Il reste à voir s'il se combine avec des modèles de fondation comme Pi-0 ou GR00T, et s'il tient sur des tâches longues, avec des robots de plus grande taille et sur davantage de plateformes réelles.

RecherchePaper
1 source
RobotUse : allouer le calcul, le contexte et les décisions
525arXiv cs.RO 

RobotUse : allouer le calcul, le contexte et les décisions

RobotUse est un « harnais » d'agent robotique présenté dans un preprint arXiv (2610.04929, version 2) par une équipe qui publie une page projet à l'adresse robotuse-team.github.io. Le système organise le calcul, le contexte et les décisions autour d'une tâche précise : spécifier puis réviser des actions physiques. L'agent, un modèle de langage, choisit visuellement les cibles et les poses. Le backend prend en charge la géométrie, la planification de mouvement et le contrôle. Des sous-agents conservent le détail des interactions propres à chaque sous-objectif et ne remontent que l'information utile à la décision suivante. Un mécanisme de « harnachement continu » met à jour un playbook persistant à partir de l'exécution. Sur le benchmark RoboLab, RobotUse atteint 45 % de réussite, soit 6,7 points de pourcentage de plus que CaP-X, avec des contextes de décision plus compacts et moins d'abstractions d'action prédéfinies. Les auteurs affirment aussi que le système apprend de l'exécution réelle malgré un retour d'information imparfait, et transfère ce savoir à des tâches ultérieures. L'enjeu touche à la manière de découper les responsabilités entre un agent LLM et la pile robotique classique. Beaucoup d'interfaces enferment les choix dans des outils figés, ou obligent l'agent à manipuler du code d'exécution détaillé dont l'historique gonfle à chaque essai. RobotUse propose une répartition différente : l'agent décide en perception et en intention, le backend garde la géométrie et la commande. Les sous-agents servent aussi à contenir la croissance du contexte, un point de blocage fréquent pour les agents qui répètent leurs tentatives. Il faut toutefois relativiser les chiffres. Un taux de succès de 45 % signifie que plus de la moitié des tâches échouent, loin d'un niveau exploitable en production. L'écart avec CaP-X, de 6,7 points, est modeste, et le résumé ne donne ni nombre de tâches, ni variance, ni détail des essais réels. L'apprentissage « malgré un retour imparfait » reste une affirmation à vérifier dans le papier complet. Ce travail s'inscrit dans la lignée des approches où un LLM génère du code ou appelle des outils pour piloter un robot, dont CaP-X est ici la référence de comparaison. Il se distingue des modèles vision-langage-action (VLA) de bout en bout, comme Pi-0 ou GR00T, qui apprennent directement la commande à partir de démonstrations. RobotUse mise à l'inverse sur un agent orchestrateur au-dessus d'un backend de planification classique. Aucune annonce de déploiement, de pilote industriel ou de calendrier n'accompagne ce preprint, qui reste un résultat de recherche. La suite probable passera par des évaluations sur davantage de tâches et de plateformes, ainsi que par une comparaison directe avec les VLA sur les mêmes benchmarks.

RecherchePaper
1 source
AIM : réseaux de modélisation adaptative des interactions pour la simulation de corps mous du réel vers la simulation
526arXiv cs.RO 

AIM : réseaux de modélisation adaptative des interactions pour la simulation de corps mous du réel vers la simulation

Des chercheurs proposent AIM (Adaptive Interaction Modeling), un cadre de simulation de corps mous « real-to-sim » qui reconstruit à partir d'observations réelles un simulateur capable de prédire la déformation d'un objet soumis à des interactions externes. Le papier, publié sur arXiv (2610.07116), traite la simulation comme un problème de modélisation d'interactions locales et globales. AIM adapte les relations entre particules à partir de l'historique de mouvement et de la géométrie, en combinant les voisins spatiaux courants et des connexions conservées. Une communication globale conditionnée par la géométrie coordonne la réponse de l'objet entier. Une interface unifiée de points de contrôle cinématiques représente différentes configurations de manipulation, et une supervision autorégressive multi-pas entraîne le modèle sur ses propres trajectoires prédites. Sur les bancs d'essai PhysTwin et PGND, les auteurs rapportent une réduction de 20,0 % de l'erreur de suivi en prédiction future par rapport à PhysTwin, et de 22,8 % de l'erreur moyenne de particules à long horizon sur six catégories d'objets par rapport à PGND. L'enjeu touche la manipulation d'objets déformables (pliage de linge, manipulation d'aliments), où le robot doit contrôler la forme autant que la position. Un simulateur prédictif fiable permet de planifier ou d'entraîner des politiques sans multiplier les essais physiques. Le papier cible deux faiblesses connues. D'une part, le voisinage spatial peut mal représenter les dépendances de déformation, et les erreurs locales s'accumulent au fil des prédictions. D'autre part, les modèles ajustés scène par scène généralisent mal aux changements de géométrie ou de conditions de manipulation. Les auteurs affirment un transfert entre actions, instances d'objets et scènes, y compris un transfert zero-shot d'interactions robotiques vers la manipulation humaine, sans ajustement de la dynamique sur le domaine cible. Ces résultats restent des mesures de laboratoire sur des benchmarks de reconstruction. Ils ne disent rien sur un déploiement industriel, sur le coût de calcul ni sur la vitesse d'inférence, et aucun gain n'est chiffré en tâche robotique de bout en bout. AIM se situe dans la lignée des jumeaux numériques physiques appris à partir de vidéo. PhysTwin reconstruit des objets déformables à partir d'observations éparses, tandis que PGND s'appuie sur des dynamiques neuronales fondées sur les particules. Les deux servent ici de références. L'approche répond à la limite des modèles ajustés à une scène unique, qui peinent dès que l'objet ou la manipulation change. Le papier est une prépublication v1, sans relecture par les pairs, et il ne mentionne ni code, ni partenaire industriel, ni calendrier de pilote. La suite logique est une validation sur robot réel en boucle fermée, avec des objets plus variés et des contraintes de temps réel. Ces conditions décideront si ce type de simulateur sert la planification de manipulation ou reste un outil de prédiction hors ligne.

RecherchePaper
1 source
SharedKV-BT : des décisions typées locales aux nœuds pour les agents à arbre de comportement
527arXiv cs.RO 

SharedKV-BT : des décisions typées locales aux nœuds pour les agents à arbre de comportement

Des chercheurs proposent dans un préprint arXiv (2610.07327v1) SharedKV-BT, une architecture qui confie les décisions d'un agent à un arbre de comportement (behavior tree, BT) et à un modèle autorégressif. Chaque nœud actif de l'arbre expose des champs et des candidats propres à son étape. Un mécanisme de cache clé-valeur partagé (Shared-KV) note tous les candidats en parallèle à partir d'un même contexte encodé. La décision retenue est ensuite transmise à un système d'exécution distinct. L'approche a été testée sur trois tâches : manipulation robotique, navigation mobile et utilisation d'un ordinateur. Les décisions typées sont produites 2,36 à 4,15 fois plus vite qu'avec un décodage autorégressif utilisant le même prompt. Sur la manipulation, la précision de décision conjointe passe de 75 % à 94 % et le succès en boucle fermée de 0 % à 60 %. L'intérêt est de traiter un frein connu des agents pilotés par modèle de langage : la latence de génération token par token, qui pèse sur les enchaînements de décisions interdépendantes. Les méthodes à préfixe partagé existantes accélèrent le calcul, mais ne modélisent pas les dépendances entre décisions et ne vérifient pas l'exécution. Ici, un filtrage par étape empêche les actions hors séquence, et des postconditions externes empêchent de déclarer une tâche terminée trop tôt. Ces résultats viennent d'un rejeu de politique à scores fixes. Il faut aussi relativiser le chiffre principal : 60 % de succès en boucle fermée, sur une seule tâche de manipulation, reste loin d'un seuil industriel. Le résumé ne précise ni le matériel, ni la simulation, ni la taille des échantillons, et il ne s'agit d'aucun déploiement réel. Ce travail prolonge l'idée de séparer la décision de haut niveau de l'exécution. Les behavior trees sont déjà très répandus en robotique de manipulation et de navigation pour structurer des missions, et les modèles vision-langage-action (VLA) généralistes tentent plutôt d'absorber cette logique dans un seul réseau. SharedKV-BT adopte la position inverse : un modèle contraint par la structure de l'arbre et vérifié par des conditions externes. Les auteurs ne mentionnent ni pilote industriel ni calendrier de mise en production. La suite logique serait une validation sur robot physique et une comparaison directe avec des politiques VLA de bout en bout.

RecherchePaper
1 source
CoRE : apprendre des experts par rôle de collaboration pour la manipulation collaborative décentralisée avec une seule politique
528arXiv cs.RO 

CoRE : apprendre des experts par rôle de collaboration pour la manipulation collaborative décentralisée avec une seule politique

Des chercheurs présentent CoRE (Collaboration-Role Experts), une méthode de manipulation collaborative décentralisée où une seule politique, partagée par tous les robots, pilote chaque machine. Chaque robot s'appuie uniquement sur ses observations visuelles et sa proprioception, sans instruction de tâche, sans étiquette d'identité et sans message échangé entre robots. Le système apprend à partir de démonstrations regroupées, multi-tâches et multi-robots. Il fusionne apparence et géométrie pour extraire des indices locaux d'interaction. Des experts à attention croisée conditionnée par requête offrent plusieurs chemins de prédiction. Un routeur local les combine à chaque position du segment d'actions (action chunk). À l'entraînement, une perte d'alignement action-expert supervise le choix des experts à partir des erreurs de prédiction relatives obtenues en forçant chaque route sur des entrées fixes, sans étiquette de rôle. Les auteurs annoncent les meilleures performances moyennes parmi les méthodes décentralisées évaluées sur plusieurs benchmarks en simulation. Des expériences physiques couvrent plusieurs tâches de manipulation et testent la robustesse face aux retards et aux ralentissements du partenaire. Le résumé ne chiffre ni les scores, ni le nombre de robots, ni les plateformes utilisées. L'enjeu est d'abord architectural. Dans la manipulation à plusieurs robots, on choisit souvent entre un contrôleur centralisé, qui ne passe pas à l'échelle et dépend d'une communication fiable, et des politiques distinctes par rôle, qui exigent d'affecter les rôles à l'avance. CoRE vise une troisième voie : un seul jeu de poids, où chaque robot déduit son rôle (tenir, pousser, soutenir) de ce qu'il perçoit localement. Pour un intégrateur, cela réduirait la maintenance, puisqu'il n'y aurait qu'une politique à déployer, et supprimerait la dépendance à un lien réseau entre robots. La robustesse aux partenaires lents est pertinente en atelier, où les temps de cycle varient. Il faut toutefois rester prudent : les gains sont relatifs à d'autres méthodes décentralisées, pas à un contrôle centralisé. Sans chiffres publiés dans le résumé, l'écart entre simulation et réel, ainsi que la généralité des tâches testées, restent à vérifier dans l'article complet. Ce travail s'inscrit dans l'essor des politiques vision-langage-action (VLA) et des politiques à chunks d'actions (type ACT ou diffusion), qui ont surtout été développées pour un robot unique. Les extensions multi-robots restent peu nombreuses et reposent souvent sur la communication explicite ou sur des identifiants de rôle. L'approche par mélange d'experts, déjà courante dans les grands modèles, est ici transposée à la coordination implicite. La page du projet est hébergée sur le domaine aus.bot. Aucune annonce de pilote industriel ni de calendrier de déploiement n'accompagne cette publication, qui relève de la recherche académique en préversion arXiv, sans produit associé. Les prochaines étapes à surveiller sont la montée en nombre de robots, le passage à des équipes hétérogènes (bras différents, humanoïdes) et la comparaison directe avec des baselines centralisées.

RecherchePaper
1 source
PhoneBot : une plateforme de robot humanoïde ouverte et économique qui réutilise des smartphones
529arXiv cs.RO 

PhoneBot : une plateforme de robot humanoïde ouverte et économique qui réutilise des smartphones

PhoneBot, une équipe de chercheurs publie sur arXiv (2610.08737) une plateforme humanoïde open source à bas coût qui remplace l'électronique embarquée habituelle par un smartphone grand public. Le téléphone, fixé dans le torse, assure à la fois la détection (centrale inertielle IMU, caméra), la connectivité sans fil et le calcul embarqué, y compris le contrôle de la marche et l'interaction avec l'utilisateur. Le robot ne comporte qu'un bas du corps modulaire, animé par 13 actionneurs à faible coût. Les auteurs décrivent la conception mécanique, l'architecture logicielle et le cadre de communication temps réel, et revendiquent une marche stable, du suivi visuel de personnes, de la conversation, du tournage vidéo et de la télé-présence mobile. Matériel et logiciel sont intégralement ouverts, avec un site de documentation dédié (phonebot.dev). L'abstract ne chiffre ni le coût total, ni la vitesse de marche, ni la charge utile, ni le modèle de smartphone utilisé, et ne donne aucun taux de réussite. L'intérêt tient moins à la performance qu'au positionnement économique. Les humanoïdes restent peu présents dans l'enseignement et la recherche à cause du prix du matériel, de la complexité des capteurs et des besoins en calcul. Réutiliser un smartphone, dont le SoC, la caméra, l'IMU et la connectivité sont produits à très grande échelle et amortis par le marché grand public, déplace le coût vers un composant déjà disponible, souvent en fin de vie dans un tiroir. Pour un laboratoire, un établissement ou un prototypiste, cela abaisse la barrière d'entrée et facilite la reproductibilité. Les limites sont aussi claires : un bas du corps à 13 actionneurs sans bras n'est pas un humanoïde de manipulation, et les « évaluations expérimentales » annoncées devront être jugées sur des protocoles précis (durée de marche, perturbations, robustesse thermique, latence de la boucle de contrôle). Le smartphone impose en outre des contraintes d'ordonnancement temps réel que l'abstract ne détaille pas. Le projet s'inscrit dans une lignée de plateformes ouvertes et abordables, face aux humanoïdes commerciaux de recherche plus coûteux comme les modèles de Unitree ou d'autres constructeurs, qui visent des performances nettement supérieures. Il n'entre pas en concurrence directe avec les acteurs industriels (Figure, Tesla Optimus, Agility), qui ciblent le travail en entrepôt ou en usine, mais avec l'écosystème éducatif et les kits open source. Aucun acteur français ou européen n'est cité dans l'abstract. La suite dépendra de la disponibilité des plans, du coût réel de la nomenclature et de l'adoption par une communauté d'utilisateurs, seules mesures qui diront si l'approche dépasse le stade du démonstrateur académique.

RecherchePaper
1 source
Navigation sociale sûre de bout en bout par apprentissage par renforcement multitâche et perception probabiliste
530arXiv cs.RO 

Navigation sociale sûre de bout en bout par apprentissage par renforcement multitâche et perception probabiliste

Une équipe de chercheurs publie JESSI (JAX-based E2E Safe Social Interpretable navigation), un cadre d'apprentissage par renforcement (RL) de bout en bout, léger, qui transforme directement les scans LiDAR bruts en commandes de contrôle cinématiquement réalisables. Le système repose sur des espaces d'actions continus paramétrés par une loi de Dirichlet, associés à un bornage déterministe des commandes, ce qui renforce la sécurité. Un module de perception à base d'attention en extrait des états humains probabilistes, ce qui rend les décisions interprétables. Les auteurs ont testé JESSI en simulation, puis sur un robot à entraînement différentiel en conditions réelles. Ils le comparent à plusieurs méthodes de référence de l'état de l'art. Le résumé disponible ne donne ni taux de réussite chiffré, ni taille de l'échantillon d'essais, ni densité de piétons, ni nom de la plateforme robotique. Il n'est pas possible de vérifier l'ampleur de l'avantage annoncé. Il s'agit d'un travail de recherche académique (arXiv, version 2), sans produit ni déploiement commercial. L'apport principal tient à l'entraînement conjoint de la politique RL et d'un signal de perception supervisé, dans un paradigme multi-tâches. Les auteurs affirment que ce couplage améliore le comportement social du robot, c'est-à-dire sa capacité à éviter les piétons de façon naturelle et prévisible, au-delà du simple évitement de collision. Beaucoup de méthodes de navigation sociale par RL supposent que la position et la vitesse des humains sont connues, hypothèse peu réaliste hors laboratoire, où le robot ne dispose que de ses capteurs. En partant du LiDAR brut, JESSI s'attaque à ce décalage entre simulation et réalité. Pour un intégrateur ou un responsable d'exploitation qui vise des robots mobiles dans des hôpitaux, des commerces ou des entrepôts partagés avec du personnel, trois points comptent : l'interprétabilité des états humains estimés, des commandes bornées par construction, et un modèle léger, donc compatible avec du calcul embarqué. Ces résultats restent à confirmer sur des environnements plus denses et plus variés que ceux du papier. Ce travail s'inscrit dans une littérature où la navigation sociale par RL a d'abord reposé sur des modèles d'interaction entre agents avec états humains parfaitement observés, puis a évolué vers des approches de bout en bout partant des capteurs. Il s'oppose aussi aux piles classiques, qui séparent perception, prédiction et planification et dont l'assemblage est plus lourd à régler. L'implémentation en JAX suggère un entraînement massivement parallélisé sur accélérateur, ce qui raccourcit les itérations de recherche. Les suites naturelles seraient des essais avec des foules plus denses, des plateformes variées et une validation sur des sites réels. Aucun pilote ni calendrier n'est annoncé dans le résumé.

RecherchePaper
1 source
HRDexDB : un jeu de données 4D de préhension dextre, couvrant la main humaine et plusieurs robots
531arXiv cs.RO 

HRDexDB : un jeu de données 4D de préhension dextre, couvrant la main humaine et plusieurs robots

HRDexDB est un jeu de données publié sur arXiv (référence 2604.14944, version 3 révisée) qui documente la saisie dextre en « 4D », c'est-à-dire les trajectoires d'interaction main-objet en 3D suivies dans le temps. Il couvre cinq « embodiments » : la main humaine et plusieurs mains robotiques, dont les modèles précis ne sont pas détaillés dans le résumé. L'ensemble totalise 3,2 K essais sur 100 objets variés, capturés en conditions réelles. Un système multicaméra synchronisé et un pipeline de reconstruction intégré fournissent des observations RGB multivues et égocentriques, la géométrie 3D de la main, les états du robot et les trajectoires de pose 6D des objets. Chaque essai porte une annotation de succès ou d'échec. Les auteurs valident l'utilité du corpus sur trois tâches : le transfert de cartes de contact de l'humain vers le robot, l'estimation visuelle du contact robot-objet et la saisie assistée par récupération (retrieval-assisted grasping). L'intérêt tient à deux choix de conception. Humains et robots manipulent les mêmes objets, ce qui permet de comparer directement les stratégies de préhension et les motifs de contact selon la morphologie de la main. Les échecs sont annotés au même titre que les succès, alors que la plupart des corpus de démonstration ne conservent que les trajectoires réussies. Pour la recherche sur la manipulation dextre, c'est un signal d'apprentissage utile, car il permet d'entraîner des estimateurs de contact et des critères de réussite. Le transfert de contact humain-robot répond à une question centrale du secteur : comment exploiter la vidéo humaine, abondante et peu coûteuse, pour des mains robotiques très différentes. Les limites sont à garder en tête. L'échelle reste modeste, avec 3,2 K essais et 100 objets, très loin des volumes des modèles généralistes (VLA) comme Pi-0 ou GR00T. Les démonstrations sont des preuves de concept, sans résultat de déploiement industriel ni taux de succès chiffrés dans le résumé. Le jeu de données s'inscrit dans une série de bases dédiées à la saisie et à l'interaction main-objet. Beaucoup d'entre elles se limitent à l'humain, à une seule main robotique ou à la simulation, ce qui laisse un écart sim-to-real et un manque de données comparables entre morphologies. HRDexDB vise à combler ce manque. Il s'adresse d'abord aux laboratoires et aux équipes qui entraînent des politiques de préhension pour mains à plusieurs doigts, plutôt qu'aux intégrateurs. Le résumé n'annonce ni calendrier ni extension. Les prochaines étapes à surveiller sont le nombre d'embodiments et d'objets, la disponibilité publique des données et leur adoption comme référence dans les travaux sur la préhension.

RecherchePaper
1 source
TransMASK : représentation d'état masquée grâce à une transformation apprise
532arXiv cs.RO 

TransMASK : représentation d'état masquée grâce à une transformation apprise

Des chercheurs proposent TransMASK, une méthode d'apprentissage auto-supervisé publiée sur arXiv (2603.05670, version 2) qui apprend un masque multiplié aux caractéristiques d'image observées, afin de ne conserver que celles utiles à la tâche. Le dispositif se greffe sur divers cadres d'apprentissage par imitation, diffusion policies comprises, sans annotation supplémentaire ni modification de la fonction de perte. Pendant l'entraînement, le masque appris instaure une « pression compétitive » entre les caractéristiques visuelles, ce qui pousse la politique à ne s'appuyer que sur celles qui sont systématiquement pertinentes. Les auteurs affirment que les masques obtenus sont interprétables et rejettent des facteurs parasites connus, comme la position d'objets distracteurs ou la couleur du fond. Face à d'autres méthodes d'apprentissage de représentations pour l'imitation, TransMASK atteindrait au moins 30 % d'amélioration sur des environnements hors distribution. Un site de projet est associé au papier (transmask.github.io/TransMASK). L'enjeu touche l'un des points faibles les plus coûteux de la manipulation robotique apprise : la fragilité face à de petits changements d'environnement. Lumière, instance d'objet, configuration initiale ou simple couleur de table suffisent souvent à dégrader une politique entraînée sur quelques centaines de démonstrations. Pour un intégrateur, c'est ce qui sépare un pilote réussi d'un déploiement multi-sites, car chaque variation oblige à recollecter des données. Une solution qui ne demande ni labels ni changement de loss est donc attractive sur le plan de l'ingénierie. Le résumé reste toutefois limité : le « 30 % » est un gain minimal relatif aux baselines retenues, sans que l'on connaisse les tâches, le nombre d'essais, les robots ni si les tests ont eu lieu en simulation ou sur matériel réel. Les distributions de test sont choisies par les auteurs, et la robustesse à des décalages non anticipés reste à démontrer. Rien n'indique non plus un passage à l'échelle sur des modèles vision-langage-action (VLA) de grande taille. Ce travail s'inscrit dans une littérature déjà fournie sur la généralisation des politiques visuomotrices : augmentation de données, encodeurs visuels pré-entraînés, représentations centrées objet ou apprentissage de représentations invariantes. L'approche par masque appris offre une alternative légère et lisible, ce qui compte pour le débogage et la certification. Il s'agit d'une publication de recherche, sans produit, pilote ni calendrier annoncé. Il s'agit ici d'une version révisée (v2), signe d'un travail encore en cours d'évaluation. La suite logique serait une validation sur des politiques généralistes de type Pi-0 ou sur des plateformes industrielles, avec des protocoles de test plus larges et des comparaisons plus standardisées.

RecherchePaper
1 source
Au-delà de la récompense de tâche : un protocole de restriction du contrôleur pour évaluer la compétence dépendante de l'incarnation
533arXiv cs.RO 

Au-delà de la récompense de tâche : un protocole de restriction du contrôleur pour évaluer la compétence dépendante de l'incarnation

Une équipe de chercheurs propose, dans un preprint arXiv (2610.07629), de ne plus juger un robot conçu par co-design corps-contrôleur uniquement par la récompense de tâche obtenue avec la paire entièrement optimisée. Leur protocole consiste à restreindre le contrôleur : on mesure la compétence qu'une morphologie conserve avec une famille de contrôleurs de faible complexité, déclarée explicitement, dans un environnement, une tâche et un budget de recherche donnés. Testé sur trois tâches de locomotion du simulateur EvoGym, le critère de récompense n'explique que 39 %, 33 % et 10 % de la variance de cette compétence restreinte. Les descripteurs géométriques ne la prédisent pas non plus en validation croisée groupée par run. La mesure est fiable d'un redémarrage d'optimiseur à l'autre (ICC(2,k) de 0,956 à 0,986), mais elle dépend de la famille de contrôleurs choisie. Si l'on phase l'actionnement selon l'indice de l'actionneur plutôt que sa position, le classement des mêmes morphologies ne corrèle plus qu'à 0,50-0,63 (Spearman), et certaines paires à récompense égale s'inversent. L'intérêt tient à ce que cela met en cause une pratique courante du co-design : un score unique agrège des corps qui exigent un contrôleur sophistiqué et d'autres qui fonctionnent avec un contrôle rudimentaire. Pour un intégrateur, la différence compte, car un corps peu dépendant du contrôleur est en principe plus simple à piloter et plus robuste face aux écarts entre simulation et réalité. Les résultats pratiques sont toutefois mitigés. Utilisé comme second objectif de recherche, l'axe a amélioré la compétence à récompense égale dans 3 des 5 runs appariés, sous le seuil de 4 fixé dans une préenregistrement. En revanche, appliqué après une recherche classique, pour départager les candidats de la meilleure tranche de récompense, il a désigné un corps différent dans les 8 runs où un choix existait. Le surcoût était d'au plus 0,10 unité de récompense, et dans 6 cas sur 8 le corps retenu obtenait un meilleur score avec une famille de contrôleurs mise de côté. Le contexte est celui d'un co-design qui, depuis les créatures virtuelles de Karl Sims, optimise corps et contrôle conjointement, et qui s'appuie ici sur EvoGym, banc d'essai de robots mous en simulation. Les conclusions se limitent donc à trois tâches simulées de locomotion, sans validation sur matériel physique ni sur des humanoïdes. Les auteurs ne présentent pas la compétence restreinte comme un nouveau score universel. Ils la décrivent comme une propriété à publier avec la famille de contrôleurs qui la définit. Le test sur famille mise de côté et la déclaration d'un seuil préenregistré, même manqué, relèvent d'une bonne hygiène méthodologique. Aucune suite ni déploiement industriel n'est annoncé à ce stade.

RecherchePaper
1 source
Assistance robotique proactive pilotée par les événements grâce au raisonnement vision-langage
534arXiv cs.RO 

Assistance robotique proactive pilotée par les événements grâce au raisonnement vision-langage

Des chercheurs proposent, dans un preprint arXiv (2610.08344v1), un cadre d'assistance robotique proactive déclenché par des événements plutôt que par des instructions humaines. Un « évent monitor » surveille les changements d'état de l'espace de travail. Lorsqu'une interaction humain-objet s'achève, il extrait des instantanés stabilisés avant et après l'action, qui caractérisent la transition observée. Un modèle vision-langage (VLM) préentraîné et gelé, sans réglage fin, exploite alors ses connaissances sémantiques a priori pour déduire le contexte de la tâche, décider si une aide est pertinente et, le cas échéant, produire une séquence d'actions d'assistance. Pour que les sorties restent exécutables et vérifiables, les actions sont limitées à un jeu de primitives, et les objets sont désignés par des identifiants entiers. Le même cadre a été testé sur trois tâches de collaboration réelles sur table, sans entraînement spécifique. Selon les auteurs, ses performances sont comparables à celles de variantes recevant des instructions explicites de l'utilisateur. Le résumé ne donne ni chiffres détaillés, ni nom de robot ou de VLM, ni taux de réussite. L'intérêt tient au déplacement du point de déclenchement du raisonnement de haut niveau. La plupart des systèmes de manipulation collaborative, y compris ceux fondés sur des VLA (vision-language-action), attendent une commande, ce qui limite leur fluidité dans un atelier ou une cellule de co-activité. Ici, l'humain n'a plus à spécifier la tâche : le robot lit le résultat de l'action et anticipe l'étape suivante, comme un collègue expérimenté. L'approche contourne aussi le coût de données de la plupart des méthodes, puisqu'un VLM gelé suffit. La contrainte par primitives et identifiants d'objets répond à un problème concret pour les intégrateurs : rendre vérifiable ce qu'un modèle génératif demande au robot. Il faut toutefois relativiser. Trois tâches de table en laboratoire ne disent rien de la robustesse en environnement industriel, ni de la latence d'un VLM invoqué à chaque événement, ni du risque d'une assistance non sollicitée, ou d'une absence d'assistance, que le résumé ne quantifie pas. Ces travaux s'inscrivent dans la recherche sur l'interaction humain-robot proactive et sur l'usage des VLM comme planificateurs de haut niveau, avec des primitives d'action pour la sécurité, dans la lignée des approches de type SayCan. Ils se démarquent des politiques VLA de bout en bout, comme Pi-0, GR00T ou Helix, qui apprennent directement la commande motrice à partir d'instructions. Le préprint n'annonce ni pilote, ni déploiement, ni calendrier : c'est une démonstration de recherche. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et plus variées, des mesures de latence et de sécurité, et un test auprès d'opérateurs non experts.

RecherchePaper
1 source
Récompense dense généralisable pour les tâches robotiques à long horizon
535arXiv cs.RO 

Récompense dense généralisable pour les tâches robotiques à long horizon

Des chercheurs proposent VLLR, un cadre de récompense dense destiné à affiner par apprentissage par renforcement (RL) des politiques robotiques pré-entraînées par imitation, sans écrire de fonction de récompense à la main pour chaque tâche. Il combine deux signaux. Le premier est une récompense extrinsèque. Un grand modèle de langage (LLM) découpe la tâche en sous-tâches vérifiables, puis un modèle vision-langage (VLM) estime l'avancement. Cette estimation initialise la fonction de valeur pendant une courte phase de préchauffage. Le VLM n'est donc pas appelé à chaque pas, ce qui évite un coût d'inférence prohibitif. Le second signal est intrinsèque : l'auto-certitude de la politique (self-certainty) guide chaque pas pendant tout l'affinage par PPO. Sur le benchmark CHORES (manipulation mobile et navigation), VLLR gagne jusqu'à 56 points de taux de succès absolu sur la politique de départ. Il gagne jusqu'à 5 points face aux méthodes d'affinage RL de l'état de l'art sur les tâches connues, et jusqu'à 10 points sur les tâches hors distribution. Le travail s'attaque à un point faible connu des modèles de fondation robotiques, l'imitation à grande échelle. Face à une dérive de distribution, les erreurs s'accumulent sur les tâches longues. Le RL peut corriger cela, mais il bute sur l'ingénierie manuelle des récompenses, qui ne passe pas à l'échelle sur des tâches variées. Les ablations montrent des effets complémentaires. L'initialisation par VLM améliore surtout l'efficacité d'exécution, tandis que l'auto-certitude améliore surtout le taux de succès, notamment hors distribution. L'écart de 5 points sur les tâches connues reste modeste. L'apport principal est la suppression de l'ingénierie de récompense, pas un gain de performance spectaculaire. Les résultats portent sur un benchmark académique. Le résumé ne mentionne ni robot réel, ni temps de cycle, ni déploiement, et les visualisations sont publiées sur une page de projet. Les gains « jusqu'à » sont des maxima, sans détail par tâche ici. Le travail s'inscrit dans la tendance des politiques vision-langage-action (VLA) affinées après un pré-entraînement par imitation. Il se compare aux approches RL qui exigent encore des récompenses spécifiques, ou des signaux de VLM trop coûteux pour être appelés tout au long de l'entraînement. La suite logique serait une validation sur matériel réel et sur des tâches plus longues. C'est ce qui dira si le préchauffage par VLM suffit hors simulation.

RecherchePaper
1 source
Sentir la charge : locomotion compliante de quadrupèdes face aux interactions avec une charge utile
536arXiv cs.RO 

Sentir la charge : locomotion compliante de quadrupèdes face aux interactions avec une charge utile

Des chercheurs proposent un cadre de locomotion sensible aux forces pour robot quadrupède, décrit dans un preprint arXiv (2610.08637v1), qui traite les interactions humaines avec une charge utile non fixée comme des commandes de pilotage. Le scénario visé est celui où une personne pousse ou tire l'objet transporté plutôt que le robot lui-même. Le contrôleur doit alors distinguer une intervention volontaire des mouvements ordinaires de la charge, tout en la gardant en équilibre et en conservant une marche stable. L'approche sépare l'apprentissage de la locomotion tenant compte des forces de celui de l'estimation des forces. Une politique de portage « compliante » est associée à un estimateur de force causal, entraîné par agrégation de données avec l'estimateur dans la boucle puis affiné (finetuning). L'estimateur prédit les interactions uniquement à partir des mesures embarquées du robot, sans capteur d'effort dédié sur la charge. Les auteurs rapportent des résultats en simulation et en conditions réelles : locomotion stable avec charge, cession compliante face aux forces extérieures, et réutilisation de la force inférée pour dévier la trajectoire sous guidage humain. L'intérêt tient au déplacement du problème. La plupart des travaux sur les quadrupèdes porteurs considèrent la charge comme une perturbation à rejeter, ou la fixent rigidement au châssis. Ici, la charge devient un canal d'interaction : l'opérateur peut guider le robot en saisissant l'objet, sans télécommande ni interface. Pour un intégrateur, cela ouvre des usages de logistique de site, de transport en inspection ou de cobotique mobile, où un opérateur doit corriger le robot dans un environnement partagé. Le choix de se passer de capteurs supplémentaires réduit aussi le coût et la fragilité matérielle. Il faut toutefois rester prudent : c'est un résultat de laboratoire, sans chiffres de charge maximale, de précision d'estimation ni de robustesse à des charges variées dans l'extrait disponible. La séparation entre politique et estimateur suggère une modularité utile, mais sa tenue hors du cadre expérimental reste à démontrer. Ce travail s'inscrit dans la lignée de l'apprentissage par renforcement pour la locomotion quadrupède, devenu standard pour la marche robuste, et des politiques « conscientes » de leur contexte qui estiment des grandeurs cachées (friction, masse, poussées) à partir de l'historique proprioceptif. Il prolonge aussi les recherches sur la compliance et l'interaction physique humain-robot, jusqu'ici surtout traitées avec des bras manipulateurs ou des robots à base fixe. Aucun produit, partenaire industriel ni calendrier de pilote n'est annoncé : il s'agit d'un preprint de recherche, non d'un système commercialisé ou déployé. Les suites probables concernent l'extension à des charges plus lourdes et plus variées, le passage à des plateformes industrielles et l'intégration avec des modèles de plus haut niveau, comme les VLA, pour combiner guidage physique et instructions de tâche.

RecherchePaper
1 source
ACG-WAM : modélisation monde-action par prédiction latente géométrique conditionnée par l'action
537arXiv cs.RO 

ACG-WAM : modélisation monde-action par prédiction latente géométrique conditionnée par l'action

Des chercheurs de l'équipe RoboOpus publient ACG-WAM, un modèle « monde-action » (World Action Model, WAM) qui apprend conjointement la prédiction visuelle et les actions du robot. Le travail ajoute un objectif auxiliaire baptisé ACG-JEPA (Action-Conditioned Geometric Joint-Embedding Predictive Architecture). À partir de l'observation courante et des actions intermédiaires, il prédit des caractéristiques géométriques à plusieurs horizons temporels. La cible vient d'un encodeur VGGT gelé, dont on utilise le « slot futur » pour chaque paire d'images courante et future. La supervision s'applique aux caméras tête et poignet, sur un embedding visuel partagé placé avant le mélange temporel. Le teacher et les modules auxiliaires sont retirés à l'inférence, donc le coût d'exécution ne change pas. Sur 50 tâches RoboTwin 2.0, ACG-WAM atteint 93,46 % de succès en scènes propres. Il obtient le meilleur score en scènes randomisées (92,68 %) et la meilleure moyenne sur les deux réglages (93,07 %) parmi les méthodes comparées. Sur robot réel, avec trois tâches, il atteint 85,00 % de succès et 91,67 % de score de complétion partielle. Il dépasse Motus de 10,00 et 9,17 points de pourcentage. Le code et un site de projet sont publiés. Les WAM entraînent leurs pertes vidéo et action sans cible explicite pour les conséquences géométriques d'une séquence d'actions démontrée. Le modèle peut donc prédire des pixels plausibles sans bien représenter ce que le geste a changé dans l'espace 3D. Les auteurs relèvent aussi un défaut de conception : les features visuelles prises après l'attention temporelle peuvent contenir des informations sur le futur. Elles ne conviennent donc pas comme seule entrée visuelle courante d'un prédicteur auxiliaire. Le choix de supervision avant le mélange temporel répond à cette fuite. L'intérêt pratique est que la supervision géométrique n'est utilisée qu'à l'entraînement et n'alourdit pas le modèle déployé. Pour un intégrateur, cela suggère un gain de robustesse sans surcoût d'inférence. Il faut toutefois nuancer. Le banc d'essai principal est simulé. La validation réelle reste mince, avec trois tâches et un nombre d'essais non précisé dans le résumé. Un écart de 10 points face à Motus est encourageant mais statistiquement fragile à cette échelle. Le résultat ne dit pas non plus si le gain tient hors de la distribution d'entraînement. Ce travail s'inscrit dans la montée des politiques qui combinent modélisation du monde et contrôle, avec Motus comme référence directe. Il reprend aussi l'idée JEPA, qui prédit dans un espace latent plutôt qu'en pixels, et s'appuie sur VGGT pour fournir une géométrie 3D de référence. RoboTwin 2.0 est devenu un banc d'essai bimanuel courant, ce qui rend les comparaisons possibles mais expose au risque de saturation, avec des scores déjà proches de 93 %. La prochaine étape à surveiller est une évaluation réelle plus large, avec plus de tâches et d'essais, puis une comparaison avec les grands VLA généralistes du marché. Aucun pilote industriel ni calendrier de déploiement n'est annoncé.

RecherchePaper
1 source
PACE : manipulation robotique cohérente par étapes sur de longs horizons grâce à un contexte aligné sur la progression
538arXiv cs.RO 

PACE : manipulation robotique cohérente par étapes sur de longs horizons grâce à un contexte aligné sur la progression

Des chercheurs proposent PACE (Progress-Aligned Context for Execution), une méthode destinée aux politiques robotiques conditionnées par démonstration, dans le cadre de la manipulation longue durée. Le problème visé porte le nom de « stage confusion » : lorsque des états visuellement proches reviennent à différentes étapes d'une tâche, ou lorsque la démonstration et l'exécution n'avancent pas à la même vitesse, la politique perd le fil et se trompe d'étape. PACE compresse la démonstration complète en jetons de prompt multimodaux ordonnés, et s'appuie, pendant l'entraînement uniquement, sur une supervision d'attention « à double arête » (dual-edge) pour faire apparaître la structure latente des étapes. À l'exécution, une mémoire à poids rapides (fast-weight), propre à l'épisode, encode de façon causale les transitions action-observation réellement effectuées et module la cross-attention sur le prompt. Un expert d'action unifié, basé sur la diffusion, reçoit ainsi un contexte aligné sur la progression, sans étiquettes d'étape au test ni politiques spécifiques à chaque étape. Sur LIBERO-Gen, le taux de réussite passe de 88,9 % à 94,0 % sur Goal Chain, et de 79,1 % à 83,3 % sur Spatial Combination. Sur les tâches Block Routing en deux étapes, il bondit de 33,3 % à 73,3 %. L'intérêt tient moins au gain sur les benchmarks LIBERO, déjà proches de la saturation et modestes (+5,1 et +4,2 points), qu'au diagnostic posé : une part notable des échecs des politiques VLA et des politiques à diffusion sur les tâches séquentielles viendrait d'une mauvaise localisation dans la tâche, et non d'un déficit de dextérité ou de perception. Le doublement du succès sur Block Routing, où les états se répètent entre les étapes, va dans ce sens, et l'analyse d'échecs des auteurs indique que l'alignement structuré de la démonstration et la mémoire causale contribuent conjointement. Pour les intégrateurs, la promesse est de spécifier un comportement par une démonstration unique sans réentraîner de politique par étape, ce qui réduit le coût de mise en production d'enchaînements d'assemblage ou de tri. Les réserves sont nettes : les résultats proviennent de simulation, d'une seule version préprint, sans validation sur robot réel ni mesure de latence ajoutée par la mémoire. Le gain sur Block Routing part en outre d'une base très basse, ce qui en amplifie l'effet apparent. PACE s'inscrit dans la lignée des politiques généralistes de type VLA (Pi-0, GR00T, Helix) et des approches par imitation conditionnée sur démonstration, qui peinent sur les horizons longs faute de mémoire d'exécution explicite. Il rejoint les travaux sur les mémoires épisodiques et les couches à poids rapides pour la robotique. Les auteurs ne citent pas de déploiement industriel ni de calendrier. Les prochaines étapes logiques sont des tests sur robots physiques, des comparaisons directes avec les grands VLA du marché et une évaluation sur des tâches plus longues que deux étapes. Aucun acteur français ou européen n'est mentionné dans cette publication.

RecherchePaper
1 source
Une action sûre ne suffit pas : décodage à futurs réalisables pour les politiques vision-langage-action (VLA)
539arXiv cs.RO 

Une action sûre ne suffit pas : décodage à futurs réalisables pour les politiques vision-langage-action (VLA)

Une équipe de chercheurs publie sur arXiv (2610.05166, deuxième version) VICS-G, une méthode de décodage pour politiques vision-langage-action (VLA) qui vise à éviter les actions « sûres mais sans issue ». Le point de départ est ce que les auteurs appellent l'écart faisabilité-vraisemblance. Une politique VLA figée classe le prochain mouvement selon sa vraisemblance, alors que la viabilité dépend des futurs que ce mouvement laisse ouverts. Les chercheurs dérivent la marginale exacte du prochain bloc d'actions, restreinte aux trajectoires qui terminent la tâche en sécurité. Comme son calcul exact est impraticable en ligne, ils proposent une approximation sur un nombre fini de candidats, avec des conditions de récupération du meilleur candidat viable. VICS-G est un reclasseur déclenché par alarme, sans entraînement et sans simulation de trajectoires à l'exécution. Sur six configurations de Safety-CHORES, il réduit le coût de sécurité cumulé moyen de 1,9 % à 57,5 %. Le taux de succès reste à moins de 2,5 points de l'échantillonnage standard de la politique, et la longueur moyenne des épisodes à moins de 0,82 pas. L'idée est utile parce qu'elle s'applique à une politique gelée, sans réentraînement : un intégrateur qui utilise un VLA tiers pourrait ajouter une couche de sécurité au décodage. Elle contredit aussi l'hypothèse qu'un simple filtre d'actions localement admissibles suffit : une action peut passer le filtre et enfermer le robot dans une impasse. Les résultats appellent toutefois à la prudence. La fourchette de 1,9 % à 57,5 % montre des gains très inégaux selon les scénarios, et le résumé ne donne ni valeurs absolues ni coût de calcul de l'approximation. Tout est évalué en simulation, sans robot réel ni déploiement. Safety-CHORES est un banc d'essai de tâches domestiques en simulation, où l'on mesure à la fois le succès et un coût cumulé de violations de sécurité. Les approches existantes renforcent en général la sécurité en réentraînant ou en ajustant la politique, ou en filtrant les actions pas à pas. VICS-G se place entre les deux : il garde la politique intacte, mais évalue les futurs que chaque candidat laisse possibles. Les prochaines étapes à surveiller sont la validation sur d'autres VLA et d'autres bancs d'essai, la mesure du surcoût de latence, et surtout un test sur robot physique. Sans cela, il reste un résultat de recherche, loin d'un produit livré.

RecherchePaper
1 source
Optimisation générative guidée par un modèle et sensible à la géométrie pour la planification de locomotion sous contraintes
540arXiv cs.RO 

Optimisation générative guidée par un modèle et sensible à la géométrie pour la planification de locomotion sous contraintes

Des chercheurs publient sur arXiv (2610.07772) une méthode baptisée 2GO, pour Model-Based Geometry-Aware Generative Optimization, destinée à la planification de locomotion sous contraintes (Constrained Locomotion Planning, CLP) de quadrupèdes et d'humanoïdes. Le robot doit y respecter en même temps l'évitement de collisions, la cohérence des contacts, la faisabilité cinématique et les contraintes de support. 2GO s'appuie sur les approches Model-Based Diffusion (MBD), qui traitent l'optimisation de trajectoire comme un échantillonnage a posteriori. Ces approches utilisent la dynamique connue et des rollouts Monte Carlo pour estimer analytiquement la fonction de score de débruitage, sans apprentissage à partir de démonstrations. Trois mécanismes transforment la géométrie des contraintes actives en opérateurs de débruitage exécutables : une métrique modelée par les normales aux contraintes, un filtrage stochastique dans l'espace tangent et une rétraction fondée sur CFS. 2GO découple aussi le transport génératif de la stochasticité inverse grâce à un calendrier adaptatif qui mêle diffusion et dynamique de type flow. Les essais portent sur la sélection discrète de points d'appui et sur la planification continue de posture. Les auteurs annoncent de meilleurs taux de succès, moins de violations de contraintes et une meilleure compatibilité à l'exécution. L'intérêt est surtout méthodologique. La planification de locomotion sous contraintes reste un point dur des quadrupèdes et des humanoïdes, car la dynamique est de grande dimension et les environnements sont très non convexes (escaliers, terrains discontinus, appuis rares). 2GO suit une voie différente des politiques apprises par imitation ou par apprentissage par renforcement : elle réutilise le modèle physique et se passe de données de démonstration, ce qui retire un coût de collecte. L'idée centrale est que la géométrie des contraintes actives doit orienter la direction du score et le bruit injecté, au lieu d'être traitée comme une simple pénalité. Pour un intégrateur, la promesse est une planification plus fiable aux contacts, où se concentrent les échecs sur terrain réel. Il faut toutefois rester prudent. Le résumé ne donne aucun chiffre : ni taux de succès, ni temps de calcul, ni comparaison chiffrée, ni plateforme matérielle. Rien n'indique non plus si les essais ont eu lieu uniquement en simulation, et la question du temps réel, décisive pour un déploiement embarqué, n'est pas abordée. Il s'agit d'un preprint non évalué par les pairs, sans produit ni déploiement associé. Le travail prolonge les variantes contraintes de MBD, qui intégraient déjà la faisabilité dans les rollouts de score. Les auteurs leur reprochent l'absence de géométrie de contrainte modulée par la tâche et l'usage d'un transport inverse déterministe de type DDPM, sans ordonnancement adaptatif. Il se place face aux approches de diffusion apprise et aux politiques VLA, qui visent plutôt la manipulation et le comportement de haut niveau. Les prochaines étapes à surveiller sont la publication du code, des benchmarks chiffrés et une validation sur robot physique.

RecherchePaper
1 source
IronMan : apprentissage vidéo-action sous contrainte d'information pour la manipulation robotique
541arXiv cs.RO 

IronMan : apprentissage vidéo-action sous contrainte d'information pour la manipulation robotique

Des chercheurs publient sur arXiv (2610.07961) IronMan, un cadre d'apprentissage vidéo-action pour la manipulation robotique, dont le nom signifie Information-constRained videO-actioN learning for robot MANipulation. Il s'inscrit dans la famille des Video Action Models (VAM), qui associent la modélisation de la dynamique visuelle à la génération d'actions. IronMan s'appuie sur le principe du goulot d'information (information bottleneck). Un module sensible à la dynamique condense des caractéristiques vidéo bruitées et enchevêtrées, calculées à un seul pas de diffusion, en représentations compactes du monde. Ces représentations suppriment l'information visuelle non pertinente et conservent les indices de dynamique utiles à l'action. Les auteurs annoncent 99,0 % de réussite sur LIBERO et 79,4 % sur RoboTwin en configuration clean2clean, au-dessus de toutes les références évaluées. Hors distribution, sur LIBERO-Plus, le taux atteint 79,1 %, soit 10,4 points de pourcentage de plus que la meilleure référence. Des expériences en conditions réelles et une inférence présentée comme efficace complètent le tableau. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel. L'enjeu tient à un point faible connu des VAM : une représentation vidéo n'est pas naturellement adaptée à la génération d'actions. Exposer la politique à trop de détails visuels (textures, arrière-plans, éclairage) dégrade sa généralisation. IronMan défend l'idée inverse de la tendance à enrichir toujours davantage les représentations : contraindre l'information serait plus rentable que l'étendre. Le résultat le plus parlant est la robustesse hors distribution. C'est là que se joue l'écart entre démonstration et réalité, car un robot en atelier rencontre des changements de scène, de caméra ou de luminosité que les benchmarks propres ne couvrent pas. Pour les intégrateurs, un tel levier pourrait réduire le coût de réadaptation d'une politique à chaque nouveau site. Deux réserves s'imposent. Un score de 99 % sur LIBERO indique surtout que ce benchmark est quasi saturé. Les 79,4 % sur RoboTwin laissent une marge d'échec importante. Les résultats en conditions réelles sont résumés sans détail dans le résumé de l'article (tâches, nombre d'essais, robots), ce qui limite leur portée. Ce travail prolonge deux courants. Les politiques vision-langage-action (VLA) de type Pi-0 ou GR00T reposent sur des modèles vision-langage pré-entraînés. Les modèles vidéo génératifs servent désormais de prior de dynamique pour l'action. Les premiers manquent de compréhension physique explicite. Les seconds, coûteux en calcul et sensibles aux détails superflus, se heurtent au problème que IronMan cherche à corriger. Le recours à des caractéristiques à un seul pas vise à préserver la vitesse d'inférence, critère décisif pour un contrôle en boucle fermée. La suite dépendra de la reproduction des résultats par d'autres équipes, de l'ouverture du code et des tests sur des plateformes variées, y compris dans des environnements industriels réels. Aucune échéance de déploiement n'est annoncée.

RecherchePaper
1 source
Apprentissage par imitation hétéroscédastique non paramétrique et rapide, avec a priori géométriques
542arXiv cs.RO 

Apprentissage par imitation hétéroscédastique non paramétrique et rapide, avec a priori géométriques

Des chercheurs proposent, dans un preprint arXiv (2610.08650v1), une méthode d'apprentissage par imitation non paramétrique capable de modéliser des politiques probabilistes à partir de peu de démonstrations humaines, tout en tenant compte de la géométrie des variétés propres à la robotique (positions et orientations). Le papier décrit une formulation optimisée où la mise à jour d'une trajectoire complète, position et orientation incluses, demande moins de 3 ms. La méthode traite des entrées comme des sorties vivant sur des variétés, y compris pour de grands changements d'orientation. Elle repose sur des noyaux diagonaux non séparables, qui capturent les relations d'incertitude entre degrés de liberté lorsque entrée et sortie ont la même dimension. Les politiques peuvent être indexées sur le temps ou sur l'état du robot, et la paramétrisation de tâche permet de les adapter à différentes poses d'objets. L'évaluation porte sur des exemples jouets et sur des tâches réelles de manipulation, en exécution autonome et en contrôle partagé. Le résumé ne donne ni robot, ni nombre de démonstrations, ni taux de réussite. L'intérêt tient à un compromis que les approches existantes résolvent mal. Les méthodes à noyaux, appréciées pour leur adaptation intuitive et fiable, se divisent en deux familles. Les unes ignorent la géométrie des variétés, ce qui pénalise l'efficacité en données, notamment pour les orientations. Les autres respectent cette géométrie, mais fournissent des incertitudes peu fiables ou exigent un réentraînement pour s'adapter. Une mise à jour en quelques millisecondes, sans réentraînement, rend envisageable une adaptation en ligne pendant l'exécution. Pour un intégrateur, cela concerne les postes où les pièces bougent d'une fois sur l'autre et où le programmeur ne dispose que de quelques démonstrations. L'incertitude hétéroscédastique, c'est-à-dire variable selon la phase de la tâche, sert à moduler la précision ou la compliance, et elle est utile en contrôle partagé avec un opérateur humain. Il faut toutefois relativiser. Il s'agit d'un preprint sans validation par les pairs. Le chiffre de 3 ms est donné pour une seule trajectoire, sans précision sur le matériel ni sur le nombre de points. Les tâches réelles ne sont pas décrites dans le résumé. Ces travaux s'inscrivent dans la lignée des primitives de mouvement probabilistes et de l'apprentissage par imitation sur variétés riemanniennes. Ils se positionnent en alternative légère aux politiques par réseaux de neurones, aux modèles de diffusion et aux modèles vision-langage-action (VLA) comme Pi-0 ou GR00T N2. Ceux-ci demandent beaucoup de données et de calcul, mais généralisent à des instructions ouvertes, ce que cette approche ne revendique pas. Elle vise plutôt des tâches structurées, avec peu de données et des garanties d'incertitude. La suite logique serait un code ouvert, des comparaisons chiffrées avec des méthodes de référence et des essais sur des cellules industrielles. Rien de tel n'est annoncé à ce stade.

RecherchePaper
1 source
HygieneRoboBench : un banc d'essai pour la planification tenant compte de l'hygiène chez les robots domestiques
543arXiv cs.RO 

HygieneRoboBench : un banc d'essai pour la planification tenant compte de l'hygiène chez les robots domestiques

Un groupe de chercheurs publie sur arXiv HygieneRoboBench, un banc d'essai de 624 instances réparties en 134 familles de tâches, conçu pour évaluer la planification « consciente de l'hygiène » des robots domestiques. Le scénario : un robot dispose de deux pinces et manipule des objets partagés. Chaque contact avec un objet contaminé peut propager un danger via les pinces, les outils ou les surfaces, et chaque nouveau contact peut rendre caduc un plan jusque-là sûr. Le planificateur reçoit un historique d'exécution et doit en déduire les risques, puis proposer une suite sûre, en tenant compte des coûts de traitement (nettoyage, désinfection), des priorités de l'utilisateur et de limites de temps et de ressources. L'évaluation combine des comparaisons contrôlées (historique, profil utilisateur, événements de contact) et une évaluation indépendante des plans. Les auteurs proposent aussi Hygiene-NSP, une méthode neuro-symbolique qui associe un LLM pour l'ancrage des tâches, la reconstruction de l'historique de contacts et le solveur CP-SAT pour planifier conjointement traitements d'hygiène et exécution. Elle atteint 94,4 % de résolution sûre et 90,4 % de résolution sûre optimale, des taux supérieurs à ceux des planificateurs de référence, LLM ou symboliques, sur l'ensemble du jeu de données. L'intérêt tient à un constat précis : terminer une tâche sans danger ne signifie pas le faire au moindre coût selon les priorités de l'utilisateur. Un planificateur prudent mais gaspilleur, qui nettoie systématiquement tout, reste un mauvais produit pour un foyer. Le résultat renforce aussi une tendance : pour les contraintes de sécurité à long horizon, l'attelage d'un LLM (compréhension et ancrage) et d'un solveur d'optimisation exact surpasse les approches purement génératives. C'est un argument pour les intégrateurs qui visent la manipulation domestique ou la santé, où la traçabilité des décisions compte. Précaution toutefois : il s'agit d'un benchmark en simulation, avec un historique fourni et non perçu. Il ne dit rien de la détection réelle de la contamination par la perception, qui reste le maillon dur. Les 94,4 % valent sur ce jeu de données conçu par les auteurs, pas en conditions réelles. Ce travail s'inscrit dans la série des benchmarks de planification pour robots domestiques, qui évaluent surtout la complétion de tâches, rarement la sécurité sanitaire cumulative. Il complète les approches de type VLA (Pi-0, GR00T, Helix), centrées sur la dextérité et la généralisation de la manipulation plutôt que sur le raisonnement sur l'état d'hygiène. Les suites logiques sont l'intégration d'une perception de la contamination, le test sur robot physique et l'extension à plus de deux manipulateurs. La page du projet est publiée, mais aucun partenaire industriel ni pilote de déploiement n'est annoncé à ce stade.

RecherchePaper
1 source
TacZero : insertion de cheville sans entraînement grâce à un modèle vision-langage généraliste et un retour tactile
544arXiv cs.RO 

TacZero : insertion de cheville sans entraînement grâce à un modèle vision-langage généraliste et un retour tactile

Des chercheurs proposent TacZero, un cadre qui confie à un modèle vision-langage (VLM) généraliste pré-entraîné, sans aucun entraînement tactile ni manipulation supplémentaire, le pilotage d'une tâche d'insertion de cheville cylindrique (peg-in-hole). Le VLM reçoit les images de caméra, l'état du robot et les réponses tactiles à trois axes, présentées soit sous forme de valeurs numériques, soit sous forme de vecteurs superposés aux images. À partir de ces observations et de l'historique des interactions, il génère des commandes précisant les positions cibles de l'effecteur et l'ouverture ou la fermeture de la pince, qu'un contrôleur bas niveau exécute. Aucune règle spécifique à la tâche n'est codée pour interpréter le contact ou choisir les actions. Lors d'essais réels, TacZero a réussi 15 insertions sur 20 avec un retour tactile numérique, contre 10 sur 20 sans toucher. Le travail a été publié sur arXiv (2610.07621, première version). L'intérêt tient à l'approche plus qu'au score. Les méthodes antérieures reposent soit sur des modèles d'estimation de contact et des lois de commande tactile conçus à la main, soit sur des modèles appris à partir de données tactiles pour estimer le mouvement des objets, prédire l'effet des actions et sélectionner ces dernières. TacZero suggère qu'un VLM généraliste peut raisonner sur le contact sans cette infrastructure, ce qui, si cela se confirme, réduirait fortement le coût de mise en place de nouvelles tâches riches en contact. Il faut toutefois relativiser. L'échantillon est minuscule (20 essais par condition), la tâche est simple et la différence de cinq succès n'a pas de robustesse statistique démontrée. Les auteurs ne donnent ni temps de cycle ni comparaison avec des politiques apprises, et eux-mêmes parlent d'un « point de départ » qui met en évidence des difficultés. Le résultat n'indique donc pas que la manipulation tactile est résolue par les VLM, seulement que le toucher apporte un gain mesurable dans ce cadre. Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) comme Pi-0, Helix ou GR00T, qui apprennent la manipulation à partir de grandes quantités de démonstrations, mais intègrent encore peu et mal le tactile. TacZero prend le chemin inverse : un modèle généraliste utilisé tel quel, sans réentraînement. L'insertion de cheville reste un banc d'essai classique de l'assemblage industriel, où les approches actuelles dépendent de contrôle en force réglé à la main ou d'apprentissage par renforcement. Les prochaines étapes naturelles seraient des géométries plus variées, des tolérances plus serrées, davantage d'essais et une mesure de la latence d'un VLM dans la boucle de commande, point critique pour tout usage en atelier.

RecherchePaper
1 source
RoboCap : une nouvelle plateforme pour l'apprentissage robotique égocentrique
545arXiv cs.RO 

RoboCap : une nouvelle plateforme pour l'apprentissage robotique égocentrique

RoboCap est un casque-chapeau de 250 g équipé de six caméras et de deux centrales inertielles (IMU), conçu pour collecter des données de manipulation égocentriques « in the wild », c'est-à-dire du point de vue de l'opérateur, hors laboratoire. Il est accompagné de la Grounded API, une suite d'algorithmes 3D indépendants du dispositif de capture, réglés pour ce matériel. Les auteurs, dans un rapport technique publié sur arXiv (2610.07217), affirment atteindre l'état de l'art sur des benchmarks publics : SLAM (localisation et cartographie simultanées) sur des environnements et des montages variés, estimation de profondeur en situation égocentrique, et suivi des mains lorsque l'algorithme est adapté à des appareils tiers. Le résumé ne fournit ni chiffres de performance, ni nom d'équipe ou d'entreprise, ni prix, ni calendrier de commercialisation. Il s'agit d'une publication de recherche, pas d'un produit livré ni d'un déploiement. L'enjeu est le goulot d'étranglement des données. Les modèles VLA (vision-langage-action) et les politiques de manipulation dépendent de volumes massifs de démonstrations, or la téléopération de robots reste lente et coûteuse. Filmer des humains qui travaillent avec une caméra portée sur la tête est une voie plus économique, mais seulement si les trajectoires de mains et la géométrie de la scène sont reconstruites avec une précision de l'ordre du centimètre, niveau que les auteurs disent jamais démontré publiquement. Leur thèse est que matériel ergonomique, calibration et algorithmes 3D forment un système à optimiser d'un seul bloc. Si cela se confirme, la qualité des données humaines deviendrait un levier aussi décisif que leur quantité. Reste un point de prudence : des résultats sur benchmarks publics ne prouvent pas que des politiques entraînées sur ces captures se transfèrent à un robot réel, et le résumé ne l'évalue pas. Le sujet s'inscrit dans une tendance nette : plusieurs acteurs de la robotique humanoïde et de l'IA incarnée misent sur les vidéos égocentriques humaines pour pré-entraîner leurs modèles, à l'aide de lunettes, de casques ou de gants de capture. Les concurrents sont ici les dispositifs de capture existants et les jeux de données égocentriques publics, que RoboCap prétend dépasser en précision de localisation. Les prochaines étapes à surveiller sont la publication des chiffres détaillés, l'éventuelle ouverture de l'API ou du matériel, et surtout une démonstration d'entraînement de politiques robotiques à partir de ces données.

RecherchePaper
1 source
ViDAL : un espace latent d'actions fondé sur la dynamique visuelle pour les modèles vision-langage-action (VLA)
546arXiv cs.RO 

ViDAL : un espace latent d'actions fondé sur la dynamique visuelle pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (2610.08150) ViDAL, un espace latent d'actions ancré dans la dynamique visuelle pour les modèles vision-langage-action (VLA). Ces modèles prédisent les actions d'un robot sous trois formes : segments d'actions bruts (action chunks), jetons d'action discrets ou latents d'action continus. ViDAL relève de la troisième famille. Un autoencodeur variationnel d'actions (Action VAE) est entraîné à reconstruire des segments d'actions tout en alignant son espace latent sur la dynamique future de la scène. Une fois entraîné, il sert d'interface d'action « plug-in » compatible avec plusieurs architectures VLA, et permet en option de prédire la vidéo future. Sur LIBERO, la méthode atteint 98,1 % de succès moyen. Sur RoboTwin 2.0, elle fait passer une politique multitâche π0.5 de 54,3 % à 65,5 % en configuration Clean et de 33,2 % à 43,1 % en configuration Random, sur 50 tâches bimanuelles. Sur robots réels, les gains absolus atteignent 20,0 % sur un bras Franka et 23,4 % sur une plateforme bimanuelle ARX. L'intérêt tient au point de départ du travail : la plupart des représentations d'actions modélisent uniquement des trajectoires, sans tenir compte de ce que ces actions produisent dans l'image. En liant le latent aux conséquences visuelles, ViDAL traite l'action comme une cause observable plutôt que comme une simple séquence de commandes. Le fait que le même module améliore une politique existante (π0.5) suggère qu'il s'agit d'un gain portable, sans refonte du modèle, ce qui intéresse les équipes qui itèrent sur des VLA du commerce ou open source. Les gains sur RoboTwin, de l'ordre de 10 points, sont plus parlants que le score LIBERO, déjà proche de la saturation (98,1 %). Des réserves s'imposent toutefois : il s'agit d'une préimpression non évaluée par des pairs. Le nombre d'essais, les tâches réelles testées et la variance ne sont pas précisés dans le résumé, et deux robots ne suffisent pas à conclure à une généralisation. Le gain réel dépend aussi du niveau de départ de chaque politique. Le travail s'inscrit dans la course à la meilleure représentation d'actions pour les VLA. Les segments bruts dominent des modèles comme π0 et π0.5, tandis que d'autres approches ont misé sur la tokenisation discrète des actions ou sur des latents appris. En parallèle, les modèles du monde et la prédiction vidéo gagnent du terrain pour la planification robotique, et ViDAL cherche à combiner ces deux courants. Les suites logiques sont la publication du code et des poids, des comparaisons avec d'autres interfaces d'action sur davantage d'architectures, et des tests sur des tâches longues ou des manipulations plus fines, là où l'écart entre démonstration et déploiement reste le plus net.

IA physiqueOpinion
1 source
Guidage par imitation dans l'espace des tâches pour un apprentissage par renforcement efficace
547arXiv cs.RO 

Guidage par imitation dans l'espace des tâches pour un apprentissage par renforcement efficace

TIGER (Task-Space Imitation Guidance for Efficient Reinforcement Learning) est un cadre de construction de récompense et de préentraînement pour la manipulation robotique sur table avec récompense éparse, publié sur arXiv en octobre 2026 (2610.07527). Son idée centrale est de ne pas utiliser la politique d'imitation, qui prédit des séquences d'actions (action chunks), comme contrôleur ni comme prior d'actions. Elle sert d'estimateur local de progression dans l'espace de la tâche. Les chunks prédits sont convertis, via une correspondance action-mouvement qui tient compte du contrôleur, en références d'effecteur final à court horizon. L'agent RL reçoit alors des récompenses denses de progression vers ces références, tandis que la récompense éparse de l'environnement reste l'objectif dominant. Pendant le préentraînement, des signaux d'anticipation issus de l'imitation assouplissent les pénalités de valeur conservatrices pour les actions censées faire progresser la tâche. Cela limite l'exploration hors de la distribution des données au début de l'apprentissage en ligne. Les auteurs annoncent, en simulation et sur robot réel, une meilleure efficacité d'échantillonnage initiale et moins de violations de sécurité mesurées, avec un taux de succès final égal ou supérieur aux baselines RL et IL-RL. L'intérêt tient au point faible de l'apprentissage par renforcement sur robot physique : le coût en interactions et le risque de casse pendant l'exploration. Comme la politique d'imitation n'est jamais exécutée, ses erreurs ne plafonnent pas la performance finale. Elle ne fait que guider la récompense, ce qui limite le risque d'enfermer l'agent dans les défauts des démonstrations. Pour un intégrateur, une phase d'adaptation en ligne plus courte et plus sûre se traduit directement en temps de mise en service. Il faut toutefois relativiser. Le résumé ne donne aucun chiffre (gain d'échantillons, taux de succès, nombre de violations), ne nomme ni robot ni tâches, et se limite à des scénarios sur table. On ne peut donc pas juger l'ampleur du gain ni sa portée au-delà de ces tâches. Ce travail s'inscrit dans le courant qui cherche à combiner imitation et RL. Les modèles VLA entraînés par imitation, comme Pi-0, plafonnent en précision et en robustesse, et le RL en ligne reste la voie principale pour dépasser ce plafond. Les approches concurrentes incluent le RL résiduel, l'ajustement fin de politiques de diffusion et les méthodes hors ligne vers en ligne à pénalités conservatrices. TIGER vise surtout la phase de transition de ces dernières. Les prochaines étapes naturelles seraient des horizons plus longs, la manipulation mobile et des tâches à contacts riches, mais le résumé n'annonce ni code ni calendrier.

RecherchePaper
1 source
SMART : manipulation d'objets articulés en transfert simulation-réel sans entraînement préalable, grâce à un pré-entraînement synthétique à grande échelle
548arXiv cs.RO 

SMART : manipulation d'objets articulés en transfert simulation-réel sans entraînement préalable, grâce à un pré-entraînement synthétique à grande échelle

Des chercheurs présentent SMART, un système qui s'appuie sur des démonstrations synthétisées à grande échelle pour apprendre aux robots à manipuler des objets articulés (portes, tiroirs, charnières). Son noyau est SMART-Sim, une plateforme de simulation conçue pour représenter la sémantique des parties d'objet et leurs contraintes d'articulation. Elle permet de générer des tâches de façon agentique, c'est-à-dire par des agents logiciels qui proposent eux-mêmes les scénarios, et de collecter des démonstrations efficacement. Un système de synthèse distribué alimente le jeu de données SMART-Data, qui compte plus d'un million de démonstrations couvrant 44 types de tâches atomiques, 5 configurations de robots et 2 507 objets articulés. Un modèle vision-langage-action (VLA) pré-entraîné sur ces données obtient des résultats compétitifs sur les benchmarks de simulation. Il réalise aussi un transfert zéro-shot de la simulation vers le réel et montre une performance qui progresse avec le volume de données sur des tâches réelles. Les travaux sont publiés sur arXiv (v1) et sont pour l'instant une préimpression, sans produit commercialisé ni déploiement industriel associé. Le résumé ne donne ni taux de réussite, ni nombre d'essais réels, ni liste des robots physiques testés. Si ces résultats se confirment, ils touchent un des verrous de la robotique générale : la collecte de démonstrations réelles pour les interactions riches en contacts est lente, coûteuse et difficile à standardiser. Ouvrir une porte ou tirer un tiroir impose de suivre une contrainte cinématique précise, et la téléopération y produit des données bruitées. Un transfert zéro-shot, sans aucune donnée réelle de réglage, irait à l'encontre de l'idée répandue selon laquelle la simulation seule ne suffit pas pour la manipulation fine. Il suggérerait aussi que les lois d'échelle des VLA peuvent s'appuyer sur des données synthétiques structurées. Pour les intégrateurs et les décideurs B2B, l'enjeu est concret : armoires, fours, vannes, portes d'entrepôt ou équipements de laboratoire sont des objets articulés omniprésents. Le coût d'adaptation d'un robot à un nouveau site pourrait baisser si le pré-entraînement synthétique se généralise. Les chiffres publiés ne permettent toutefois pas encore de mesurer l'écart entre démonstration et conditions réelles. Il faudra examiner la diversité des objets réels, des éclairages et des robots dans les expériences. Cette approche s'inscrit dans une tendance où les VLA généralistes (famille Pi-0, GR00T, Helix et autres) sont entraînés sur des mélanges de téléopération, de vidéo humaine et de simulation. Les jeux de données synthétiques existants ont couvert un nombre limité de catégories d'objets articulés, tandis que les pipelines de synthèse généralistes ignoraient les contraintes de parties. SMART vise précisément cette lacune. Les prochaines étapes à surveiller sont la publication du code, de la plateforme et des données, des évaluations indépendantes sur d'autres robots, et une comparaison avec des modèles entraînés sur données réelles. Aucun acteur européen n'est cité dans le résumé.

RecherchePaper
1 source
ROMA : un système LLM pour la perception active multisensorielle centrée sur les objets en conditions réelles
549arXiv cs.RO 

ROMA : un système LLM pour la perception active multisensorielle centrée sur les objets en conditions réelles

Des chercheurs publient sur arXiv (2610.06955v1) ROMA, un système à base de grand modèle de langage (LLM) pour la perception active multi-sensorielle centrée sur l'objet, testé en conditions réelles. Il intègre la vision, l'audio, le tactile et la force dans une boucle raisonnement, interaction, retour sensoriel. Le modèle repère les preuves manquantes, puis choisit l'objet cible, l'interaction et la modalité à utiliser. Une interface physique exécute l'action et renvoie les mesures. Pour l'entraîner, l'équipe a construit ROMI-2K, un jeu de données d'interactions réelles couvrant près de 2 000 objets et 6 interactions atomiques, avec un retour sensoriel synchronisé. L'entraînement se fait en deux étapes : alignement des modalités, puis apprentissage de trois compétences. Ces compétences sont évaluer si les preuves suffisent, sélectionner les interactions les plus informatives et raisonner sur le retour multi-sensoriel. Les auteurs définissent aussi des « chaînes de perception », où chaque preuve acquise guide l'interaction suivante. Ils proposent ROMA Bench, qui évalue trois cas : un seul attribut, plusieurs attributs sur un long horizon, et une perception guidée par l'intention. L'abstract ne donne ni chiffres de performance, ni noms des modèles comparés, ni détail sur le matériel robotique. L'intérêt tient au déplacement du problème. La plupart des systèmes multi-sensoriels fusionnent des entrées déjà disponibles. ROMA traite la perception comme une décision : quelle information manque, comment l'obtenir, quand s'arrêter. C'est utile pour les tâches où la vision seule ne suffit pas, comme estimer la masse, la rigidité, le contenu d'un contenant ou la matière d'une surface. Le travail suggère aussi qu'un LLM peut servir de planificateur d'interactions informatives, pas seulement d'exécutant de commandes. Reste une réserve : le papier ne précise pas ici le taux de réussite, le temps par chaîne de perception ni la robustesse hors des objets du jeu de données. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel annoncé. Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) et des modèles de fondation pour la manipulation. Ceux-ci restent surtout dominés par la vision et le langage, et le tactile, la force et l'audio y sont encore peu exploités. ROMI-2K et ROMA Bench pourraient servir de références communes, à condition d'être publiés et reproductibles. Aucun pilote ni calendrier n'est annoncé. La prochaine étape logique est de brancher cette perception sur des agents incarnés capables d'agir sur les objets identifiés, ce que les auteurs présentent comme une « base perceptuelle ». Un intégrateur devra surtout vérifier si ces gains tiennent sur des pièces industrielles, en cadence réelle, avec des capteurs tactiles et de force du commerce.

RecherchePaper
1 source
iGPC : priors de mouvement génératifs pour l'interaction humanoïde sensible aux objets
550arXiv cs.RO 

iGPC : priors de mouvement génératifs pour l'interaction humanoïde sensible aux objets

Des chercheurs proposent iGPC, un cadre qui étend le Generative Pretrained Controller (GPC), un contrôleur humanoïde préentraîné sur de larges corpus de mouvements humains, à l'interaction corps entier avec des objets. Le travail, publié sur arXiv (2610.08120v1), procède en deux étapes. D'abord, GPC est adapté en « experts d'interaction » conditionnés par des indices d'affordance de la scène et par des informations d'état privilégiées (accessibles en simulation, mais pas sur un robot réel). Ces experts conservent le prior de mouvement humain tout en apprenant des comportements de contact propres à chaque tâche : atteindre un objet, s'agripper à un support de l'environnement pour se stabiliser, pousser un objet mobile. Ensuite, un « étudiant » piloté par la perception reprend la politique GPC préentraînée et distille les compétences des experts à partir des seules observations de capteurs embarqués. Deux objectifs d'entraînement complémentaires comblent l'écart entre observations privilégiées et signaux sensoriels. Les auteurs annoncent des résultats concluants sur plusieurs tâches corps entier. Le résumé ne donne ni plateforme matérielle, ni taux de réussite, ni nombre de degrés de liberté, ni validation chiffrée en conditions réelles. L'enjeu est le passage du mouvement naturel à l'interaction physique guidée par la perception, point de blocage récurrent pour les humanoïdes. Les priors issus de données humaines donnent des mouvements fluides et variés, mais ils sont rarement exploités pour des contacts riches avec l'environnement, où la perception bruitée et l'absence d'information privilégiée fragilisent les politiques. Si les résultats tiennent, ils plaident pour un modèle de fond de mouvement réutilisable, adapté ensuite à des tâches de manipulation et de stabilisation, plutôt qu'une politique entraînée de zéro pour chaque scénario. Pour un intégrateur, la capacité à s'appuyer sur un support ou à pousser une charge sans cartographie parfaite de la scène serait pertinente en logistique ou en maintenance. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par des pairs, sans chiffres publics dans le résumé. Il ne permet donc pas d'évaluer l'écart entre démonstration et fiabilité en production. Ce travail s'inscrit dans la lignée des approches de distillation enseignant-étudiant, devenues standard pour le transfert simulation-réel en locomotion et en contrôle corps entier. Il prolonge GPC, proposé récemment pour le contrôle humanoïde général à partir de mouvements humains à grande échelle. Il rejoint aussi les efforts sur les politiques généralistes corps entier des acteurs industriels et académiques, comme GR00T chez NVIDIA, sans rapport de performance direct démontré ici. La suite logique serait une validation sur un robot physique, avec des métriques de robustesse et des comparaisons à des méthodes de référence. Aucune échéance de déploiement ni partenaire industriel n'est mentionné à ce stade.

RecherchePaper
1 source