Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel

Actualités robotique — page 4

7 308 articles au fil, du plus récent au plus ancien.

Estimation du regard pour l'interaction humain-robot : analyse avec la plateforme NICO
151arXiv cs.RO 

Estimation du regard pour l'interaction humain-robot : analyse avec la plateforme NICO

Une équipe de chercheurs a évalué l'état de l'art de l'estimation du regard (gaze estimation) dans un scénario d'interaction humain-robot en espace de travail partagé. Pour cela, elle a constitué un nouveau jeu de données annoté avec la plateforme robotique NICO, puis comparé quatre modèles d'estimation du regard parmi les plus performants. Les erreurs angulaires obtenues sont proches de celles publiées sur les benchmarks généralistes. Mais converties en distance dans l'espace de travail, la meilleure erreur médiane atteint 14,57 cm. L'étude est publiée sur arXiv (version 3) et se conclut par une discussion de ces limites et des recommandations d'intégration. Le résumé disponible ne précise ni les modèles testés, ni la taille du jeu de données. Ce résultat a une portée pratique. Dans la littérature, les modèles de regard sont jugés sur leur erreur angulaire, une métrique qui paraît rassurante mais masque l'impact réel : à une distance de travail typique, quelques degrés d'écart se traduisent par plus d'une dizaine de centimètres sur la table. Un robot ne peut donc pas déterminer de façon fiable quel objet, parmi plusieurs pièces proches, un opérateur regarde. Pour les intégrateurs et les responsables d'atelier qui envisagent le regard comme canal de commande ou d'intention dans la collaboration homme-machine, l'étude montre un écart entre les scores de benchmark et l'utilisabilité en situation réelle. Elle suggère de ne pas s'appuyer sur le regard seul. Il faut le combiner à d'autres modalités (geste de pointage, parole, contexte de la tâche) et concevoir des cibles suffisamment espacées. NICO (Neuro-Inspired COmpanion) est une plateforme humanoïde de recherche développée à l'université de Hambourg, utilisée pour l'interaction sociale et l'apprentissage robotique. Cette étude s'inscrit dans un mouvement plus large visant à mesurer les modèles dans les conditions d'usage, alors que les modèles vision-langage-action (VLA) et les humanoïdes commerciaux misent de plus en plus sur la compréhension des intentions humaines. Il s'agit ici d'un travail académique d'évaluation, sans produit ni déploiement industriel. Les prochaines étapes probables sont l'adaptation des modèles à ce contexte, l'estimation couplée tête-regard et la fusion multimodale.

RecherchePaper
1 source
PathTime-VLA : découplage chemin-temps pour le post-entraînement factorisé des modèles vision-langage-action (VLA)
152arXiv cs.RO 

PathTime-VLA : découplage chemin-temps pour le post-entraînement factorisé des modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.11771) PathTime-VLA, une méthode de post-entraînement qui sépare le chemin suivi par un robot de sa vitesse d'exécution. Les politiques VLA (vision-langage-action) prédisent d'ordinaire des actions à intervalles de temps fixes, ce qui lie la géométrie du mouvement à son rythme. PathTime-VLA reprend la paramétrisation chemin-temps de la planification de mouvement classique. Le mouvement est représenté par un chemin d'interaction X(s) indexé sur la progression, et par un profil de durées positives qui définit une loi temporelle monotone t(s). Le post-entraînement se fait en trois étapes. Des démonstrations et des interventions DAgger fixent un prior propre au domaine cible. Un module Speed-DQN apprend ensuite, par interaction avec le robot, des multiplicateurs de vitesse par chunk d'actions. Path-AWR utilise enfin les résultats des essais pour affiner le générateur de chemin par diffusion. Un « action expert » conditionné par le chemin exécute le tout. Sur trois tâches, la méthode complète réussit 58 essais sur 60, contre 57 sur 60 pour la même architecture entraînée en BC + DAgger à vitesse fixe 1x. Les temps moyens de réussite sont réduits d'environ 39 à 52 %. L'enjeu est la vitesse, pas le taux de succès. Un écart d'un essai sur 60 n'est pas significatif : le gain réel tient au temps de cycle, qui détermine la rentabilité d'un déploiement industriel. Le résultat suggère aussi qu'une partie de la lenteur des politiques apprises vient de la téléopération. Les démonstrations transmettent une bonne géométrie, mais avec le rythme imposé par les délais d'interface et le comportement de l'opérateur. Découpler les deux permet de corriger la cadence sans réentraîner la trajectoire. Les limites sont claires. L'abstract ne précise ni le robot, ni les tâches, ni la répartition des essais, et on ne sait pas si les tâches sont assez complexes pour que les gains de vitesse tiennent hors laboratoire. Il s'agit d'une preuve de concept académique, sans produit ni déploiement annoncé. Le travail s'inscrit dans le courant des VLA à génération d'actions par diffusion ou flow matching, de la famille Pi-0 à GR00T, qui produisent des chunks d'actions à cadence fixe. La suite logique est une validation sur d'autres plateformes et des tâches plus longues.

RecherchePaper
1 source
WAND : apprentissage d'une navigation robuste pour quadrirotors face aux perturbations complexes du vent et aux obstacles denses
153arXiv cs.RO 

WAND : apprentissage d'une navigation robuste pour quadrirotors face aux perturbations complexes du vent et aux obstacles denses

Des chercheurs proposent WAND (Wind-Aware Navigation with Disturbance Estimation), un cadre d'apprentissage par renforcement destiné à la navigation de quadrirotors dans des champs d'obstacles denses soumis à des rafales variables. Le système estime l'accélération perturbatrice induite par le vent à partir de l'historique des états proprioceptifs (sans capteur de vent dédié), au moyen d'un réseau convolutif temporel (TCN). Cette estimation sert deux fois: elle est injectée dans la politique de navigation via un module résiduel initialisé à zéro, baptisé WindAdapter, et elle alimente une compensation en boucle ouverte (feedforward) au niveau du contrôle bas niveau. Sur 12 configurations de simulation avec vent, WAND améliore le taux de succès observé de 8,3 points de pourcentage en moyenne par rapport à la seule compensation feedforward. Des essais en vents croisés opposés montrent une adaptation de trajectoire dépendante de la direction du vent. En vol réel en intérieur, avec des ventilateurs, le système réussit 18 essais sur 20, soit 90 %, avec un calcul embarqué en temps réel. L'intérêt tient à la manière dont le problème est posé. Les politiques de navigation apprises s'appuient en général sur la perception des obstacles et la proprioception, et doivent deviner implicitement l'effet de perturbations qui varient dans le temps, ce qui fragilise la robustesse quand l'observation est partielle. En rendant la perturbation explicite et en l'utilisant à la fois pour décider et pour rejeter l'effet du vent, WAND traite le vent comme une variable d'état à part entière plutôt que comme du bruit. Pour les intégrateurs de drones d'inspection, de logistique ou d'intervention en milieu encombré (entrepôts ouverts, sites industriels, forêts, canyons urbains), c'est une piste crédible pour gagner en fiabilité sans ajouter de capteurs. Il faut toutefois relativiser: un gain moyen de 8,3 points est modeste et mesuré face à un baseline déjà compensé. L'échantillon réel de 20 essais est petit, et les ventilateurs d'intérieur produisent un flux bien plus régulier que les rafales turbulentes en extérieur. Aucune comparaison à d'autres méthodes de pointe n'est mentionnée dans le résumé. Ce travail s'inscrit dans la lignée des méthodes de navigation par apprentissage pour drones, qui ont démontré leur efficacité en vol rapide parmi des obstacles, mais ont longtemps traité les perturbations aérodynamiques par du contrôle robuste classique ou de l'adaptation implicite. Il s'agit d'une publication académique sur arXiv (préprint, non évalué par les pairs), sans produit, sans partenaire industriel ni calendrier de déploiement annoncés. Les prochaines étapes naturelles sont la validation en extérieur avec un vent réel et turbulent, des tests sur des vitesses et des densités d'obstacles plus élevées, et des comparaisons directes avec les politiques d'adaptation implicite et les contrôleurs robustes existants. L'étape décisive restera le passage du laboratoire à des environnements non contrôlés.

RecherchePaper
1 source
TacHair : correction en ligne guidée par la distribution des contacts tactiles pour le lissage et la perception des cheveux par un robot
154arXiv cs.RO 

TacHair : correction en ligne guidée par la distribution des contacts tactiles pour le lissage et la perception des cheveux par un robot

Des chercheurs présentent TacHair, un cadre de correction en ligne pour le brossage de cheveux robotisé, décrit dans un preprint arXiv (2610.10637v1) dont le code, les démos et les jeux de données sont publiés sur tachair.github.io. Le système convertit les observations tactiles haute résolution en une distribution spatiale des contacts avec les cheveux. Une politique d'imitation visuo-tactile génère le mouvement nominal de brossage, tandis qu'un module résiduel, entraîné séparément, corrige les écarts locaux de contact. Cette séparation distingue la progression de la tâche de la récupération du contact. L'évaluation porte sur 525 essais en conditions réelles, répartis sur cinq géométries de tête et trois états de chevelure. Un brossage n'est compté comme réussi que si la progression est suffisante et si le contact est maintenu. Le taux de succès passe de 42,9 % à 62,3 %, et le maintien du contact de 59,4 % à 88,0 %, par rapport à la même politique visuo-tactile sans correction. L'intérêt dépasse la coiffure. Les cheveux sont un cas difficile de surface déformable et partiellement occultée: le contact peut persister tout en dérivant progressivement sur l'effecteur, ce qui échappe aux approches fondées sur la planification de trajectoire, la compliance, la régulation d'effort ou les politiques conditionnées par le toucher. Les auteurs avancent que la distribution spatiale du contact constitue une représentation de retour efficace pour ce type d'interaction. Il faut toutefois relativiser: un succès global de 62,3 % reste loin d'un seuil de déploiement, et un cheveu sur quatre ou cinq essais échoue encore sur la progression de la tâche, même quand le contact est préservé (88 %). Les résultats portent sur un banc de laboratoire, sans chiffres de temps de cycle, de charge ni de coût. Pour les intégrateurs, le résultat utile est méthodologique: une couche de correction résiduelle, guidée par le tactile, améliore nettement une politique d'imitation de base, ce qui plaide pour l'ajout de ces modules aux politiques apprises (de type VLA ou diffusion) dans les tâches de contact déformable. Le contexte est celui d'une demande croissante de robots capables d'interactions physiques fines avec le corps humain, pour le soin personnel et l'évaluation de produits capillaires, où la reproductibilité d'un geste de brossage intéresse les laboratoires de cosmétique. Les travaux antérieurs s'appuyaient sur la planification de trajectoire, le contrôle en compliance ou la régulation d'effort, qui traitent mal la dérive des cheveux sous l'outil. TacHair se positionne comme une alternative qui exploite des capteurs tactiles à haute résolution, une technologie dont la diffusion conditionne la portée de la méthode. Aucun partenaire industriel ni calendrier de pilote n'est annoncé: il s'agit d'une publication de recherche, avec code et données ouverts, qui permettra à d'autres équipes de reproduire et d'étendre les résultats à d'autres matériaux déformables, comme les textiles ou la peau.

RecherchePaper
1 source
SkillWeave : tisser des démonstrations hétérogènes en compétences de manipulation à long horizon
155arXiv cs.RO 

SkillWeave : tisser des démonstrations hétérogènes en compétences de manipulation à long horizon

Des chercheurs publient sur arXiv SkillWeave, un cadre de démonstrations hétérogènes pour la manipulation dextre à long horizon. Il associe deux modes de collecte selon le type d'interaction. La téléopération couvre les phases larges d'approche et de transport. L'enseignement kinesthésique, où l'opérateur guide physiquement le bras, couvre les gestes de précision riches en contacts. Ce second mode crée un décalage visuel, puisque l'humain apparaît dans les images d'entraînement. L'équipe y répond par une politique de diffusion conditionnée par un masque d'objet. L'entraînement utilise une segmentation d'objets réalisée hors ligne. Au déploiement, un prédicteur de masque léger la remplace, ce qui évite la segmentation en ligne et l'inpainting d'images. Un second mécanisme, le « successor-aware terminal steering », traite la dérive de distribution entre sous-politiques entraînées séparément. Il choisit, parmi des actions échantillonnées par la politique prédécesseur, celle qui mène vers des états couverts par la distribution d'états initiaux de la politique successeur. Sur trois tâches réelles à long horizon, le taux de réussite de bout en bout moyen atteint 27 %. Les sous-tâches dextres, avec politiques kinesthésiques à masque, atteignent 65 % en moyenne. L'efficacité de composition des transitions entre politiques atteint 87 % en moyenne. Le code et les vidéos sont publiés. L'intérêt tient à ce que ces chiffres montrent sur le goulot d'étranglement de la manipulation longue. Un taux de bout en bout de 27 % reste très loin d'un niveau exploitable en production. Il confirme aussi que l'enchaînement de compétences multiplie les erreurs : avec 65 % par sous-tâche dextre, la réussite s'érode vite sur trois tâches. La contribution est donc surtout diagnostique. Elle indique que la jonction entre politiques pèse autant que la qualité de chaque politique, avec 87 % de composition efficace. Elle suggère aussi qu'une modalité de collecte unique, souvent la téléopération seule, est mal adaptée aux contacts fins. Pour un intégrateur, la leçon est pratique : le coût de collecte de données se répartit mieux si l'on réserve le guidage physique aux seuls gestes critiques. Les limites sont à garder en tête. Ni les tâches, ni la plateforme robotique, ni le nombre d'essais ne figurent dans le résumé, et aucune comparaison avec des modèles généralistes n'y est donnée. Les résultats restent ceux d'un laboratoire, sans déploiement industriel. Le contexte est celui d'un champ qui cherche à sortir des démonstrations courtes. Les politiques de diffusion et les modèles vision-langage-action (VLA) comme Pi-0 ou GR00T progressent sur des tâches isolées. Ils restent fragiles dès que la séquence s'allonge. La téléopération à grande échelle est l'approche dominante pour collecter des données. Le teaching kinesthésique, plus lent mais plus précis, est resté marginal à cause du biais visuel que cet article cherche à corriger. Le travail s'inscrit dans les approches de décomposition en compétences, qui visent à composer des primitives plutôt qu'à entraîner une politique monolithique. La suite logique serait de tester la méthode sur davantage de tâches et d'embodiments. Il faudrait aussi la confronter à des VLA généralistes sur les mêmes séquences. Le caractère reproductible du code publié le permettra.

RecherchePaper
1 source
OmniHOI : interaction main-objet dextérique à partir d'une vidéo humaine monoculaire
156arXiv cs.RO 

OmniHOI : interaction main-objet dextérique à partir d'une vidéo humaine monoculaire

OmniHOI, un pipeline présenté sur arXiv (2610.10855), transforme une simple vidéo RGB monoculaire d'interaction main-objet en trajectoire exécutable par des mains robotiques dextres. Il enchaîne trois étapes, chacune contrainte par la preuve disponible à son niveau: l'image pendant la reconstruction, la géométrie de contact pendant le retargeting, puis la dynamique lors d'un raffinement avec simulation physique dans la boucle. Les auteurs testent d'abord 150 trajectoires de motion capture transférées vers cinq mains dextres de 6 à 22 DoF, avec 39 à 89 % de succès contre 31 % au mieux pour les méthodes de transfert antérieures. Sur 60 clips vidéo monoculaires, le taux de réussite atteint 53 %, contre 28 % pour le meilleur pipeline vidéo-vers-robot existant. Les trajectoires produites sont aussi exécutées sur un robot bimanuel réel, sur plusieurs tâches. L'enjeu est l'accès aux données. Les vidéos de manipulation humaine abondent, mais les exploiter pour entraîner ou piloter des mains robotiques butte sur deux écueils: les approches reposant sur l'apprentissage par renforcement propre à chaque tâche passent mal à l'échelle, tandis que celles qui supposent des trajectoires de motion capture propres ne fonctionnent pas sur de la vidéo ordinaire. En corrigeant les erreurs à chaque étape plutôt que de les laisser se propager jusqu'à une politique apprise, OmniHOI vise à rendre la vidéo humaine directement exploitable comme source de démonstrations dextres. Les chiffres appellent toutefois à la prudence. Un succès de 53 % sur 60 clips reste modeste pour un usage industriel, la fourchette de 39 à 89 % selon la main montre une forte dépendance à la morphologie, et l'article ne précise ni la diversité des tâches ni la nature de la validation sur robot réel, qui semble qualitative. Il s'agit d'un résultat de recherche, sans produit ni déploiement. Ce travail s'inscrit dans la course à la donnée pour la manipulation dextre. Plusieurs acteurs misent sur la téléopération, les gants ou les exosquelettes, qui donnent des données propres mais coûteuses. D'autres cherchent à exploiter les vidéos humaines à grande échelle, ce qui suppose de résoudre l'écart de morphologie entre la main humaine et des mains robotiques très variées. OmniHOI se positionne comme une couche intermédiaire indépendante de la main cible, face à des méthodes soit spécialisées par tâche, soit limitées aux données de capture de mouvement. La suite logique serait de tester ces trajectoires comme données d'entraînement pour des politiques de type VLA, et de mesurer le taux de succès sur des tâches plus longues et plus variées. Le papier est une prépublication v1, non évaluée par des pairs, et aucun calendrier de code ou de déploiement n'est mentionné.

RecherchePaper
1 source
Machines de Turing incarnées : du code avec état pour l'auto-amélioration récursive des robots
157arXiv cs.RO 

Machines de Turing incarnées : du code avec état pour l'auto-amélioration récursive des robots

Des chercheurs proposent de retirer tout modèle de la boucle de contrôle d'un robot et de confier chaque décision à du code classique. Leur papier, publié sur arXiv (2610.12369), introduit le paradigme Code-Only-as-Policy (COAP). Le code mesure et suit en continu l'état du robot, de l'environnement et de la tâche à partir des images caméra et de la proprioception, puis prend chaque décision à partir de cet état. La même bibliothèque s'applique d'un épisode à l'autre, et plusieurs tâches la partagent, sans VLA (modèle vision-langage-action) ni VLM interrogé à l'exécution. Sur RoboDojo, un banc de 42 tâches bimanuelles, la bibliothèque produite atteint 70,24 % de réussite sans aucun modèle au moment du test. Le papier ne détaille pas, dans son résumé, le matériel, les temps de cycle ni les conditions de test, et il s'agit pour l'instant d'un résultat de recherche et non d'un produit. Le cadre théorique est celui d'une « machine de Turing incarnée » : le ruban correspond à l'état du robot et de son environnement, et les règles correspondent à la politique. Si cet état est représenté avec précision, la décision peut s'écrire entièrement en code. Les auteurs mettent en avant trois avantages face aux VLA et aux « Agent Harness » (Agent-as-Policy, Harness VLA), où un VLM est sollicité en ligne. Premièrement, l'état est explicite et stockable dans le code. Deuxièmement, l'exécution est contrôlable, récupère les échecs de façon flexible et tourne vite et à bas coût. Troisièmement, les nouvelles tâches réutilisent, héritent ou étendent la bibliothèque commune, ce qui permet de cumuler les capacités. L'intérêt pour l'industrie est double. Pour un intégrateur ou un COO, une politique déterministe, auditable et sans appel à un modèle distant répond à des exigences de latence, de coût d'inférence et de traçabilité que les VLA remplissent mal. Chaque modification du code est explicite et vérifiable, à l'inverse d'un réentraînement opaque. Ensuite, le papier propose ce qu'il appelle l'auto-amélioration récursive : des agents de code développent la bibliothèque en boucle fermée. Reste à nuancer : 70,24 % signifie près de 30 % d'échecs, ce qui reste loin des seuils de production, et les auteurs admettent que le plafond dépend de la précision de l'estimation d'état et de la robustesse de la logique. La perception reste donc le goulot d'étranglement, et la généralisation hors benchmark n'est pas démontrée. Ce travail s'inscrit dans le débat entre politiques apprises de bout en bout (famille Pi-0, GR00T, Helix) et architectures d'agents où un VLM planifie à l'exécution. COAP revient à une approche proche de la robotique classique, mais avec des agents de code qui écrivent et font évoluer la bibliothèque. Les auteurs suggèrent aussi d'utiliser COAP comme moteur de génération de données pour entraîner des VLA et alimenter des Agent Harness, ce qui en ferait un complément plutôt qu'un concurrent. Aucun calendrier de déploiement ni partenaire industriel n'est annoncé.

RecherchePaper
1 source
Le Kinetics Observer : un estimateur étroitement couplé pour les robots à pattes
158arXiv cs.RO 

Le Kinetics Observer : un estimateur étroitement couplé pour les robots à pattes

Des chercheurs proposent le Kinetics Observer, un estimateur d'état proprioceptif pour robots à jambes (arXiv:2406.13267, version 2). Il fournit le retour d'état nécessaire à la locomotion polyvalente et à l'interaction physique avec l'environnement, avec une meilleure robustesse au glissement des contacts. Son principe est de coupler étroitement la cinématique du corps entier et les torseurs d'efforts externes (wrenches) par un modèle de dynamique de contact. Cela permet de fusionner de façon cohérente la cinématique des jambes, la centrale inertielle (IMU) et les mesures de capteurs d'effort. L'estimation est conjointe et en temps réel. Elle porte sur la cinématique centroïdale, les poses de repos des contacts, les efforts de contact et les efforts de perturbation. L'évaluation est expérimentale, sur deux robots humanoïdes, dans trois scénarios regroupant treize séquences de marche. Ces scénarios sont une marche longue distance avec changements de contact répétés, une locomotion sur obstacles glissants et un mouvement multicontact non coplanaire. L'apport pratique tient à la redondance de capteurs. Les mesures d'efforts de contact servent de termes de correction, ce qui rend le glissement du contact observable par rapport au repère centroïdal. L'estimateur devient aussi moins sensible aux erreurs de modélisation et de capteurs. Pour un intégrateur ou un ingénieur contrôle, c'est un point sensible. Beaucoup d'estimateurs proprioceptifs supposent des contacts immobiles et dérivent dès que le pied glisse, sur sol mouillé, poussiéreux ou irrégulier. Intégrer les efforts mesurés à l'estimation plutôt que de se reposer sur la seule cinématique vise donc une des causes classiques de chute en conditions réelles. Les résultats restent néanmoins limités à deux plateformes et treize séquences, en laboratoire. Le résumé ne chiffre ni l'erreur de dérive, ni la latence, ni le gain par rapport aux méthodes de référence. Il ne dit pas non plus si le gain tient hors du protocole choisi. La portée industrielle reste donc à démontrer. Ce travail s'inscrit dans la recherche sur l'estimation d'état pour la locomotion bipède, où les filtres de Kalman fondés sur la cinématique et l'IMU dominent, avec ou sans capteurs d'effort aux pieds. Il s'agit ici d'une révision (v2) d'un article déposé en juin 2024, ce qui indique un passage par une relecture. Il s'agit d'un résultat de recherche, sans produit, sans déploiement ni calendrier commercial. L'intérêt à suivre est son adoption comme brique d'estimation dans les contrôleurs de robots humanoïdes, où la qualité du retour d'état conditionne la tenue des politiques de contrôle, qu'elles soient classiques ou apprises. Une validation sur des plateformes plus nombreuses, avec des comparaisons chiffrées, déterminera si l'approche dépasse le cadre académique.

RecherchePaper
1 source
STAG : une représentation en graphe épars tenant compte de la traversabilité, issue de cartes de coûts en grille pour la navigation robotique
159arXiv cs.RO 

STAG : une représentation en graphe épars tenant compte de la traversabilité, issue de cartes de coûts en grille pour la navigation robotique

Des chercheurs proposent STAG (Sparse Traversability-Aware Graph), une méthode qui convertit les cartes de coûts en grille (costmaps) utilisées par les rovers autonomes en graphes compacts, afin d'accélérer la planification globale de trajectoire. Le graphe repose sur trois types d'éléments : un squelette topologique construit par axe médian, des nœuds représentatifs pour les zones de traversabilité homogène, et des nœuds de transition placés près des forts gradients de traversabilité. Les arêtes encodent à la fois la géométrie et la difficulté du terrain, de sorte que le calcul tient compte de la longueur du chemin et de la nature du sol. Les auteurs comparent l'algorithme A exécuté sur STAG avec A sur grille dense, sur des cartes de grottes synthétiques, des cartes de mines et le jeu de données DARPA CERBERUS. Sur cinq catégories de benchmarks, soit 203 cartes et 101 200 requêtes, STAG réduit le temps de planification médian d'un facteur 3,4 à 9,9 et la mémoire de pointe par requête d'un facteur 2,1 à 15,4. L'écart médian de longueur de trajectoire par rapport à la grille dense va de -2,9 % à +7,6 %. Le problème visé est concret pour la robotique mobile en environnement non structuré : la recherche sur grille dense voit son coût de calcul et de mémoire croître avec la surface cartographiée, ce qui devient pénalisant pour des rovers qui explorent de grandes zones, par exemple en mines, grottes ou tunnels, avec un calculateur embarqué limité. Un gain de 3 à 10 fois en temps et jusqu'à 15 fois en mémoire peut permettre une replanification plus fréquente ou l'usage de processeurs plus modestes. Il faut toutefois lire les résultats avec prudence. Les auteurs reconnaissent eux-mêmes un compromis : STAG sacrifie l'optimalité vis-à-vis de la traversabilité de la grille dense au profit de la vitesse. Un écart médian peut masquer des cas défavorables, et le benchmark est en partie synthétique. Aucun essai sur robot réel n'est mentionné dans le résumé. Il s'agit donc d'un résultat de recherche en simulation et sur données enregistrées, pas d'un système déployé. Le travail s'inscrit dans la lignée des méthodes de réduction de l'espace de recherche (graphes de visibilité, feuilles de route probabilistes, cartes topologiques, squelettes par axe médian) et dans l'effort autour de l'autonomie en milieux souterrains, dont le défi DARPA Subterranean a servi de référence, avec l'équipe CERBERUS comme source de données. L'apport de STAG est de combiner structure topologique et information de traversabilité dans un même graphe, là où beaucoup d'approches compactes traitent surtout la connectivité. Ce type de représentation concerne les acteurs de l'exploration planétaire, de l'inspection minière et de la robotique de terrain. Les suites logiques seraient une validation sur matériel, la gestion de cartes mises à jour en continu et une évaluation face à d'autres planificateurs hiérarchiques. Aucun calendrier n'est annoncé.

RecherchePaper
1 source
WAM-Cache : réutilisation du cache KV à obsolescence bornée pour des modèles du monde et d'action efficaces
160arXiv cs.RO 

WAM-Cache : réutilisation du cache KV à obsolescence bornée pour des modèles du monde et d'action efficaces

Des chercheurs publient WAM-Cache, un cadre d'accélération sans entraînement pour les World Action Models (WAMs). Ces modèles de manipulation généraliste conditionnent un « action expert » sur les représentations d'un Diffusion Transformer (DiT) vidéo préentraîné. En boucle fermée, ce DiT vidéo s'exécute à chaque « chunk » d'actions. Il encode l'observation courante en paires clé-valeur (KV) par couche, que l'action expert interroge ensuite. Ce préremplissage (prefill) domine le coût de calcul par chunk, et les accélérations existantes sans entraînement le laissent entièrement dense. WAM-Cache conserve les représentations KV d'un chunk à l'autre et ne recalcule qu'un sous-ensemble épars de tokens. Sur Fast-WAM, le prefill du DiT vidéo perd 32 à 42 % de FLOPs sur RoboTwin 2.0, LIBERO et en expérimentation réelle. La perte reste de 0,7 à 1,8 point de pourcentage par rapport à la politique dense en simulation, et de 2,5 points sur robot réel. Il s'agit d'un résultat de recherche (preprint arXiv), sans produit ni déploiement industriel associé. L'enjeu tient à la méthode de sélection autant qu'au gain de calcul. Les auteurs montrent que l'heuristique intuitive, qui rafraîchit les tokens ayant visuellement bougé, plafonne nettement sous la politique dense, même avec un oracle qui prédirait la dérive réelle des KV. La précision des actions dépend de l'endroit où l'action expert porte son attention, pas de ce qui a changé dans l'image. Cela compte pour quiconque cherche à faire tourner des politiques fondées sur la vidéo en temps réel sur du matériel embarqué, où la latence et la consommation limitent le déploiement. Un gain de 32 à 42 % sur la partie dominante du coût est utile, mais il reste modeste et ne fait pas à lui seul passer ces modèles à l'échelle industrielle. Les chiffres portent sur Fast-WAM et sur des benchmarks de simulation, plus une évaluation réelle dont l'ampleur n'est pas précisée dans le résumé. Le coût de 2,5 points en réel est plus élevé qu'en simulation et mérite d'être vérifié sur des tâches plus variées. WAM-Cache sélectionne l'ensemble de rafraîchissement en combinant la cross-attention de l'action expert et la « surprise latente » visuelle. Une borne stricte d'âge limite l'accumulation d'erreurs : un token ne peut pas rester périmé au-delà d'un seuil. Le travail s'inscrit dans la tendance des WAMs, qui exploitent les priors de dynamique des modèles vidéo pour piloter la manipulation, face aux VLA plus classiques comme Pi-0 ou GR00T. Il prolonge aussi les techniques de cache KV et de réutilisation de calcul connues pour les LLM et les DiT, ici adaptées à un contrôle en boucle fermée. Comme la méthode ne demande aucun réentraînement, elle peut en principe s'appliquer à d'autres WAMs. Cela reste à démontrer, car les résultats publiés ne concernent que Fast-WAM. Aucune date de code ou de publication de modèle n'est mentionnée.

RecherchePaper
1 source
ImagiNav : navigation incarnée à grande échelle par prédiction visuelle générative et dynamique inverse
161arXiv cs.RO 

ImagiNav : navigation incarnée à grande échelle par prédiction visuelle générative et dynamique inverse

Des chercheurs proposent ImagiNav, un cadre hiérarchique de navigation robotique guidée par le langage, décrit dans un article arXiv (2603.13833, version 2). Au lieu de prédire directement des points de passage (waypoints) comme les politiques de bout en bout classiques, le système génère une vidéo égocentrique future, conditionnée par une instruction en langage naturel. Cette vidéo sert de plan de haut niveau. Un modèle de dynamique inverse l'interprète ensuite pour en extraire des trajectoires métriques exécutables par le robot. Les auteurs ont aussi développé un pipeline d'auto-étiquetage qui améliore la précision des annotations de mouvement. Ils revendiquent un transfert zero-shot vers la navigation robotique, sans aucune démonstration sur robot. L'abstract ne donne ni chiffres de performance, ni taux de réussite, ni robot de test, ni volume de vidéos d'entraînement. Une page de projet est annoncée. L'intérêt est d'abord économique. La navigation vision-langage (VLN) repose aujourd'hui sur des politiques entraînées sur des données robot coûteuses et propres à chaque morphologie. Les modèles de fondation entraînés sur de vastes volumes de simulation progressent, mais butent sur la diversité limitée des scènes et sur le réalisme visuel. En séparant la planification (dans l'espace visuel) de l'actionnement (confié au modèle de dynamique inverse), ImagiNav permet d'exploiter des vidéos de navigation « in the wild », non étiquetées, qui existent en quantité bien supérieure à toute collecte robotique. Si l'approche tient à l'échelle, elle réduirait la dépendance aux flottes de téléopération et au sim-to-real. Les réserves sont claires : sans métriques publiées dans l'abstract, le transfert « zero-shot » reste à vérifier sur des environnements variés. La génération vidéo reste coûteuse en calcul et pose la question de la latence en boucle fermée. Rien n'indique non plus que la vidéo imaginée respecte les contraintes physiques et la sécurité d'un déploiement réel. Ce travail s'inscrit dans un mouvement plus large où les modèles génératifs de vidéo servent de « modèles du monde » pour la planification, en parallèle des architectures VLA (vision-langage-action) qui prédisent directement les actions. Il s'oppose aux approches de VLN de bout en bout entraînées sur données robot, et prolonge les travaux qui extraient des actions de vidéos via des modèles de dynamique inverse. Il s'agit d'un résultat de recherche académique, sans produit, pilote industriel ni calendrier de déploiement annoncé. Les prochaines étapes à surveiller sont la publication de résultats chiffrés sur robots réels, la comparaison avec les politiques VLN de référence et la libération éventuelle du code et du pipeline d'annotation.

RecherchePaper
1 source
SpatialHarness : échafaudage spatial au moment du test pour la manipulation robotique fine
162arXiv cs.RO 

SpatialHarness : échafaudage spatial au moment du test pour la manipulation robotique fine

Des chercheurs proposent SpatialHarness, un cadre appliqué au moment du test qui améliore la manipulation fine d'un robot sans réentraîner la politique de contrôle et sans toucher aux caméras. Le travail, publié sur arXiv (2610.12457), part d'un constat : les modèles de fondation multimodaux de pointe, ici GPT-6 Astra, se montrent prometteurs pour piloter directement un robot mais restent limités dès que la tâche exige de la précision. SpatialHarness maintient une scène simulée en ligne, synchronisée avec l'exécution réelle. Il identifie les relations spatiales critiques pour la tâche, puis génère des vues virtuelles complémentaires qu'il présente à la politique, qui reste gelée. Un module de synchronisation sensible à l'interaction distingue trois modes (objet statique, objet tenu, transition) pour garder la simulation alignée. Quatre tâches réelles ont été testées : alignement géométrique précis, placement relatif à un objet et interaction avec un objet articulé. Avec la même politique GPT-6 Astra, le succès passe de 26,7 % à 66,7 % sur l'insertion de prise, et de 0 % à 100 % sur la Tour de Hanoï. Ces résultats avancent une thèse précise : une partie de l'échec en manipulation fine vient d'un déficit d'observabilité spatiale plutôt que d'un manque de capacité de la politique. Si elle se confirme, l'effet sur les intégrateurs est concret. Au lieu de multiplier les caméras, de réentraîner un modèle ou de collecter des démonstrations, on pourrait compenser en logiciel les angles morts d'un poste existant, ce qui réduit le coût de mise en service. Le résultat contredit aussi l'idée qu'un VLA ou un modèle multimodal généraliste plafonne par manque de données de manipulation, et il suggère que les capacités latentes de ces modèles sont sous-exploitées. Il faut toutefois tempérer. L'étude ne porte que sur quatre tâches, avec peu d'essais apparemment, comme le suggèrent des taux de 26,7 % et 66,7 %. Le passage de 0 % à 100 % sur la Tour de Hanoï est spectaculaire mais concerne une tâche structurée. L'étude ne donne ni temps de cycle, ni latence ajoutée par la simulation, ni robustesse en environnement industriel. Même sur l'insertion de prise, un tiers des essais échoue encore, un niveau loin des exigences d'une ligne de production. Cette approche s'inscrit dans la tendance du « harness » ou échafaudage au moment du test, déjà courante pour les agents logiciels et désormais transposée au monde physique. Elle se démarque des stratégies concurrentes qui misent sur le réentraînement à grande échelle, comme Pi-0 de Physical Intelligence, GR00T de Nvidia ou Helix de Figure, et sur l'ajout de capteurs. Elle rejoint aussi les travaux de jumeaux numériques et de real-to-sim, mais sans modifier la politique. La dépendance à un modèle propriétaire fermé et la nécessité d'un modèle de scène fiable restent des limites à lever. Les prochaines étapes probables sont des essais sur davantage de tâches, des comparaisons avec des politiques entraînées spécifiquement et des mesures de latence. Le site du projet est annoncé, mais aucun déploiement industriel ni calendrier de pilote n'est mentionné à ce stade.

RecherchePaper
1 source
GATOR : reconstruction d'objets 3D générative et à base d'agents à partir de photos du quotidien
163arXiv cs.RO 

GATOR : reconstruction d'objets 3D générative et à base d'agents à partir de photos du quotidien

Des chercheurs de NVIDIA (laboratoire LPR) publient GATOR, un cadre de reconstruction 3D d'objets à partir d'images ordinaires, présenté sur arXiv en octobre 2026. À partir d'une ou plusieurs photos prises sans protocole particulier, le système produit un objet texturé complet et sa pose relative à la scène, y compris pour les surfaces masquées par des occultations. Un « mélangeur de modalités local » associe, avant le raisonnement multi-vues, les caractéristiques RGB, le masque de l'objet cible et les cartes de points (pointmaps), alignées au niveau des patchs. Cela permet de conserver le contexte de la scène tout en distinguant la cible de son environnement. Des adaptateurs spécifiques à chaque étape (structure, géométrie, apparence) injectent en plus des noms de catégories et des légendes textuelles. L'actif généré initialise ensuite un agent multimodal, qui affine la structure et la texture par une boucle « édition, rendu, revue » guidée par les observations. Les auteurs annoncent une bonne fidélité géométrique et visuelle sur des objets synthétiques, des tables encombrées et des scènes d'intérieur, ainsi qu'une récupération de la pose avec peu d'observations. L'intérêt pour la robotique tient surtout à ce que le résumé appelle la « préparation à la simulation ». Construire des jumeaux numériques d'une scène réelle reste un goulot d'étranglement pour l'apprentissage sim-to-real. Les environnements sont souvent modélisés à la main ou scannés avec du matériel dédié, ce qui limite le volume de données d'entraînement pour les politiques VLA et les modèles de fondation robotiques. Si une poignée de photos de smartphone suffit à produire des actifs alignés sur la scène et exploitables dans un simulateur, le coût de création d'environnements variés baisse nettement. Pour les intégrateurs, cela pourrait aider à valider des cellules de travail ou à générer des scènes de test à partir de simples captures sur site. Les auteurs évoquent aussi des comparaisons à budget de temps égal, qui visent l'efficacité plutôt que la seule qualité maximale. Le résumé ne donne cependant aucun chiffre sur les métriques, les temps de calcul ni les jeux de données. L'ampleur réelle du gain, la robustesse hors des benchmarks et la précision physique (masses, collisions, articulations) restent donc à vérifier dans l'article complet. GATOR s'inscrit dans la course aux modèles génératifs 3D, qui ont progressé rapidement avec les approches image vers 3D et les reconstructions par cartes de points à la DUSt3R. Beaucoup de ces méthodes produisent un objet isolé, sans pose fiable dans la scène, ou peinent avec les occultations. L'ajout d'une boucle agentique de relecture et de correction reflète une tendance plus large : utiliser des modèles de langage et de vision comme relecteurs pour corriger les sorties génératives. NVIDIA, déjà très présent en simulation avec Isaac Sim, Omniverse et la famille GR00T, a un intérêt évident à alimenter ses pipelines en actifs 3D produits automatiquement. Il s'agit pour l'instant d'une publication de recherche. Aucun code, calendrier d'intégration ni produit n'est annoncé dans le résumé, qui renvoie seulement à une page de projet sur le site de NVIDIA Research.

RecherchePaper
1 source
FAITH : apprentissage par renforcement filtré pour la sécurité, tenant compte de la faisabilité, pour les systèmes de grande dimension
164arXiv cs.RO 

FAITH : apprentissage par renforcement filtré pour la sécurité, tenant compte de la faisabilité, pour les systèmes de grande dimension

Des chercheurs présentent FAITH (Feasibility-Aware Safety-Filtered RL), un cadre d'apprentissage par renforcement sans modèle qui sépare la sécurité de la performance de la tâche, publié sur arXiv (2610.12432v1). Le système approxime la valeur de sécurité optimale état-action, puis « amortit » dans un réseau feedforward un filtre à intervention minimale, c'est-à-dire un filtre qui modifie le moins possible l'action proposée par la politique. La politique de tâche optimise son retour à travers la dynamique filtrée, sans terme de sécurité concurrent dans sa mise à jour. Si aucune action ne satisfait la condition de sécurité apprise, le filtre choisit l'action au pic de dommage prédit le plus faible. Les tests portent sur un double intégrateur, un environnement Safety Gym et un humanoïde à 29 DOF en simulation. Sur la tâche Walking-Avoid, l'humanoïde atteint 99,95 % de taux de sécurité et conserve 97 % du retour de la politique non filtrée. Sur Push-Avoid, il obtient le taux de sécurité mesuré le plus élevé en apprenant à sacrifier son équilibre et à tomber en s'éloignant de la zone protégée. Les mêmes politiques sont démontrées sur un Unitree G1 réel. Le point notable est la séparation structurelle des objectifs. En RL sécurisé classique, la sécurité et la performance partagent un même objectif de politique, ce qui produit des mises à jour contradictoires et des compromis difficiles à régler. Les filtres de sécurité traditionnels, eux, exigent une fonction de sécurité analytique et un modèle de dynamique, ce qui est peu réaliste pour un humanoïde à haute dimension. Ils sont aussi myopes, car ils ne minimisent que l'écart instantané à l'action demandée, sans tenir compte du retour à long terme. Les projections dures deviennent en outre indéfinies quand aucune action sûre n'existe. FAITH traite ces trois limites. Le comportement « tomber pour éviter » est parlant : un filtre qui raisonne sur la faisabilité peut préférer une chute contrôlée à une collision. Pour un intégrateur, cela illustre la différence entre une sécurité de façade et un arbitrage explicite des situations sans issue. Les réserves sont claires : les résultats viennent d'un preprint sans relecture par les pairs, le taux de sécurité dépend de la définition de la zone protégée, et la démonstration sur G1 est qualitative, sans statistiques publiées dans le résumé. Ce travail s'inscrit dans la lignée des méthodes de sécurité par fonctions de valeur, issues de l'analyse d'accessibilité de Hamilton-Jacobi et des fonctions barrières de contrôle. Celles-ci passent mal à l'échelle des humanoïdes, d'où l'intérêt des approximations apprises. Le Unitree G1, plateforme de recherche abordable, est devenu le banc d'essai courant de ces approches, ce qui facilite leur comparaison et leur reproduction. La suite logique est une validation sur des tâches de manipulation et de locomotion plus variées, avec des humains réellement présents dans l'espace de travail, et une évaluation de la robustesse face à l'écart simulation-réel. Tant que ces éléments manquent, FAITH reste une preuve de concept prometteuse plutôt qu'une brique prête pour la certification en environnement industriel.

RecherchePaper
1 source
Apprentissage par renforcement sim-vers-réel pour véhicules de surface autonomes avec identification de système
165arXiv cs.RO 

Apprentissage par renforcement sim-vers-réel pour véhicules de surface autonomes avec identification de système

Des chercheurs proposent un simulateur et une chaîne d'entraînement destinés aux navires de surface autonomes (ASV), publiés sur arXiv (2610.12202). Le travail vise à entraîner par apprentissage par renforcement (RL) des politiques de contrôle pour le suivi de trajectoire et le maintien de position (station keeping), en partant d'une dynamique de véhicule inconnue. La méthode n'exige qu'un modèle CAD et un court jeu de trajectoires relevées en eau libre. Ces données servent à approximer puis à affiner les paramètres hydrodynamiques et ceux des propulseurs, par identification de système (SysID). Les auteurs rapportent un transfert zéro-shot du simulateur vers le réel sur un ASV BlueBoat, sur les deux tâches, sans connaissance préalable de l'hydrodynamique ni des hélices. L'abstract ne donne ni taux de réussite, ni erreurs de suivi, ni durée des essais, ni nombre de trajectoires nécessaires à l'identification. L'intérêt tient à la barrière que ce travail cherche à lever. Les simulateurs d'ASV existants gèrent rarement les environnements parallèles, indispensables pour entraîner des politiques RL à grande échelle. Ils réclament aussi des paramètres hydrodynamiques précis, issus de solveurs de mécanique des fluides numérique (CFD) ou d'essais en bassin de traction, deux étapes coûteuses et longues. Si le résultat se confirme, un intégrateur pourrait déployer un contrôleur appris sur une coque nouvelle ou modifiée après quelques sorties en mer, sans campagne de caractérisation. Cela renforcerait l'idée que le sim-to-real passe par une identification légère plutôt que par une modélisation exacte. Les réserves sont nettes: la validation semble porter sur une seule plateforme, la BlueBoat, petite et de recherche, et l'abstract ne mentionne aucun test sous vent, vagues ou courants marqués. Ces conditions sont pourtant le cœur des « environnements marins dynamiques » invoqués. Sans métriques chiffrées ni comparaison annoncée avec un contrôleur classique de type PID, l'avantage du RL reste à démontrer. Ce travail s'inscrit dans la tendance du RL massivement parallèle, popularisée en robotique terrestre par des simulateurs GPU, qui a peu atteint le domaine maritime faute d'outils adaptés. La BlueBoat, plateforme compacte de Blue Robotics, est répandue dans la recherche et l'inspection, ce qui facilite la reproduction. L'approche rejoint les travaux de calibration de simulateurs à partir de données réelles, déjà courants pour les drones et les robots à pattes. La suite logique serait un test sur des coques plus grandes, en conditions de mer difficiles, et une publication du code ou du simulateur. L'abstract n'annonce ni pilote industriel ni calendrier. Il s'agit donc d'un résultat de recherche et non d'un produit disponible.

RecherchePaper
1 source
PMTRM : module de ré-encodage temporel à pseudo-mémoire pour l'apprentissage de politiques en IA incarnée
166arXiv cs.RO 

PMTRM : module de ré-encodage temporel à pseudo-mémoire pour l'apprentissage de politiques en IA incarnée

Des chercheurs proposent le Pseudo-Memory Temporal Re-encoding Module (PMTRM), publié sur arXiv (2610.11168v1), un module d'extension léger de seulement 7,61 millions de paramètres destiné à corriger l'ambiguïté de phase en manipulation robotique. Le problème est précis : dans de nombreuses tâches, des mouvements répétés produisent des observations locales quasi identiques à des moments différents, alors que l'action attendue diffère. Une politique qui s'appuie surtout sur l'observation courante peut alors rejouer un mouvement déjà accompli ou changer de phase au mauvais moment. PMTRM encode un historique borné d'états et d'actions exécutés sous forme de séquence latente, fournie à une politique existante. Un objectif d'« hétérogénéité temporelle » pénalise la similarité positive entre positions éloignées de cette séquence, tandis que des pertes d'ancrage et de reconstruction préservent l'information utile à la prédiction d'actions. Le décodeur de reconstruction ne sert qu'à l'entraînement : à l'inférence, seul le ré-encodeur temporel fournit l'historique. L'entraînement est progressif, d'abord sur des séquences synthétiques et des données robot, puis conjoint avec la politique, avec un masquage temporel pour gérer les historiques partiels. Les auteurs annoncent des gains de taux de réussite sur plusieurs architectures de politique, en simulation et sur un robot réel, pour un surcoût de calcul faible. L'intérêt pratique est de traiter un défaut courant des politiques réactives, y compris celles de type VLA (vision-langage-action), sans remplacer leur architecture. Le module conserve la tête d'action et l'espace d'actions d'origine, et ajoute seulement des pertes auxiliaires à la perte initiale de la politique. Pour un intégrateur, cela signifie qu'une politique déjà entraînée ou déployée pourrait gagner en robustesse sur des séquences longues ou répétitives (empilage, insertions multiples, gestes cycliques) sans refonte complète. Le résultat va aussi dans le sens d'une hypothèse de plus en plus discutée : une partie des échecs en manipulation ne vient pas du manque de capacité visuelle, mais de l'absence de mémoire de ce qui a déjà été fait. Les chiffres détaillés (taux de réussite, nombre de tâches, identité des backbones, nature du robot) ne figurent pas dans le résumé. Les « multiples politiques » testées ne sont pas nommées, et la mention d'un « faible surcoût » sans mesure de latence ne permet pas encore d'évaluer la tenue en contrôle temps réel. Ce travail s'inscrit dans la recherche sur la mémoire et le contexte historique des politiques incarnées, qui oppose généralement deux approches : empiler des images ou des états passés dans le contexte du modèle, au prix d'un coût de calcul croissant, ou ajouter des mémoires dédiées plus lourdes. PMTRM se positionne comme une troisième voie, modulaire et compacte. Il s'agit d'un preprint v1, sans relecture par les pairs, évalué dans des conditions que seule la publication complète permettra de juger : diversité des tâches, robustesse hors distribution, comparaison avec les approches à historique brut. Aucun déploiement industriel ni calendrier n'est annoncé. La suite logique serait une validation sur des politiques généralistes de grande taille et sur des tâches longues en conditions réelles, ainsi que la publication éventuelle du code, qui conditionnera l'adoption par d'autres équipes.

RecherchePaper
1 source
Recherche d'initiation guidée par l'expérience pour les compétences apprises en composition de compétences
167arXiv cs.RO 

Recherche d'initiation guidée par l'expérience pour les compétences apprises en composition de compétences

Des chercheurs proposent EVIS (Experience-Guided and Behavior-Validated Initiation Search), un cadre de recherche de configurations d'initiation pour des compétences apprises figées, typiquement des politiques Vision-Language-Action (VLA), déployées dans un nouvel environnement. Le travail, publié sur arXiv (2610.11418), part d'un constat pratique : une politique gelée ne réussit pas de façon uniforme selon la position de départ du robot ou des objets. Dans une composition de compétences, ce choix pèse en plus sur l'état physique transmis à la compétence suivante, si bien qu'une exécution réussie d'une étape n'assure pas la réussite de la tâche complète. EVIS utilise l'historique d'exécution pour classer les candidats les plus prometteurs, puis valide dans l'environnement cible, par le comportement observé du robot, s'ils restent efficaces. Les auteurs l'ont évalué sur des tâches de manipulation à une compétence et à deux étapes avec des politiques VLA gelées. Ils annoncent une baisse du nombre moyen de requêtes dans l'environnement cible et une meilleure découverte de candidats fiables sous petit budget d'interaction. Le résumé ne donne aucun chiffre, aucun modèle VLA nommé ni aucune plateforme matérielle, et rien n'indique que la méthode ait été testée hors du cadre expérimental du papier. L'intérêt tient à un coût que les démonstrations masquent souvent : l'adaptation d'une politique à un site ne se fait pas seulement par réentraînement, elle passe aussi par le choix de l'endroit où lancer chaque compétence. Estimer la capacité réelle d'une politique par de nombreux essais sur le terrain est long et coûteux, surtout pour un intégrateur qui doit mettre en service une cellule avec des VLA qu'il ne peut ou ne veut pas réentraîner. Réutiliser telle quelle l'expérience passée est risqué dès que l'éclairage, les fixations ou la géométrie changent. L'approche confirme aussi que la fiabilité d'un enchaînement dépend de la compatibilité entre les étapes et pas seulement du taux de succès de chacune, ce qui relativise les métriques par compétence isolée. Les résultats restent néanmoins à lire avec prudence : il s'agit d'un préprint, sans revue par les pairs, et la formule « petits budgets d'interaction » n'est pas quantifiée dans le résumé. Les tâches à deux étapes sont aussi loin de la longueur des procédés industriels réels. Ce travail s'inscrit dans l'essor des modèles VLA (Pi-0, GR00T, Helix et autres), souvent présentés comme des compétences généralistes déployables en l'état. L'écart entre démonstration et exploitation fiable pousse la recherche vers des couches de déploiement, de vérification et de composition autour de politiques figées, plutôt que vers de nouveaux modèles. Les méthodes voisines relèvent de l'apprentissage de fonctions d'initiation et de la planification de compétences, qui supposent en général un modèle de capacité connu ou beaucoup de données cibles. EVIS cherche un compromis entre ces deux extrêmes. La suite logique serait des essais sur robots réels, des chaînes de plus de deux étapes et des comparaisons chiffrées avec des méthodes d'échantillonnage classiques, éléments que le résumé ne mentionne pas.

RecherchePaper
1 source
LeWAM : un modèle d'action du monde JEPA avec MPC guidé par pilotage de diffusion
168arXiv cs.RO 

LeWAM : un modèle d'action du monde JEPA avec MPC guidé par pilotage de diffusion

LeWAM, présenté sur arXiv (2610.12407v1), est un « world action model » (WAM) : un transformeur bidirectionnel qui gère quatre modes dans un même réseau, à savoir la dynamique directe, la dynamique inverse, la dynamique arrière et la prédiction de politique. Le modèle s'appuie sur un espace latent de type JEPA sans décodeur, entraîné de bout en bout à travers ces quatre modes. Les auteurs revendiquent trois résultats. D'abord, des sondes linéaires lisent l'état du robot et des objets dans le latent de LeWAM mieux que dans celui de LeWM (Le World Model, un JEPA à dynamique directe seule), tandis que le latent ignore les distracteurs visuels aussi bien que LeWM et bien mieux qu'un WAM fondé sur la reconstruction. Ensuite, en boucle fermée, LeWAM égale une politique classique à flow matching entraînée sur le même encodeur à taille équivalente, tout en fournissant en plus un modèle du monde. Enfin, pour la planification, échantillonner des actions brutes dans un MPC laisse le planificateur exploiter les erreurs du modèle de dynamique. Planifier dans l'espace de bruit de la tête de politique, une approche de « diffusion steering », améliore les performances en boucle fermée. Pour les équipes qui conçoivent des politiques robotiques, le résultat le plus utile est sans doute le troisième. Le MPC avec modèle appris a un défaut connu : l'optimiseur cherche les actions qui font mentir le modèle, et non celles qui réussissent la tâche. Contraindre la recherche au voisinage de ce que la politique sait produire limite ce biais, sans exiger un modèle du monde parfait. Le deuxième résultat compte aussi : unifier politique et modèle du monde ne dégrade pas le contrôle, ce qui évite de maintenir deux réseaux. L'argument de fond est que des représentations prédictives, sans reconstruction de pixels, se montrent plus robustes aux distracteurs visuels, un point critique en environnement d'atelier ou d'entrepôt, où l'éclairage et l'arrière-plan varient. Il faut toutefois rester prudent. Le résumé ne donne ni chiffres de succès, ni noms de benchmarks, ni nombre de tâches, ni indication de test sur robot réel. On ignore donc l'ampleur des gains et leur transfert hors simulation. Ce travail prolonge deux courants : les architectures JEPA, portées par l'école de Yann LeCun autour de l'apprentissage de représentations prédictives, et les world action models qui prédisent conjointement actions et observations futures, généralement à partir de latents reconstructifs, souvent issus de modèles de vidéo ou de diffusion. LeWAM se positionne en alternative plus légère et plus alignée avec l'état physique. Il se compare à LeWM, sa base directe, et aux WAMs à reconstruction, plutôt qu'à des VLA de grande échelle comme Pi-0 ou GR00T. Il s'agit d'un preprint v1, sans relecture par les pairs. Les prochaines étapes à surveiller sont la publication des chiffres détaillés, les tests sur matériel réel et le passage à l'échelle avec des données multi-tâches.

RecherchePaper
1 source
Vers une navigation créative de trajectoires : la navigation des robots par l'interaction incarnée
169arXiv cs.RO 

Vers une navigation créative de trajectoires : la navigation des robots par l'interaction incarnée

Des chercheurs proposent la « Path-Creative Navigation » (PCN), un paradigme où le robot ne se contente pas de chercher un chemin dans l'espace libre existant, mais le crée en coordonnant locomotion et interaction physique avec son environnement. Le travail, publié sur arXiv (2610.11072), part d'un constat simple : une route peut être obstruée par une structure articulée (une porte, par exemple), un objet déplaçable ou un piéton, et atteindre le but exige alors d'agir sur l'obstacle. Les auteurs traitent une classe de tâches PCN avec un cadre sans carte préalable (mapless) qui fusionne vision, LiDAR et odométrie. Ce système unifié combine observations locales, géométrie des obstacles et estimation de l'état du robot pour fournir une information sémantique et géométrique stable à la navigation comme à l'interaction. Une méthode de décision sensible à la traversabilité exploite les distances visuelles et LiDAR pour déterminer si un blocage est « actionnable » et s'il peut être contourné en sécurité. Le robot ne interagit ainsi que lorsque c'est nécessaire. Quatre comportements sont couverts : pousser une structure articulée, pousser un objet mobile, éviter un obstacle et solliciter un piéton. L'évaluation combine des scénarios de simulation conçus pour l'occasion et deux tâches réelles qu'une navigation conventionnelle ne peut pas accomplir sans interaction. Le résumé ne précise ni la plateforme robotique, ni les taux de réussite chiffrés, ni les méthodes de référence comparées. L'enjeu est pratique pour tout déploiement en environnement non structuré : bureaux, hôpitaux, entrepôts ou sites logistiques. La plupart des piles de navigation autonome (AMR, robots de service) traitent l'environnement comme figé et déclarent l'échec, ou attendent, dès qu'une porte semi-ouverte, un chariot ou une personne bloque le passage. Intégrer la décision « dois-je agir sur cet obstacle ? » dans la boucle de navigation vise à réduire ces blocages, qui pèsent sur la disponibilité réelle des flottes. L'approche sans carte est aussi un atout pour les intégrateurs, car elle limite la dépendance à une cartographie préalable qui vieillit vite dans des lieux changeants. Les résultats restent toutefois à prendre avec prudence : le résumé annonce un « taux de complétion supérieur » aux références sans donner de chiffres, la validation réelle se limite à deux tâches, et le code est publié sur un dépôt anonymisé, signe d'une soumission en relecture. Rien n'indique encore une robustesse sur de longues durées ni sur des morphologies variées. Ce travail s'inscrit dans le rapprochement entre navigation et manipulation mobile, longtemps traitées séparément. Les travaux de « navigation parmi des obstacles déplaçables » (NAMO) existent depuis des années, mais reposaient souvent sur des cartes complètes et une planification coûteuse. La vague actuelle de modèles vision-langage-action et de robots humanoïdes ou quadrupèdes à locomotion robuste rend l'interaction opportuniste plus accessible, ce qui rapproche cette recherche des ambitions de plateformes généralistes comme Figure, Tesla Optimus ou Agility. La suite logique serait une validation sur davantage de scénarios et de plateformes, des comparaisons chiffrées publiées, puis une intégration à des politiques apprises plus générales. Pour l'instant, il s'agit d'une contribution académique en prépublication, sans pilote industriel annoncé.

RecherchePaper
1 source
Une alimentation de données équilibrée : lever le goulot d'étranglement de l'exploration dans l'apprentissage par renforcement à très grande échelle pour la commande de robots
170arXiv cs.RO 

Une alimentation de données équilibrée : lever le goulot d'étranglement de l'exploration dans l'apprentissage par renforcement à très grande échelle pour la commande de robots

Des chercheurs ont publié sur arXiv (2610.12465) une méthode baptisée Success Guided Sampling (SGS), un échantillonneur adaptatif destiné à l'apprentissage par renforcement (RL) sim-to-real pour le contrôle de robots. Le point de départ est un constat sur les pipelines actuels, qui reposent sur des artifices propres à chaque tâche, comme les récompenses façonnées (reward shaping) et les démonstrations. Des travaux récents ont montré que des resets de simulateur diversifiés, associés à une simulation massivement parallèle, allégeaient cette ingénierie sur plusieurs problèmes de manipulation. Les auteurs observent pourtant que, sur des tâches plus précises ou plus dynamiques, passer ce paradigme à l'échelle ne donne pas les gains attendus. Un échantillonnage uniforme des configurations gaspille une part croissante de l'expérience sur des cas que la politique maîtrise déjà ou qu'elle ne peut pas encore tenter. SGS concentre donc l'entraînement sur la frontière des capacités de la politique. Les expériences vont jusqu'à 2^20 environnements parallèles (plus d'un million). Elles portent sur la locomotion de quadrupèdes multi-terrains et sur des tâches d'assemblage riches en contacts que les méthodes antérieures ne résolvent pas. Les politiques de manipulation apprises sont ensuite distillées en politiques basées sur des images RGB, avec un transfert zéro-shot vers plusieurs tâches d'assemblage sur du matériel réel. L'intérêt tient à ce que le goulot d'étranglement se déplace. Multiplier les environnements ne suffit pas si la majorité du batch ne porte aucun signal d'apprentissage. Le calcul massivement parallèle ne se convertit en performance que si la distribution des tâches est pilotée activement. Pour un intégrateur, c'est une piste vers des politiques d'assemblage de précision entraînées sans réglage manuel de récompenses pour chaque pièce. Cela réduirait le coût d'ingénierie par tâche, aujourd'hui l'un des freins au déploiement. Le transfert zéro-shot de politiques RGB vers du matériel réel va aussi dans le sens d'un sim-to-real qui avance sur la manipulation riche en contacts. Il faut toutefois rester prudent. Le résumé ne donne ni taux de réussite, ni nombre de tâches réelles, ni comparaison chiffrée avec les méthodes de référence. La robustesse du transfert reste donc à vérifier dans l'article complet, et rien n'indique pour l'instant de déploiement industriel. Ces travaux s'inscrivent dans la lignée du RL sur GPU, popularisé par les simulateurs parallèles de type Isaac Gym et par les politiques de locomotion entraînées en quelques minutes. Les resets diversifiés sont déjà employés pour contourner le problème d'exploration. SGS apparaît comme un correctif de curriculum automatique, dans l'esprit des approches adaptatives qui ciblent la frontière de compétence. Il vise à rendre ces recettes exploitables à très grande échelle. Il se positionne face aux approches fondées sur démonstrations et modèles vision-langage-action (VLA), qui mobilisent beaucoup de données humaines, et propose une voie fondée sur la simulation. Un site de projet est annoncé (sgs-rl.github.io). La suite dépendra de la publication du code et de la reproduction des résultats par d'autres équipes, notamment sur des tâches d'assemblage plus variées.

RecherchePaper
1 source
Dex-One2Many : apprendre la manipulation dextérique à partir d'une seule démonstration humaine
171arXiv cs.RO 

Dex-One2Many : apprendre la manipulation dextérique à partir d'une seule démonstration humaine

Des chercheurs présentent Dex-One2Many, un cadre « real-to-sim-to-real » qui apprend une politique de manipulation dextre généralisable à partir d'une seule vidéo de démonstration humaine. Le système convertit la vidéo en une séquence de graphes de scène, c'est-à-dire des représentations des relations entre la main, les outils et les objets à chaque étape de la tâche. Ces graphes servent à deux choses : ils contraignent la génération d'états de réinitialisation variés en simulation, et ils fournissent une récompense dense pour chaque étape. L'entraînement par apprentissage par renforcement (RL) se fait entièrement en simulation, puis la politique est transférée sans réglage supplémentaire (zero-shot) vers une main robotique multi-doigts réelle. Sur cinq tâches d'usage d'outils et de manipulation, la méthode dépasse les approches de référence de 6,5 % dans les configurations vues pendant la démonstration, et l'écart atteint 71 % dans les scénarios non vus. Ce travail s'attaque à un compromis bien identifié. Beaucoup de méthodes actuelles d'apprentissage à partir d'une vidéo humaine imitent strictement les mouvements montrés, ce qui limite leur généralisation à des positions initiales d'objet, des positions cibles ou des prises absentes de la vidéo. À l'inverse, le RL pur généralise largement, mais explore mal les espaces de grande dimension d'une main dextre sur des tâches à plusieurs étapes. En contraignant des relations plutôt que des poses exactes, les graphes de scène couvrent des configurations et des prises au-delà de la démonstration, tout en gardant l'exploration courte et guidée. Le gain modeste en configurations connues contre un écart de 71 % hors distribution suggère que la valeur de l'approche tient surtout à la robustesse. Cela compte pour les intégrateurs, car la collecte de démonstrations robotiques reste coûteuse. Il faut toutefois rester prudent : il s'agit d'un préprint (arXiv, v1) sans relecture par les pairs. Le résumé ne précise ni les baselines, ni le matériel, ni le nombre d'essais réels, et cinq tâches de laboratoire ne disent rien de la fiabilité en production. Le contexte est celui d'une course à la dextérité qui mobilise à la fois la recherche académique et les acteurs industriels des mains humanoïdes. Deux grandes familles s'y opposent : l'imitation à partir de vidéos humaines, qui réduit le coût des données mais généralise mal, et le RL en simulation, qui généralise mieux mais exige un important travail de conception de la récompense et de l'exploration. Dex-One2Many se place entre les deux, en utilisant la structure symbolique de la scène comme prior. Aucun pilote industriel, délai de commercialisation ou code publié n'est mentionné dans le résumé. La suite logique serait des évaluations sur davantage de tâches, de mains et de scènes encombrées, ainsi qu'une comparaison avec les modèles vision-langage-action (VLA) généralistes, qui visent la même promesse d'apprentissage à partir de peu de données.

RecherchePaper
1 source
Quand écouter devient plus facile : effacer les indices visuels pour des VLA sans raccourcis
172arXiv cs.RO 

Quand écouter devient plus facile : effacer les indices visuels pour des VLA sans raccourcis

Des chercheurs publient sur arXiv (2610.10912) une étude sur l'apprentissage par raccourcis (« shortcut learning ») dans les modèles vision-langage-action (VLA), ces politiques robotiques qui convertissent une image et une instruction textuelle en actions. Le problème est connu : les jeux de démonstrations robotiques manquent de diversité, et les politiques finissent par exploiter des corrélations parasites entre la tâche et des éléments sans rapport, comme le point de vue de la caméra ou l'arrière-plan. Les auteurs constatent que les différents backbones vision-langage (VLM) sur lesquels reposent les VLA n'y sont pas égaux : leur sensibilité aux raccourcis visuels varie fortement. Ils proposent une métrique au niveau des représentations internes, l'« action margin », qui corrèle avec le comportement observé du modèle et ne nécessite aucun déploiement de la politique. Leur analyse montre que les indices visuels parasites s'insèrent systématiquement dans les représentations d'action dès les premières couches. Les modèles se distinguent par la capacité de leurs couches profondes à corriger ce biais en intégrant l'information linguistique. Pour renforcer cette attention au langage, l'équipe introduit le « task scrubbing », une méthode d'entraînement adversarial de domaine. Testée en simulation et en conditions réelles, sur plusieurs VLA et plusieurs types d'indices visuels, elle améliore la robustesse hors distribution et élimine souvent le recours aux raccourcis visuels. Le résumé ne donne ni chiffres de gain, ni noms de modèles, ni taux de réussite : l'ampleur réelle de l'amélioration reste donc à vérifier dans l'article complet. L'enjeu est très concret pour les intégrateurs et les décideurs qui évaluent des VLA. Un modèle qui réussit une démonstration dans la cellule où il a été entraîné peut avoir simplement mémorisé le décor ou l'angle de caméra, au lieu de comprendre l'instruction. Cela nourrit l'écart entre démonstration et réalité : le robot échoue dès qu'on déplace une caméra ou qu'on change la scène. Le travail suggère aussi que le choix du backbone VLM est une décision d'ingénierie lourde de conséquences pour la généralisation, et pas seulement une question de taille ou de benchmark de perception. Autre apport pratique : l'action margin permet de repérer les modèles vulnérables sans lancer de campagnes d'essais sur robot, longues et coûteuses. Enfin, la méthode propose une alternative algorithmique à la collecte massive de données diversifiées, que beaucoup d'acteurs jugent aujourd'hui trop chère et trop lente. Ce travail s'inscrit dans la montée en puissance des VLA généralistes, de Pi-0 à GR00T ou Helix, dont la promesse commerciale repose sur la robustesse hors des conditions d'entraînement. La critique de la fragilité face aux variations de point de vue et de décor revient régulièrement, et les approches concurrentes passent surtout par l'augmentation de données, la randomisation de domaine ou le passage à l'échelle des corpus de téléopération. Le task scrubbing relève d'une autre logique, corriger le biais directement dans l'apprentissage des représentations. Il s'agit ici d'un résultat de recherche publié en préversion, non relu par des pairs et sans produit ni déploiement industriel annoncé. La suite dépendra de la reproduction des résultats par d'autres laboratoires, de son application à de grands VLA du commerce et de son éventuelle intégration dans les pipelines d'entraînement des fabricants.

RecherchePaper
1 source
TAPNAV : navigation humanoïde par perception active tactile
173arXiv cs.RO 

TAPNAV : navigation humanoïde par perception active tactile

Des chercheurs présentent TAPNAV, un cadre de navigation par perception tactile active destiné aux robots humanoïdes qui évoluent sans vision. Le travail, publié sur arXiv (2610.10748), part d'un constat connu: en l'absence de caméra exploitable, l'odométrie proprioceptive dérive et l'incertitude de localisation s'accumule vite. Le système maintient une croyance sur la pose du robot en fusionnant l'odométrie, la centrale inertielle (IMU) et les observations de contact tactile. Il associe deux niveaux de planification: un planificateur global tenant compte de l'incertitude, qui cherche des itinéraires où l'erreur de localisation prévue reste bornée grâce à des occasions de recalage tactile, et un planificateur local qui choisit les gestes de palpation maximisant le gain d'information attendu. Un contrôleur du corps entier coordonne la locomotion et le contact de l'effecteur pour exécuter à la fois la navigation et les sondages. L'évaluation a été menée en simulation et sur un Unitree G1, avec plusieurs plans de sol et géométries d'obstacles. Les auteurs annoncent une erreur d'estimation d'état plus faible et un taux d'achèvement des tâches supérieur à celui des méthodes de référence. Le résumé ne chiffre toutefois ni ces écarts ni le nombre d'essais. L'intérêt tient au changement de logique: au lieu de subir la dérive, le robot planifie des interactions physiques pour produire lui-même ses repères de localisation. Pour les humanoïdes appelés à travailler dans des environnements enfumés, poussiéreux, sombres ou à occlusion visuelle (maintenance, intervention après sinistre, sites industriels dégradés), cela ouvre une voie de repli lorsque caméras et lidar échouent. Le résultat reste cependant celui d'un travail académique préliminaire (v1, non évalué par les pairs). Il n'établit ni robustesse à grande échelle ni performance en conditions réelles de terrain. Il ne dit rien non plus des temps de cycle: sonder les parois ralentit nécessairement la progression, et ce compromis entre précision et vitesse sera décisif pour toute application industrielle. L'usage d'un Unitree G1, plateforme de recherche abordable et très répandue, facilite la reproduction, mais l'effecteur utilisé pour le contact reste modeste par rapport aux mains tactiles dont disposent certains humanoïdes commerciaux. Ce travail s'inscrit dans l'effort plus large pour compléter, voire remplacer, la vision par d'autres modalités sensorielles chez les robots à pattes, où les approches dominantes restent l'odométrie visuo-inertielle, le SLAM lidar et les politiques vision-langage-action (VLA). La planification active de la perception, qui sélectionne les actions selon le gain d'information, vient de la robotique mobile classique et se transpose ici à un corps entier à nombreux degrés de liberté. Les prochaines étapes naturelles seraient des tests sur des environnements non structurés, une intégration avec la vision lorsqu'elle est partiellement disponible, et un passage sur des mains équipées de capteurs tactiles denses. Aucun calendrier de pilote ni partenaire industriel n'est mentionné.

RecherchePaper
1 source
REACT : débruitage glissant et double découplage pour un contrôle réactif des robots avec des modèles VLA
174arXiv cs.RO 

REACT : débruitage glissant et double découplage pour un contrôle réactif des robots avec des modèles VLA

Des chercheurs publient sur arXiv (2610.12007) REACT, un cadre de « rolling denoising » destiné aux modèles vision-langage-action (VLA) à base de flow matching, ces modèles qui génèrent des séquences d'actions (« action chunks ») pour produire des mouvements de robot cohérents dans le temps. Au lieu de régénérer un chunk complet à chaque cycle, REACT maintient un tampon d'actions persistant dont les blocs sont à des pas de débruitage échelonnés. À chaque pas de contrôle, tout l'horizon est débruité avec l'observation la plus récente, le bloc le plus « propre » est exécuté, les blocs partiellement raffinés sont décalés vers l'avant et du bruit frais est ajouté en queue. Chaque action est ainsi affinée sur plusieurs observations successives avant d'être envoyée au robot. Un second volet, le « dual decoupling », sépare la perception, l'encodage par le VLM, le débruitage par le DiT (diffusion transformer) et l'exécution des actions, ce qui permet des mises à jour d'observation à haute fréquence et un flux d'actions continu sous des contraintes de calcul réalistes. L'évaluation couvre le benchmark de simulation RoboTwin 2.0 et des tâches réelles de manipulation bimanuelle et de contrôle dynamique sur plusieurs plateformes robotiques. Les auteurs revendiquent un meilleur taux de réussite, une latence de réaction réduite et des trajectoires plus lisses que les méthodes de replanification fréquente et les approches asynchrones. Le résumé ne donne aucun chiffre précis, ni fréquence de contrôle, ni gain en points de succès. L'enjeu est un compromis structurel des VLA actuels. Des chunks longs donnent des mouvements fluides mais un robot lent à réagir à une perturbation, tandis qu'une replanification fréquente améliore la réactivité au prix de discontinuités qui abîment la qualité du geste, voire le matériel. Pour un intégrateur, cela touche directement les tâches dynamiques (objets mobiles, convoyeurs, interaction avec des humains) où les démonstrations de VLA restent souvent cantonnées à des scènes quasi statiques. Si les gains se confirment, REACT montrerait qu'on peut gagner en réactivité par l'architecture d'inférence, sans réentraîner de modèle plus gros. Il faut toutefois rester prudent : il s'agit d'un preprint non évalué par les pairs, et la comparaison porte sur des baselines choisies par les auteurs. L'absence de chiffres de latence dans le résumé empêche pour l'instant de juger si le gain est marginal ou décisif. Cette approche s'inscrit dans une série de travaux sur le temps réel des VLA. Les chunks d'actions issus de la diffusion ou du flow matching, popularisés par des modèles comme Pi-0, ont imposé ce dilemme, et des méthodes asynchrones ou de « real-time chunking » ont tenté de le contourner en exécutant l'inférence en parallèle du mouvement. REACT s'en distingue en transposant au contrôle robotique l'idée du débruitage glissant (rolling diffusion), déjà utilisée en génération vidéo, et en y ajoutant la séparation des composants pour tenir les contraintes de calcul embarquées. La suite dépendra de la publication du code, de mesures sur des cycles de contrôle réels et de tests sur d'autres familles de VLA, en particulier celles qui visent le déploiement industriel.

RecherchePaper
1 source
Incertitude exploitable pour la commande dans les modèles de diffusion de trajectoires
175arXiv cs.RO 

Incertitude exploitable pour la commande dans les modèles de diffusion de trajectoires

Des chercheurs publient sur arXiv (2610.12431) SCOPE, pour Score-Curvature for Online Precision Estimation, un module léger qui ajoute une estimation d'incertitude exploitable en temps réel aux modèles de diffusion de trajectoires. Ces modèles représentent bien des distributions multimodales, mais en tirer une mesure d'incertitude exige aujourd'hui de nombreux échantillons Monte Carlo, trop coûteux pour une boucle de commande. SCOPE apprend, par distillation de l'information de courbure du score, une matrice de précision structurée autour de chaque trajectoire nominale. Il en sort des « tubes » gaussiens calibrés, avec une covariance par pas de temps, sans rééchantillonnage répété. Le système est testé avec des backbones de diffusion multimodaux conditionnés par mode sur quatre terrains : prévision de trajectoires de piétons, navigation en foule, contrôle Maze2D et manipulation réelle avec un bras Franka Panda. Le résumé annonce une estimation rapide et de meilleures performances en boucle fermée, mais ne donne aucun chiffre sur le surcoût ou le gain, ce qui empêche de juger l'ampleur de l'amélioration. L'enjeu est pratique. Les politiques de diffusion se répandent en manipulation et en navigation, mais leur coût d'inférence et l'absence d'incertitude bon marché freinent leur usage là où la sécurité compte. Un tube de covariance par pas de temps peut servir de marge de sécurité pour un contrôleur ou de prédiction d'occupation pour des agents mobiles, comme les piétons autour d'un AMR. Il peut aussi guider l'exploration. Si le surcoût est réellement faible, cela supprimerait l'un des arguments contre le déploiement de ces modèles génératifs en boucle de commande rapide. La validation reste toutefois académique : un seul bras réel, des benchmarks standards, aucune charge de travail industrielle ni mesure de latence publiée dans le résumé. Ce travail s'inscrit dans la recherche d'incertitude pour l'apprentissage robotique, qui passe d'ordinaire par des ensembles de modèles, le dropout Monte Carlo, des approximations de Laplace ou la prédiction conforme, toutes plus lourdes ou moins adaptées aux trajectoires multimodales. L'approche de SCOPE, qui exploite la géométrie du score appris plutôt que de multiplier les tirages, est une réponse directe à cette limite. Il s'agit d'un préprint en version 1, sans validation par les pairs ni code annoncé au-delà d'une page projet. La suite logique serait des tests sur des politiques VLA de plus grande taille et sur des tâches de manipulation plus variées, avec des comparaisons chiffrées de latence et de calibration face aux ensembles et aux méthodes conformes.

RecherchePaper
1 source
Calcul simultané avec plusieurs priorisations en planification de mouvement multi-agents
176arXiv cs.RO 

Calcul simultané avec plusieurs priorisations en planification de mouvement multi-agents

Une équipe de recherche, rattachée au Cyber-Physical Mobility Lab, propose une méthode permettant à des agents de calculer simultanément avec plusieurs priorisations dans un problème de planification de mouvement multi-agents. Le travail, publié sur arXiv en version 2 (2501.10781v2), s'inscrit dans le cadre de la planification de mouvement multi-agents (MAMP) à horizon glissant, soumise à des contraintes de temps de calcul. Les auteurs affirment atteindre une priorisation quasi optimale et surpasser les méthodes de l'état de l'art, pour une augmentation du temps de calcul qualifiée de mineure. La validation combine des expériences numériques et un essai en temps réel sur un réseau routier avec dix véhicules. Le résumé ne donne ni gain chiffré, ni taille des réseaux simulés, ni temps de cycle précis. La planification prioritaire (prioritized planning, PP) est une approche classique du problème de recherche de chemins multi-agents (MAPF) dans les grands réseaux. Les agents planifient l'un après l'autre selon un ordre de priorité, chacun devant éviter les trajectoires déjà fixées par les agents plus prioritaires. Cette méthode est peu coûteuse en calcul, mais la qualité de la solution dépend fortement de l'ordre choisi. Les priorisations actuelles reposent soit sur des heuristiques qui généralisent mal, soit sur des itérations successives qui consomment du temps de calcul. L'approche présentée évite ce compromis en évaluant plusieurs ordres de priorité en parallèle au sein du même cycle de planification. Elle ne s'appuie sur aucune connaissance propre à un domaine, ce qui la rend applicable à d'autres contextes que la mobilité routière. Le MAMP modélise la dynamique des systèmes de façon plus détaillée que le MAPF, ce qui rapproche les résultats des conditions d'exploitation réelles. Pour les intégrateurs et les responsables de flottes de robots mobiles autonomes (AMR), la coordination de dizaines de véhicules sur un même réseau reste un point dur. Une méthode qui conserve la rapidité de la planification prioritaire tout en limitant sa sensibilité à l'ordre des agents répondrait à un besoin réel, notamment en logistique d'entrepôt. Les réserves sont toutefois nettes. Dix véhicules représentent une échelle modeste face aux flottes industrielles, et l'absence de métriques dans le résumé empêche d'évaluer le gain réel. Le test a lieu dans un laboratoire de mobilité cyber-physique, donc dans un environnement contrôlé. Il s'agit d'un résultat de recherche, sans produit ni déploiement commercial. Le passage à l'échelle, la comparaison avec des solveurs MAPF optimaux ou bornés et le comportement sous contraintes de communication restent à démontrer.

RecherchePaper
1 source
Quelle fermeté doit avoir une saisie ?
177arXiv cs.RO 

Quelle fermeté doit avoir une saisie ?

Une équipe de chercheurs propose, dans un preprint arXiv (2610.11221), une méthode visuotactile qui estime en temps réel les propriétés matérielles d'un objet pendant la saisie (masse, élasticité, frottement de surface) afin d'en déduire la force de préhension minimale nécessaire pour le manipuler sans l'endommager. Le modèle d'estimation de force est construit en simulation, à partir d'un nouveau jeu de données d'objets réels, des fruits et des légumes, dont la forme, la masse, l'élasticité et le frottement ont été mesurés physiquement. La validation expérimentale a été menée avec un robot équipé d'une pince parallèle à deux mâchoires. Selon les auteurs, le système saisit délicatement des objets très variés en adaptant la force à chaque cas. Le résumé ne chiffre ni taux de réussite, ni nombre d'objets testés, ni force moyenne appliquée, ni temps de cycle, et ne cite aucun partenaire industriel. L'enjeu est très concret pour la manutention de produits frais, de l'agroalimentaire à la logistique de e-commerce. Aujourd'hui, la plupart des pinces industrielles appliquent une force fixe, réglée à la main pour une référence donnée, ou une force surdimensionnée par prudence. La première approche exige une reprogrammation à chaque changement de produit, la seconde abîme les denrées fragiles. Une estimation en ligne des propriétés, sans connaissance préalable de l'objet, s'attaque à ce goulot d'étranglement pour les cellules de picking à fort mélange de références. Le travail rappelle aussi que la dextérité ne se résume pas à la planification de trajectoire ou aux politiques VLA (vision-langage-action) : le contrôle de la force de contact reste un maillon faible. Il faut toutefois relativiser. Il s'agit d'un preprint non évalué par les pairs, testé sur des produits dont les propriétés varient peu d'une pièce à l'autre. Rien n'indique encore une tenue face à des emballages, des objets déformables complexes ou des cadences industrielles, ni un gain mesuré face à une pince à régulation de force classique. Ce travail s'inscrit dans une longue lignée de recherches sur le toucher robotique. Les capteurs visuotactiles à base de gel, de type GelSight, ont rendu la mesure du contact bon marché et riche en information. Les approches de préhension adaptative reposaient jusqu'ici surtout sur la détection de glissement, qui corrige la force après coup, alors que cette méthode vise à estimer les propriétés avant ou pendant la saisie. Côté industrie, des acteurs comme Soft Robotics, OnRobot ou Robotiq proposent des pinces à retour d'effort ou des mains souples, tandis que les fabricants d'humanoïdes misent sur des mains à retour tactile. Les prochaines étapes à surveiller sont la publication du jeu de données et du code, des essais sur des catégories d'objets plus larges et un transfert vers des pinces commerciales. Aucun calendrier de pilote n'est annoncé.

RecherchePaper
1 source
Apprendre de nouveaux tours à un chien robot : compétences variées de quadrupède par apprentissage par renforcement et par imitation combinés, avec sélection adverse des tâches
178arXiv cs.RO 

Apprendre de nouveaux tours à un chien robot : compétences variées de quadrupède par apprentissage par renforcement et par imitation combinés, avec sélection adverse des tâches

Des chercheurs proposent une méthode en trois étapes pour entraîner une politique unique de locomotion et de manipulation capable d'exécuter 22 tâches distinctes sur un robot quadrupède, à partir de 8 politiques « enseignantes » spécialisées. Dans un premier temps, chaque enseignant est entraîné par apprentissage par renforcement (RL) sur une tâche étroitement définie : marche, creusement, saut, etc. Deux étapes supplémentaires distillent ensuite ces compétences dans une politique « élève », avec un objectif combinant RL et apprentissage par imitation (IL). Un mécanisme de sélection adverse des tâches concentre l'entraînement sur la tâche où l'élève est le moins performant. La politique obtenue sait aussi composer des comportements inédits, comme ramper, à partir des compétences de base. Le résultat a été déployé sur un Unitree B1, un quadrupède du commerce, ce qui constitue la partie « monde réel » de l'évaluation. L'étude, publiée sur arXiv (v1), est une preuve de concept académique et non un produit. L'enjeu tient à un verrou connu de la robotique à pattes : le RL réussit bien sur une tâche isolée, mais les applications visées, comme la robotique agricole ou l'exploration spatiale, exigent un répertoire varié (se déplacer, creuser, inspecter de près). L'apprentissage multitâche de bout en bout souffre d'une faible efficacité en échantillons et de conflits de gradients entre tâches, où l'amélioration de l'une dégrade les autres. Selon les auteurs, leur méthode préserve mieux la qualité du mouvement et suit plus précisément les commandes que deux références : un PPO multitâche classique et une approche « distiller puis affiner ». Elle généraliserait même parfois à des tâches jamais entraînées explicitement. Ces affirmations viennent de l'article lui-même. Les résultats chiffrés, la taille des écarts et la part de l'évaluation réalisée en simulation plutôt que sur le B1 ne figurent pas dans le résumé et restent à vérifier. Pour un intégrateur, l'intérêt est de pouvoir entraîner des spécialistes séparément, puis les fusionner en un seul contrôleur, sans repartir de zéro à chaque nouvelle compétence. Ce travail s'inscrit dans la montée en puissance de la distillation multi-enseignants et du RL en simulation pour la locomotion, après les politiques de marche robustes des dernières années. La difficulté a ensuite été d'étendre ces politiques à des comportements variés sans qu'elles s'oublient les unes les autres. Le choix du Unitree B1, plateforme répandue en recherche et en inspection industrielle, rend la reproduction plausible pour d'autres laboratoires. Les concurrents sont nombreux : les approches multitâches par RL pur, les politiques généralistes de type VLA (vision-langage-action), et les méthodes de distillation de compétences portées par plusieurs groupes académiques. Aucun pilote commercial ni calendrier n'est annoncé. Les suites probables sont des évaluations sur des terrains agricoles ou planétaires réels, et une extension à un nombre de tâches plus élevé. Une vidéo de démonstration est disponible, mais, comme souvent, elle ne dit rien du taux d'échec hors des essais présentés.

RecherchePaper
1 source
RESETTLE : récupération robotique par recherche déclenchée par désaccord et contrôle correctif efficace
179arXiv cs.RO 

RESETTLE : récupération robotique par recherche déclenchée par désaccord et contrôle correctif efficace

RESETTLE, un framework de récupération d'erreurs pour la manipulation robotique, est décrit dans un preprint arXiv (2610.12185) qui cible un problème concret des politiques robotiques gelées : corriger une dérive d'exécution sans payer la latence d'un raisonnement vision-langage répété ou d'une optimisation de trajectoire en ligne. Le système, indépendant du modèle de base, se greffe à l'interface d'exécution des actions. Il déclenche une récupération lorsque deux propositions d'action, échantillonnées indépendamment dans des conditions identiques, divergent de façon persistante. Il récupère alors une démonstration de référence pour la même tâche à l'aide d'un encodeur V-JEPA adapté. Il combine ensuite un a priori d'asservissement d'état et un résiduel visuel protégé pour exécuter une seule action corrective, avant de rendre la main à la politique de base. Les gains annoncés en simulation, sur six politiques de base, atteignent 8,70 points de succès absolus sur LIBERO-Plus, 6,28 sur Meta-World et 6,83 sur RoboCasa Tabletop. Des améliorations sont aussi rapportées sur quatre tâches réelles avec deux politiques. Avec QwenPI, la latence de surveillance et de récupération est inférieure de 74,04 % à 93,57 % à celle de la surveillance et de la planification de VoLoAgent pour les appels d'outils de saisie et de dépose. Le taux de succès de Harness VLA sur le test Swap de LIBERO-Pro passe de 42 % à 50 %. L'intérêt pour l'industrie tient à la position choisie : la robustesse est traitée comme une couche externe, légère et réutilisable, sans réentraîner ni modifier la politique. Pour un intégrateur qui exploite déjà un VLA (modèle vision-langage-action) en production, cela évite de dépendre d'un modèle de raisonnement lourd à chaque anomalie, source de latence qui retarde l'intervention. Le désaccord entre deux échantillons de la politique sert de signal d'incertitude bon marché, sans capteur ni superviseur supplémentaire. La compatibilité avec une planification agentique de haut niveau, illustrée par le passage de 42 % à 50 % sur LIBERO-Pro Swap, suggère une brique complémentaire plutôt qu'un concurrent des architectures à base d'agents. Les réserves sont nettes. Les gains absolus restent modestes, entre 6 et 9 points en simulation. Les benchmarks sont connus et les quatre tâches réelles sont peu nombreuses. La comparaison de latence avec VoLoAgent porte sur des appels d'outils précis, pas sur le temps de cycle d'une tâche complète. Rien n'indique non plus un déploiement industriel. Il s'agit d'un résultat de recherche, pas d'un produit. Le travail s'inscrit dans la montée des VLA généralistes et dans un constat désormais partagé : ces politiques échouent souvent par accumulation d'écarts, que l'imitation seule corrige mal. Les approches concurrentes de détection et de récupération reposent généralement sur des modèles vision-langage rappelés à chaque étape ou sur de la planification itérative, ce que RESETTLE cherche à éviter. Le choix de V-JEPA, une famille d'encodeurs vidéo à prédiction latente, reflète l'intérêt croissant pour les représentations de monde dans la robotique. Le code est publié sur GitHub par le laboratoire JIA-Lab. Les suites logiques seront des tests sur davantage de tâches physiques, des mesures de latence en boucle fermée sur matériel embarqué et une validation sur des cas de manipulation industrielle plus longs, où la récupération d'erreur conditionne la disponibilité réelle des systèmes.

RecherchePaper
1 source
RAGNAROK : alignement normalisé par la gravité assisté par radar pour un SLAM radar-visuel-cinématique-inertiel robuste à base de keyframes
180arXiv cs.RO 

RAGNAROK : alignement normalisé par la gravité assisté par radar pour un SLAM radar-visuel-cinématique-inertiel robuste à base de keyframes

Des chercheurs ont publié sur arXiv (v1, octobre 2026) RAGNAROK, présenté comme le premier système de SLAM fusionnant radar, vision, cinématique des pattes et centrale inertielle, conçu pour les robots à pattes évoluant dans des environnements dégradés. Le système combine plusieurs briques. Une estimation de vitesse des jambes tient compte du glissement et des contacts roulants. Un facteur radar exploite la cinématique du robot. Un traitement d'image corrige les dégradations visuelles. S'y ajoutent un socle proprioceptif assisté par radar, fondé sur des B-splines, une pondération adaptative des capteurs et une calibration extrinsèque en ligne. Les auteurs annoncent des performances robustes et supérieures à celles des méthodes de référence, sur des jeux de données publics et sur leurs propres collectes. Le code source et le jeu de données sont disponibles sur GitHub (dépôt hanjun815/RAGNAROK). Le résumé ne donne aucune valeur chiffrée, ni erreur de trajectoire, ni liste des méthodes comparées, ni plateforme robotique précise. L'enjeu est la fiabilité de l'estimation d'état pour les quadrupèdes et autres robots à pattes hors des conditions de laboratoire. Les estimateurs purement proprioceptifs (odométrie des jambes et IMU) se dégradent sur terrain accidenté, là où les pieds glissent ou roulent. Le radar, qui fonctionne dans la fumée, la poussière, le brouillard ou la faible luminosité, apporte une mesure de vitesse indépendante, mais sa faible observabilité du lacet (yaw) provoque une dérive à long terme. Associer le radar à la vision et à la cinématique, avec une fusion qui détecte et pondère les capteurs défaillants, répond à un besoin concret pour l'inspection industrielle, la sécurité civile ou les sites miniers, où les robots doivent tenir sans intervention humaine. Le caractère ouvert du code et des données permet aussi une reproduction indépendante. C'est un point appréciable dans un domaine où les comparaisons restent souvent difficiles à vérifier. Ce travail s'inscrit dans une série de méthodes récentes qui ont introduit le radar dans l'odométrie des robots à pattes pour compenser les limites de la proprioception. Les auteurs relèvent que la fusion tolérante aux pannes en environnement hostile reste peu explorée, et c'est la lacune qu'ils visent. Il s'agit d'une publication de recherche sous forme de lettre, sans produit commercial ni déploiement annoncé. Les résultats n'ont pas été validés par des pairs à ce stade et les gains revendiqués face à l'état de l'art restent à vérifier sur le code publié. Les prochaines étapes probables sont l'évaluation par d'autres équipes, une éventuelle version révisée avec des métriques détaillées, puis une intégration dans des chaînes de navigation pour quadrupèdes industriels.

RecherchePaper
1 source
VersaCamVLA : des politiques VLA à caméra configurable pour la manipulation robotique
181arXiv cs.RO 

VersaCamVLA : des politiques VLA à caméra configurable pour la manipulation robotique

VersaCamVLA, un framework publié sur arXiv (2610.12451, première version), s'attaque à une faiblesse structurelle des modèles Vision-Language-Action (VLA) : leur dépendance à une configuration de caméras fixe pendant l'entraînement. Les auteurs proposent une interface de « scene tokens » qui convertit un ensemble variable de vues RGB avec pose connue en un nombre fixe de tokens latents de scène. Cette interface est apprise par prédiction de vue cible multi-signaux, et par une méthode d'échantillonnage baptisée Wrist-Augmented Pose Sampling (WAPS), qui exploite les mouvements naturels de la caméra poignet pour obtenir gratuitement de la diversité de poses. Au déploiement, un encodeur spatial léger injecte ces tokens compacts dans un VLA de base préentraîné, comme condition visuelle supplémentaire. Aucun capteur 3D explicite ni rendu de nouvelles vues n'est nécessaire. Les tests couvrent les benchmarks RoboTwin et LIBERO ainsi qu'une plateforme robotique réelle. Les auteurs affirment que VersaCamVLA dépasse les méthodes VLA antérieures et les références multi-vues directes, avec des performances stables quand le nombre de caméras change ou que leurs poses n'ont jamais été vues. L'enjeu est très concret pour les intégrateurs. Un VLA entraîné avec une caméra tête et une caméra poignet à des positions précises perd en fiabilité dès qu'un opérateur déplace une caméra de quelques centimètres, ajoute une vue ou remplace un capteur. Cette fragilité est l'un des freins au passage de la démonstration au déploiement multi-sites, où la géométrie des cellules varie d'un client à l'autre. Découpler la représentation de la scène de l'apprentissage de l'action permet, en principe, de réutiliser un même modèle de base sans réentraînement par configuration, et de réduire les coûts de recalibration. L'approche, qui se greffe sur un VLA existant au lieu d'en exiger un nouveau, est un argument d'adoption. Elle suggère aussi que la généralisation aux changements de point de vue peut passer par une interface visuelle dédiée plutôt que par davantage de données de téléopération. Il faut toutefois relativiser. Il s'agit d'un preprint non évalué par les pairs, dont les résultats reposent sur des benchmarks en simulation et sur une seule plateforme réelle. Le résumé ne chiffre ni les taux de réussite, ni l'amplitude des changements de pose testés, ni le coût de calcul supplémentaire. Ces points seront décisifs pour juger de l'intérêt industriel. Le travail s'inscrit dans la course à la robustesse des VLA, aux côtés de familles de modèles comme Pi-0 ou GR00T, dont les déclinaisons restent généralement entraînées sur des configurations de capteurs précises. Les prochaines étapes à surveiller sont la publication du code et des poids, des tests sur des VLA de base variés, et une validation en conditions réelles avec des variations de caméras mesurées, par exemple sur des lignes de picking ou d'assemblage.

RecherchePaper
1 source
ExecVLA : respecter des contraintes d'exécution fines dans les modèles vision-langage-action (VLA) grâce à une représentation d'action à deux niveaux
182arXiv cs.RO 

ExecVLA : respecter des contraintes d'exécution fines dans les modèles vision-langage-action (VLA) grâce à une représentation d'action à deux niveaux

Des chercheurs proposent ExecVLA, un cadre pour les modèles vision-langage-action (VLA) qui vise à faire respecter des contraintes d'exécution fines données dans l'instruction, alors que l'objectif de la tâche reste identique. Ces contraintes portent sur la cible d'interaction, le motif de mouvement, les relations spatiales et la configuration terminale. Le cadre sépare une composante orientée but d'une composante spécifique à l'exécution. Pour cela, il utilise une représentation d'action à deux niveaux et des jetons de raisonnement à deux niveaux, supervisés. Deux objectifs d'entraînement s'y ajoutent. L'invariance du but maintient stable la représentation de haut niveau entre les exécutions d'un même but. La prédictibilité de l'exécution garantit que la représentation de bas niveau conserve les contraintes qui distinguent ces exécutions. Les auteurs ont construit des jeux de données dédiés, avec annotations de but et de raisonnement fin, en simulation (sur la base de LIBERO) et sur un bras Realman-75. Ils rapportent une meilleure complétion des tâches et, surtout, un respect nettement plus fiable des contraintes. L'extrait ne fournit aucun chiffre précis, ni taux de réussite ni écart avec les modèles de référence, ni nombre d'épisodes ou de tâches. L'enjeu est de distinguer deux critères que les benchmarks VLA actuels confondent souvent. Une politique orientée but est jugée sur l'accomplissement de la tâche, sans regarder la manière. Or, en contexte industriel, la manière compte. Contourner un obstacle par la gauche, saisir un objet par une zone précise, déposer une pièce selon une orientation donnée ou s'arrêter dans une pose finale imposée sont des exigences courantes en assemblage, en logistique ou en manipulation en environnement partagé. Les trajectoires qui réussissent la même tâche ne sont donc pas interchangeables. Ce travail met en évidence une limite des VLA généralistes : ils ignorent facilement les consignes de style d'exécution tant que le but est atteint. Pour un intégrateur, la contrôlabilité fine par le langage peut devenir un critère de sélection aussi important que le taux de réussite brut. Il faut toutefois rester prudent. Il s'agit d'un article académique sur un seul bras, avec des jeux de données maison, et les contraintes évaluées restent probablement proches de celles de l'entraînement. Aucun résultat ne porte encore sur la généralisation à des contraintes inédites ou sur des cadences industrielles. Le contexte est celui d'une génération de VLA (Pi-0, Helix, GR00T et leurs dérivés) qui a surtout progressé sur la généralisation de la tâche et la robustesse perceptive. La question du pilotage fin de l'exécution reste moins traitée. Des approches voisines utilisent le raisonnement en chaîne de pensée ou des représentations intermédiaires de trajectoire pour guider l'action. ExecVLA y ajoute une séparation explicite entre le but et la manière, avec une supervision dédiée. Il s'agit d'une version révisée (v2) d'un préprint arXiv, sans partenaire industriel ni calendrier de déploiement annoncé. Les prochaines étapes à surveiller sont une évaluation sur d'autres embodiments, des comparaisons directes avec les VLA ouverts du moment, et la publication du code et des jeux de données, qui permettrait à la communauté de reproduire les résultats.

RecherchePaper
1 source
DAMP : locomotion humanoïde par apprentissage de croyance débruitée et a priori de mouvement adverses
183arXiv cs.RO 

DAMP : locomotion humanoïde par apprentissage de croyance débruitée et a priori de mouvement adverses

Des chercheurs publient sur arXiv (2610.11505) DAMP, un cadre d'apprentissage par renforcement conçu pour la locomotion de robots humanoïdes sur terrains difficiles, sans aucune information perçue : ni caméra, ni lidar, ni carte de hauteur. Le système repose sur des réseaux de neurones récurrents qui exploitent les dépendances temporelles pour inférer de façon implicite l'information dite privilégiée (celle dont dispose le simulateur mais pas le robot réel) ainsi que d'autres variables latentes utiles à la tâche. Les représentations apprises sont alignées sur l'objectif de la tâche, ce qui doit produire une politique robuste et cohérente avec le but visé. Le titre indique aussi l'emploi de « denoised belief learning », c'est-à-dire un état de croyance débruité, et d'« adversarial motion priors », des a priori de mouvement adversariaux qui poussent la démarche vers un style naturel. L'ensemble est entraîné de bout en bout puis transféré de la simulation au monde réel. Les auteurs annoncent une démonstration sur robot physique, disponible en vidéo. Le résumé ne donne ni plateforme, ni chiffres de performance, ni description des terrains testés. L'intérêt tient à l'hypothèse de départ. Beaucoup de contrôleurs de marche humanoïde récents s'appuient sur la perception extéroceptive pour franchir marches, pentes et obstacles, ce qui ajoute des capteurs, de la latence et des modes de défaillance : occlusions, poussière, éclairage, calibration. Une politique aveugle, qui déduit le terrain de la seule proprioception et de l'historique des mouvements, offrirait une couche de repli fiable et moins coûteuse pour des machines destinées à des sites industriels ou logistiques. Elle illustre aussi une tendance de fond de la recherche : distiller dans une politique déployable le savoir du simulateur, un schéma enseignant-élève rendu plus propre par la mémoire récurrente. Il faut toutefois rester prudent. Il s'agit d'un préprint, sans évaluation indépendante, et une vidéo de démonstration ne renseigne ni sur le taux de réussite, ni sur la sévérité des terrains, ni sur la reproductibilité. La notion de « terrain complexe » n'est pas chiffrée dans le texte disponible. Ce travail s'inscrit dans une lignée bien établie. Les politiques de locomotion aveugles entraînées par RL et transférées de la simulation au réel se sont imposées sur les quadrupèdes, avec l'apprentissage de type enseignant-élève popularisé autour de l'ETH Zurich. Les adversarial motion priors, issus de l'animation de personnages, servent à obtenir des allures plus humaines sans réécrire à la main les fonctions de récompense. Côté humanoïdes, les acteurs industriels (Figure, Tesla avec Optimus, Agility Robotics, Unitree, Boston Dynamics) combinent de plus en plus RL en simulation et perception, tandis que des acteurs européens comme Wandercraft ou Enchanted Tools travaillent aussi sur la marche robuste. Reste à savoir si DAMP sera accompagné d'un code ouvert, de comparaisons chiffrées avec des méthodes de référence et de tests sur plusieurs morphologies, éléments qui permettront de juger sa portée réelle.

RecherchePaper
1 source
DreamTrue : un modèle du monde robotique fidèle aux actions, grâce à un post-entraînement contrefactuel
184arXiv cs.RO 

DreamTrue : un modèle du monde robotique fidèle aux actions, grâce à un post-entraînement contrefactuel

DreamTrue, un modèle du monde pour robots publié sur arXiv (2610.12468), vise à prédire des vidéos fidèles aux actions commandées et physiquement plausibles. Il est multi-vues et inter-embodiments, c'est-à-dire entraîné pour fonctionner sur plusieurs types de robots. Les auteurs, regroupés derrière la page projet brave-eai, partent de deux obstacles des jeux de données robotiques existants. Une calibration imprécise dégrade le suivi des actions. Une couverture limitée des interactions ratées biaise les prédictions vers des issues réussies. Pour y répondre, l'équipe projette les trajectoires d'actions en conditions dans l'espace image, puis applique une calibration géométrique hors ligne qui les aligne sur les vidéos cibles. Elle ajoute un post-entraînement contrefactuel, qui modifie les trajectoires enregistrées et génère les vidéos futures sous un éventail plus large d'actions et de configurations de contact. Faute de vérité terrain appariée pour ces futurs, elle a construit un jeu de vidéos annotées par des humains, couvrant les défauts du robot, des objets et de l'interaction. Il sert à entraîner un modèle de récompense vidéo incarné, dont les scores guident un post-entraînement par apprentissage par renforcement. Sur la plateforme AgiBot, DreamTrue annonce l'état de l'art en suivi d'actions et fait passer le taux de défauts d'interaction, évalué par des humains, de 48,12 % à 6,25 %. Il se classe premier de la piste « world model » de l'AgiBot World Challenge 2026. L'enjeu dépasse le classement. Les modèles du monde servent de plus en plus de simulateurs appris pour évaluer des politiques, générer des données synthétiques ou planifier, et leur défaut majeur est l'optimisme : un modèle entraîné surtout sur des démonstrations réussies « hallucine » des saisies qui aboutissent, même quand l'action commandée devrait échouer. Un tel biais rend le modèle inutile pour tester une politique, puisqu'il ne reproduit pas les échecs. L'approche contrefactuelle, couplée à une récompense apprise sur des défauts annotés, s'attaque directement à ce problème. La baisse de 48 % à 6 % est spectaculaire, mais elle repose sur une évaluation humaine dont le protocole, la taille d'échantillon et la définition des défauts restent à examiner. Elle est mesurée sur un seul robot, ce qui laisse ouverte la généralisation inter-embodiments revendiquée. Il s'agit par ailleurs d'un préprint, sans déploiement réel ni usage en boucle fermée démontré. Le travail s'inscrit dans la course aux modèles du monde robotiques, où se côtoient des systèmes de type Cosmos de NVIDIA, Genie de Google DeepMind et les efforts autour des jeux de données AgiBot World. AgiBot, le constructeur chinois, utilise son challenge pour fédérer la recherche autour de sa plateforme et de ses données, ce qui oriente aussi les résultats vers son matériel. Les suites logiques sont la publication du code et des poids, une validation sur d'autres robots, et surtout la preuve qu'un modèle du monde ainsi calibré classe correctement des politiques réelles, ce qui reste le test décisif pour les intégrateurs et les équipes de recherche.

RecherchePaper
1 source
La supervision d'actions d'ordre supérieur donne une classe de politiques performante
185arXiv cs.RO 

La supervision d'actions d'ordre supérieur donne une classe de politiques performante

Des chercheurs publient sur arXiv (2610.11175) une méthode qui supervise conjointement les actions d'ordre zéro, c'est-à-dire les étiquettes d'action classiques, et d'ordre un, soit leur variation dans le temps, lors de l'entraînement de politiques de contrôle. L'approche prend la forme d'un schéma de perte accompagné de garanties théoriques formelles. Elle s'applique à n'importe quel modèle de politique (déterministe, stochastique ou de type flow policy) sans modification d'architecture. Elle se branche aussi comme module léger sur des cadres d'apprentissage par renforcement hors ligne existants. Les auteurs l'évaluent sur deux bancs d'essai de référence, OGBench et D4RL, couvrant de nombreux environnements de contrôle continu. Ils rapportent des gains substantiels de performance et de robustesse, ainsi qu'une meilleure généralisation hors distribution (OOD) quand les données sont rares. Le résumé de l'article ne chiffre pas ces gains, et l'expérimentation reste cantonnée à la simulation. Le problème visé est bien connu des équipes qui déploient de l'apprentissage par imitation (IL) ou par renforcement (RL) sur des robots physiques ou des véhicules autonomes. Ces politiques produisent des commandes qui saccadent ou oscillent, et elles se dégradent dès que l'on sort légèrement des conditions d'entraînement. Les auteurs attribuent cette instabilité au fait que l'on n'optimise que l'action instantanée, sans contrainte sur sa cohérence temporelle. Si le résultat se confirme au-delà des benchmarks, l'enjeu est concret pour les intégrateurs : moins de lissage ou de filtrage en aval, des actionneurs moins sollicités, et un écart plus faible entre la démo et le terrain. Le fait que la méthode soit agnostique à l'architecture est un atout pratique, car elle pourrait se greffer sur les politiques de type diffusion ou flow matching qui équipent aujourd'hui les modèles VLA. Il faut toutefois rester prudent : OGBench et D4RL sont des environnements simulés, aucune validation sur matériel n'est annoncée, et la qualifier d'« idéale » pour les problèmes réels reste une affirmation des auteurs, pas une démonstration. Ce travail s'inscrit dans un courant plus large qui cherche à rendre les politiques apprises plus régulières, par exemple avec le prédiction de séquences d'actions (action chunking), les pénalités de lissage ou le filtrage des commandes. Beaucoup de ces techniques corrigent le symptôme en aval ou imposent des changements structurels, là où cette proposition agit sur la perte elle-même. Les concurrents directs sont donc ces approches de régularisation temporelle et les méthodes d'IL et de RL hors ligne évaluées sur les mêmes benchmarks. L'étape suivante décisive sera un test sur robots réels, notamment en manipulation et en locomotion, où la qualité des dérivées d'action conditionne la sécurité et l'usure mécanique. Aucun code, calendrier ou partenariat industriel n'est mentionné dans le résumé. Le papier en est à sa première version (v1) et n'a pas encore été relu par des pairs.

RecherchePaper
1 source
Apprentissage de représentations de traversabilité conditionnées par le langage pour une navigation visuelle adaptative
186arXiv cs.RO 

Apprentissage de représentations de traversabilité conditionnées par le langage pour une navigation visuelle adaptative

Des chercheurs présentent sur arXiv (2610.11622) LaTraNav, un cadre de navigation visuelle qui apprend des représentations de traversabilité conditionnées par le langage. L'architecture est asynchrone: un modèle vision-langage (VLM) lent produit des représentations latentes de la traversabilité et du but de navigation, tandis qu'un planificateur rapide par flow matching, conditionné sur ces représentations, génère les trajectoires directement dans l'espace pixel. L'entraînement repose sur un pipeline de génération de données en simulation, avec trajectoires contrôlables, qui fournit des observations associées à des instructions en langage naturel, des cartes de traversabilité, des positions de but et des trajectoires variées. Une étape de traduction d'image photoréaliste réduit l'écart visuel avec le monde réel. Les évaluations, menées sur des jeux de données de sources multiples, portent sur la segmentation de traversabilité guidée par le langage et la localisation du but (VLM lent), ainsi que sur la planification adaptative de chemin (planificateur rapide). Le résultat chiffré principal est une cadence de mise à jour des trajectoires multipliée par 6,05 à cadence sémantique identique grâce à l'ordonnancement asynchrone. L'intérêt tient à ce que la traversabilité cesse d'être codée en dur. Les chaînes classiques reposent sur des cartes de coûts explicites ou des masques de segmentation avec des critères prédéfinis, qui exigent des règles manuelles et un réglage minutieux pour chaque robot. Ici, la même perception peut s'adapter aux capacités d'une plateforme ou aux préférences d'un opérateur par simple instruction (par exemple éviter l'herbe, accepter un gravier ou franchir un petit obstacle). Pour les intégrateurs, cela réduit le coût de re-paramétrage d'une flotte hétérogène. Le résultat le plus instructif est que le conditionnement latent surpasse l'usage de masques de segmentation explicites, ce qui nuance l'idée que la sortie intermédiaire interprétable est toujours préférable. Les masques dépendent aussi du point de vue et deviennent obsolètes quand la latence de perception augmente, un problème que l'approche asynchrone contourne en laissant le planificateur rapide corriger la trajectoire entre deux mises à jour sémantiques. Ce travail s'inscrit dans la tendance des architectures à deux vitesses, popularisées en manipulation et en humanoïde par des systèmes comme Helix de Figure ou GR00T de NVIDIA, où un module de raisonnement lent guide un contrôleur rapide. Il transpose cette logique à la navigation visuelle, face aux approches VLM directes, trop lentes pour le contrôle réactif, et aux pipelines de cartes de coûts classiques, plus rapides mais rigides. Il faut toutefois rester prudent: l'entraînement est majoritairement simulé, les données d'évaluation sont des jeux de données et non des déploiements sur robot, et le gain de 6,05 fois mesure une fréquence de mise à jour, pas une réussite de mission. Aucun déploiement sur robot réel, plateforme matérielle ni calendrier de transfert industriel n'est annoncé dans le résumé. La validation sur robot physique, en environnement non structuré et sous latence réelle, sera l'étape décisive.

RecherchePaper
1 source
CAPABLE : adaptation de politique selon les capacités par encodage latent comportemental
187arXiv cs.RO 

CAPABLE : adaptation de politique selon les capacités par encodage latent comportemental

Des chercheurs proposent CAPABLE (Capability-Aware Policy Adaptation via Behavioral Latent Encoding), un cadre d'adaptation destiné aux politiques vision-langage-action (VLA) gelées confrontées à une panne d'articulation. Une VLA suppose l'embodiment sur lequel elle a été entraînée, et peut échouer quand un défaut modifie la manière dont les commandes sont exécutées physiquement. CAPABLE infère en ligne la « capacité » de chaque joint, c'est-à-dire la part du mouvement commandé réellement réalisée et sa contribution au comportement de l'effecteur. Il s'appuie sur l'historique commande-réponse et la cinématique, avec un encodeur temporel partagé entre les joints, un ancrage par la jacobienne, une attention inter-joints et une prédiction physique auto-supervisée. Cette représentation conditionne une politique résiduelle, entraînée par apprentissage par renforcement, qui ajoute des corrections bornées à l'action du bras produite par la VLA, sans étiquette de panne ni identifiant du joint défaillant. Sur 28 tâches LIBERO, le taux de réussite avec un actionneur exclu de l'entraînement aux pannes passe de 24,8 % à 59,3 %. Le gain est de 17,4 points face à une base de référence à historique global de même nombre de paramètres, sans dégrader les performances à l'état sain. Des expériences « leave-one-actuator-out » sur six joints montrent que le transfert ne dépend pas d'un actionneur particulier. Des évaluations complémentaires portent sur des familles de pannes inédites, ainsi qu'une démonstration de récupération sur un Franka Panda réel. L'intérêt tient à la méthode. La plupart des approches de récupération sur panne exigent un réentraînement par tâche, des étiquettes de défaut, un diagnostic explicite ou des informations privilégiées sur l'embodiment, ce qui les rend peu praticables en exploitation. Ici, la VLA reste figée et seule une couche résiduelle légère s'adapte, ce qui préserve l'investissement dans un modèle de fondation. Pour un intégrateur ou un exploitant de flotte, la dégradation d'un actionneur (usure, jeu, couple réduit) est un cas courant, et une robustesse sans maintenance du modèle serait précieuse. Les résultats appellent toutefois à la prudence. Un taux de 59,3 % reste loin d'une fiabilité industrielle, et le gain est mesuré en simulation sur LIBERO, un banc d'essai de manipulation sur table. La validation physique se limite à une démonstration sur un seul bras, sans statistiques annoncées. Le résultat montre surtout que l'inférence de capacité à partir de l'historique de mouvement généralise entre articulations, pas que le problème est résolu. Ce travail s'inscrit dans le constat que les VLA actuelles sont entraînées sur un embodiment supposé intact. Elles ont progressé en généralisation sémantique et en tâches, mais restent fragiles face à un changement de dynamique du robot lui-même. Les approches voisines relèvent de l'adaptation en ligne, de l'identification de système et de la randomisation de domaine, souvent avec des étiquettes ou un réentraînement. CAPABLE se positionne comme un adaptateur modulaire, compatible avec une VLA gelée. La suite logique serait de tester d'autres plateformes, des pannes combinées et des tâches longues, avec davantage d'essais réels. Le code et les démonstrations sont annoncés sur la page du projet, capable-vla.github.io. Il s'agit d'un preprint arXiv (v1), non encore évalué par les pairs.

RecherchePaper
1 source
Conditionnement sur le futur tenant compte de la fiabilité pour une manipulation robotique robuste dans le temps
188arXiv cs.RO 

Conditionnement sur le futur tenant compte de la fiabilité pour une manipulation robotique robuste dans le temps

Des chercheurs publient sur arXiv (2610.11956) une méthode appelée Reliability-Aware Future Conditioning (RAFC). Elle s'attaque à un point faible des politiques robotiques guidées par des vidéos générées de la tâche à venir: le décalage temporel entre le clip reçu et la phase réelle d'exécution. Sur le benchmark simulé CALVIN, un décalage anticipé de seulement cinq images fait chuter le taux de succès de 81,3 % à 54,8 %, soit presque le niveau sans vidéo (54,0 %). Des décalages imposés le ramènent à 34,2 %, soit 19,8 points sous la politique sans futur. RAFC s'appuie sur Future-Experience Conditioning (FEC), qui construit le clip une seule fois à partir d'un ancrage de la tâche, d'un rollout de jumeau numérique sans robot et d'une diffusion vidéo sans masque. À chaque pas, RAFC estime le degré de confiance à accorder au clip et l'hypothèse temporelle voisine à privilégier. Il bascule vers une branche statique si aucune ne convient. Ces deux estimations sont apprises uniquement à partir de la récompense de la tâche, sans étiquettes de décalage. Sur un Franka avec un décalage de timing naturel, non imposé, le succès agrégé passe de 26,7 % à 56,7 %. L'intérêt est de reformuler le problème: la qualité de génération ne suffit pas, il faut contrôler la façon dont le futur généré est consommé. Un clip cohérent avec la tâche mais mal aligné devient nuisible, un risque que les démonstrations en conditions idéales ne montrent pas. Pour les équipes qui intègrent des modèles vidéo dans leurs piles de manipulation, la latence d'inférence et les écarts de cadence entre génération et exécution sont donc des modes de défaillance de premier ordre. Les auteurs précisent aussi que l'essentiel du gain près de l'alignement vient de l'ensemble de candidats. L'apport propre de la fiabilité apprise est de 7,0 points par rapport à une moyenne uniforme, sous décalages hors grille. Ce travail s'inscrit dans la lignée des approches qui utilisent la prédiction vidéo comme planificateur pour des politiques vision-langage-action. Il reste de la recherche académique: aucun produit ni déploiement n'est annoncé. Les résultats portent sur des jeux de tâches limités. Les pourcentages du test Franka suggèrent un échantillon réduit, de l'ordre de la trentaine d'essais, ce qui invite à la prudence. Les auteurs promettent de publier l'ensemble des ressources sur future-condition.github.io. La suite logique sera une validation sur davantage de plateformes, de tâches longues et de conditions industrielles réelles.

RecherchePaper
1 source
Being-M0.7 : un modèle du monde et de l'action latent pour robots humanoïdes
189arXiv cs.RO 

Being-M0.7 : un modèle du monde et de l'action latent pour robots humanoïdes

Being-M0.7 est un modèle monde-action latent pour robots humanoïdes, présenté dans un preprint arXiv (2610.11283v1). Il vise la loco-manipulation, c'est-à-dire la coordination de la marche et de la manipulation en anticipant l'évolution de la scène et les mouvements du corps entier. Ses auteurs s'appuient sur un corpus constitué à partir de plus de 10 000 heures de données brutes centrées sur l'humain. Ce corpus mêle trois types de flux: vidéo seule, mouvement seul, et paires vidéo-mouvement. L'entraînement se fait en trois temps. Un pré-entraînement apprend la dynamique visuelle et la structure cinématique du corps entier. Un « mid-training » robot adapte ensuite ce prior aux points de vue et à la dynamique corporelle des robots. Enfin, un post-entraînement d'action greffe un « action expert » qui combine les représentations prédictives du prior figé avec les images courantes et la proprioception, par attention croisée à portes (gated cross-attention), pour produire des commandes corps entier exécutables. Les auteurs annoncent le meilleur taux de succès agrégé parmi les baselines comparées sur le benchmark SIMPLE. Sur des tâches réelles de loco-manipulation avec un Unitree G1, le modèle égale la meilleure baseline sans la dépasser. Le résumé ne donne ni chiffres de succès, ni liste des tâches, ni nombre d'essais. L'intérêt tient à l'attaque d'un goulot d'étranglement connu: les démonstrations robot sont rares et coûteuses, alors que la vidéo et la capture de mouvement humaines abondent. Leur exploitation se heurte à deux obstacles. Beaucoup de jeux de données n'ont qu'une modalité, et le mouvement humain ne se traduit pas directement en actions robot. Prédire conjointement les états visuels latents futurs et le mouvement pousse les représentations visuelles à encoder la cinématique à venir. L'étape intermédiaire robot et l'action expert servent de pont vers l'exécution. Le résultat réel reste nuancé. L'avantage est net en simulation, mais il disparaît sur le matériel: la parité avec la meilleure baseline sur G1 suggère que l'écart simulation-réel n'est pas résolu et que le gain du pré-entraînement sur données humaines reste à démontrer au-delà de benchmarks maîtrisés. Les intégrateurs doivent y voir une piste de recherche prometteuse pour réduire la dépendance à la téléopération, et non une capacité prête pour le déploiement. Il s'agit d'une publication académique, sans produit, sans pilote industriel ni calendrier de commercialisation. Ce travail s'inscrit dans la vague des modèles monde-action et des VLA (vision-langage-action) appliqués aux humanoïdes, où plusieurs acteurs cherchent à exploiter la vidéo humaine à grande échelle. On y trouve des modèles généralistes de type Pi-0, GR00T ou Helix, et des approches qui prédisent le futur visuel pour guider l'action. Le Unitree G1, humanoïde abordable très répandu dans les laboratoires, sert de plateforme de validation commune, ce qui facilite la comparaison entre équipes. La version «0.7» laisse penser à une série de modèles Being, dont les itérations précédentes ne sont pas détaillées ici. Les suites à surveiller sont la publication du code, des poids et des protocoles d'évaluation, ainsi que des tests sur des plateformes plus variées et des tâches plus longues. Une confirmation indépendante sur matériel réel dira si l'avantage observé en simulation se maintient.

RecherchePaper
Aussi surRobotics & Automation News
Retargeting neuronal génératif pour la manipulation dextre du robot à partir de démonstrations humaines
190arXiv cs.RO 

Retargeting neuronal génératif pour la manipulation dextre du robot à partir de démonstrations humaines

Des chercheurs proposent Generative Neural Retargeting (GNR), une méthode qui utilise un modèle de flow matching pour convertir des démonstrations humaines en trajectoires de manipulation dextre exécutables par un robot. Sur le benchmark de l'étude, GNR atteint un taux de succès de 56,20 %, contre 27,20 % pour un contrôle prédictif par échantillonnage (MPC), tout en n'utilisant que 8,5 % des échantillons requis par ce dernier. Appliquée au sein d'un « real-to-sim data engine », la méthode a servi à produire un jeu de données de manipulation dextre de 223 000 démonstrations couvrant 3 300 géométries d'objets, avec des étiquettes denses de forces de contact. Les auteurs revendiquent aussi la capacité à traiter des démonstrations longues et à précision millimétrique. L'enjeu est celui de l'écart d'embodiment entre la main humaine et la main robotique. Les démonstrations humaines sont la source de données la plus extensible pour apprendre la dextérité, mais elles ne s'exécutent pas telles quelles sur un robot. La cinématique inverse (IK) est rapide, mais elle ignore la dynamique et produit souvent des mouvements infaisables. L'apprentissage par renforcement (RL) et le MPC par échantillonnage donnent des mouvements réalisables, mais à un coût élevé. Le RL demande un entraînement instable et un réglage fastidieux des fonctions de récompense. Le MPC traite chaque trajectoire isolément, si bien que résoudre un cas ne facilite pas le suivant, et son coût d'échantillonnage explose avec la taille du jeu de données et la difficulté de la tâche. GNR repose sur l'hypothèse que les trajectoires dynamiquement faisables se concentrent près d'une variété de faible dimension commune à toutes les démonstrations. Retargeter revient alors à échantillonner cette variété, conditionnée par le mouvement humain, au lieu de résoudre un problème d'optimisation neuf à chaque fois. Si l'hypothèse tient à grande échelle, elle réduit le coût marginal de chaque démonstration supplémentaire, ce qui compte pour quiconque cherche à alimenter des politiques de manipulation dextre en données humaines. Une réserve s'impose toutefois : un taux de succès de 56,20 % reste modeste en absolu, et il est mesuré en simulation. Le résumé ne précise ni le benchmark, ni la main robotique utilisée, ni de transfert vers du matériel réel. Le gain face au MPC est net, mais l'écart avec le RL n'est pas quantifié. Ce travail s'inscrit dans la course aux jeux de données de manipulation dextre. Cette course oppose la téléopération, coûteuse et lente à passer à l'échelle, aux vidéos et captures de mouvement humains, abondantes mais sujettes à l'écart d'embodiment. Les modèles génératifs de type diffusion et flow matching, déjà devenus courants dans les politiques VLA et les robots humanoïdes, sont ici appliqués non pas au contrôle direct mais à la production de données d'entraînement. Il s'agit d'une prépublication arXiv (v1) qui n'a pas encore été évaluée par des pairs. Les suites à surveiller sont la publication éventuelle du code et du jeu de données de 223 000 démonstrations, ainsi que des tests sur mains robotiques réelles. Ils diraient si ces trajectoires, labellisées en forces de contact, améliorent effectivement des politiques déployables.

RecherchePaper
1 source
PhysMoDPO : mouvement humanoïde physiquement plausible grâce à l'optimisation par préférences
191arXiv cs.RO 

PhysMoDPO : mouvement humanoïde physiquement plausible grâce à l'optimisation par préférences

PhysMoDPO est un cadre d'optimisation par préférences directes (DPO) publié sur arXiv en mars 2026 (version 3 révisée). Il vise à rendre les mouvements humanoïdes générés à partir de texte à la fois conformes à la physique et fidèles à l'instruction d'origine. Les méthodes actuelles génèrent un mouvement avec un modèle de diffusion entraîné sur de grandes bases de données de mouvements humains. Elles le passent ensuite dans un contrôleur du corps entier (WBC) qui le convertit en trajectoires exécutables par un personnage simulé ou un robot réel. Le WBC rend la trajectoire compatible avec la physique, mais il peut l'éloigner nettement du mouvement voulu. Les auteurs intègrent donc le WBC directement dans la boucle d'entraînement. Le modèle de diffusion est optimisé pour que la sortie du WBC, et non le mouvement brut, respecte la physique et le texte. Des récompenses physiques et spécifiques à la tâche servent à classer les trajectoires synthétisées par ordre de préférence. Les tests portent sur la génération texte-vers-mouvement et sur le contrôle spatial, avec des robots simulés, puis sur un transfert zéro-shot en simulation. Le déploiement réel se fait sur un humanoïde Unitree G1. Le résumé annonce des gains constants en réalisme physique et en métriques de tâche, mais ne publie aucun chiffre. On ne connaît donc ni l'ampleur de l'amélioration ni la taille de l'échantillon testé sur le G1. L'intérêt tient à la manière de traiter l'écart entre le mouvement généré et le mouvement exécutable. Jusqu'ici, on corrigeait surtout ce défaut avec des heuristiques écrites à la main, comme des pénalités de glissement de pied appliquées au modèle génératif. PhysMoDPO les remplace par un signal d'apprentissage issu du contrôleur lui-même. Le générateur apprend alors ce que le WBC peut réellement suivre. Cette approche est modulaire, car elle laisse le contrôleur bas niveau en place et ajuste seulement le modèle de haut niveau. Pour un intégrateur, cela réduit le risque de voir une démonstration de mouvement séduisante se dégrader à l'exécution. Il faut toutefois rester prudent. Le G1 est la plateforme académique la plus répandue, la validation réelle semble limitée à une démonstration, et rien n'indique de robustesse sur des tâches longues ou des charges utiles. Le passage du simulateur au robot réel reste donc à confirmer à plus grande échelle. Ces travaux s'inscrivent dans un mouvement plus large qui relie modèles génératifs de mouvement humain et contrôle du corps entier pour les humanoïdes. Le texte-vers-mouvement par diffusion a mûri sur des bases de capture humaine. En parallèle, les contrôleurs appris par renforcement en simulation sont devenus le standard pour suivre des références sur du matériel comme le G1. Les récents modèles de fondation robotiques, qui combinent vision, langage et action, cherchent le même objectif par une autre voie, celle de politiques apprises de bout en bout. PhysMoDPO relève de l'approche hiérarchique : un générateur de mouvement au-dessus d'un contrôleur de suivi. La suite logique consiste à publier les chiffres détaillés, à tester d'autres robots et d'autres WBC, et à évaluer la méthode sur des mouvements plus dynamiques ou en interaction avec l'environnement.

RecherchePaper
1 source
PLaW-VLA : modélisation prédictive d'un modèle du monde latent pour les politiques vision-langage-action
192arXiv cs.RO 

PLaW-VLA : modélisation prédictive d'un modèle du monde latent pour les politiques vision-langage-action

PLaW-VLA, une politique vision-langage-action (VLA) décrite dans un preprint arXiv (2610.12285), propose de donner aux robots une capacité d'anticipation sans payer le coût habituel des modèles du monde génératifs. Les auteurs modélisent les états futurs pertinents pour la tâche dans un espace de représentation latent pré-entraîné, orienté prédiction, au lieu de reconstruire les pixels. L'architecture repose sur un Mixture-of-Transformers. L'action est générée à partir de l'historique d'observations, de la sémantique de la tâche en cours et des états futurs prédits, via une attention causale structurée. Les résultats annoncés sont un gain de 11,8 points de pourcentage sur le benchmark RoboTwin Hard Horizon III par rapport à des politiques purement réactives, et un gain de 1,77 point sur LIBERO-Plus en zéro-shot par rapport à une prédiction latente fondée sur la reconstruction. Le modèle du monde est léger et prédit les états futurs en parallèle. Sa latence d'inférence est environ 19 fois inférieure à celle d'une modélisation générative monde-action, pour une performance de politique comparable. L'intérêt pour l'industrie tient à l'inférence. Les VLA augmentés d'un modèle du monde génératif sont difficiles à embarquer, car la génération d'images futures ajoute une latence incompatible avec le contrôle en boucle fermée sur du matériel réel. Un facteur 19 sur la latence, à performance égale, indique que l'essentiel de l'information utile à la planification longue se loge dans une représentation compacte, et que la fidélité visuelle des prédictions n'est pas nécessaire. Le résultat contredit l'idée que prévoir le futur exige de le dessiner. Il faut toutefois relativiser. Ces chiffres viennent de benchmarks simulés (RoboTwin, LIBERO-Plus), sans validation sur robot physique mentionnée. Le gain de 1,77 point en généralisation est modeste et sa significativité statistique n'est pas précisée. Pour un intégrateur, c'est une piste d'architecture à surveiller, pas un produit ni un déploiement. Ce travail s'inscrit dans la course aux VLA dotés de capacités prédictives, après la première génération de politiques réactives (de type Pi-0 ou OpenVLA), qui mappent directement l'observation courante vers l'action et échouent sur les tâches à long horizon. Une seconde famille, qui intègre des modèles du monde génératifs pour imaginer le futur en pixels, a montré des gains mais au prix d'un calcul élevé. PLaW-VLA se positionne entre les deux, avec une prédiction latente allégée. Il s'agit d'un preprint en version 1, sans revue par les pairs. Aucun code, calendrier de publication ni test sur robot réel n'est annoncé. La suite logique serait une validation sur plateformes physiques et des comparaisons directes avec les VLA généralistes industriels sur des tâches de manipulation longues, où la latence reste le critère décisif.

RecherchePaper
1 source
MiniWAM : apprendre des cibles futures compactes pour une modélisation monde-action efficace
193arXiv cs.RO 

MiniWAM : apprendre des cibles futures compactes pour une modélisation monde-action efficace

Des chercheurs présentent MiniWAM, un modèle « monde-action » (World Action Model, ou WAM) de 0,25 milliard de paramètres. Il prédit conjointement les actions d'un robot et une représentation compacte de l'état futur, au lieu des caractéristiques visuelles natives d'un encodeur pré-entraîné. Les WAM actuels prédisent généralement l'avenir dans l'espace de représentation de ces encodeurs, ce qui donne des cibles de grande dimension et coûteuses à entraîner. MiniWAM réduit le nombre de tokens de caractéristiques futures de 65 fois par rapport à une prédiction native, avec DINOv3 comme avec le VAE de WAN2.1. Les auteurs annoncent aussi un entraînement jusqu'à 8 fois plus rapide. Ces cibles compactes viennent d'un encodeur baptisé PRISM (Predictive Representations via Inverse Spatiotemporal Modeling). Il est appris sur des transitions privilégiées entre l'état courant et l'état futur. Il combine une supervision par dynamique inverse, qui cherche à retrouver l'action ayant produit la transition, et une reconstruction des caractéristiques. Une fois PRISM gelé, MiniWAM apprend à prédire ces cibles et les actions à partir des seules observations courantes. Les résultats sont donnés sur les benchmarks de simulation LIBERO, LIBERO-Plus et RoboTwin 2.0. Selon les auteurs, MiniWAM y surpasse systématiquement la prédiction de caractéristiques natives et reste compétitif face à des WAM nettement plus gros. Pour les équipes qui entraînent des politiques robotiques, le résultat est surtout économique. L'hypothèse implicite de nombreux WAM veut que le co-entraînement par prédiction du futur exige de reconstruire ou prédire des représentations visuelles riches, donc de gros budgets de calcul. Ici, une cible bien choisie, qui retient l'information utile au contrôle plutôt que les détails de pixels ou de textures, donne de meilleurs résultats pour beaucoup moins de calcul. L'analyse des représentations va dans le même sens : PRISM apporterait une structure comportementale que la seule reconstruction de caractéristiques n'apporte pas. Une précaution s'impose. Toutes les évaluations citées sont en simulation, et rien n'indique de transfert sur robot réel, de temps de cycle ou de déploiement. Le taux de réussite sur des benchmarks déjà bien étudiés ne dit pas non plus comment la méthode se comporte en environnement non structuré. Le gain de 8 fois porte sur l'entraînement du modèle monde-action, pas sur la latence d'inférence. Ces travaux s'inscrivent dans la montée des WAM, qui ont fait du modèle du monde un objectif de co-entraînement pour les politiques vision-langage-action (VLA). Cette approche concurrence les VLA purement réactifs, qui ne prédisent que l'action. Les WAM plus lourds restent la référence de comparaison, avec des dizaines de fois plus de paramètres. À 0,25B, MiniWAM vise un créneau plus accessible aux laboratoires universitaires et aux équipes à budget GPU limité. Le papier est une prépublication arXiv (v1), non relue par des pairs, et une page de projet accompagne le travail. La suite logique serait une validation sur matériel réel et une comparaison avec des politiques déjà déployées. Sans ces tests, l'efficacité observée en simulation ne garantit pas encore une valeur industrielle.

RecherchePaper
1 source
Agir selon sa croyance, regarder au besoin : un modèle du monde spatial bayésien pour la navigation sous perception intermittente
194arXiv cs.RO 

Agir selon sa croyance, regarder au besoin : un modèle du monde spatial bayésien pour la navigation sous perception intermittente

Des chercheurs ont présenté ALONE, un modèle de monde spatial bayésien conçu pour la navigation de drones lorsque la perception est intermittente (preprint arXiv 2610.11591). Le système maintient une croyance spatiale structurée, propagée à partir des actions exécutées, puis corrigée par des observations acquises de façon sélective. Des a priori appris sur les structures géométriques courantes lui permettent d'inférer ce qui n'a pas été vu. La croyance est décodée en une estimation spatiale pour le module de planification de mouvement, accompagnée d'une carte de fiabilité qui exprime la confiance dans cette estimation. ALONE ne demande une nouvelle image que si la fiabilité insuffisante gêne la navigation et si une observation peut améliorer la région concernée. Sinon, il continue d'agir à partir de sa croyance. L'instanciation testée utilise une seule caméra de profondeur, avec une décision prise à 10 Hz. Dans deux familles de scènes simulées, le taux de succès en boucle fermée atteint 98 % et 97 %. Parmi les essais réussis, la fraction médiane de pas de décision exigeant une nouvelle image de profondeur n'est que de 0,9 % et 1,3 %. Les vols réels en intérieur ont été réussis dans 10 essais sur 10. L'enjeu est la contention d'un capteur partagé. Sur beaucoup de robots, la même caméra doit servir à la navigation et à d'autres tâches, comme l'inspection, la manipulation ou le suivi d'une cible. La navigation classique compense l'observabilité partielle par une couverture large et haute fréquence, ce qui devient une contrainte dès que le capteur est détourné. Les chiffres indiquent qu'un drone peut naviguer en n'utilisant son capteur que pour environ un pas de décision sur cent. Cela libère le capteur pour d'autres missions et peut aussi réduire la consommation de calcul et d'énergie. Pour un intégrateur, cela ouvre la voie à des plateformes plus légères, avec moins de capteurs, ou à des robots qui alternent perception de navigation et perception de mission. Il faut toutefois rester prudent. Les résultats viennent surtout de la simulation, la validation réelle se limite à 10 vols en intérieur, et les deux familles de scènes ne sont pas décrites en détail. Les performances en environnement dynamique, avec des obstacles mobiles ou peu structurés, ne sont pas démontrées. Ce travail s'inscrit dans la recherche sur les modèles de monde et la navigation active, où la perception est généralement traitée comme un flux continu et non comme une ressource à allouer. Il rejoint les approches de cartographie probabiliste et de perception active, mais ajoute des a priori géométriques appris et une carte de fiabilité qui pilote la décision de « regarder ». Les concurrents sont les pipelines de navigation de drone fondés sur des cartes d'occupation ou des champs de distance mis à jour en continu, ainsi que les politiques apprises de bout en bout. Ces dernières consomment toutes des images à chaque pas. L'article est un preprint (v1), sans pilote industriel ni calendrier de déploiement annoncés. Les prochaines étapes probables sont des tests sur des scènes plus variées, des environnements dynamiques et une intégration avec des tâches concurrentes réelles sur le capteur partagé.

RecherchePaper
1 source
Skill-SLM : des petits modèles de langage pilotés par des compétences d'agent pour une opération robotique fiable
195arXiv cs.RO 

Skill-SLM : des petits modèles de langage pilotés par des compétences d'agent pour une opération robotique fiable

Des chercheurs proposent Skill-SLM, un cadre qui confie à de petits modèles de langage (SLM) embarqués sur le robot la tâche de décomposer une instruction en langage naturel en sous-tâches, de choisir les compétences adaptées dans une bibliothèque, puis de les orchestrer en opérations exécutables. Le travail, publié sur arXiv (2610.10812v1), repose sur trois briques. Une grammaire non contextuelle (CFG) tenant compte des compétences opérationnelles du robot sert à extraire celles qui sont nécessaires et à construire la bibliothèque. Des LLM « enseignants » induisent et synthétisent ensuite les jeux de données d'entraînement des SLM. Enfin, une stratégie d'orchestration progressive vise à fiabiliser l'exécution de chaque compétence et l'opération dans son ensemble. Les tests portent sur des tâches de drones (UAV), puis sur des véhicules terrestres. Le résumé ne donne ni taille de modèle, ni nombre de tâches, ni taux de réussite chiffrés. L'enjeu est de s'attaquer à un point faible des approches actuelles de SLM embarqués, surtout fondées sur la distillation. Elles supposent d'énumérer des paires tâche-solution représentatives, ce qui rend la construction des jeux de données coûteuse et généralise mal, car le nombre de formes de tâches possibles croît très vite. Raisonner en compétences réutilisables plutôt qu'en exemples de tâches complètes déplace le problème vers la composition. Selon les auteurs, cela améliore nettement les résultats face aux références par distillation, surtout sur des tâches inédites. Pour un intégrateur, l'intérêt est de pouvoir faire tourner un modèle léger directement sur la machine, sans dépendre d'un LLM distant, avec un comportement plus prévisible. Il faut toutefois rester prudent. Il s'agit d'une préimpression sans relecture par les pairs. Les gains annoncés sont relatifs à des baselines choisies par les auteurs, et l'essai sur véhicule terrestre sert surtout à illustrer la portabilité, non à prouver un passage à l'échelle. Rien n'indique de test sur robot réel en conditions industrielles, ni de mesure de latence ou de consommation sur matériel embarqué. Cette approche s'inscrit dans le mouvement qui rapproche les modèles de langage de la robotique, avec des planificateurs à base de compétences (dans la lignée de SayCan) et la génération de code par LLM. Elle se démarque des modèles vision-langage-action de bout en bout, qui apprennent directement des actions à partir de démonstrations. Ici, la couche de compétences reste explicite et vérifiable, ce qui peut faciliter l'audit. La limite probable est que la qualité du système dépend de la couverture de la bibliothèque et de la grammaire, et donc d'une ingénierie initiale propre à chaque plateforme. Les prochaines étapes naturelles seraient des validations sur matériel réel, des comparaisons directes avec des politiques VLA et des mesures sur calculateurs embarqués. Le code et les jeux de données ne sont pas mentionnés dans le résumé.

RecherchePaper
1 source
SuperNav : un système de navigation à base d'agents pour toute tâche dans n'importe quelle scène
196arXiv cs.RO 

SuperNav : un système de navigation à base d'agents pour toute tâche dans n'importe quelle scène

SuperNav, un système de navigation décrit dans un preprint arXiv (2610.12126) par l'équipe zju3dv de l'université du Zhejiang, vise les robots de service généralistes qui doivent répondre à des demandes humaines variées dans des environnements inconnus. Son principe : un grand modèle de langage multimodal (MLLM) préentraîné est utilisé tel quel, sans fine-tuning spécifique à la navigation. Il est encadré par un « agent harness », c'est-à-dire une couche logicielle composée de compétences de navigation (Navigation Skills), d'outils orientés agent pour l'interaction physique, et d'un module de suivi de progression de la tâche et de gestion du contexte. Une interface unifiée à base de points visuels relie la décision au mouvement : le modèle désigne directement une destination dans l'image, puis révise son choix à partir du retour d'exécution. Les auteurs affirment que SuperNav dépasse quatre méthodes de référence sur des tâches au niveau de l'instance, multi-objets et pilotées par un besoin (« j'ai soif », par exemple). Une évaluation par catégorie sur le jeu HM3D et un déploiement sur un robot quadrupède réel complètent les résultats. L'enjeu tient à l'architecture. Plusieurs approches récentes ajustent un MLLM pour qu'il prédise directement des actions de navigation, ce qui lie leur comportement à la couverture des données d'entraînement et limite la généralisation à des requêtes ou des lieux nouveaux. SuperNav prend le parti inverse : le modèle garde ses capacités générales de raisonnement et de compréhension de scène, et délègue l'exécution du mouvement à des outils classiques. Si cette séparation tient à grande échelle, elle réduit le coût de collecte de données de navigation et permet de profiter des progrès des modèles de fondation sans réentraînement. Pour un intégrateur, cela rapproche la navigation d'une brique modulaire, où l'on peut changer de modèle ou d'outil de locomotion sans tout reconstruire. Les réserves habituelles s'appliquent toutefois : le résumé ne fournit ni taux de réussite chiffrés, ni latence, ni coût d'inférence, ni nombre d'essais sur le quadrupède. L'écart entre benchmark simulé et terrain reste donc à mesurer, d'autant que l'appel répété à un grand modèle peut être pénalisant en temps réel. Ce travail s'inscrit dans la tendance des systèmes agentiques en robotique, qui exploitent des MLLM généralistes avec des outils, face aux modèles vision-langage-action (VLA) entraînés de bout en bout. Il s'oppose aux méthodes de navigation fine-tunées sur des données dédiées, qui sont ses comparaisons directes, même si le résumé ne nomme pas les quatre références. Il s'agit d'un preprint académique : il n'y a ni produit, ni calendrier de commercialisation, ni partenaire industriel annoncé. Une page de projet est disponible, et la suite logique serait la publication du code, des tests sur d'autres plateformes mobiles et des évaluations en environnements réels plus longs et plus encombrés, seuls capables de dire si l'approche dépasse le stade de la démonstration de laboratoire.

RecherchePaper
1 source
Un filtre à fenêtre glissante pour l'estimation d'état en ligne et en temps continu des robots continus
197arXiv cs.RO 

Un filtre à fenêtre glissante pour l'estimation d'état en ligne et en temps continu des robots continus

Des chercheurs proposent un filtre à fenêtre glissante (sliding-window filter, SWF) pour l'estimation d'état en temps continu des robots continuum (CR), ces structures flexibles de type trompe ou cathéter dont la forme se déforme de manière continue plutôt que par articulations discrètes. Le travail, publié sur arXiv (2510.26623, version 2), vise à résoudre un compromis ancien entre précision et coût de calcul. Les auteurs présentent leur méthode comme le premier SWF stochastique conçu spécifiquement pour les CR. Il tourne plus vite que le temps réel, améliore la précision par rapport à une approche de filtrage classique et permet à l'estimation en temps continu de fonctionner en ligne. Le résumé ne donne ni chiffres d'erreur, ni temps de calcul, ni plateforme expérimentale précise. Le verrou levé est triple. Les filtres stochastiques actuels doivent s'exécuter à la cadence des mesures, ce qui limite leur potentiel. Les formulations à fenêtre glissante déjà explorées pour les CR reposent sur des approximations simplifiées en temps discret et ne fournissent pas de représentation stochastique, donc pas d'incertitude associée à l'état estimé. Enfin, les techniques d'estimation en temps continu, plus rigoureuses sur le plan mathématique, restaient jusqu'ici cantonnées au traitement hors ligne. En combinant ces trois propriétés, la méthode rend utilisable en boucle fermée une estimation de forme et de pose avec incertitude, ce qui compte pour la chirurgie mini-invasive, l'inspection en espace confiné ou la manipulation souple, où les capteurs sont bruités et où la dynamique est difficile à modéliser. Il faut cependant relativiser: sans comparaison chiffrée détaillée dans le résumé, l'ampleur du gain de précision reste à vérifier dans l'article complet, et rien n'indique à ce stade de validation sur un robot déployé hors laboratoire. Ce travail s'inscrit dans la recherche académique sur la modélisation des robots continuum, où les filtres de Kalman étendus et leurs variantes dominent depuis longtemps, souvent au prix d'un compromis entre fidélité du modèle et latence. Les approches en temps continu, souvent fondées sur des processus gaussiens ou des représentations de trajectoire sur groupes de Lie, ont montré leur rigueur mais pas leur applicabilité temps réel, d'où l'intérêt de cette fenêtre glissante. Le texte ne nomme aucun concurrent industriel ni produit commercial, et il s'agit d'une contribution méthodologique et non d'un produit livré. Les suites logiques sont une validation expérimentale sur des CR physiques, des comparaisons avec les filtres existants et une intégration dans des chaînes de commande, notamment médicales. Les auteurs parlent eux-mêmes d'une «direction prometteuse pour de futures recherches», ce qui confirme un stade encore amont.

RecherchePaper
1 source
OmniDex : passage à l'échelle de la préhension à main dextérique dans des scènes encombrées variées
198arXiv cs.RO 

OmniDex : passage à l'échelle de la préhension à main dextérique dans des scènes encombrées variées

Des chercheurs publient sur arXiv (2610.11194) OmniDex, un benchmark et un modèle de préhension dextre pour scènes encombrées. Le jeu de données couvre plus de 2,6 millions de scènes et 0,4 milliard de vérités terrain de prises (« grasp ground truths ») spécifiques à chaque scène. Les auteurs ont d'abord sélectionné des objets 3D de haute qualité ainsi que des supports (tables, étagères et autres bases d'appui). Ils ont ensuite généré les scènes avec une stratégie « seed-and-filter » : on génère des agencements candidats, puis on filtre ceux qui sont physiquement valides. Cela évite l'optimisation lente, scène par scène, qui limitait jusqu'ici le passage à l'échelle. Chaque scène est associée à des observations sémantiques et géométriques riches. Le modèle OmniDex est génératif. Il combine un apprentissage « Soft Winner-Takes-All », qui traite la multimodalité des prises (plusieurs saisies valides pour un même objet), avec des contraintes physiques inspirées de la main humaine pendant l'entraînement. À l'inférence, un classement piloté par la physique sélectionne la meilleure prise, sans étape d'optimisation a posteriori. Les auteurs annoncent des performances à l'état de l'art et une bonne généralisation à travers des scènes, des points de vue et des objets inconnus. Pour l'industrie, l'enjeu est la donnée. La préhension dextre est la brique de base des humanoïdes et des manipulateurs à main articulée, mais la collecte réelle coûte cher et les jeux de données en simulation portaient surtout sur des objets isolés, alors que les cas d'usage (bacs, étagères, postes de tri) sont encombrés. Un corpus de cette taille, produit sans optimisation par scène, suggère que la simulation peut fournir des volumes comparables à ceux de la vision par ordinateur. La suppression de la post-optimisation compte aussi pour les intégrateurs, car cette étape ajoute de la latence au temps de cycle. Il faut toutefois rester prudent. L'étude est un preprint, et les résultats sont mesurés en simulation. Le papier ne fournit, dans ce résumé, ni taux de réussite chiffrés, ni validation sur matériel réel, ni temps d'inférence. Le fossé sim-to-real reste donc la vraie question, notamment pour la « précision du dernier millimètre » que les auteurs jugent défaillante chez les modèles génératifs actuels. Ce travail s'inscrit dans une série de benchmarks de préhension à grande échelle, qui ont d'abord traité les pinces parallèles puis les mains dextres sur objets seuls. Les modèles génératifs (diffusion, flow matching) y dominent, mais ils souffrent de prises imprécises qui exigent un affinage coûteux. OmniDex veut montrer qu'un classement physique peut remplacer cet affinage. Les acteurs concurrents sont les équipes qui préparent des politiques VLA pour humanoïdes et mains dextres, comme Figure avec Helix, NVIDIA avec GR00T ou Physical Intelligence avec Pi-0. Elles pourraient exploiter ce type de données comme pré-entraînement ou comme module de préhension. Aucun calendrier de diffusion du code ou du jeu de données n'est précisé ici. Le test décisif sera une démonstration sur main réelle en bac encombré, avec des taux de réussite publiés.

RecherchePaper
1 source
Seed2Scale : un moteur de données auto-évolutif à expansion de mondes parallèles pour l'apprentissage robotique à grande échelle
199arXiv cs.RO 

Seed2Scale : un moteur de données auto-évolutif à expansion de mondes parallèles pour l'apprentissage robotique à grande échelle

Des chercheurs proposent Seed2Scale, un moteur de génération de données auto-évolutif pour l'apprentissage robotique, décrit dans un préprint arXiv (2603.08260, version 2). Le système part d'à peine quatre démonstrations initiales. Il fonctionne selon un principe de synergie hétérogène : « petit modèle qui collecte, grand modèle qui évalue, modèle cible qui apprend ». Le collecteur est SuperTiny, un modèle Vision-Language-Action (VLA, qui traduit images et instructions en actions) très léger, chargé d'explorer l'espace des comportements. Un modèle vision-langage (VLM) pré-entraîné joue le rôle de vérificateur : il note et filtre automatiquement les trajectoires produites. Une seconde étape, dite « parallel worlds », reprend les trajectoires auto-évoluées et les projette dans d'autres environnements de la même tâche, afin de diversifier les données. Les auteurs indiquent que le taux de succès du modèle cible progresse de façon régulière au fil des itérations et dépasse nettement la référence entraînée sur les seules démonstrations initiales. En évaluation réelle sans adaptation (zero-shot), Seed2Scale atteint 75,38 % de réussite, là où les méthodes de comparaison tombent à 0 %. L'intérêt tient à l'objet traité : le goulot d'étranglement des politiques VLA reste la collecte de démonstrations, coûteuse en téléopération et en heures opérateur. Si une boucle de données peut partir de quatre exemples et s'améliorer sans intervention humaine, le coût marginal des données chute, ce qui intéresse les intégrateurs qui doivent adapter une politique à chaque site client. Le résultat vise aussi un défaut connu des boucles d'auto-amélioration : l'effondrement des performances quand le système s'entraîne sur ses propres sorties bruitées. Ici, le filtrage par VLM est présenté comme le garde-fou. Il faut toutefois lire le chiffre de 75,38 % avec prudence. Le résumé ne précise ni la tâche, ni le robot, ni le nombre d'essais réels, ni la nature des méthodes de référence qui échouent totalement. Un 0 % chez les concurrents suggère une configuration de test très défavorable à ces baselines, et un écart aussi net demande une validation sur davantage de tâches et d'embodiments avant de parler de passage à l'échelle démontré. Le travail s'inscrit dans la course aux données synthétiques et auto-générées pour la robotique, où se côtoient les approches par simulation massive, par génération vidéo ou par modèles du monde, et les grands modèles de fondation de type Pi-0 ou GR00T, qui misent plutôt sur des corpus de téléopération toujours plus vastes. Seed2Scale joue l'inverse : très peu de données humaines, beaucoup d'itérations autonomes. Il s'agit d'une publication académique, avec une page projet associée, et non d'un produit ni d'un déploiement industriel. Les suites probables sont une validation sur des tâches plus longues et plus variées, des comparaisons directes avec les pipelines de données des grands acteurs, et un test de robustesse du vérificateur VLM, dont la fiabilité conditionne toute la boucle.

RecherchePaper
1 source
SPAN-Nav : une conscience spatiale généralisée pour la navigation incarnée polyvalente
200arXiv cs.RO 

SPAN-Nav : une conscience spatiale généralisée pour la navigation incarnée polyvalente

SPAN-Nav est un modèle de fondation de bout en bout, décrit dans une version révisée (v2) de l'article arXiv 2603.09163, qui vise à doter la navigation incarnée d'une perception 3D universelle à partir de simples flux vidéo RGB. Les chercheurs entraînent le modèle sur une tâche de prédiction d'occupation, c'est-à-dire d'estimation des zones libres et occupées de l'espace, dans de nombreux environnements intérieurs et extérieurs. Pour limiter le coût de calcul, ils compressent ces connaissances spatiales en un unique token, qu'ils jugent suffisant pour porter les indices grossiers utiles à la navigation. Ce token est ensuite injecté explicitement dans le raisonnement sur les actions, selon une logique inspirée de la chaîne de pensée (Chain-of-Thought). L'équipe publie aussi un jeu de données de 4,2 millions d'annotations d'occupation couvrant l'intérieur et l'extérieur, ainsi que plusieurs types de tâches de navigation. Le modèle revendique l'état de l'art sur trois benchmarks et des essais en conditions réelles. L'intérêt tient à un point faible bien identifié des approches de navigation fondées sur les modèles vision-langage (VLM). Ces modèles généralisent bien en navigation guidée par le langage (VLN), mais leur planification de trajectoire se dégrade dans les environnements complexes, faute de compréhension géométrique fiable. Montrer qu'un seul token spatial suffit à corriger une partie de ce défaut est un résultat utile pour les intégrateurs: cela suggère qu'on peut gagner en robustesse sans capteurs 3D dédiés ni surcoût de calcul prohibitif sur des plateformes embarquées, avec une simple caméra RGB. L'entraînement multitâche semble aussi transférer ces acquis à des tâches sans supervision spatiale explicite. Il faut toutefois rester prudent: l'article ne donne pas, dans ce résumé, de chiffres de gain, de noms de benchmarks ni de plateformes robotiques. Le fossé entre résultats académiques et déploiement reste donc à évaluer, et les tests réels décrits n'ont pas de protocole détaillé. Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) et des VLM appliqués à la navigation, qui héritent de leur généralisation sémantique mais pas de leur sens de l'espace. Plusieurs équipes cherchent à y remédier en ajoutant des représentations 3D, des cartes d'occupation ou des modules de profondeur, souvent au prix d'architectures plus lourdes. SPAN-Nav se distingue par sa compacité et son intégration de bout en bout. La suite dépendra de la disponibilité du jeu de données et du code, de la reproduction des résultats par des tiers et de tests sur des robots mobiles, quadrupèdes ou humanoïdes en environnement industriel. Aucun pilote commercial ni calendrier n'est annoncé à ce stade.

RecherchePaper
1 source