Aller au contenu principal

Actualités robotique — page 2

7 325 articles au fil, du plus récent au plus ancien.

Quand le LiDAR faiblit, le radar prend le relais : localisation adaptative fondée sur la fiabilité du LiDAR en présence d'obscurcisseurs aéroportés
51arXiv cs.RO 

Quand le LiDAR faiblit, le radar prend le relais : localisation adaptative fondée sur la fiabilité du LiDAR en présence d'obscurcisseurs aéroportés

Des chercheurs proposent un cadre d'apprentissage temporel à classe unique pour détecter la dégradation d'un LiDAR et basculer automatiquement vers un radar lorsque la fumée ou la poussière rendent la localisation par LiDAR peu fiable. Le système repose sur un autoencodeur LSTM entraîné uniquement sur des données de fonctionnement nominal, sans aucune donnée de dégradation étiquetée. Il analyse sur des fenêtres glissantes un large ensemble d'indicateurs: caractéristiques spatiales, intermodales (LiDAR contre radar), géométriques et de mouvement, d'intensité, ainsi que la fraîcheur des mesures. L'écart par rapport au comportement sain produit une estimation de fiabilité du LiDAR. Celle-ci pilote le choix entre l'odométrie LiDAR-inertielle (LIO) et l'odométrie radar-inertielle (RIO): la LIO reste active tant que le capteur est fiable, et l'autorité de localisation passe à la RIO dès qu'une dégradation est détectée. L'évaluation porte sur des données réelles d'un robot terrestre, collectées dans des tunnels souterrains sans GNSS, en conditions nominales puis en fumée dense. Les auteurs annoncent une détection de la dégradation, une commutation adaptative des modalités et une sortie de localisation maintenue sous forte dégradation du LiDAR. Le code doit être publié en open source, mais il ne l'est pas encore. Les résumés disponibles ne donnent aucune erreur de trajectoire chiffrée. L'enjeu est pratique pour toute robotique opérant en milieu dégradé: mines, tunnels, inspection d'infrastructures, secours après incendie. Le LiDAR est la brique de perception de référence pour la cartographie temps réel, mais la fumée, la poussière et la vapeur le font échouer silencieusement, et la dérive qui en résulte peut compromettre une mission entière. Le radar millimétrique traverse ces obscurants, mais sa résolution est plus faible. D'où l'intérêt d'un arbitrage explicite plutôt que d'une fusion permanente qui traîne les défauts des deux capteurs. L'approche à classe unique répond à une contrainte réelle: les données de dégradation sont rares, coûteuses à étiqueter et difficiles à généraliser d'un site à l'autre. Un résultat notable est que, sur les scénarios de fumée dense évalués, une représentation réduite des caractéristiques améliore la performance par rapport à l'ensemble complet. Les auteurs en tirent un argument de parcimonie pour la détection d'anomalies capteur. Il faut toutefois rester prudent: l'évaluation se limite à un robot et à des tunnels précis, et rien n'indique de test de généralisation à d'autres types d'obscurants ou de plateformes. Ce travail s'inscrit dans la lignée des programmes de robotique souterraine de type DARPA SubT, qui ont fait de la localisation robuste sous poussière et fumée un problème central, et de l'essor des radars à ondes millimétriques bon marché pour l'odométrie. Les approches concurrentes combinent LiDAR, radar et caméras thermiques par fusion probabiliste, ou détectent la dégradation par des critères géométriques (dégénérescence de scène) plutôt que par un modèle appris du comportement nominal. La suite dépendra de la publication du code et de validations sur d'autres environnements, avec des métriques de dérive comparées aux méthodes de fusion continue, ainsi que d'une mesure de la latence de détection, déterminante pour éviter une dérive avant la bascule.

RecherchePaper
1 source
Coordination multi-LLM médiée par un vérificateur pour la planification de trajectoires multi-robots
52arXiv cs.RO 

Coordination multi-LLM médiée par un vérificateur pour la planification de trajectoires multi-robots

Des chercheurs proposent une architecture de coordination où plusieurs planificateurs fondés sur des grands modèles de langage (LLM) pilotent une équipe de robots, avec un vérificateur géométrique chargé de contrôler la faisabilité physique des plans. Le travail, publié sur arXiv (2610.12761), compare deux approches pour la navigation multi-robots. Dans la première, centralisée, un seul LLM raisonne conjointement sur toute l'équipe. Dans la seconde, décentralisée, chaque robot dispose de son propre LLM, qui propose indépendamment un plan de tâches. Le vérificateur convertit ensuite ces plans symboliques en trajectoires, prédit les conflits entre robots (collisions, occupation simultanée d'un même espace) et renvoie aux LLM un retour structuré pour un replanification ciblée, sur plusieurs itérations. Les expériences ont lieu dans le simulateur de conduite CARLA et sur des drones Crazyflie, en faisant croître la complexité des tâches. Le résumé publié ne donne aucun chiffre de performance, de taux de réussite ni de taille d'équipe. L'enjeu est un défaut bien connu des planificateurs à base de modèles de fondation : des plans corrects pris isolément peuvent devenir incompatibles une fois ancrés dans la géométrie, à cause des contraintes spatiales et temporelles partagées. Séparer le raisonnement sémantique de la faisabilité d'exécution revient à admettre qu'un LLM ne doit pas être seul garant de la sécurité d'une flotte. Pour les intégrateurs de flottes d'AMR, de drones ou de robots mobiles, c'est un schéma réutilisable : le LLM propose, un module déterministe dispose. L'étude cherche aussi à caractériser les compromis entre raisonnement centralisé, coordination décentralisée et exécutabilité physique. Elle pourrait donc indiquer à quelle complexité l'approche centralisée cesse de tenir. Cela concerne directement les architectures d'orchestration, où le choix entre un planificateur unique et des agents par robot pèse sur la latence, la robustesse aux pannes et le coût d'inférence. Sans résultats quantitatifs dans le résumé, ces bénéfices restent à vérifier dans l'article complet. Ces travaux s'inscrivent dans la vague des planificateurs de tâches fondés sur des LLM pour la robotique, qui a surtout été évaluée en mono-robot ou sur des tâches symboliques sans contraintes géométriques serrées. Le recours à un vérificateur externe rejoint les approches neuro-symboliques de type « LLM plus solveur », déjà répandues en planification. La validation sur Crazyflie, un micro-drone très utilisé en recherche, reste un banc d'essai de laboratoire, loin d'un déploiement industriel. La suite logique serait de tester des équipes plus nombreuses, des environnements dynamiques et des robots hétérogènes. Il faudrait aussi mesurer le nombre d'itérations de replanification nécessaires et leur coût en temps de calcul, deux critères décisifs pour tout usage en entrepôt ou en logistique.

RecherchePaper
1 source
Chronos Policy : apprendre les politiques de robots en temps physique
53arXiv cs.RO 

Chronos Policy : apprendre les politiques de robots en temps physique

Des chercheurs publient sur arXiv (2610.13929) Chronos Policy, une politique robotique qui rend le temps physique explicite au lieu de le laisser implicite dans la position des éléments d'une séquence. Les politiques actuelles transforment capteurs et commandes en séquences observation-action à fréquence fixe. Chronos Policy conditionne au contraire un diffusion transformer sur les instants de capture des observations et sur les instants d'exécution souhaités des actions. Deux mécanismes sont comparés: l'ajout d'embeddings d'horodatage aux features des tokens, ou l'encodage du temps dans le positionnement via des rotary positional encodings sensibles au temps (time-aware RoPE). Cette seconde voie s'avère plus robuste, car l'attention dépend directement du temps physique sans modifier le contenu des tokens. À l'entraînement, les auteurs randomisent temporellement les observations échantillonnées et le début du chunk d'actions, ce qui expose la politique à des calendriers de perception et d'exécution variés. Cela permet aussi d'apprendre à partir de données asynchrones et multi-fréquences, sans les forcer sur une grille temporelle fixe. Les tests couvrent la simulation et le monde réel. Pour les intégrateurs, l'enjeu est très concret: sur un robot déployé, les caméras, capteurs de force ou tactiles tournent rarement à la même cadence, les délais de transmission fluctuent et la latence d'inférence varie avec la charge de calcul. Une politique entraînée à pas fixe suppose que ces paramètres ne bougent pas, et cette hypothèse se brise justement au passage du laboratoire à la production. Les auteurs rapportent des gains sur les tâches dynamiques, où le délai entre observation et action est critique, et sur les tâches multisensorielles, où le décalage relatif entre capteurs compte. Sur les tâches quasi statiques, la performance nominale est conservée, avec une meilleure robustesse aux changements de timing. Le résultat suggère qu'une partie de l'écart entre démonstration et déploiement tient à la gestion du temps plutôt qu'à la seule capacité du modèle. Il faut toutefois rester prudent: il s'agit d'un préprint, l'extrait disponible ne donne ni taux de réussite, ni fréquences, ni noms de plateformes, et l'ampleur des gains reste donc à vérifier dans le papier complet. Ce travail s'inscrit dans la lignée des politiques par diffusion et des VLA à action chunking, qui prédisent des blocs d'actions à fréquence fixe, et des méthodes de chunking temps réel visant à masquer la latence d'inférence. Ces approches traitent en général le délai comme une perturbation à compenser, alors que Chronos Policy l'intègre comme variable d'entrée du modèle. L'extension de RoPE au temps continu prolonge l'usage de cet encodage, devenu standard dans les transformers, vers la robotique. La question de la compatibilité avec des modèles de fondation plus gros, comme Pi-0 ou GR00T, reste ouverte, de même que la validation hors laboratoire, sur des cellules industrielles avec des capteurs hétérogènes. Aucun calendrier de code ou de déploiement n'est annoncé.

RecherchePaper
1 source
UniConFlow : un cadre unifié d'appariement de flux sous contraintes pour une planification de mouvement certifiée
54arXiv cs.RO 

UniConFlow : un cadre unifié d'appariement de flux sous contraintes pour une planification de mouvement certifiée

UniConFlow est un cadre de génération de trajectoires fondé sur le flow matching, une famille de modèles génératifs, qui intègre de manière unifiée des contraintes d'égalité et d'inégalité. Il vise à couvrir en une seule architecture l'évitement de collisions, les limites d'actionnement et la cohérence dynamique, que les approches existantes traitent le plus souvent séparément ou par des heuristiques. Les auteurs ajoutent une « fonction d'annulation à temps prescrit » (prescribed-time zeroing function), qui façonne un champ de guidage variable dans le temps pendant l'inférence, de sorte que la génération s'adapte à différents modèles de système et exigences de tâche. Deux stratégies pratiques ciblent les trajectoires longues et de grande dimension : un protocole d'extraction des segments en violation, qui localise puis corrige uniquement les portions fautives, et une compression de trajectoire qui accélère l'optimisation dans un espace réduit tout en préservant une reconstruction fidèle après décodage. Le travail est validé sur trois expériences : un double pendule inversé, une course de voitures « real-to-sim » et une tâche de manipulation « sim-to-real ». Il s'agit de la version 3 d'un preprint arXiv (2506.02955), avec une page projet publique. L'intérêt tient au problème visé : les planificateurs génératifs (diffusion, flow matching) produisent des trajectoires multimodales flexibles, mais n'offrent pas de garanties de sécurité. Pour un intégrateur ou un responsable industriel, c'est l'obstacle principal au déploiement de politiques apprises près d'humains ou d'équipements coûteux. Un cadre qui impose les contraintes pendant l'inférence plutôt qu'au moyen de filtres de sécurité ajoutés après coup irait dans le sens d'une planification apprise « certifiable ». Les auteurs affirment que UniConFlow surpasse les planificateurs génératifs de l'état de l'art et les méthodes d'optimisation classiques sur la sécurité, la cohérence cinématique et dynamique et la faisabilité des actions. Ces affirmations restent à nuancer : le résumé ne fournit ni chiffres, ni taux de succès, ni temps de calcul. Les trois bancs d'essai sont de portée limitée, et le passage réel ne concerne qu'une tâche de manipulation, sans déploiement industriel ni mesure de latence en boucle fermée. Le terme « certifié » désigne ici des métriques de respect des contraintes, pas une certification au sens normatif (par exemple ISO 10218). Le contexte est celui d'une littérature très active sur la contrainte des modèles de diffusion et de flow matching, qui passe par des projections, du guidage par gradient ou des couches d'optimisation, souvent au prix d'un coût de calcul élevé sur de longs horizons. La compression de trajectoire et la correction localisée des segments répondent précisément à cette limite. Les alternatives restent l'optimisation de trajectoire classique (MPC, optimisation par contraintes) et les politiques VLA généralistes, qui privilégient la généralisation sur la garantie. La suite logique serait une validation sur des plateformes plus complexes, avec des contraintes de contact et des bras ou humanoïdes réels, et des comparaisons de temps d'inférence à l'échelle. Aucun partenaire industriel ni calendrier de déploiement n'est annoncé, et aucun acteur français ou européen n'est mentionné.

RecherchePaper
1 source
La connaissance de l'incertitude perceptive aide-t-elle un agent en conduite automatisée ?
55arXiv cs.RO 

La connaissance de l'incertitude perceptive aide-t-elle un agent en conduite automatisée ?

Des chercheurs publient sur arXiv (version 2 de l'étude 2502.11864) une analyse de l'effet de l'incertitude perceptive sur le comportement d'un agent de conduite automatisée entraîné par apprentissage par renforcement. Le protocole repose sur une tâche proxy: l'agent est récompensé s'il parcourt un itinéraire le plus vite possible sans collision avec les autres usagers. Pour contrôler l'expérience, les auteurs perturbent artificiellement la perception de l'agent, c'est-à-dire l'espace d'observation, puis comparent deux configurations. Dans la première, l'agent subit ces perturbations sans le savoir. Dans la seconde, l'estimation de l'incertitude courante est ajoutée directement à son observation. L'abstract ne fournit ni chiffres de performance, ni taux de collision, ni détail sur le simulateur ou l'algorithme utilisés. Les résultats vont dans le sens attendu. Une perception dégradée et non signalée conduit l'agent à adopter une conduite défensive, donc plus lente. Lorsque le niveau d'incertitude lui est communiqué, l'agent adapte son comportement à la situation et accomplit globalement sa tâche plus rapidement, tout en tenant compte des risques. Pour les ingénieurs en perception et en planification, l'enjeu est architectural. L'estimation d'incertitude est aujourd'hui surtout évaluée dans le domaine de la perception (taux de faux positifs, erreurs de calibration sur images de caméra), rarement pour son effet sur la décision. Ce travail suggère que propager cette information jusqu'à la politique de conduite peut réduire la prudence excessive sans sacrifier la sécurité. Il faut toutefois rester prudent: il s'agit d'une tâche proxy en simulation, avec des perturbations injectées et non des erreurs réelles de capteurs. Rien ne démontre à ce stade un transfert vers des véhicules réels, ni que les estimations d'incertitude d'un vrai système de perception seraient aussi bien calibrées que celles fournies ici à l'agent. Cette recherche s'inscrit dans un décalage connu entre deux communautés: celle de l'apprentissage par renforcement, qui traite la décision sous incertitude sans exposer à l'agent l'incertitude de son propre environnement, et celle de la perception, qui quantifie l'incertitude sans mesurer son utilité en aval. Le sujet touche directement les approches de bout en bout et les modèles vision-langage-action, où la confiance du modèle dans ses entrées reste rarement exploitée par la politique. Il s'agit d'une publication académique, sans produit ni déploiement associé. Les suites logiques seraient une validation avec des estimateurs d'incertitude réalistes, des scénarios plus complexes et, à terme, des essais en conditions réelles. Le fait que l'article en soit déjà à sa deuxième version indique un travail révisé, sans qu'on sache encore s'il a passé une relecture par les pairs.

RecherchePaper
1 source
Planification cinodynamique par échantillonnage avec des modèles du monde
56arXiv cs.RO 

Planification cinodynamique par échantillonnage avec des modèles du monde

Des chercheurs proposent d'abandonner les optimiseurs habituels (CEM, MPPI) au profit d'une planification de mouvement par échantillonnage cinématique et dynamique appliquée aux modèles du monde visuels. Leur méthode utilise le modèle appris comme propagateur d'un arbre de recherche dans l'espace latent. Deux stratégies d'exploration y sont déclinées : un RRT guidé par plus proches voisins et un KPIECE fondé sur des projections. L'expansion de l'arbre est calculée par lots, nativement sur GPU, pour bien exploiter le matériel. L'évaluation s'appuie sur un DINO-WM standard, sans réentraînement spécifique, testé sur quatre domaines simulés et sur une tâche réelle de poussée de bloc avec un robot. En simulation, les deux approches égalent ou dépassent le taux de succès de CEM et MPPI, avec un temps de planification jusqu'à 13,8 fois inférieur. Sur le robot réel, le taux de succès gagne 20 %. Le papier ne détaille pas, dans son résumé, l'ampleur absolue des taux de succès ni la taille des échantillons de test. L'enjeu dépasse l'optimisation de vitesse. Les modèles du monde visuels prédisent les conséquences d'actions à partir d'images, mais les optimiseurs qui les pilotent sont myopes : ils échouent dès que la progression exige un mouvement que la fonction objectif ne récompense pas, comme contourner un bloc avant de le pousser. Les auteurs montrent que les stratégies d'échantillonnage conçues pour la recherche en haute dimension dans l'espace de configuration se transposent directement à l'espace latent. L'arbre traverse ainsi des états intermédiaires que CEM et MPPI ne tirent jamais. Pour les intégrateurs et les équipes qui visent des tâches de manipulation à horizon long, le message est que le goulot d'étranglement tient autant à l'algorithme de planification qu'à la qualité du modèle du monde. Il faut toutefois rester prudent : quatre environnements simulés et une seule tâche réelle, très proche de la simulation, ne disent rien de la robustesse sur des scènes industrielles encombrées, déformables ou à contacts riches. Le gain de 20 % sur robot réel reste modeste et son intervalle de confiance n'est pas indiqué. Ce travail s'inscrit dans la montée des modèles du monde latents, dont DINO-WM, qui s'appuie sur des représentations visuelles DINO pré-entraînées pour prédire l'évolution des scènes sans reconstruction de pixels. La planification par échantillonnage de trajectoires (CEM, MPPI) est devenue la norme dans ce cadre, au prix des limites décrites plus haut. Les auteurs ramènent à ce domaine un héritage de la robotique classique : RRT et KPIECE, utilisés de longue date dans les planificateurs de mouvement de type OMPL. Il s'agit d'une publication académique (arXiv, version 1, octobre 2026), sans produit ni déploiement annoncé. Les suites naturelles sont des tests sur des tâches plus longues et plus variées, sur d'autres modèles du monde, et une comparaison avec les approches de politiques VLA apprises de bout en bout, qui évitent la planification explicite.

RecherchePaper
1 source
HumanX : des compétences d'interaction humanoïdes agiles et généralisables, apprises à partir de vidéos humaines
57arXiv cs.RO 

HumanX : des compétences d'interaction humanoïdes agiles et généralisables, apprises à partir de vidéos humaines

Des chercheurs présentent HumanX, un cadre unifié qui convertit de simples vidéos monoculaires de humains en compétences d'interaction pour robots humanoïdes, sans conception spécifique à chaque tâche. Le système repose sur deux briques co-conçues. XGen, un pipeline de génération de données centré sur des « ancres », produit à partir d'une vidéo des données d'interaction physiquement plausibles pour le robot, puis les augmente pour constituer un jeu d'entraînement varié. XMimic, un cadre d'apprentissage qui donne la priorité à l'interaction avec l'objet ou le partenaire, en tire des compétences généralisables à partir de quelques secondes de démonstration. L'évaluation couvre cinq domaines (basket, football, badminton, ramassage de colis et combat réactif), soit 9 compétences distinctes, transférées en zero-shot sur un Unitree G1 réel. Parmi les résultats cités figurent un tir en fadeaway après feinte et demi-tour, réalisé sans aucune perception externe, ainsi que des échanges de passes soutenus avec un humain sur plus de 10 cycles consécutifs, appris à partir d'une seule vidéo. L'intérêt tient à la contrainte que ce travail cherche à lever. L'apprentissage de l'interaction pour humanoïdes bute d'ordinaire sur deux obstacles : la rareté de données d'interaction réalistes, et la nécessité d'ingénierie de récompense minutieuse, tâche par tâche, qui empêche le passage à l'échelle. Si les résultats se confirment, une vidéo unique suffirait à produire une politique transférable en simulation vers le réel, ce qui réduit fortement le coût d'ajout d'une compétence. Les auteurs affirment une meilleure généralisation que les méthodes antérieures, mais le texte ne détaille pas ici les références comparées ni les taux de réussite. Il faut aussi relativiser la portée : la méthode vaut pour une classe d'interactions « ancrables », donc pas pour toute manipulation. Les démonstrations portent sur un seul robot, le G1, et le tir sans perception externe montre davantage la qualité du contrôle que de l'adaptation à un environnement imprévu. Il s'agit d'un résultat de laboratoire, sans déploiement industriel. Ce travail s'inscrit dans la vague de l'apprentissage de mouvements humanoïdes à partir de vidéos humaines et de capture de mouvement, où le Unitree G1, peu coûteux et très répandu dans les laboratoires, sert de plateforme de référence. Les approches concurrentes se divisent entre imitation avec récompenses conçues à la main, pipelines de retargeting de mouvement et modèles vision-langage-action généralistes (VLA) comme Pi-0, GR00T N2 ou Helix, plus orientés manipulation et instruction en langage naturel que dynamique agile. HumanX se positionne à l'inverse sur l'agilité et la réactivité physique. Cette version v2 de l'article sur arXiv (2602.02473) indique une révision du manuscrit. Parmi les suites à surveiller figurent une validation sur d'autres morphologies, un élargissement au-delà des interactions ancrables et une mesure plus systématique de la robustesse face à des conditions non contrôlées.

RecherchePaper
1 source
GOTT : manipulation dextre centrée sur l'objet, avec une primitive réutilisable d'une morphologie de robot à l'autre
58arXiv cs.RO 

GOTT : manipulation dextre centrée sur l'objet, avec une primitive réutilisable d'une morphologie de robot à l'autre

GOTT, publié sur arXiv (2610.03861, version 2), propose un cadre de manipulation dextre en trois temps, « reach-acquire-move », construit autour d'une unique primitive d'acquisition de contact valable d'un robot à l'autre. Le système prend en entrée une trajectoire d'objet indépendante du robot et une spécification d'approche (reach). Il amène d'abord la main près d'une zone de contact pertinente pour la tâche. Une primitive en boucle fermée, partagée entre les plateformes, établit ensuite un contact stable à partir de cette initialisation approximative. Un contrôleur conditionné par la pose de l'objet suit enfin le mouvement désiré. La spécification d'approche peut venir d'une planification anticipant la suite de la tâche, de modèles externes ou de démonstrations humaines. La primitive et le suivi restent identiques dans tous les cas. Les expériences, en simulation et sur robots réels, couvrent des objets variés, plusieurs combinaisons bras-main et des morphologies de main vues ou non pendant la conception. Le texte disponible ne donne ni taux de succès chiffrés, ni liste de plateformes, ni nombre d'essais. L'enjeu est de combler un maillon manquant. Les modèles de fondation et les grands jeux de données humaines fournissent beaucoup d'intentions de manipulation, mais leur traduction en comportements de mains multi-doigts reste fragile. Les mains dextres n'ont pas de primitive bas niveau réutilisable pour établir le contact. Chaque système réinvente donc sa phase de saisie, souvent en boucle ouverte. Les auteurs affirment que GOTT améliore de façon constante le succès de bout en bout par rapport à l'exécution de prises en boucle ouverte. Si cela tient hors laboratoire, la couche de contact deviendrait un module découplé des politiques de haut niveau, comme des VLA (modèles vision-langage-action) ou des pipelines de téléopération. Cela réduirait le travail de réglage pour chaque nouvelle main. La généralisation à des morphologies inconnues est l'argument le plus intéressant pour un intégrateur, car les parcs de mains dextres restent très hétérogènes. Le résumé ne précise toutefois ni l'ampleur du gain, ni la difficulté des objets, ni la part des résultats obtenus sur matériel réel. Ces points sont décisifs pour juger la portée du travail. Il s'agit d'une publication de recherche, sans produit ni déploiement industriel annoncé. Elle s'inscrit dans le courant de la manipulation centrée sur l'objet et du transfert de l'humain vers le robot, où la tâche se décrit par le mouvement de l'objet plutôt que par celui de la main. Ce courant cherche à dépasser les politiques propres à un seul robot. Le problème reste ouvert : on ne dispose pas encore d'une couche de contact standard pour les mains dextres, et plusieurs approches concurrentes de saisie apprise ou de retargeting de mains coexistent. Le passage à la version 2 indique un document révisé, mais le texte fourni ne dit pas ce qui a changé. La suite logique serait une validation sur des tâches longues, des objets déformables ou articulés et des mains industrielles, avec des métriques détaillées et du code ouvert.

RecherchePaper
1 source
PanTact : enseigner la dextérité du corps entier avec une interface de contact portable
59arXiv cs.RO 

PanTact : enseigner la dextérité du corps entier avec une interface de contact portable

PanTact est un système de recherche décrit dans l'article arXiv 2610.12558, qui apprend à un humanoïde à manipuler avec n'importe quelle surface adaptée de son corps, et non plus seulement avec ses mains. Les données viennent de démonstrations humaines sans robot. Le dispositif de collecte est portable et combine une vision égocentrique, des pinces UMI bimanuelles et des patchs de contact modulaires répartis sur le corps. Ces patchs enregistrent la position et l'état des contacts. Une politique visuomotrice, conçue pour réduire l'écart d'observation propre à la vue égocentrique, prédit ensuite des objectifs de contact pour tout le corps. Des formulations de contrôle du corps entier sensibles au contact les exécutent avec les surfaces du robot qui conviennent. L'équipe a déployé l'ensemble sur un Unitree G1, sans capteur de contact supplémentaire sur le robot. Elle démontre quatre types de comportements: appui corporel, poussée, balayage et partage de charge. L'extrait disponible ne donne ni taux de réussite, ni temps de cycle, ni nombre de démonstrations. Les performances chiffrées restent donc à vérifier dans l'article complet et sur le site du projet. L'intérêt tient au choix du contact comme représentation commune entre l'humain et le robot. La plupart des travaux de loco-manipulation sur humanoïdes limitent la manipulation aux mains et évitent les autres contacts avec l'environnement, alors que ces robots disposent de nombreux degrés de liberté et de surfaces utilisables. Ici, les positions et les instants de contact décrivent ce qu'il faut accomplir. Le robot choisit lui-même, selon ses contraintes physiques, comment coordonner son corps pour y parvenir. Cette séparation entre l'intention et le mouvement évite de retargeter les poses humaines vers un squelette différent, étape souvent source d'erreurs. Elle supprime aussi la téléopération de robots, coûteuse en temps et en matériel. Pour les intégrateurs, la perspective est de tâches qu'un humanoïde ne sait pas faire avec deux mains seules: pousser un chariot avec le torse, caler une charge contre le corps ou la porter à plusieurs surfaces. Il s'agit toutefois d'un résultat de laboratoire sur un seul robot. Il n'est pas un produit ni un déploiement, et rien n'indique encore une robustesse à l'échelle d'un site industriel. Le travail prolonge la lignée des interfaces UMI (Universal Manipulation Interface), qui ont montré qu'on pouvait collecter des démonstrations avec une pince portable, sans robot, et les transférer à des bras. PanTact étend cette logique du poignet au corps entier. Le choix du Unitree G1 reflète sa position de plateforme de recherche humanoïde abordable et très répandue dans les laboratoires. Les approches concurrentes reposent plutôt sur la téléopération en réalité virtuelle, le suivi de mouvement humain (motion capture) ou l'apprentissage par renforcement en simulation pour le contrôle du corps entier, et les modèles VLA généralistes se concentrent surtout sur les mains. Les suites logiques seraient une évaluation sur d'autres morphologies, des tâches plus longues et des environnements moins contrôlés. L'absence de capteurs de contact sur le robot laisse aussi ouverte la question de la fiabilité du contrôle en conditions réelles.

RecherchePaper
1 source
Rêver pour se souvenir : pilotage continu de politiques robotiques généralistes avec des modèles du monde
60arXiv cs.RO 

Rêver pour se souvenir : pilotage continu de politiques robotiques généralistes avec des modèles du monde

Des chercheurs proposent Dream to Remember (D2R), une méthode qui oriente en continu une politique robotique généraliste figée vers de nouvelles tâches, sans lui faire oublier les précédentes (arXiv 2610.13816). Le principe repose sur un petit module de « steering » qui agit sur le bruit d'entrée d'une politique générative gelée, entraîné par apprentissage par renforcement. Pendant qu'il apprend une nouvelle tâche, un modèle du monde pré-entraîné et figé rejoue les tâches antérieures par des déroulements imaginés. Il ancre ainsi le module sur ses comportements passés, sans tampon de rejeu ni nouvelles données. Si le modèle du monde est assez fidèle, la nouvelle tâche s'apprend entièrement en imagination. Sinon, elle s'apprend dans l'environnement réel ou simulé, et le modèle du monde ne sert qu'à répéter les anciennes tâches. Sur le benchmark CALVIN, D2R améliore huit tâches en séquence, entièrement en imagination, et fait passer le taux de succès moyen de 63,7 % à 74,8 %. Le fine-tuning LoRA sur la même séquence le fait chuter à 11,7 %. Avec π0 et le modèle du monde A2World, tous deux disponibles sur étagère et figés, D2R apprend des tâches LIBERO-90 inédites tout en conservant les performances de π0 sur les suites LIBERO où il a été affiné. Enfin, sur un robot Franka réel, trois tâches sont améliorées successivement, entièrement en imagination, sans perte des gains précédents. L'enjeu est celui de l'oubli catastrophique, un frein concret au déploiement de politiques généralistes (VLA) en production. Aujourd'hui, adapter un modèle à une nouvelle tâche, par fine-tuning des poids ou par un module de steering partagé, dégrade souvent les compétences antérieures. Un intégrateur qui enrichit sa flotte tâche après tâche doit alors revalider l'ensemble ou maintenir plusieurs modèles. Le résultat sur CALVIN, où le fine-tuning LoRA s'effondre à 11,7 %, montre l'ampleur du problème. Le cas π0/LIBERO-90 est intéressant car il fonctionne même avec un modèle du monde jugé trop imprécis pour optimiser une politique, ce qui suggère que ces modèles ont une valeur de « mémoire » avant d'avoir une valeur de simulateur. Les réserves sont claires : la démonstration réelle se limite à trois tâches sur un seul Franka, les benchmarks sont académiques, et aucun temps de cycle, coût de calcul ni taux de succès réel n'est détaillé dans le résumé. L'extension à des dizaines de tâches reste à établir. Ce travail s'inscrit dans la montée de deux courants. D'un côté, les VLA entraînés par imitation, comme π0 de Physical Intelligence, dont la qualité reste bornée par la couverture des démonstrations. De l'autre, l'apprentissage par renforcement appliqué par-dessus, soit par fine-tuning, soit par steering du bruit de politiques de diffusion ou de flow matching. D2R combine ce steering avec les modèles du monde, une piste explorée par de nombreux laboratoires, dont NVIDIA avec GR00T et ses modèles Cosmos. Il ne s'agit pas d'un produit mais d'une publication de recherche en première version, sans pilote annoncé. La suite logique serait de la tester sur des séquences de tâches plus longues, avec des modèles du monde plus fidèles et sur des robots en conditions industrielles. Les équipes qui déploient des politiques généralistes y trouveront surtout une piste pour apprendre en continu sans réentraîner.

RecherchePaper
1 source
PartiGen : des représentations par parties pour générer des mouvements d'humanoïde à partir de texte
61arXiv cs.RO 

PartiGen : des représentations par parties pour générer des mouvements d'humanoïde à partir de texte

PartiGen, un cadre de génération de mouvement humanoïde conditionné par le langage, a été présenté sur arXiv (2610.13373) par une équipe de recherche qui s'attaque à trois difficultés à la fois : coordonner les parties du corps, déterminer la durée d'un mouvement et produire des références exploitables par un robot. Le modèle est une diffusion latente « part-aware » : des couches d'attention propres à chaque segment anatomique traitent des caractéristiques de trames masquées anatomiquement, puis leurs sorties sont fusionnées avec le contexte du corps entier. Conditionné par un texte et l'historique du mouvement, il génère des primitives de mouvement de façon autorégressive, avec une supervision par cinématique directe pour la cohérence des poses et un prédicteur de fin de séquence appris. Sur HumanML3D retargeté vers le Unitree G1, il atteint un FID par segment de 3,165, soit 16,8 % de moins que TextOp, et gagne 1,4 point de R@1. Avec des primitives de 16 trames, la prédiction de fin ramène l'erreur absolue moyenne de durée de 12,471 à 3,080 trames par rapport à une coupe à longueur fixe. Le volet le plus parlant pour les intégrateurs est l'exécution. Les références générées sont suivies par un contrôleur GRIT préentraîné et gelé : 409 des 500 mouvements (81,8 %) passent le filtre de stabilité posturale sous MuJoCo, puis 26 des 27 mouvements tentés sont jugés réussis sur un vrai G1. Ces chiffres demandent de la prudence : le filtre de stabilité repose sur la posture, non sur une tâche accomplie, et les 27 essais réels viennent d'une sélection manuelle après tri en simulation, pas d'un échantillon aléatoire. Le taux de 96 % décrit donc surtout la qualité des mouvements retenus, pas la fiabilité d'un pipeline texte vers robot en usage libre. Il reste que près de 18 % des sorties échouent déjà au crible simulé, ce qui rappelle que l'écart entre un mouvement plausible visuellement et un mouvement physiquement exécutable n'est pas résolu. Le travail s'inscrit dans la lignée des modèles texte vers mouvement entraînés sur des données humaines (HumanML3D) puis retargetés, dont TextOp est ici la référence directe. Sa contribution est structurelle, avec la décomposition par membres et surtout la gestion de la durée, souvent négligée quand les longueurs sont fixées à l'avance. Le choix de s'appuyer sur un tracker gelé plutôt que de réentraîner la politique de bas niveau est pertinent : il isole la qualité de la génération et rend la méthode compatible avec des contrôleurs existants. Les limites sont connues : une seule plateforme (G1), pas de manipulation ni d'interaction avec l'environnement, et des évaluations en simulation et sur peu d'essais réels. Les prochaines étapes naturelles seraient un test sur d'autres morphologies humanoïdes, une évaluation sans sélection manuelle et l'intégration avec des modèles vision-langage-action pour passer du mouvement expressif à la tâche utile.

RecherchePaper
1 source
MPC adaptatif du corps entier avec planification de posture optimale pour robots humanoïdes sous charges utiles inconnues
62arXiv cs.RO 

MPC adaptatif du corps entier avec planification de posture optimale pour robots humanoïdes sous charges utiles inconnues

Des chercheurs proposent une architecture de commande « corps entier » adaptative pour qu'un robot humanoïde conserve son équilibre lorsqu'il soulève ou transporte une charge dont la masse est inconnue et variable. Le travail, publié sur arXiv (2610.12972), associe trois briques. La première est un contrôleur prédictif par modèle (MPC) centroïdal, qui génère des mouvements de référence dynamiquement réalisables. La deuxième est un contrôleur d'équilibre adaptatif à logique floue. Il compense l'écart de modèle induit par la charge en produisant des couples correctifs répartis sur les articulations de la jambe d'appui. La troisième est un planificateur de posture optimal fondé sur des points de passage et sur un modèle à triple intégrateur. Il produit des trajectoires lisses de passage assis-debout et debout-assis, qui respectent les contraintes de stabilité du centre de masse (CoM), les limites articulaires et la faisabilité du corps entier. L'ensemble doit permettre d'abaisser le robot, de saisir, soulever, porter puis déposer un objet. Les auteurs annoncent des essais en simulation et sur matériel réel, avec une meilleure robustesse d'équilibre et une moindre dégradation du suivi de trajectoire que des références non adaptatives. Le résumé ne donne ni la plateforme utilisée, ni les masses testées, ni les gains chiffrés. L'enjeu est concret pour la manutention. Un humanoïde en entrepôt ou en usine ne connaît presque jamais la masse exacte de ce qu'il prend, et une charge mal estimée déplace le centre de masse et dégrade le suivi des contrôleurs nominaux. Beaucoup de démonstrations actuelles, avec des charges légères et connues, masquent cette difficulté. Cette approche, qui traite l'incertitude de charge par une adaptation en ligne plutôt que par une identification préalable, va dans le sens d'une robustesse exigée par les intégrateurs. Le choix d'un contrôleur flou adaptatif, léger en calcul, par-dessus un MPC, est aussi un compromis intéressant face aux politiques apprises de bout en bout (VLA, apprentissage par renforcement). Ces dernières gèrent mal les perturbations hors distribution et restent difficiles à certifier. Il faut toutefois rester prudent : il s'agit d'un preprint non évalué par les pairs, sans charge maximale ni taux de réussite publiés, et la comparaison porte sur des références non adaptatives, non sur l'état de l'art industriel. Ce travail s'inscrit dans une lignée bien établie : MPC centroïdal et commande du corps entier, popularisés par les plateformes de Boston Dynamics, d'Agility Robotics ou par les travaux académiques sur Atlas, Digit et les humanoïdes de recherche. L'adaptation à la charge y reste un point faible, alors que les acteurs commerciaux (Figure, Tesla avec Optimus, Agility, Apptronik) visent des tâches de logistique avec des caisses de plusieurs kilos. En parallèle, les approches apprises (GR00T, Pi-0, Helix) dominent la communication, mais les contrôleurs basés sur un modèle gardent l'avantage de la prévisibilité. Les suites logiques seront la publication du code et des charges testées, une validation sur des plateformes variées et une confrontation directe avec des méthodes hybrides mêlant MPC et apprentissage.

RecherchePaper
1 source
KineWorld : champs de transport induits par l'action pour la modélisation du monde incarnée
63arXiv cs.RO 

KineWorld : champs de transport induits par l'action pour la modélisation du monde incarnée

KineWorld, un cadre de modélisation du monde incarné publié sur arXiv (2610.06349, version 2), propose de réorienter la supervision générative vers les zones de l'image où le robot agit réellement. Le système repose sur deux briques. Kinematic Transport Lifting (KTL) construit des champs de transport alignés sur la caméra, dérivés d'un rendu du robot, à partir des mouvements commandés. Transport-Aware World Diffusion (TAWD) calibre le support de ces mouvements sur la grille de latents vidéo, puis repondère la perte de flow matching sur les images RGB futures, via un mélange normalisé entre une distribution uniforme et une distribution concentrée sur le transport. L'entraînement utilise des données de manipulation bimanuelle ALOHA-AgileX issues de RoboTwin 2.0. Les auteurs rapportent un EWMScore-P de 68,95 en évaluation monovue et un TWB-Score de 54,82 en évaluation multivue. L'enjeu est de corriger un défaut connu des modèles du monde conditionnés par l'action. Ces modèles prédisent les conséquences visuelles d'une action avant son exécution, mais leurs objectifs de génération pondèrent tous les pixels de manière égale. Or les changements décisifs pour l'interaction (une pince qui se referme, un objet qui bascule) occupent une faible portion de l'image. Même avec un conditionnement explicite par le mouvement, la perte tend à privilégier l'apparence globale au détriment de ces zones. En utilisant la cinématique du robot pour décider où concentrer la supervision, et plus seulement comme signal d'entrée, KineWorld plaide pour passer de l'ajustement d'apparence à la modélisation des conséquences de l'action. Cette distinction compte pour qui veut employer ces modèles en planification ou en évaluation de politiques, où la fidélité de la dynamique de contact prime sur la qualité visuelle moyenne. Les scores avancés restent toutefois difficiles à interpréter hors contexte. L'article ne donne ici aucun point de comparaison chiffré avec d'autres méthodes, et l'évaluation se fait sur un seul type de plateforme, en simulation. Ce travail s'inscrit dans la montée des modèles du monde pour la robotique, où la vidéo générative sert de simulateur appris pour anticiper les effets d'une action ou tester des politiques sans matériel. RoboTwin 2.0 est devenu un banc d'essai de référence pour la manipulation bimanuelle en simulation, et les métriques EWMScore et TWB-Score relèvent de benchmarks dédiés aux modèles du monde incarnés. Aucune validation sur robot réel, aucun déploiement ni calendrier de suite n'est annoncé dans ce résumé. Il s'agit donc d'une contribution de recherche, dont la valeur dépendra de sa reproductibilité et de sa capacité à se généraliser à d'autres morphologies, au-delà du dispositif à deux bras étudié.

RecherchePaper
1 source
ForeAct3D : modélisation du monde futur ancrée dans la politique pour les politiques VLA
64arXiv cs.RO 

ForeAct3D : modélisation du monde futur ancrée dans la politique pour les politiques VLA

ForeAct3D est un cadre de modélisation du monde futur intégré aux politiques VLA (Vision-Language-Action), publié sur arXiv (2610.04607, version 2) avec code et page projet sur GitHub. Des requêtes géométriques apprenables décodent, à partir de la représentation interne de la politique, la profondeur, la segmentation sémantique et la pose de caméra. Elles produisent ainsi un état de scène 3D sémantique courant et un état futur. Les requêtes « futures » sont conditionnées par le chunk d'actions que la politique génère elle-même, de sorte que la prédiction reflète l'interaction réellement planifiée. Une fermeture de cohérence physique relie les deux états par la staticité du fond et la rigidité au niveau des instances, et ancre la pose de la caméra poignet à la cinématique de l'effecteur. Sans pré-entraînement robotique, le système atteint 98,3 % de succès moyen sur LIBERO et une longueur de tâche moyenne de 3,73 sur CALVIN, devant sa politique de base sur chaque suite. En conditions réelles (placement spatial, insertion d'objets, manipulation séquentielle), le succès moyen passe de 6,7 % à 37,8 %. L'intérêt tient à la manière dont la prédiction du futur est utilisée. Les VLA qui prédisent des observations futures à partir de caractéristiques partagées laissent la prévision découplée des actions exécutées et ne lui imposent aucune contrainte physique. Ici, ces objectifs ne servent qu'à façonner la représentation partagée pendant l'entraînement : aucune prédiction du futur n'est requise à l'inférence, donc pas de surcoût de latence au déploiement. Les ablations indiquent que la supervision 3D sémantique, la cohérence physique et le conditionnement par l'action améliorent chacun la manipulation, et que ce dernier améliore nettement la localisation future des objets. Les résultats réels appellent toutefois de la prudence : 37,8 % de succès reste très loin d'un seuil industriel, et le gain relatif (environ 5,6 fois) part d'une base très basse de 6,7 %. Les benchmarks LIBERO et CALVIN, proches de la saturation, sont en outre des environnements simulés où l'écart entre démonstration et réalité reste à prouver. Ce travail s'inscrit dans la tendance des VLA enrichis de modèles du monde, où l'on cherche à doter les politiques d'une anticipation de la dynamique des scènes, par prédiction d'images futures ou de représentations latentes. Il se distingue en privilégiant une supervision géométrique et physique explicite plutôt qu'une prédiction visuelle purement pixel. L'article ne détaille pas, dans ce résumé, la politique de base utilisée ni la taille des essais réels, ce qui limite la comparaison directe avec les modèles de référence du secteur comme Pi-0 ou GR00T. Les prochaines étapes naturelles seraient une validation sur davantage de tâches physiques, des plateformes variées et des protocoles d'évaluation indépendants, la publication du code permettant à d'autres équipes de reproduire ces résultats.

RecherchePaper
1 source
VICAR : imitation vidéo avec retargeting sensible aux contacts pour les compétences interactives des humanoïdes
65arXiv cs.RO 

VICAR : imitation vidéo avec retargeting sensible aux contacts pour les compétences interactives des humanoïdes

VICAR, présenté sur arXiv (2610.13079), est un pipeline qui apprend des compétences interactives à un humanoïde à partir de simples vidéos d'humains filmés à la troisième personne, sans ingénierie de récompense propre à chaque tâche, sans téléopération ni démonstrations scriptées à la main. Le système reconstruit d'abord le mouvement humain et les obstacles pertinents de la scène à partir d'une vidéo monoculaire, puis retargete ce mouvement vers le robot en préservant les poses de contact dans le repère monde, la vitesse du geste et les marges de collision. Les mouvements obtenus entraînent un générateur de mouvement conditionné par les contacts, dont les entrées incluent des points de contact mobiles. Les auteurs l'ont testé sur dix compétences : six services de tennis de table, trois tâches de ramassage d'objets et une montée d'échelle, avec un déploiement sur matériel réel. Le résumé ne donne ni plateforme humanoïde, ni taux de réussite, ni temps de cycle, et ce sont des points à vérifier dans l'article complet. L'intérêt tient à un verrou précis de l'imitation depuis la vidéo. Les systèmes récents savent déjà extraire des mouvements, des trajectoires d'objets et des contacts bruités de vidéos non structurées, mais la tâche y est souvent définie par des contacts ancrés dans le monde (la main sur un barreau, la raquette sur la balle) dont la position, le timing et la vitesse doivent survivre à la différence de morphologie entre humain et robot. Les méthodes classiques de retargeting se contentent de supprimer les pénétrations ou de conserver la géométrie locale d'interaction. VICAR traite les contacts et le dégagement de collision comme des termes de pénalité lagrangiens prioritaires, tout en gardant la trajectoire globale fluide. Si les résultats tiennent, cela réduit le coût de collecte de données pour des tâches de loco-manipulation, face à la téléopération, qui reste le goulot d'étranglement des acteurs industriels. Il faut cependant rester prudent : dix compétences, dont six sont des variantes d'une même tâche, constituent un échantillon étroit, et une preuve de concept académique ne dit rien de la robustesse en production. Ce travail s'inscrit dans la vague de recherche qui cherche à transformer la vidéo humaine, abondante et peu chère, en compétences humanoïdes déployables, en alternative aux pipelines de suivi de mouvement par apprentissage par renforcement en simulation et à la téléopération massive pratiquée par les acteurs commerciaux de l'humanoïde. Le point nouveau revendiqué est l'adaptation à l'exécution: le générateur accepte de nouvelles positions de contact, ce qui évite de réentraîner à chaque déplacement d'objet. Il s'agit d'une publication de recherche (v1, non évaluée par les pairs), sans produit ni pilote industriel annoncé. La suite logique serait une validation sur davantage de tâches et de morphologies, avec des mesures de fiabilité publiées.

RecherchePaper
1 source
Modèles de dynamique directe
66arXiv cs.RO 

Modèles de dynamique directe

Des chercheurs publient sur arXiv (2610.13117) les Forward Dynamics Models (FDM), une famille de modèles d'action robotique qui couple la prédiction d'actions et celle des états futurs du monde selon un paradigme « action vers futur ». La prédiction du futur est conditionnée par les représentations de l'action, jamais l'inverse. À l'entraînement, bout en bout, les états futurs réels supervisent donc la politique via ces représentations. À l'inférence, la génération du futur est entièrement court-circuitée, ce qui supprime son coût de calcul. Le paradigme est indépendant du backbone, et les auteurs l'ont instancié avec un VLM (modèle vision-langage) et avec un VGM (modèle génératif vidéo). Les résultats annoncés : 99,4 % de réussite moyenne sur le benchmark de simulation LIBERO, présenté comme l'état de l'art, et jusqu'à 13 points de gain absolu sur des tâches réelles face aux méthodes VLA et WAM. L'intérêt est d'abord architectural. Les VLA (vision-language-action), construits sur des VLM préentraînés, apprennent sans supervision explicite sur les états futurs. Les WAM (world action models), construits sur des modèles vidéo, conditionnent les actions sur des futurs prédits. Ils paient en échange un surcoût d'inférence et laissent les erreurs de prédiction visuelle se propager jusqu'aux actions. FDM revendique le meilleur des deux : la supervision dense par le futur pendant l'apprentissage, sans la latence ni la fragilité d'une génération vidéo en boucle de contrôle. Pour un intégrateur, la fréquence de contrôle et le coût GPU embarqué comptent autant que le taux de succès. Une politique qui apprend la dynamique sans la rejouer à l'exécution est donc une piste crédible pour le déploiement. Deux réserves s'imposent. LIBERO est un benchmark proche de la saturation, et 99,4 % dit peu de la généralisation. Les gains réels de 13 points, par ailleurs, dépendent du nombre de tâches, de robots et d'essais, que le résumé ne précise pas. Ce travail s'inscrit dans la course entre deux familles. Les VLA, dans la lignée de RT-2, OpenVLA ou Pi-0, dominent la recherche appliquée. Les approches « monde d'abord », qui exploitent les modèles vidéo pour prédire avant d'agir, ont gagné du terrain plus récemment. FDM cherche une voie médiane en gardant la prédiction du futur comme signal d'entraînement plutôt que comme étape d'inférence. Il s'agit d'une préimpression, sans pilote industriel ni déploiement annoncé. La suite dépendra de la publication du code et des poids, de réplications indépendantes sur d'autres plateformes, et de mesures de latence face aux WAM sur matériel embarqué.

RecherchePaper
1 source
StereoEngine : passer à l'échelle les données stéréo de robots bimanuels sans caméras stéréo
67arXiv cs.RO 

StereoEngine : passer à l'échelle les données stéréo de robots bimanuels sans caméras stéréo

StereoEngine, présenté dans l'article arXiv 2610.12734, s'attaque à un goulot d'étranglement précis de la manipulation robotique: le manque de données stéréo réelles à grande échelle pour entraîner des politiques de type VLA (Vision-Language-Action). Les auteurs proposent deux méthodes complémentaires de synthèse. La première prend une vidéo monoculaire (vue gauche), la déforme vers la vue droite à partir d'une profondeur estimée, puis comble les zones désoccultées avec un modèle de diffusion vidéo, ce qui transforme des démonstrations monoculaires existantes en paires stéréo sans entraînement sur de la stéréo réelle. La seconde génère une paire stéréo en simulation, puis produit conjointement les deux vues photoréalistes, sans aucune vidéo réelle en entrée. Selon les auteurs, StereoEngine surpasse les méthodes de référence en qualité de stéréo générée, et l'usage de ces données en mi-entraînement (mid-training) ou en fine-tuning spécifique à une tâche améliore nettement les résultats en manipulation bimanuelle. Le résumé ne fournit toutefois ni chiffres de taux de réussite, ni liste de tâches, ni plateforme robotique, et l'ampleur du gain reste donc à vérifier dans l'article complet. L'enjeu est d'abord économique. La stéréo apporte une information de profondeur utile pour les saisies fines, les objets transparents ou réfléchissants et la manipulation à deux bras, et de plus en plus de travaux l'intègrent aux VLA. Mais les jeux de données de démonstrations collectées sur robots réels sont presque tous monoculaires, car peu de plateformes embarquent des caméras stéréo calibrées. Si l'on peut convertir le corpus monoculaire existant en données stéréo crédibles, on évite de refaire des campagnes de téléopération coûteuses. La seconde voie, qui part de la simulation tout en produisant un rendu photoréaliste, vise aussi à réduire l'écart sim-to-real, alors que la supervision stéréo provenait jusqu'ici surtout de la simulation brute. Reste une réserve méthodologique: des données synthétiques, par définition, reposent sur une profondeur estimée et sur une inpainting générative qui peuvent introduire des artefacts géométriques. Le test décisif sera la performance sur robot réel, pas seulement la qualité perceptuelle des images. Ce travail s'inscrit dans une tendance plus large d'utilisation de la génération vidéo comme moteur de données pour la robotique. Les méthodes génératives monoculaire-vers-stéréo existantes visaient jusqu'ici la réalité virtuelle et la conduite autonome, et aucune n'avait été conçue pour la manipulation, où la cohérence gauche-droite et la précision géométrique près des objets manipulés sont critiques. StereoEngine comble cet espace, en concurrence indirecte avec les approches d'augmentation de données et de génération de démonstrations par simulation. Un site de projet est disponible (stereoengine.github.io). Aucune annonce de déploiement industriel n'accompagne ce travail de recherche, qui en est à sa première version (v1) et n'a pas encore été évalué par des pairs. Les prochaines étapes à surveiller sont la publication du code et des données, ainsi que des validations sur davantage de robots et de tâches.

RecherchePaper
1 source
ATHLETE : apprentissage du tennis réactif pour robot humanoïde par appariement de mouvements guidé par la trajectoire
68arXiv cs.RO 

ATHLETE : apprentissage du tennis réactif pour robot humanoïde par appariement de mouvements guidé par la trajectoire

Des chercheurs présentent ATHLETE, un cadre d'apprentissage qui permet à un robot humanoïde de jouer au tennis de façon réactive, sans démonstrations de téléopération ni motion capture dédiée au tennis. Le système combine des données génériques de locomotion (le jeu LAFAN1) avec des mouvements de frappe extraits de vidéos de tennis ordinaires. Une méthode baptisée Trajectory-Guided Motion Matching (TGMM) assemble ces sources en références corps entier variées, conditionnées par la tâche. Ces références passent ensuite dans un pipeline enseignant-élève en simulation physique, avec distillation DAgger en ligne, puis un affinage par PPO sur la tâche de tennis. Sur un robot humanoïde réel, la politique atteint 90,00 % de balles renvoyées en coup droit et 86,67 % en revers, et tient des échanges de plusieurs frappes avec des joueurs humains. Le papier est un preprint arXiv (2610.13572v1) et ne nomme pas, dans son résumé, la plateforme matérielle utilisée. L'intérêt tient à la manière de contourner le goulot d'étranglement des données. Le tennis exige une coordination corps entier sous une dynamique de balle qui change vite. Couvrir les états d'approche, les points de contact et les timings par motion capture coûte cher et passe mal à l'échelle. Ici, la politique déployée consomme uniquement l'état du robot et les observations de la balle, sans trajectoire de référence en entrée à l'exécution, ce qui simplifie l'intégration. Le résultat suggère qu'un répertoire de locomotion réutilisable, complété par de la vidéo bon marché, peut suffire pour une compétence dynamique. C'est une piste pertinente pour toute tâche où la précision temporelle compte, de la manutention d'objets en mouvement à la collaboration avec des opérateurs. Des réserves s'imposent : les taux de réussite ne sont chiffrés que par coup, sans précision sur le nombre d'essais, la vitesse des balles ni les conditions d'éclairage ou de lancer. Rien n'indique non plus la longueur maximale des échanges. Les 90 % et 86,67 % semblent correspondre à des échantillons modestes (par exemple 30 essais par coup), à confirmer dans le texte complet. Ces travaux s'inscrivent dans la série de projets de robots humanoïdes sportifs et de contrôle par imitation de mouvements, qui a popularisé les politiques entraînées par suivi de références en simulation puis transférées au réel. Ils prolongent aussi les approches à partir de vidéo, qui cherchent à réduire la dépendance à la motion capture, et la distillation enseignant-élève pour supprimer les entrées de référence au déploiement. Le papier reste un résultat de laboratoire : aucun produit, pilote industriel ni calendrier n'est annoncé. Le code et les vidéos sont hébergés sur un dépôt anonyme, signe d'une soumission en relecture à l'aveugle, et la sélection des vidéos de démonstration ne permet pas encore de juger de la robustesse. La suite logique sera une validation sur d'autres plateformes, des balles plus rapides et des comparaisons directes avec des méthodes fondées sur la motion capture.

RecherchePaper
1 source
Préhension sûre et délicate d'objets inconnus par détection tactile
69arXiv cs.RO 

Préhension sûre et délicate d'objets inconnus par détection tactile

Des chercheurs publient sur arXiv (2610.12790) un cadre de commande prédictive pour la préhension sûre d'objets inconnus, fondé sur deux modules tactiles compacts à canal unique montés sur la pince. Le système caractérise en temps réel l'interaction entre la pince et l'objet, sans connaissance préalable de celui-ci et sans entraînement hors ligne. Une machine à états finis sonde d'abord l'effort de serrage pour établir la force initiale et identifier les contraintes de saisie. Un modèle à processus gaussien (GP) apprend ensuite en ligne la dynamique de contact. Ses incertitudes servent à construire des contraintes robustes, intégrées à une commande prédictive (MPC) qui tourne à 100 Hz. Les auteurs affirment démontrer une convergence de l'erreur au sens probabiliste. Les essais couvrent plusieurs topologies de surface de contact et divers objets, des plus fragiles (tofu cru, chamallows) aux plus rugueux (pierres). Les résultats sont donnés comme supérieurs à des stratégies de référence, sans chiffres détaillés dans le résumé disponible. L'enjeu est un verrou classique de la manipulation : tenir assez fort pour éviter le glissement, mais pas trop pour ne pas endommager. Beaucoup d'approches reposent sur des modèles d'objet connus, des données d'entraînement ou des capteurs tactiles riches et coûteux (type vision-tactile). Ici, un capteur à canal unique, donc peu cher et simple à intégrer, suffit à gérer des objets inconnus. Pour un intégrateur, cela intéresse la logistique à références variables, l'agroalimentaire ou le tri de produits frais. L'absence d'apprentissage hors ligne évite aussi la chaîne de collecte de données et le risque de décalage simulation-réel. La manipulation dynamique, c'est-à-dire en mouvement et non en maintien statique, est plus proche des cadences industrielles. Des réserves s'imposent toutefois. Il s'agit d'un préprint non évalué par des pairs, testé en laboratoire sur une série d'objets choisis par les auteurs. Les temps de cycle, les taux d'échec et la robustesse sur de longues séries ne sont pas précisés dans le résumé. Ces travaux s'inscrivent dans la lignée des méthodes de contrôle de force et de détection de glissement par capteurs tactiles, ainsi que des approches de MPC fondées sur des processus gaussiens, appréciés pour leur quantification d'incertitude avec peu de données. Ils contrastent avec la tendance actuelle des modèles VLA (vision-langage-action) et des mains à capteurs tactiles denses, qui exigent de gros volumes de données. Leur intérêt tient à un pari inverse : une boucle de contrôle légère, interprétable et dotée de garanties statistiques, qui pourrait compléter un VLA en gérant la couche bas niveau de la prise. Aucun produit, partenaire industriel ni calendrier de transfert n'est annoncé. Les prochaines étapes probables sont des tests sur pinces commerciales, des objets déformables ou glissants plus variés et une évaluation en cadence réelle.

RecherchePaper
1 source
BT-Agent : déployer des agents robotiques embarqués avec des arbres de comportement et une évaluation multi-fidélité
70arXiv cs.RO 

BT-Agent : déployer des agents robotiques embarqués avec des arbres de comportement et une évaluation multi-fidélité

BT-Agent est une architecture d'agent embarquée pour robots mobiles, décrite dans un preprint arXiv (v1). Un modèle de langage prend les décisions de tâche, mais l'exécution passe par des compétences prédéfinies sous forme d'arbres de comportement (behavior trees, BT). Ces compétences vérifient leurs conditions d'exécution et renvoient à l'agent un retour d'échec structuré. Les auteurs font tourner un modèle de 9 milliards de paramètres entièrement à bord d'un robot quadrupède, sur cinq catégories de tâches. Dans les tests d'intervention, un contrôle local interrompt une navigation en cours sans attendre une nouvelle décision du modèle, et l'agent reste actif pour réessayer ou signaler la contrainte. Pour comparer les conceptions d'agents, l'équipe propose aussi un benchmark multi-fidélité de 161 tâches, évalué en texte sur la totalité et dans le simulateur Habitat sur 39 d'entre elles. Le mode texte offre un débit d'évaluation 10,9 fois supérieur. Face à la meilleure base de référence Act/ReAct, les gains de taux de succès culminent à environ 10 points avec un modèle de 4B et environ 5 points avec 9B. Les ablations désignent les appels d'outils structurés et les retours d'échec informatifs comme les composants les plus utiles. L'intérêt est d'abord architectural. Un LLM embarqué est lent et gourmand en mémoire, donc le garder hors de la boucle de sécurité est une réponse pragmatique. Les réflexes (arrêt, vérification de précondition) restent déterministes, et le modèle ne gère que la replanification. Le résultat est aussi plus utile pour les petits modèles que pour les grands, ce qui compte pour des robots sans connexion cloud fiable. La méthode d'évaluation est elle aussi utile aux équipes qui itèrent sur leurs agents. Le texte sert au tri rapide, et la simulation fait ressortir les échecs de perception et de mouvement que le texte masque. Il faut toutefois rester prudent : 39 tâches en simulation est un échantillon restreint, et la démonstration sur robot réel reste qualitative. Ce travail s'inscrit dans le débat entre agents « réfléchir puis agir » de type ReAct et exécution robuste par BT, déjà courante en robotique de service. Il s'agit d'une recherche académique, sans produit, sans pilote ni calendrier annoncé. La suite logique serait un benchmark simulé plus large et des tests sur d'autres plateformes, tandis que les acteurs industriels, qui visent eux aussi l'inférence embarquée, privilégient plutôt des modèles vision-langage-action entraînés de bout en bout.

RecherchePaper
1 source
DiffMorphGrasp : un cadre de diffusion conditionné par la morphologie de la main pour générer des saisies inter-morphologies
71arXiv cs.RO 

DiffMorphGrasp : un cadre de diffusion conditionné par la morphologie de la main pour générer des saisies inter-morphologies

DiffMorphGrasp, présenté dans une nouvelle version (v2) d'un preprint arXiv, est un cadre de génération de prises dexterous par diffusion, conçu pour fonctionner sur des mains robotiques de morphologies différentes. Les auteurs revendiquent le premier modèle de diffusion qui injecte explicitement la morphologie de la main dans le processus génératif. Les prises issues de mains variées sont d'abord projetées dans une pose de main de référence, ce qui crée un espace commun d'apprentissage. La génération est ensuite conditionnée en continu par deux éléments: la cinématique de la main, encodée sous forme de graphes dérivés de sa configuration, et la géométrie de l'objet. Une fonction de perte calcule en outre des erreurs au niveau des articulations sur la structure cinématique pour contraindre les prises générées pendant l'entraînement. L'équipe a construit un nouveau benchmark pour comparer la génération de prises entre mains de morphologies différentes, et affirme une forte généralisation zéro-shot à des mains jamais vues. Le résumé ne donne aucun chiffre précis, comme le taux de réussite, le nombre de mains testées ou les degrés de liberté (DOF) couverts. L'enjeu est pratique pour les intégrateurs et les décideurs industriels. Les mains robotiques se différencient par leur nombre de doigts, leurs DOF et leur coût, selon la tâche et le budget. Or une politique de saisie apprise sur une main doit aujourd'hui être refaite pour une autre, ce qui freine la réutilisation des données et des modèles. Si le zéro-shot tient en conditions réelles, un même générateur de prises pourrait servir plusieurs mains, ce qui réduirait le coût d'adaptation lors d'un changement de matériel ou d'un déploiement multi-sites. Il faut toutefois rester prudent. Les résultats annoncés viennent d'un benchmark conçu par les auteurs, et l'extrait disponible ne précise pas s'ils ont été validés sur des robots physiques. Le fossé entre génération de prises en simulation et exécution fiable en cellule de production reste donc ouvert. C'est le point que les équipes d'ingénierie devront vérifier avant toute intégration. Ce travail s'inscrit dans la recherche sur le transfert entre morphologies (cross-embodiment), devenue centrale avec les modèles généralistes de type VLA (vision-langage-action) et les politiques entraînées sur plusieurs robots. Pour la saisie dexterous, les approches antérieures reposaient souvent sur des représentations propres à une main, ou sur des retargetings qui perdent en qualité quand la cinématique diverge. Les modèles de diffusion se sont imposés pour produire des prises variées, et DiffMorphGrasp les combine avec un encodage de la structure de la main. Les prochaines étapes à suivre sont la publication du code et du benchmark via la page projet, la validation sur du matériel réel, puis la comparaison avec d'autres méthodes cross-embodiment sur des bases communes. Aucun pilote industriel ni calendrier de commercialisation n'est annoncé: il s'agit pour l'instant d'une contribution de recherche.

RecherchePaper
1 source
Evo-World : un modèle vision-langage-action (VLA) léger qui prédit le mouvement futur par supervision du flux optique
72arXiv cs.RO 

Evo-World : un modèle vision-langage-action (VLA) léger qui prédit le mouvement futur par supervision du flux optique

Evo-World est un modèle vision-langage-action (VLA) léger, présenté dans une prépublication arXiv (2610.12936v1). Il ajoute à l'apprentissage de la politique une tâche de prédiction du mouvement futur, supervisée par le flux optique. Le modèle compte 0,87 milliard de paramètres. Sur le benchmark de simulation Meta-World MT50, il atteint un taux de succès moyen par niveau de difficulté de 91,1 %, soit une amélioration relative de 13,0 % par rapport à la même base sans prédiction. Sur des robots AgileX réels, il surpasse les baselines évaluées, sur des tâches à un bras comme sur des tâches bimanuelles. Les auteurs annoncent aussi une consommation de mémoire GPU plus faible et une inférence plus rapide. La procédure d'entraînement est conçue pour préserver les représentations prédictives pendant l'apprentissage de la politique. Elle régule leur diversité et découple l'apprentissage des représentations de l'optimisation des actions. Le choix de supervision est le point notable. La seule supervision par les actions n'incite pas explicitement le modèle à anticiper l'évolution de la scène. La prédiction d'images futures, elle, mêle le mouvement utile à la tâche et une apparence en grande partie statique, ce qui gaspille de la capacité sur des pixels peu informatifs. Le flux optique isole le mouvement, donc le signal qui compte pour la commande. Si les gains se confirment, cela ouvre une voie vers des politiques prédictives sans les modèles de monde lourds, avec moins de calcul embarqué. Ce point intéresse les intégrateurs qui doivent faire tourner un VLA sur du matériel contraint. Il faut toutefois rester prudent. Les chiffres viennent des auteurs seuls, sans relecture par les pairs à ce stade. Meta-World est un benchmark simulé où les scores sont déjà élevés, et la nature des baselines réelles, le nombre d'essais et la diversité des tâches ne sont pas précisés dans le résumé. Le passage de la simulation au monde réel reste donc à vérifier sur des protocoles indépendants. Ce travail s'inscrit dans la tendance des VLA compacts, face aux modèles généralistes plus volumineux comme Pi-0 ou GR00T. Il s'inscrit aussi dans la recherche sur les modèles de monde qui prédisent des images futures. Evo-World propose un compromis en prédisant le mouvement plutôt que l'apparence. Les plateformes AgileX, bimanuelles et peu coûteuses, sont très utilisées dans les laboratoires académiques, ce qui facilite la reproduction. Aucun déploiement industriel, pilote ou calendrier n'est annoncé, et il s'agit d'un résultat de recherche et non d'un produit. Les prochaines étapes à surveiller sont la publication du code et des poids, des tests sur des benchmarks plus exigeants et une comparaison directe avec des VLA de taille similaire.

RecherchePaper
1 source
Les VLM sont des modèles d'action natifs : libérer leurs capacités de manipulation grâce à un ancrage explicite dans l'espace d'action
73arXiv cs.RO 

Les VLM sont des modèles d'action natifs : libérer leurs capacités de manipulation grâce à un ancrage explicite dans l'espace d'action

Des chercheurs proposent EASG (Explicit Action-Space Grounding), un cadre publié sur arXiv (2610.12832) qui permet à des modèles vision-langage (VLM) préentraînés de piloter directement un bras robotique, sans préentraînement sur des données d'actions robot ni module d'action supplémentaire. Le principe consiste à projeter dans l'image de la caméra de poignet un repère d'action centré sur le point central de l'outil (TCP), puis à faire exprimer les actions par le VLM sous forme de texte, via son interface de génération native. La sémantique de l'espace d'action continu devient ainsi visible dans le contexte perceptif du modèle. Les auteurs revendiquent de la manipulation zéro-shot, une généralisation à différentes positions d'objets, catégories d'objets et morphologies de robots, ainsi qu'un affinage possible sur des trajectoires robot dans ce même espace d'action continu. Le résumé ne fournit ni taux de réussite, ni modèles testés, ni nombre de tâches, ce qui empêche pour l'instant de juger l'ampleur réelle des gains. L'enjeu est de lever un compromis qui structure le secteur. Les modèles vision-langage-action (VLA) offrent une politique unifiée et entraînable, mais exigent des jetons d'action appris, des têtes d'action ou des « experts d'action » dont la signification doit être acquise par un préentraînement coûteux sur des données robot. À l'inverse, les approches modulaires fondées sur des modèles de fondation exploitent les capacités des VLM en zéro-shot, mais s'appuient sur des couches externes de planification et de contrôle, non entraînables de bout en bout. Si EASG tient ses promesses, un VLM généraliste pourrait servir de politique de manipulation sans corpus robot massif, ce qui réduirait la barrière d'entrée pour les laboratoires et les intégrateurs. Le fait que la même interface supporte l'affinage suggère aussi une trajectoire d'amélioration continue plutôt qu'un plafond fixé par le zéro-shot. Prudence toutefois : il s'agit d'un préprint non évalué par les pairs, et les benchmarks, la fréquence de contrôle (la génération de texte est lente comparée à une tête d'action) et la robustesse hors laboratoire restent à démontrer. Ce travail s'inscrit dans le débat entre politiques VLA de bout en bout, comme Pi-0, Helix ou GR00T, et pipelines modulaires pilotés par des VLM. Les premiers ont montré leur efficacité, mais au prix d'importants volumes de données de téléopération et de préentraînement spécifiques à chaque embodiment. EASG cherche à conserver les atouts des deux familles en rendant l'espace d'action lisible par le modèle lui-même, plutôt qu'en apprenant une représentation d'action nouvelle. Les prochaines étapes à surveiller sont la publication du code et des résultats détaillés, les comparaisons directes avec des VLA préentraînés sur des données robot, ainsi que des tests sur matériel varié et en conditions de production, seuls capables de dire si l'approche dépasse le stade de la démonstration académique.

RecherchePaper
1 source
Inversion partielle par recouvrement de croyances : replanification de flux centrée sur l'objet pour la loco-manipulation humanoïde
74arXiv cs.RO 

Inversion partielle par recouvrement de croyances : replanification de flux centrée sur l'objet pour la loco-manipulation humanoïde

Des chercheurs décrivent dans un préprint arXiv (2610.13087, octobre 2026) une méthode qui permet à un humanoïde de pousser un chariot dont la masse et la raideur des roulettes pivotantes sont inconnues au départ. L'idée vient des humains, qui poussent un peu un objet inconnu pour voir comment il réagit avant de décider de la suite. Le système referme trois briques en boucle: estimation en ligne des paramètres du chariot, planification par champ de flux centré sur l'objet, et contrôle du corps entier. Cette boucle crée un dilemme. Replanifier à chaque évolution de la croyance perturbe la manoeuvre en cours. Garder le plan laisse le robot sur une trajectoire que les mesures ont déjà invalidée. La méthode, nommée Belief-Overlap Partial Inversion (BOPI), proportionne la révision au désaccord entre l'ancienne et la nouvelle croyance. Elle inverse le flux sous l'ancienne croyance seulement sur la portion où les deux divergent, puis reconstruit la suite du plan sous la nouvelle. Sur 18 buts simulés, l'erreur finale agrégée baisse d'environ 33 % en position et 47 % en lacet (yaw), face à un replanning à profondeur fixe. Sur matériel réel, le robot translate et fait pivoter un chariot non holonome, c'est-à-dire dont les roulettes limitent les mouvements latéraux instantanés. Pour un intégrateur, l'intérêt est pratique. Pousser des chariots, rolls et transpalettes à charge variable est une tâche logistique courante, et la masse réelle comme l'état des roulettes ne sont presque jamais connus à l'avance. Le résultat suggère que la robustesse vient moins d'un modèle plus gros que d'une gestion explicite de l'incertitude: savoir quand abandonner une partie du plan et quand la conserver. Les gains chiffrés viennent surtout de la simulation, sur 18 buts, face à une seule famille de références. La démonstration matérielle reste qualitative dans le résumé, sans taux de réussite, temps de cycle ni plage de masses. On ne peut donc pas parler de fiabilité en conditions d'exploitation. Ce travail s'inscrit dans la course à la loco-manipulation, où les humanoïdes passent de la marche à des tâches de contact avec des objets lourds et déformables. Les approches dominantes misent sur des politiques apprises de bout en bout, de type VLA ou RL en simulation transférée au réel. BOPI relève plutôt de la planification à base de modèle, avec estimation en ligne, et s'attaque à un point faible connu: la cohérence temporelle quand le modèle est révisé en cours d'action. Le résumé ne précise ni la plateforme humanoïde utilisée ni de calendrier de déploiement. L'étape suivante probable est une validation sur des charges et des sols plus variés, puis une comparaison directe avec des politiques apprises sur les mêmes tâches.

RecherchePaper
1 source
LAPT-Scale : passage à l'échelle des politiques d'IA incarnée par préentraînement d'actions latentes sur des vidéos humaines
75arXiv cs.RO 

LAPT-Scale : passage à l'échelle des politiques d'IA incarnée par préentraînement d'actions latentes sur des vidéos humaines

Des chercheurs publient sur arXiv LAPT-Scale, un cadre de pré-entraînement par actions latentes conçu pour entraîner des politiques robotiques généralistes à partir de vidéos humaines égocentriques, sans étiquettes d'actions robot. Il repose sur deux briques. LAPT-Scale-LAM est un modèle d'actions latentes (LAM) qui apprend des actions continues en expliquant les transitions visuelles image par image, et ces actions servent ensuite de supervision dérivée de l'humain. LAPT-Scale-Policy est une politique VLA (vision-langage-action) entraînée en trois temps: pré-entraînement sur les actions latentes issues de vidéos humaines, alignement sur l'embodiment du robot cible, puis post-entraînement spécifique à la tâche. Le LAM a été entraîné sur 23,3 k heures de vidéo égocentrique. Le résultat chiffré principal concerne le robot réel: le taux de succès passe de 63,3 % à 85,0 % lorsque le volume de vidéo humaine annotée passe de 1 k à 5 k heures. La politique généraliserait aussi à des conditions visuelles inédites. L'intérêt pour l'industrie tient au coût de la collecte de données. La téléopération et les démonstrations sur robot restent le principal goulot d'étranglement des modèles généralistes, alors que les vidéos égocentriques humaines sont abondantes mais sans étiquettes d'actions exploitables. Les méthodes d'annotation existantes sont bruitées dès que les scènes sont visuellement complexes ou que les dynamiques de manipulation varient. Une courbe de montée en charge régulière avec les heures de vidéo suggère que ce canal de données peut remplacer en partie la collecte robotique, ce qui change l'économie du pré-entraînement pour les intégrateurs et les développeurs de modèles. Il faut toutefois rester prudent: il s'agit d'un préprint non évalué par les pairs. Le gain mesuré porte sur un volume de vidéo annotée encore modeste face aux 23,3 k heures du LAM. Le résumé ne précise ni le nombre de tâches, ni le robot, ni le nombre d'essais, ni les benchmarks de comparaison. Le passage du laboratoire à la fiabilité exigée en production reste donc à démontrer. Sur le plan technique, les auteurs se distinguent des LAM précédents, qui utilisent des espaces latents quantifiés vectoriellement (VQ). Leur espace latent continu cherche à préserver les mouvements fins et les dynamiques d'interaction. Ils combinent aussi des signaux d'alignement perceptuel, sémantique et de flux optique pour que la supervision porte sur la transition elle-même plutôt que sur la seule reconstruction des pixels. Cette approche s'inscrit dans la lignée des travaux d'apprentissage à partir de vidéos humaines et d'actions latentes, que poursuivent de nombreux laboratoires et acteurs de la robotique humanoïde, soucieux d'exploiter les vidéos à grande échelle. Aucun déploiement industriel ni calendrier de pilote n'est annoncé. La suite probable est une validation sur davantage de plateformes et de tâches, ainsi qu'une réplication indépendante, avant toute intégration dans un produit.

RecherchePaper
1 source
Quelles représentations visuelles les modèles d'action du monde requièrent-ils ?
76arXiv cs.RO 

Quelles représentations visuelles les modèles d'action du monde requièrent-ils ?

Les modèles World Action Models (WAM), qui héritent des connaissances a priori de modèles pré-entraînés de génération vidéo, souffrent d'une limite structurelle : leurs représentations issues d'un autoencodeur variationnel (VAE) sont optimisées pour reconstruire des images, pas pour manipuler des objets. Une étude parue sur arXiv (2610.13024) compare de façon systématique, en conditions contrôlées, plusieurs représentations visuelles externes, cinq mécanismes d'intégration et diverses combinaisons de caractéristiques. Jusqu'ici, les travaux existants mélangeaient le choix de la représentation et celui du mécanisme d'intégration, ce qui brouillait l'effet de chacun. Les auteurs en tirent une « recette » baptisée R²-WAM, qui atteint l'état de l'art sur RoboCasa GR1 Tabletop avec 84,7 % de réussite et 92,8 % sur RoboTwin 2.0, soit un gain de 5,9 et 2,2 points de pourcentage par rapport aux références reposant uniquement sur le VAE. Trois enseignements se dégagent. D'abord, les représentations visuelles généralistes et puissantes apportent des gains de robustesse plus larges et égalent, voire dépassent, celles pré-entraînées pour une capacité visuelle précise. Ensuite, la prédiction conjointe par canaux (channel-wise) obtient le meilleur taux de succès moyen, un avantage que les analyses attribuent à la prédiction de caractéristiques futures et à une meilleure exploitation de l'information visuelle ajoutée par l'« action expert », le module qui produit les actions. Enfin, les sources supplémentaires doivent être choisies pour l'information utile à la tâche qu'elles apportent en plus de l'existant : la même source peut aider une combinaison et en dégrader une autre. Pour les équipes qui construisent des politiques robotiques sur des modèles vidéo, l'enseignement est pragmatique : l'essentiel du gain vient de l'ajout d'une bonne représentation généraliste au VAE, tandis que l'empilement de sources spécialisées rapporte moins que ce premier saut. Cela invite à investir dans de meilleurs encodeurs généralistes et dans l'intégration plutôt que dans une ingénierie fine des combinaisons. Il faut toutefois relativiser : les résultats proviennent de benchmarks en simulation, et les écarts de quelques points ne disent rien du transfert au monde réel ni de la fiabilité exigée en production. Le texte ne livre pas non plus de temps de cycle ni de données de déploiement. Ce travail s'inscrit dans la montée des modèles du monde et des architectures vision-langage-action (VLA), où l'on cherche à exploiter les priors de la génération vidéo pour la manipulation. RoboCasa GR1 Tabletop, orienté humanoïde, et RoboTwin 2.0, centré sur la manipulation bimanuelle, servent de référence pour comparer ces approches. Les auteurs concluent que les recherches futures devraient prioriser des représentations généralistes plus fortes et des mécanismes d'intégration plus efficaces, la composition de caractéristiques restant une piste complémentaire.

RecherchePaper
1 source
Placement non préhensile de plusieurs objets par robots mobiles via une planification de trajectoire par diffusion
77arXiv cs.RO 

Placement non préhensile de plusieurs objets par robots mobiles via une planification de trajectoire par diffusion

Des chercheurs proposent un planificateur de trajectoire par diffusion pour le placement précis de plusieurs objets par poussée (manipulation non préhensile) avec un robot mobile. Là où les travaux antérieurs se contentaient de zones cibles grossières, ou traitaient le placement fin avec des manipulateurs sur des benchmarks comme Push-T, la nouveauté est de formuler la poussée multi-objets comme un problème d'affectation multi-cibles à tolérances serrées. Le planificateur repose sur une factorisation causale : chaque étape de débruitage de la trajectoire du robot est suivie d'une étape pour les objets, conditionnée par l'estimation propre du robot. Cela permet d'échantillonner plusieurs issues d'objets pour un même plan robot, et donc de rendre compte de la multimodalité de la poussée. Les auteurs ajoutent des coûts propres à la poussée par robot mobile, utilisés pour le guidage et pour la sélection du meilleur de N échantillons à l'inférence. Sur Push-T, la méthode obtient le meilleur taux de succès parmi celles comparées, avec le plus faible taux de mouvements d'objets physiquement implausibles. Sur trois environnements de poussée de caisses inspirés d'entrepôts, elle place 21,5 points de pourcentage de caisses en plus qu'une base non guidée et replanifie 1,8 fois plus vite qu'un planificateur débruitant conjointement les deux trajectoires. Sur un TurtleBot 3 Burger, avec des formes d'objets absentes des données d'entraînement, 85,0 % des objets sont placés dans la tolérance, contre 37,5 % pour Diffusion Policy. L'intérêt tient à un point souvent sous-estimé : pour un robot mobile, corriger une erreur de placement coûte cher. Un bras à effecteur omnidirectionnel peut reprendre l'objet par n'importe quel côté, alors qu'une base mobile doit effectuer de larges manœuvres de repositionnement. Pousser sans saisir reste pertinent en logistique, où caisses, colis ou bacs sont déplacés sans pince dédiée, mais la précision requise y est rarement atteinte. L'écart entre 85 % et 37,5 % face à Diffusion Policy suggère que la structure du problème (couplage robot-objet, coûts de guidage) pèse davantage que la simple capacité générative du modèle. Il faut toutefois relativiser : il s'agit d'un travail académique non évalué par les pairs (prépublication arXiv), l'essai réel repose sur un petit robot à roues, probablement sur un nombre limité d'essais (le 37,5 % laisse penser à un échantillon de quelques dizaines d'objets), et rien n'indique de déploiement industriel, de charges réalistes ni de cadence mesurée. Ce travail prolonge la lignée des politiques de diffusion appliquées à la manipulation, dont Diffusion Policy est la référence et Push-T le banc d'essai canonique, en les transposant du bras fixe vers la mobilité. Il se situe entre la recherche en manipulation non préhensile et les approches de planification pour robots mobiles en entrepôt, où dominent aujourd'hui les AMR à convoyage et les solutions de préhension dédiées. Les prochaines étapes naturelles seraient des essais sur des plateformes plus grandes, des objets plus lourds et des environnements encombrés ou dynamiques, ainsi qu'une réduction du coût de calcul du guidage et du best-of-N pour une exécution embarquée. Aucun calendrier de transfert vers un produit n'est annoncé.

RecherchePaper
1 source
PriMoRetarget : transfert de mouvement humanoïde par reciblage de mouvement priorisé
78arXiv cs.RO 

PriMoRetarget : transfert de mouvement humanoïde par reciblage de mouvement priorisé

PriMoRetarget est un cadre de retargeting de mouvement présenté sur arXiv (2610.12642) qui remplace la pondération relative des objectifs par une hiérarchie de priorités explicite. Le retargeting désigne l'étape de prétraitement qui transfère des données de mouvement humain (capture de mouvement) vers la morphologie d'un robot humanoïde. Dans la pratique, il est formulé comme un problème d'optimisation multi-objectifs pondérée, où il faut équilibrer des critères concurrents : fidélité de la pose, placement des pieds, contacts avec les objets ou avec d'autres personnages. Avec PriMoRetarget, les mises à jour de priorité inférieure sont contraintes de préserver les objectifs de priorité supérieure. Les caractéristiques critiques, comme la position des pieds et les contacts d'interaction, passent donc avant les objectifs de pose. La méthode est évaluée sur quatre jeux de données couvrant le mouvement d'un seul personnage, la manipulation d'objets et les interactions entre personnages. Les auteurs affirment que les mouvements obtenus préservent mieux les interactions utiles à la tâche et fournissent des trajectoires de référence que les contrôleurs suivent plus fiablement qu'avec les méthodes de retargeting couramment utilisées. Le résumé ne chiffre ni les gains ni le taux de suivi, et ne nomme pas les méthodes de référence. L'enjeu est très concret pour quiconque entraîne des politiques de suivi de mouvement pour humanoïdes. Les approches actuelles reposent sur de grandes bases de capture humaine retargetées puis suivies par apprentissage par renforcement en simulation. Des références mal retargetées (pieds qui glissent, mains qui ne touchent plus la caisse, contacts perdus entre deux personnages) produisent des trajectoires physiquement incohérentes que le contrôleur ne peut pas suivre. Le réglage manuel des poids, souvent propre à chaque séquence, est un coût caché des pipelines de données. Remplacer ce réglage par une hiérarchie stricte pourrait réduire le travail d'ingénierie et rendre les jeux de données plus reproductibles. Pour la manipulation et les interactions multi-agents, qui sont les cas où les humanoïdes doivent démontrer une valeur industrielle (portage, passage d'objets, collaboration), préserver les contacts est une condition nécessaire. Il faut toutefois rester prudent : il s'agit d'un preprint v1, non revu par les pairs, évalué en simulation, et le résumé ne donne aucune validation sur robot physique. Le contexte est celui d'une course aux données de mouvement pour les modèles de fondation humanoïdes. Les outils de retargeting dominants reposent sur la cinématique inverse pondérée ou sur l'optimisation de maillage, conçus d'abord pour des mouvements isolés. L'extension aux scènes avec objets et plusieurs acteurs a fait apparaître les limites de la pondération. L'optimisation hiérarchique, qui impose les priorités par contraintes, est une idée ancienne en robotique (commande par tâches prioritaires, projection dans l'espace nul) que ce travail applique à ce problème. Les prochaines étapes à surveiller sont la publication du code, la comparaison chiffrée avec les méthodes de référence et, surtout, des tests de transfert sur matériel réel.

RecherchePaper
1 source
CeDR-Nav : navigation sans carte multi-morphologies par réaffectation de démonstrations hors ligne
79arXiv cs.RO 

CeDR-Nav : navigation sans carte multi-morphologies par réaffectation de démonstrations hors ligne

CeDR-Nav, un framework décrit dans un préprint arXiv (2610.13007), propose d'entraîner une politique de navigation dédiée à chaque robot cible à partir de démonstrations déjà collectées sur un autre robot, sans aucune collecte de données en ligne. Le principe est de « recaster » les démonstrations source : une mise à l'échelle cohérente sur le plan géométrique convertit les trajectoires en données d'entraînement pour la morphologie cible, et une évaluation de validité réalisée démonstration par démonstration écarte celles qui ne sont pas transposables. La politique obtenue est un modèle de mélange gaussien propre à chaque embodiment, qui génère des manœuvres d'évitement réalisables pour le robot visé. Les auteurs annoncent un gain moyen de 13,8 points de pourcentage de taux de réussite face à DRL-DCLP dans des simulations cross-embodiment, un entraînement de la politique cible bouclé en quelques secondes, et des déploiements réels sur plusieurs plateformes robotiques. L'enjeu est d'abord économique. En navigation sans carte (mapless), les politiques apprises par apprentissage par renforcement profond restent liées à la morphologie sur laquelle elles ont été entraînées : changer de châssis, d'empreinte au sol ou de cinématique impose de relancer un entraînement coûteux. Les approches cross-embodiment existantes demandent souvent un entraînement en ligne long, pour des performances parfois inférieures à celles de politiques spécifiques à la cible. Pour un intégrateur qui gère une flotte hétérogène d'AMR ou de robots mobiles, réutiliser un jeu de démonstrations unique et obtenir une politique par modèle en quelques secondes changerait la logique de déploiement. Il faut toutefois rester prudent : l'approche se limite à la navigation et à l'évitement d'obstacles, pas à la manipulation ou à la locomotion complexe. Le chiffre de 13,8 points est une moyenne en simulation face à une seule base de comparaison, et les résultats réels, dont l'abstract ne donne ni le nombre d'essais ni les conditions, restent à examiner dans le texte complet. Ce travail s'inscrit dans la recherche sur le transfert entre morphologies, qui occupe aussi les modèles généralistes de type VLA (Pi-0, GR00T) et les approches de co-entraînement multi-robots, mais avec une ambition plus étroite et plus pragmatique : la navigation réactive, où le critère de transférabilité peut se vérifier géométriquement. DRL-DCLP, la référence employée, représente la ligne de l'apprentissage par renforcement profond, dont le coût en échantillons et en temps d'entraînement est précisément ce que CeDR-Nav cherche à éviter. Il s'agit d'un préprint non encore évalué par les pairs, sans produit ni pilote industriel annoncé. La suite logique serait de tester la méthode sur des morphologies plus éloignées (robots à pattes, manipulateurs mobiles) et en environnements dynamiques, ce que l'abstract ne précise pas.

RecherchePaper
1 source
Mémoire à double flux pour les politiques vision-langage-action (VLA)
80arXiv cs.RO 

Mémoire à double flux pour les politiques vision-langage-action (VLA)

Des chercheurs proposent une mémoire à double flux pour les politiques vision-langage-action (VLA), conçue pour les tâches de manipulation où le robot doit à la fois savoir où il en est dans l'exécution et retrouver des indices visuels qui ne sont plus visibles. Le premier flux est un module Gated DeltaNet, indépendant de la tâche, qui compresse tout l'historique en un seul token temporel. Il est supervisé par deux objectifs : la prédiction de progression et la reconstruction de features conditionnée par l'action. Le second flux est un récupérateur conditionné par la tâche, qui conserve les images dont la pertinence dépasse un seuil fixe. Chaque image retenue est encodée en seize tokens spatiaux par fusion linéaire multi-échelle. Le compresseur temporel est ensuite gelé, puis la récupération et la politique sont optimisées conjointement. Sur les seize tâches du benchmark RoboMME, le modèle complet atteint 49,22 % de succès moyen, contre 44,51 % pour la référence publiée FrameSamp+Modul. Il progresse sur quatorze tâches et sur les moyennes des quatre suites. Sur quatre tâches avec un robot réel, le succès moyen passe de 37,5 % à 62,5 %. L'intérêt est de s'attaquer à une limite connue des VLA actuels, qui décident surtout à partir de l'observation courante ou d'une courte fenêtre d'images. Les auteurs séparent deux besoins que les approches existantes mélangent : le suivi de l'état d'exécution, qui demande une représentation compacte et continue, et l'accès sélectif aux preuves visuelles passées, qui demande de la récupération ciblée. Les plus gros gains sur robot réel concernent les actions répétées, où il faut distinguer à quelle étape on se trouve, par exemple répéter le même geste sans savoir si c'est la première ou la troisième fois. À prendre avec prudence toutefois : le gain de 4,7 points sur RoboMME est modeste. Le test réel ne porte que sur quatre tâches, sans volume d'essais précisé dans le résumé, et le papier est un préprint non évalué par des pairs. Les auteurs reconnaissent eux-mêmes une faiblesse : lors d'échanges de gobelets, le suivi persistant d'identité d'un objet échoue, et ce problème reste ouvert. Ce travail s'inscrit dans la montée des politiques VLA à mémoire (type Pi-0, Helix ou GR00T), dont les versions de production restent pour l'essentiel peu ou pas dotées de mémoire longue. RoboMME sert ici de banc d'essai pour les tâches dépendantes de l'historique, et la comparaison se fait contre une baseline d'échantillonnage d'images avec modulation. Les auteurs ne mentionnent ni code, ni modèle publiés, ni calendrier de déploiement. La suite logique est l'ajout d'un mécanisme de suivi d'identité d'objets, puis une validation sur davantage de tâches réelles et de plateformes. Pour les intégrateurs, il s'agit pour l'instant d'une piste de recherche, pas d'une brique disponible.

RecherchePaper
1 source
REMM : une mémoire incarnée révisable pour la manipulation
81arXiv cs.RO 

REMM : une mémoire incarnée révisable pour la manipulation

REMM (Revisable Embodied Memory for Manipulation) est une couche de mémoire de supervision proposée dans un preprint arXiv (2610.12710v1) pour des tâches de manipulation robotique de longue durée. Elle se greffe sur un exécuteur VLA (vision-language-action) figé, désigné G0.5, sans jamais le réentraîner. Son principe: séparer un historique de preuves en ajout seul (append-only) d'un état de tâche révisable, et lier explicitement chaque relation dérivée ou condition « accomplie » aux faits qui la soutiennent. Quand une nouvelle observation validée modifie un de ces faits, le système retire les conclusions qui en dépendaient et planifie une réparation ciblée aux frontières de compétence vérifiées. Les auteurs rapportent 51 essais physiques, certains avec assistance d'un opérateur. Face au meilleur des systèmes de référence, la progression moyenne de la tâche passe de 57 % à 91 % pour la récupération après intervention, et de 43 % à 70 % pour le rappel de séquence. Des diagnostics vidéo complémentaires indiquent aussi une meilleure transmission de l'historique retenu vers l'instruction suivante, y compris face à des adaptations de planificateurs de haut niveau compatibles π0.5. L'enjeu tient à un angle mort des politiques VLA actuelles: conserver des observations ne dit pas quelles conclusions doivent être invalidées lorsque le monde change. Un objet déplacé par un humain, une pièce retombée ou un empilement défait rendent caduque une étape pourtant déclarée terminée. Pour un intégrateur, la proposition est séduisante: ajouter une couche de supervision à un modèle existant évite un nouveau cycle de collecte de données et de fine-tuning, et rend l'état de la tâche inspectable. Les chiffres demandent toutefois de la prudence. Un échantillon de 51 essais est modeste, la métrique est une progression « enregistrée » et non un taux de réussite strict, la présence d'essais assistés brouille la lecture, et les comparaisons vidéo relèvent du diagnostic qualitatif. Aucune donnée sur la latence, le coût de calcul ou la diversité des tâches n'est mentionnée dans le résumé. Ce travail s'inscrit dans la course à la mémoire et au raisonnement long horizon pour les politiques généralistes, où les modèles de la lignée π0.5 servent de référence, souvent associés à un planificateur de haut niveau. L'approche de REMM, un contrôle modulaire par-dessus un exécuteur gelé, contraste avec les stratégies qui intègrent la mémoire dans les poids du modèle, et elle se place plus près des architectures neuro-symboliques. Il s'agit ici de recherche académique, sans produit ni déploiement industriel annoncé. Les prochaines étapes naturelles seraient des évaluations plus larges, sur d'autres exécuteurs et d'autres environnements, avec des taux de réussite stricts. Une page de projet est disponible pour suivre les démonstrations et le code éventuel.

RecherchePaper
1 source
Imaginer l'avenir, retenir l'essentiel : raisonnement VLA efficace par imagination spatio-temporelle internalisée
82arXiv cs.RO 

Imaginer l'avenir, retenir l'essentiel : raisonnement VLA efficace par imagination spatio-temporelle internalisée

Des chercheurs proposent IG-VLA, un cadre de raisonnement pour modèles vision-langage-action (VLA) qui apprend à anticiper l'évolution future d'une scène, puis à en retenir l'essentiel pour agir plus vite. Le premier composant, le Latent Spatiotemporal Reasoning, imagine l'évolution de la scène utile à la tâche directement dans l'espace de représentation visuelle, sans générer de vidéo au niveau du pixel. Ce raisonnement guide la prédiction d'actions. Le second composant, la Scene Gist Memory, internalise les associations entre scène et comportement issues de ce raisonnement dans un jeton compact, le Scene Gist Token. À l'inférence, le modèle peut alors se passer de toute imagination explicite du futur. Les tests portent sur trois benchmarks de simulation : LIBERO, LIBERO-Plus et VLABench. Sur la suite Language de LIBERO-Plus, les politiques « raisonnement » et « gist » dépassent toutes deux la meilleure base de comparaison d'environ 6 points de taux de succès. La politique « gist » est jusqu'à 6,38 fois plus rapide que les références. Elle ramène la latence de 1081 ms à 169,5 ms par séquence d'actions (action chunk), sur un seul GPU NVIDIA A6000. L'enjeu est le coût du raisonnement dans les VLA. Beaucoup d'approches récentes ajoutent des étapes intermédiaires pour améliorer la manipulation, mais elles raisonnent surtout sur l'état observé. Y ajouter des déroulés explicites du futur à chaque pas d'inférence alourdit fortement le calcul. À 1081 ms par chunk, une telle politique reste difficile à intégrer dans une boucle de contrôle réactive. À 169,5 ms, elle devient envisageable sur une station de travail courante. L'idée de distiller le raisonnement dans un jeton, plutôt que de le rejouer à chaque pas, vise donc le déploiement. Elle suggère que le bénéfice de l'anticipation peut être conservé sans en payer le coût en ligne. Il faut toutefois relativiser. Les résultats viennent uniquement de benchmarks simulés, et la comparaison porte sur des références choisies par les auteurs. Le gain de 6 points est mesuré sur une seule suite de LIBERO-Plus. L'article ne rapporte ni test sur robot réel, ni chiffres de robustesse en environnement industriel, ni code ou poids annoncés dans ce résumé. Le contexte est celui d'une recherche active sur les VLA efficaces, entre modèles dotés de raisonnement explicite et modèles « world model » qui génèrent des vidéos futures, lourds en calcul. IG-VLA se place sur la voie du raisonnement latent, moins coûteux. Pour les intégrateurs, la suite à surveiller est la validation sur matériel réel et sur des tâches longues, ainsi que la tenue de la latence annoncée avec des modèles plus grands que ceux testés sur A6000.

RecherchePaper
1 source
De l'impact à la compréhension : détection proprioceptive du terrain sur milieux granulaires, fondée sur la dynamique
83arXiv cs.RO 

De l'impact à la compréhension : détection proprioceptive du terrain sur milieux granulaires, fondée sur la dynamique

Des chercheurs ont publié sur arXiv (référence 2604.02563, version 2) un cadre physique permettant à un robot sauteur d'estimer les propriétés d'un sol granulaire, par exemple du sable, uniquement grâce à sa proprioception, c'est-à-dire ses capteurs internes de position et d'effort, sans caméra ni capteur dédié au sol. Les expériences ont été menées en laboratoire, avec des sauts à vitesse d'impact et compliance de jambe variées de façon systématique. Les mesures montrent que les hypothèses quasi-statiques, courantes en caractérisation de terrain, produisent de forts écarts d'estimation lors des sauts rapides, surtout à l'atterrissage et lors des transitions de raideur induites par le contrôleur. Le seul frottement dépendant de la vitesse n'explique pas ces écarts. Ce sont des effets de masse ajoutée, liés à l'accélération et à l'entraînement de grains sous le pied, qui dominent la réponse transitoire des forces. Les auteurs combinent cette décomposition des forces avec un estimateur à observateur de moment, qui compense l'inertie du corps rigide et la gravité. Ils y ajoutent une régression pondérée tenant compte de l'accélération, car la variance des forces augmente lors des événements à forte accélération. Le résultat retrouve la résistance granulaire de manière cohérente selon les conditions de locomotion, au plus près d'une vérité terrain mesurée par actionneur linéaire. L'article ne fournit pas ici de chiffres d'erreur, de vitesse ou de masse du robot. L'intérêt tient à la rupture avec une pratique répandue : traiter le contact comme quasi-statique revient à mal lire le sol précisément quand le robot va vite. Pour les concepteurs de robots à pattes, cela signifie qu'un estimateur de terrain fondé sur la seule raideur ou sur un frottement visqueux se trompe dès que l'allure s'accélère, ce qui peut dégrader la planification de pas, la sélection de démarche ou les décisions de traversabilité. L'approche reste purement proprioceptive, donc peu coûteuse en matériel et utilisable quand la vision est gênée par la poussière, la lumière ou l'occultation. Il faut toutefois rester prudent : il s'agit d'un résultat de laboratoire sur un dispositif de saut contrôlé, validé contre un banc linéaire, et non d'un déploiement sur robot mobile en terrain ouvert. Rien ne prouve encore que la méthode se généralise à d'autres types de sols (humides, cohésifs, pentus) ou à des marches multi-contacts complètes. Ce travail s'inscrit dans la lignée de la robotique d'exploration planétaire et de la locomotion sur milieux déformables, où la physique de l'interaction pied-grains (poussée de sable, théories de résistance) est étudiée depuis longtemps, mais surtout à basse vitesse. La montée en puissance des quadrupèdes et des robots sauteurs dynamiques oblige à étendre ces modèles aux régimes rapides. Les auteurs visent explicitement l'exploration dynamique d'environnements terrestres et planétaires, ce qui concerne les agences spatiales et les laboratoires de robots à pattes. Les suites logiques seraient l'intégration de l'estimateur dans une boucle de contrôle adaptative en ligne, des essais sur robot embarqué en milieu naturel, et une comparaison avec les approches par apprentissage, qui infèrent le terrain de façon implicite sans modèle physique explicite. Aucun calendrier de pilote ni partenaire industriel n'est annoncé.

RecherchePaper
1 source
PATACON : RRT-Connect parallèle sur GPU par fibré tangent pour la planification de mouvement sous contraintes
84arXiv cs.RO 

PATACON : RRT-Connect parallèle sur GPU par fibré tangent pour la planification de mouvement sous contraintes

PATACON est un planificateur de mouvement bidirectionnel exécuté sur GPU, décrit dans une prépublication arXiv (2610.13195v1). Il vise la planification de mouvement contrainte pour des robots à corps entier, notamment des humanoïdes, ainsi que pour des systèmes à deux bras en chaîne fermée. Sa particularité est d'explorer l'espace tangent plutôt que l'espace de configuration ambiant, en exploitant la géométrie locale de la variété définie par des fonctions de contrainte connues. Les auteurs l'ont testé sur deux familles de tâches : la planification à deux bras en chaîne cinématique fermée et la planification contrainte du corps entier d'un humanoïde. Selon leurs résultats, PATACON dépasse les travaux antérieurs à mesure que croissent la dimension de l'espace de configuration et la codimension des contraintes, avec une accélération pouvant atteindre 11,25 fois. Il s'agit de résultats d'expériences en laboratoire, sans déploiement industriel ni produit commercialisé. Le texte ne précise pas non plus les robots, les temps de cycle absolus ni le matériel GPU utilisés. Le point technique visé est le coût de la projection sur la variété de contraintes. Les planificateurs massivement parallèles sur GPU, apparus récemment, ont déjà réduit le coût du test de collision et de la recherche du plus proche voisin. Mais ils continuent de faire avancer leurs échantillons dans l'espace ambiant. Les candidats s'écartent alors de la variété et doivent être reprojetés, une opération qui domine le temps de calcul dans les problèmes fortement contraints et de grande dimension, justement ceux d'un humanoïde. En avançant le long du fibré tangent, PATACON limite ces corrections. L'enjeu est la replanification continue en environnement dynamique, où un robot doit recalculer sa trajectoire en respectant à la fois l'évitement de collisions et des contraintes cinématiques comme la fermeture de boucle ou le maintien d'une orientation. Le gain annoncé croît avec la difficulté, ce qui est le bon sens d'évolution, mais « 11,25 fois » est un maximum, pas une moyenne. Il dépend de la baseline retenue et des scénarios choisis, et seule une lecture complète des benchmarks dira si la tendance se confirme sur des tâches variées. Les auteurs parlent d'un rapprochement du temps réel, pas d'un temps réel atteint. Ce travail s'inscrit dans la lignée des planificateurs de type RRT-Connect, algorithme bidirectionnel classique, et de leurs variantes pour variétés contraintes, longtemps pénalisées par la projection itérative. Les versions parallélisées sur GPU ont ensuite déplacé le goulot d'étranglement, et PATACON s'attaque à ce point précis. Il se positionne face à ces planificateurs GPU antérieurs, que l'extrait ne nomme pas. Pour les intégrateurs d'humanoïdes, l'intérêt est indirect : ces briques de planification complètent les politiques apprises de type VLA plutôt que de les remplacer, en offrant des trajectoires qui respectent des contraintes explicites. Les suites naturelles seraient une validation sur matériel réel et une intégration dans des boucles de replanification embarquées, qui ne sont pas annoncées.

RecherchePaper
1 source
Fly-by-Code : des agents de code incarnés pour la manipulation aérienne, avec retour visuel actif et retour physique
85arXiv cs.RO 

Fly-by-Code : des agents de code incarnés pour la manipulation aérienne, avec retour visuel actif et retour physique

Des chercheurs proposent Fly-by-Code, un cadre où des agents de codage incarnés pilotent un manipulateur aérien (un drone équipé d'un bras) en générant des programmes exécutables à partir d'instructions en langage naturel, puis en les corrigeant à partir du retour d'exécution. Le travail, publié sur arXiv (2610.12549), introduit un mécanisme appelé Active Feedback (AF), fondé sur le principe « View and Probe ». Quand le retour d'exécution laisse des questions ouvertes, l'agent synthétise un programme de diagnostic distinct, exécuté en simulation. Ce programme peut soit inspecter depuis des points de vue informatifs des résultats que le robot n'a pas vus (View), soit tester des hypothèses sur les causes d'un échec par des interactions physiques ciblées (Probe). Sur six tâches de manipulation aérienne simulées, avec 60 essais par condition, AF fait passer les fausses déclarations de réussite de 25 à 5 et le taux de succès final de 31,7 % à 75 %. La comparaison se fait avec un retour terminal simple, à configuration d'agent et limite d'exécution identiques. Les programmes affinés en simulation tournent ensuite sur un manipulateur aérien physique, via des API robot partagées et sans modification du code source. Ils accomplissent des tâches de manipulation en plusieurs étapes en conditions réelles. L'intérêt tient à l'hypothèse que le travail remet en cause. Les boucles d'agents de codage supposent que le retour d'exécution dit si la tâche a réussi et, en cas d'échec, indique comment corriger le programme. En aérien, cette hypothèse ne tient pas. Les contraintes de charge utile limitent les caméras embarquées, si bien que des résultats décisifs restent hors champ (observabilité partielle). Le fort couplage dynamique et les faibles marges de contrôle rendent les interactions fragiles, et plusieurs causes d'échec produisent les mêmes symptômes. Relire le même retour ne récupère donc ni des observations jamais capturées, ni une distinction entre causes. Le point le plus parlant est la réduction des fausses déclarations de réussite : un agent qui annonce avoir fini sans l'avoir fait est le principal danger d'un déploiement autonome. Pour les intégrateurs, le message est que la fiabilité vient moins d'un meilleur modèle de langage que d'une instrumentation active du diagnostic. Il faut toutefois nuancer : les chiffres viennent de simulation, six tâches seulement, et la démonstration réelle reste qualitative, sans taux de succès publié sur matériel. Le transfert sans modification du code est encourageant, mais ne vaut pas validation en production. Ce travail s'inscrit dans la montée des agents de codage embarqués, qui génèrent des politiques sous forme de programmes plutôt que d'entraîner des politiques neuronales de bout en bout, comme le font les approches VLA. L'aérien est un cas limite, car la charge utile impose des capteurs réduits et la physique pardonne peu. Le résumé ne cite ni modèle de langage, ni plateforme précise, ni calendrier de pilotes. Il s'agit d'une préversion de recherche (v1), sans produit ni déploiement industriel annoncé. La suite logique est une évaluation plus large sur matériel, avec des mesures chiffrées en conditions réelles, et l'application de la même logique de diagnostic exécutable à d'autres robots à capteurs contraints.

RecherchePaper
1 source
Easy-IIL : alléger la charge de l'opérateur humain en apprentissage par imitation interactif grâce à un expert assistant
86arXiv cs.RO 

Easy-IIL : alléger la charge de l'opérateur humain en apprentissage par imitation interactif grâce à un expert assistant

Easy-IIL est un cadre d'apprentissage par imitation interactive (IIL) publié sur arXiv (2603.12769, version 2) qui vise à réduire la charge opérationnelle de l'opérateur humain. L'IIL classique mobilise beaucoup l'humain, d'abord pour les démonstrations hors ligne, puis pour l'interaction en ligne, où l'opérateur corrige le robot pendant l'exécution. Les travaux antérieurs ont surtout cherché à alléger la surveillance passive, pas le pilotage actif. Les auteurs proposent de remplacer l'opérateur humain, pour l'essentiel de la collecte de données, par un « expert assistant ». Cet expert est une méthode d'imitation à base de modèle, disponible telle quelle, qu'une seule démonstration humaine suffit à initialiser. L'humain n'intervient ensuite que dans les états critiques, lorsque la tâche est près d'échouer. Les auteurs affirment que le dispositif préserve la qualité des données hors ligne et en ligne. Ils ont testé Easy-IIL en simulation et sur robot réel. Ils rapportent une baisse nette de la charge opérationnelle, avec des performances comparables à celles des références IIL courantes. Des études utilisateurs indiquent aussi une charge de travail subjective plus faible pour l'expert humain. L'intérêt tient à un goulot d'étranglement connu de la robotique pilotée par les données. Le coût du temps d'opérateur qualifié limite le passage à l'échelle de l'imitation, que ce soit pour des bras industriels ou des politiques VLA (vision-langage-action) affinées sur démonstrations. Si une seule démonstration suffit à lancer la collecte, et si l'humain n'intervient que sur les échecs imminents, le coût de déploiement d'une nouvelle tâche baisse pour un intégrateur. L'approche s'appuie aussi sur une asymétrie déjà observée. Les méthodes structurées à base de modèle atteignent de bons résultats avec très peu de démonstrations, mais les politiques de bout en bout les dépassent quand les données augmentent. Easy-IIL emploie les premières pour amorcer la collecte et laisse les secondes prendre le relais. Une réserve s'impose : le résumé ne chiffre ni la réduction d'effort, ni les tâches testées, ni le nombre d'essais. « Comparable » reste donc à vérifier dans l'article complet, en particulier sur des tâches riches en contacts ou à longue durée. Ce travail s'inscrit dans la famille des méthodes à intervention humaine, comme HG-DAgger et ses variantes, qui ont déjà réduit la supervision continue mais gardent l'humain aux commandes dès qu'il faut corriger. L'angle ici est différent : déléguer l'action à un expert algorithmique et réserver l'humain aux cas limites. L'étape suivante probable est de vérifier si le gain tient sur des tâches plus longues ou plus variées, avec des politiques de grande taille. Il restera aussi à voir s'il tient avec des assistants à base de modèle moins fiables, ce qui conditionnera son adoption dans des cellules industrielles réelles.

RecherchePaper
1 source
Au-delà des démonstrations réussies : apprendre des interactions humaines et modéliser la dynamique des échecs
87arXiv cs.RO 

Au-delà des démonstrations réussies : apprendre des interactions humaines et modéliser la dynamique des échecs

Des chercheurs proposent HF-WM, un modèle du monde conditionné par les actions (action-conditioned world model) qui prédit les conséquences des gestes d'un robot sous forme de vidéo générée. Le système repose sur deux idées. D'une part, il apprend à partir de vidéos égocentriques humaines à grande échelle pour compenser la couverture limitée des jeux de données robotiques. D'autre part, il subit un post-entraînement sensible à l'échec. Pour combler l'écart d'embodiment entre la main humaine et le manipulateur robotique, l'architecture associe deux branches : la génération vidéo et la prédiction auxiliaire de pointflow (champ de trajectoires de points). Ce pointflow, stabilisé pour supprimer le mouvement de la caméra égocentrique, sert de représentation unifiée du mouvement chez l'humain comme chez le robot. Pour les échecs, l'équipe applique l'algorithme GRPO (Group Relative Policy Optimization) sur des actions perturbées, dérivées de démonstrations réussies. Deux récompenses guident ce processus : l'alignement avec l'action et la plausibilité physique. Aucune vidéo d'échec réelle appariée n'est requise. Les auteurs annoncent des performances de pointe en génération vidéo conditionnée par l'action, ainsi qu'une bonne utilité pour l'évaluation de politiques sur des tâches robotiques en aval. Le résumé publié ne fournit ni métriques chiffrées, ni liste de baselines, ni taille de jeu de données. L'enjeu est double pour la robotique de manipulation. Les jeux de données robotiques sont dominés par des démonstrations réussies, ce qui crée un biais : un modèle du monde entraîné sur ces seules données peine à anticiper un objet qui glisse, une prise manquée ou une collision. Or c'est précisément ce que doit savoir prédire un simulateur appris pour être utile. S'il fonctionne, un tel modèle permet d'évaluer une politique VLA (vision-langage-action) en simulation générative, sans multiplier les essais sur robot réel, ce qui représente un gain de coût et de temps pour les intégrateurs et les équipes de validation. L'approche s'appuie aussi sur l'abondance de vidéos humaines, bien moins chères à collecter que la téléopération. Deux réserves s'imposent toutefois. Les échecs sont synthétisés à partir de perturbations d'actions et jugés par des récompenses apprises, donc leur fidélité aux vraies défaillances (contacts, déformations, frottements) reste à démontrer. Et la corrélation entre le classement des politiques selon le modèle du monde et leurs résultats réels sur robot est la vraie mesure de validité, qu'il faut examiner dans l'article complet. Ce travail s'inscrit dans la course aux modèles du monde pour la robotique, où se côtoient les approches de génération vidéo conditionnée par l'action et les grands modèles de fondation de type GR00T de NVIDIA ou Pi-0 de Physical Intelligence. Il prolonge deux tendances : l'apprentissage inter-embodiment à partir de vidéos humaines, et l'usage de l'apprentissage par renforcement (GRPO, popularisé dans les modèles de langage) pour affiner des modèles génératifs. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs, sans produit ni déploiement industriel associé. La suite logique serait la publication du code et des poids, des comparaisons sur des benchmarks partagés et une validation sur des tâches de manipulation réelles et variées.

RecherchePaper
1 source
FallGown : un dispositif portable pneumatique souple pour prévenir les chutes
88arXiv cs.RO 

FallGown : un dispositif portable pneumatique souple pour prévenir les chutes

Des chercheurs présentent sur arXiv le FallGown, un dispositif vestimentaire souple conçu pour prévenir les chutes chez les personnes âgées. Il se compose de poches pneumatiques pressurisées logées dans une enveloppe en tissu, formant une sorte de jupe de soutien capable de porter l'intégralité du poids de l'utilisateur. Stocké, il pèse 6,9 kg pour 0,051 m³. La traînée mesurée se situe entre 7,24 et 20,8 N selon le type de sol et la présence ou non d'un châssis roulant optionnel. L'enfilage prend moins de 2,5 minutes en moyenne, le retrait moins de 30 secondes. Les tests anti-chute n'ont porté que sur un seul utilisateur. La meilleure configuration, une jupe de 12 poches d'un diamètre au sol de 1,4 m, montée sur le châssis roulant, a évité toutes les chutes sauf une, due à une défaillance mécanique. Des capteurs de pression embarqués mesurent la répartition du poids de l'utilisateur. L'intérêt tient à la voie choisie pour un problème bien connu. La peur de tomber pousse de nombreux seniors à renoncer à la marche, à la danse ou au tai-chi, alors que ces activités sont justement celles qui préservent la mobilité. Les déambulateurs mobilisent les bras. Les exosquelettes et cadres robotisés sont rigides, encombrants et souvent stigmatisants. Le FallGown propose une alternative souple, qui laisse les mains libres et ne demande pas d'actionneurs rigides. Les résultats montrent aussi un compromis concret entre taille et stabilité. Une jupe plus large résiste mieux au basculement, mais elle gêne le passage des portes et des espaces étroits. Le châssis roulant réduit la friction avec le sol, mais il diminue la portabilité et la déformation de la jupe, utile pour franchir ces passages. Les capteurs de pression ouvrent la voie à un suivi des exercices et à un soutien adaptatif. Il faut toutefois rester prudent. Un seul sujet a été testé et une défaillance mécanique est survenue. Une traînée de 7 à 20 N peut aussi peser sur un utilisateur fragile. Aucun essai clinique ni avec des personnes âgées n'est rapporté, et aucun calendrier de commercialisation n'est annoncé. Il s'agit donc d'un prototype de laboratoire, loin d'un produit disponible. Ce travail s'inscrit dans le courant de la robotique souple et vestimentaire, qui cherche à contourner les limites des exosquelettes rigides, plus lourds, plus coûteux et plus difficiles à faire accepter hors du cadre médical. Les actionneurs pneumatiques souples sont déjà utilisés pour l'assistance à la marche et à la rééducation, mais le plus souvent pour assister des articulations, rarement pour soutenir le poids total du corps. Les dispositifs concurrents sont les déambulateurs motorisés, les harnais suspendus sur rail ou sur portique, et les exosquelettes à usage médical comme ceux d'acteurs européens tels que Wandercraft, qui vise la remarche de patients paralysés plutôt que la prévention des chutes en autonomie. Les étapes suivantes semblent évidentes : des essais avec des utilisateurs âgés, des tests de robustesse pour éliminer les défaillances mécaniques, un allègement de l'ensemble et la validation des capteurs pour le suivi d'exercice. Le prototype reste en revanche à un stade amont de la recherche.

RecherchePaper
1 source
CASTER : formaliser la manipulation zero-shot à partir de vidéos synthétiques comme un problème d'optimisation sous contraintes
89arXiv cs.RO 

CASTER : formaliser la manipulation zero-shot à partir de vidéos synthétiques comme un problème d'optimisation sous contraintes

CASTER est un cadre formel publié sur arXiv (2610.12567) par l'équipe du laboratoire Collab de Virginia Tech. Il décrit comment passer d'une vidéo synthétique, produite par un modèle de génération vidéo à partir d'un prompt décrivant la tâche, à une trajectoire exécutable par un robot en manipulation zéro-shot, sans aucune démonstration humaine réelle. Les vidéos sont générées dans l'environnement courant du robot, mais elles montrent des mouvements plausibles sans cohérence physique ni ancrage dans le robot, de sorte qu'elles ne peuvent pas être rejouées telles quelles. Les auteurs modélisent le problème comme une optimisation sous contraintes : les trajectoires d'objets extraites de la vidéo servent d'estimation initiale, puis sont raffinées, par exemple dans un jumeau numérique, sous des contraintes de faisabilité physique et de cohérence sémantique. En retirant plusieurs simplifications des méthodes existantes pour se rapprocher de l'optimisation sous-jacente, CASTER améliore le taux de réussite moyen de 34,1 % par rapport à la meilleure référence comparée. Ce chiffre est relatif au jeu de tâches et aux baselines choisis par les auteurs, et le résumé ne précise ni le nombre de tâches, ni le robot, ni les essais réels par rapport à la simulation. L'intérêt tient d'abord à la formalisation. Beaucoup de pipelines « vidéo générée vers robot » reposent sur des heuristiques assemblées empiriquement. Ici, l'analyse montre que les approches de l'état de l'art sont des cas particuliers d'un même problème d'optimisation, avec des simplifications qui limitent leur robustesse. Elle fournit aussi un critère concret pour les générateurs : la vidéo n'a pas besoin d'être physiquement exacte, mais doit placer, de façon probabiliste, la recherche dans un « bassin d'attraction sémantique », c'est-à-dire une région où la trajectoire peut être modifiée localement sans perdre son alignement avec la tâche. Pour un intégrateur ou une équipe R&D, cela déplace la question : l'enjeu n'est plus d'obtenir des vidéos parfaites, mais de mesurer la fréquence à laquelle elles tombent dans ce bassin, puis de disposer d'un solveur et d'un jumeau numérique fiables pour finir le travail. Cela tempère aussi l'idée que la génération vidéo suffirait à elle seule à résoudre la manipulation : le gain provient surtout de l'étape d'optimisation et de la qualité de la simulation. Le contexte est celui d'un champ très actif, où les modèles vidéo servent de substitut aux démonstrations téléopérées coûteuses, en concurrence avec les politiques VLA (vision-langage-action) entraînées sur de grands jeux de données, comme Pi-0, GR00T ou Helix, qui exigent des données réelles. CASTER relève de la recherche académique : aucun produit, pilote industriel ni calendrier de déploiement n'est annoncé, et la vidéo de démonstration reste hébergée sur la page du projet. Les suites probables sont des validations sur davantage de robots et de tâches, ainsi qu'une évaluation de la dépendance à la précision du jumeau numérique. Un point à surveiller est la robustesse face aux objets déformables ou aux scènes encombrées, où l'extraction de trajectoires depuis la vidéo est la plus fragile.

RecherchePaper
1 source
Gamma : mémoire multi-agents ancrée avec audit mécanique pour la manipulation à forte charge mémorielle
90arXiv cs.RO 

Gamma : mémoire multi-agents ancrée avec audit mécanique pour la manipulation à forte charge mémorielle

Des chercheurs proposent GAMMA (Grounded multi-Agent Memory with Mechanical Audit), un système de mémoire pour la manipulation robotique dont le préprint a été publié sur arXiv (2610.12793, première version). Le constat de départ est que les politiques VLA (vision-language-action) préentraînées échouent sur les tâches à mémoire, c'est-à-dire celles où le bon geste dépend d'un événement observé bien avant l'image courante. Leurs données d'entraînement sont presque toutes markoviennes, et faire correspondre directement une mémoire épisodique à des séquences d'actions reste difficile. Les auteurs montrent pourtant que la même politique, affinée une fois pour suivre les sous-objectifs textuels d'un oracle disposant d'informations privilégiées, résout presque ces tâches. GAMMA reconstitue cet étage en deux agents. Le détecteur SAM-3 assure l'ancrage spatial. Un VLM « rédacteur » condense chaque fenêtre de replanification en une ligne de texte ancrée, stockée dans une mémoire textuelle en ajout seul. Un VLM « raisonneur » lit cette mémoire et émet le prochain sous-objectif à la cadence de l'oracle. Un protocole proposer-vérifier admet, diffère, corrige ou rejette chaque affirmation des agents au vu de preuves visuelles mécaniques, aussi bien pour construire le corpus d'entraînement qu'au déploiement. Sur une suite de seize tâches de manipulation à mémoire, avec la politique figée, GAMMA récupère une large part du plafond de l'oracle et l'atteint sur plusieurs tâches. Il se transfère à un second benchmark sans modifier ses contrats. L'apport est surtout un diagnostic : le verrou ne se situe pas dans la génération d'actions mais dans la conversion de la mémoire en sous-objectif symbolique ancré. Une politique figée suffit donc, sans réentraînement massif, si cet étage est fiable. L'audit mécanique répond aux hallucinations qui contaminent la mémoire elle-même, un problème central pour tout intégrateur qui envisage des robots exécutant des séquences longues. Il faut toutefois relativiser : le résumé ne chiffre ni la fraction du plafond récupérée ni le nombre de tâches où il est atteint. Il ne mentionne pas non plus de validation sur robot physique, et les résultats portent sur des suites de tâches de recherche, pas sur un déploiement. Ce travail critique les approches où un seul VLM sélectionne des images clés et raisonne sur des centaines de trames dans un contexte non borné. Ces approches restent loin de l'oracle, car identités et dynamiques se noient dans des pixels bruités. GAMMA s'inscrit dans la tendance des architectures VLA hiérarchiques, où un planificateur de haut niveau pilote une politique de bas niveau. Il s'agit d'un préprint académique, sans produit, pilote ni calendrier annoncés. La suite à surveiller est la reproduction indépendante et le passage au matériel réel.

RecherchePaper
1 source
Navigation visuelle et Wi-Fi vers des appareils émetteurs de signaux
91arXiv cs.RO 

Navigation visuelle et Wi-Fi vers des appareils émetteurs de signaux

Une équipe de chercheurs propose la navigation « visuelle et Wi-Fi », une approche où un robot rejoint un appareil émetteur dans un environnement non cartographié. Le robot s'appuie sur ses observations visuelles embarquées et sur les paquets Wi-Fi interceptés passivement, sans se connecter à l'appareil ni modifier l'infrastructure. Le travail repose sur deux briques. WiFiSpaces étend le simulateur Habitat avec un lancer de rayons en ligne, qui génère à chaque pose continue du robot les observations Wi-Fi d'un réseau d'antennes monté dessus. ViFiNav est le cadre de navigation construit par-dessus. Un algorithme de localisation de source en ligne exploite le mouvement du robot pour lever les ambiguïtés et agréger les mesures d'angle d'arrivée prises depuis plusieurs points de vue, ce qui produit une estimation de position assortie d'un niveau de confiance. Une politique apprise fusionne cette estimation, qui s'affine au fil du trajet, avec les images de profondeur. Le système a été déployé sur un robot réel équipé d'un capteur Wi-Fi bâti à partir d'un routeur grand public, sans aucun entraînement en conditions réelles. Les valeurs chiffrées (taux de réussite, erreur de localisation) ne figurent pas dans le résumé disponible. L'intérêt tient à la cible visée. Les objets petits, occultés ou visuellement peu distinctifs, comme un appareil électroménager connecté, un smartphone ou une étiquette IoT, mettent en difficulté la navigation purement visuelle. Or ces objets émettent déjà du Wi-Fi en fonctionnement normal. Les auteurs montrent que le mouvement du robot est déterminant pour obtenir des estimations de source précises, car les mesures d'angle prises depuis une position fixe sont faussées par les trajets multiples en intérieur. Ils indiquent aussi que le réglage fin sur des observations Wi-Fi simulées par lancer de rayons améliore le taux de réussite. Le transfert sans réentraînement vers des jeux de scènes inédits, puis vers un robot physique, suggère que la simulation peut combler une partie de l'écart sim-to-real pour un capteur radio, domaine où les simulateurs se limitaient jusqu'ici surtout à la vision. Pour un intégrateur, l'usage possible va de la logistique intérieure à la recherche d'outils ou d'équipements étiquetés. La prudence reste de mise : il s'agit d'un preprint, et rien n'indique la diversité des environnements réels testés, la densité d'émetteurs concurrents ni la tenue face à des appareils qui émettent peu. Ce travail s'inscrit dans la navigation vers un objectif (object-goal navigation), qui s'est surtout développée dans Habitat avec des politiques fondées sur la vision et la profondeur. Les approches radio existantes relèvent souvent de la localisation par empreintes Wi-Fi, qui exige une cartographie préalable ou une infrastructure dédiée. Ici, aucun de ces prérequis n'est nécessaire. La publication (arXiv, 2610.12733) n'annonce ni pilote industriel ni calendrier de commercialisation, et reste un résultat de recherche. Les suites logiques seraient des essais dans des bâtiments plus variés, avec plusieurs sources simultanées, et une intégration avec les modèles vision-langage-action actuels pour des tâches de manipulation guidées par un signal.

RecherchePaper
1 source
MARGoS : une plateforme pilotée par configuration pour des expériences MARL reproductibles dans ARGoS
92arXiv cs.RO 

MARGoS : une plateforme pilotée par configuration pour des expériences MARL reproductibles dans ARGoS

MARGoS est une plateforme légère, pilotée par configuration, publiée sur arXiv (2610.13772) et disponible en open source sur GitHub (dépôt tombackert/margos). Elle vise à rendre reproductibles les expériences d'apprentissage par renforcement multi-agents (MARL) menées dans ARGoS, le simulateur très utilisé en robotique collective pour étudier les comportements émergents d'essaims. Le principe consiste à traiter comme des artefacts gérés par la plateforme tous les éléments qui définissent une expérience : fichiers de simulation, scripts d'entraînement, valeurs de configuration, chemins, graines aléatoires et détails d'environnement. Les mécanismes annoncés sont le hachage des configurations, la propagation des graines de bout en bout, des configurations figées (immuables), une journalisation structurée, l'empreinte d'environnement (environment fingerprinting) et des « bundles » d'expérience exportables, destinés au partage, au rejeu et à la vérification des résultats d'une machine à l'autre et dans le temps. Les auteurs évaluent l'ensemble selon cinq axes : architecture, efficacité, reproductibilité, ergonomie et collaboration. Le problème visé est connu de quiconque a monté une expérience MARL en robotique d'essaim. Une seule expérience repose aujourd'hui sur des fichiers de simulateur, des scripts et des paramètres alignés à la main, si bien que la réutilisation et la reproduction restent fragiles, même au sein d'un même groupe de recherche. Pour les équipes qui évaluent des politiques multi-robots avant un déploiement, c'est un enjeu pratique : sans traçabilité de la configuration, de la graine et de l'environnement, impossible de savoir si un gain de performance vient de l'algorithme ou d'un réglage non consigné. Il s'agit d'un outil d'infrastructure de recherche, pas d'une avancée algorithmique. L'article ne revendique aucun nouveau résultat de performance en MARL, et la conclusion, selon laquelle gérer la variation des expériences comme une responsabilité de la plateforme facilite réutilisation, reproduction et passation, repose sur une évaluation menée par les auteurs eux-mêmes. Aucune validation indépendante ni adoption par d'autres laboratoires n'est mentionnée. Le contexte est celui d'une crise de reproductibilité plus large en apprentissage par renforcement, que des outils généralistes de suivi d'expériences (journalisation, versionnage de configurations) traitent déjà en partie, sans intégration spécifique à ARGoS. MARGoS comble cette niche pour la communauté swarm. Il reste à voir si le projet gagnera une base d'utilisateurs au-delà de ses auteurs, et s'il sera relié à des benchmarks ou des pipelines sim-to-real, où la fidélité de rejeu compte le plus. Le code étant public, ces questions pourront être tranchées par l'usage.

RecherchePaper
1 source
HorizonNav : diffusion vidéo guidée par la géométrie pour une navigation robotique 3D anticipative
93arXiv cs.RO 

HorizonNav : diffusion vidéo guidée par la géométrie pour une navigation robotique 3D anticipative

HorizonNav, un framework décrit dans un preprint arXiv (2610.13849v1), propose de transformer une seule image RGB et un prompt textuel en représentation 3D géométriquement alignée de l'espace environnant, pour permettre une navigation « anticipatrice » sans lidar. Un modèle vision-langage interprète la scène et construit des prompts structurés pour un modèle de diffusion vidéo, qui génère une séquence d'observations futures plausibles. Cette vidéo est ensuite traitée par ORB-SLAM3 en mode monoculaire pour estimer les poses de caméra, et par Video Depth Anything pour prédire une profondeur dense. L'apport central est une étape d'alignement de la profondeur guidée par la géométrie, qui combine les poses estimées et des points de repère visuels triangulés pour contraindre les cartes de profondeur sur plusieurs vues. Les auteurs soulignent que la seule cohérence temporelle de la vidéo générée ne suffit pas à garantir une géométrie cohérente. Les résultats chiffrés restent modestes, mais ils sont présentés avec une franchise rare. Sur une étude de 19 scènes, le nombre de scènes permettant une planification passe de 13/19 à 15/19 entre les configurations P20 et P81, et les essais RRT réussis de 62/90 à 75/90. Dans une étude de couloirs, 6 trajectoires de caméra générées sur 25 évaluables violent les contraintes de collision reconstruites, et le planificateur RRT trouve une alternative faisable dans 5 de ces 6 cas. Sur une archive plus large, 58 reconstructions exploitables sur 67 tentatives ont été obtenues, mais seules 36 débouchent sur un plan, contre 22 sans plan possible. L'erreur moyenne de reconstruction atteint environ 0,30 m sur 15 couloirs, mesurée à des repères structurels appariés. Pour un intégrateur, 0,30 m est loin d'une précision suffisante pour de la manipulation, et même pour de la navigation en espace étroit la marge est faible. Aucun test sur robot réel n'est mentionné dans le résumé, et l'évaluation se fait dans des environnements « imaginés ». L'intérêt tient à la publication des échecs : près d'un tiers des reconstructions exploitables ne supporte aucun plan, ce qui chiffre l'écart entre une vidéo visuellement plausible et un espace libre réellement fiable. Cela tempère l'idée que les modèles de monde génératifs peuvent remplacer directement la cartographie par capteurs actifs. Dans ce cadre, la vidéo générée reste une hypothèse sur ce qui est hors champ, pas une mesure. Le travail s'inscrit dans la tendance à utiliser la diffusion vidéo comme modèle de monde pour la robotique, en concurrence avec les approches de navigation fondées sur la cartographie classique, le SLAM visuel-inertiel ou les VLA de navigation. Il s'agit d'une preuve de concept académique : ni produit, ni déploiement, ni calendrier annoncé. Les prochaines étapes naturelles seraient des essais sur plateforme mobile réelle et une réduction de l'erreur métrique.

RecherchePaper
1 source
JoyInside-VLM-Agent : apprentissage de politiques multimodales conditionnées par le produit pour agents incarnés
94arXiv cs.RO 

JoyInside-VLM-Agent : apprentissage de politiques multimodales conditionnées par le produit pour agents incarnés

JoyInside-VLM-Agent est un agent multimodal de type ReAct (raisonnement puis action en boucle) conçu pour des plateformes robotiques et du matériel intelligent, décrit dans un preprint arXiv (2610.12957). Il vise à traduire des observations multimodales et des requêtes utilisateur en actions exécutables, en tenant compte des contraintes du produit, des changements d'objectif et des retours d'exécution. Les données d'entraînement viennent d'un bac à sable en boucle fermée qui génère des trajectoires d'interaction couvrant révisions d'objectifs et récupération après échec, validées par les résultats d'exécution et des critères sémantiques. L'entraînement enchaîne fine-tuning supervisé, distillation on-policy multi-enseignants, puis apprentissage par renforcement avec DPER (Dual-Source Privileged On-Policy Self-Distillation with Token-Level Evidence Routing). Cette méthode répartit des signaux au niveau des tokens entre un enseignant privilégié figé et un étudiant privilégié partageant les paramètres de la politique de rollout, et module les avantages dérivés de la récompense sans en changer le signe. Les récompenses combinent évaluation générative du processus, classements par plusieurs juges et cohérence de la file de tâches. Le modèle obtient 77,44 au score global BFCL v4, devant les références évaluées. Sur les autres benchmarks publics, les résultats sont mixtes. Sur les bancs maison JoyInside-Devices et JoyInside-Robotics, le système évalué mène sur toutes les métriques rapportées. Deux études de cas sur quadrupèdes réels illustrent la recherche guidée par la vision, le replanification après échec et le signalement explicite des défaillances. L'intérêt tient moins à un record qu'à la méthode : conditionner l'apprentissage sur les contraintes d'un produit donné, plutôt que de viser un agent générique, répond à un écueil fréquent du déploiement, où un modèle brillant en laboratoire se heurte aux API, aux capacités et aux modes de panne propres à chaque machine. L'accent mis sur la récupération après échec et le signalement honnête des défaillances est pertinent pour les intégrateurs, car la fiabilité en exploitation dépend souvent davantage de la gestion des erreurs que du taux de réussite nominal. Il faut toutefois tempérer : le score BFCL v4 mesure l'appel de fonctions, pas la manipulation physique, et les résultats « mixtes » sur les autres benchmarks publics montrent que la supériorité n'est pas générale. Les bancs JoyInside sont propres aux auteurs, et le système évalué inclut un raffinement de compétences spécifique au domaine, ce qui rend la comparaison avec des références génériques moins équitable. Deux études de cas sur quadrupèdes, sans volumes ni taux de réussite publiés, restent illustratives et non une preuve de déploiement. Le travail s'inscrit dans la tendance des agents incarnés pilotés par des modèles vision-langage, où des approches comme les VLA (vision-langage-action) de Physical Intelligence ou Nvidia ciblent plutôt le contrôle bas niveau, tandis que JoyInside se situe à la couche de planification et d'orchestration d'outils. Le préprint ne précise ni la disponibilité du modèle, ni le calendrier de commercialisation, ni les partenaires matériels. Les prochaines étapes à surveiller sont la publication des jeux de données et du code, une validation indépendante sur d'autres plateformes, et des chiffres de fiabilité en conditions réelles sur de longues durées.

IA physiqueOpinion
1 source
SAP-CoPE : planification socialement consciente par estimation de pose coopérative avec des nœuds de capteurs d'infrastructure
95arXiv cs.RO 

SAP-CoPE : planification socialement consciente par estimation de pose coopérative avec des nœuds de capteurs d'infrastructure

Des chercheurs proposent SAP-CoPE, un cadre de navigation d'intérieur pour robots mobiles autonomes qui combine perception coopérative par capteurs d'infrastructure, estimation de pose humaine en 3D et planificateur MPC (commande prédictive par modèle) sensible aux normes sociales. Le travail, publié sur arXiv (version 3 de l'article 2504.05727), vise les environnements intérieurs peuplés où les capteurs embarqués seuls souffrent d'une portée limitée et d'occultations. Côté perception, un problème d'optimisation tenant compte de l'incertitude estime les poses 3D des personnes à partir d'observations de caméras fixes, avec en option l'ajout de mesures LiDAR éparses, tout en respectant la cohérence des articulations du corps humain. Côté planification, la pose et l'orientation estimées servent à construire un champ d'espace personnel (PS) intégré au MPC, pour que le robot prenne en compte à la fois la sécurité physique et le confort psychologique des personnes. Les auteurs revendiquent des évaluations en conditions réelles « extensives », sans que le résumé n'en donne les chiffres : ni taux d'erreur de pose, ni distances de passage, ni temps de calcul, ni nombre de capteurs ou de scénarios. L'intérêt tient à la question traitée : un robot qui croise des humains ne doit pas seulement les éviter, il doit déduire leur intention et respecter des distances perçues comme confortables, ce qui exige de connaître l'orientation du corps et pas seulement une position. En déportant une partie de la perception sur l'infrastructure, l'approche contourne les angles morts d'un robot isolé, au prix d'un équipement du site (caméras calibrées, éventuellement LiDAR, communication) qui pèse sur le coût et le déploiement. Pour les intégrateurs d'hôpitaux, d'entrepôts ou de bureaux déjà équipés de caméras, c'est une piste crédible, mais elle reste de la recherche académique. Aucun produit, pilote client ni volume de déploiement n'est annoncé, et l'absence de métriques quantitatives dans le résumé empêche d'évaluer le gain réel face à une navigation purement embarquée. Ce travail s'inscrit dans la lignée de la navigation sociale, où les modèles de proxémie (zones d'espace personnel) et les approches de type MPC ou apprentissage sont explorés depuis des années, et dans celle de la perception coopérative, déjà établie en conduite autonome avec les capteurs en bord de route. Il se distingue en les transposant à l'intérieur, avec estimation de pose 3D plutôt qu'une simple détection de piétons. Il reste en concurrence avec les méthodes de navigation sociale entièrement embarquées et avec les approches par apprentissage de bout en bout, plus simples à déployer mais plus exposées aux occultations. Le passage à une troisième version indique un travail révisé et probablement amélioré, mais les suites concrètes (code ouvert, tests à plus grande échelle, validation avec des utilisateurs, déploiement sur site) ne sont pas précisées.

RecherchePaper
1 source
Rétroaction distribuée par covariance harmonique pour la fermeture de trous dans des essaims de robots planaires
96arXiv cs.RO 

Rétroaction distribuée par covariance harmonique pour la fermeture de trous dans des essaims de robots planaires

Des chercheurs proposent, dans le preprint arXiv 2610.12637v1, une méthode de commande distribuée pour refermer les « trous » de couverture dans un essaim de robots planaires. Chaque agent possède un disque de détection, et l'ensemble de ces disques forme un complexe de Čech qui évolue dans le temps. Le retour d'état proposé, dit « harmonique-covariance », exploite des signaux harmoniques portés par les arêtes du complexe pour localiser les trous, puis les convertit en forces appliquées aux agents. Pour que le calcul reste distribué, les auteurs utilisent un polynôme de degré fixe du laplacien de Hodge régularisé, évalué par de simples applications locales de l'opérateur. Dans une démonstration numérique de 15 secondes, tous les trous sont refermés à 9,9 s et restent fermés jusqu'à la fin. Il s'agit d'une simulation unique, sans robot physique ni nombre d'agents précisé dans le résumé. L'apport est surtout théorique, mais il touche un point sensible de la robotique en essaim : la couverture et la connectivité de réseaux de capteurs mobiles sont généralement traitées par des heuristiques sans garanties formelles. Ici, le système en boucle fermée admet une trajectoire globale unique à partir de tout état initial sûr. Des calculs finis, réalisés hors ligne et sans interroger les données de trajectoire, fournissent des bornes inférieures rationnelles de l'aire cumulée des trous sur l'horizon considéré. Ces bornes convergent vers cette aire cumulée, qu'elle soit finie ou infinie. Lorsqu'elle est finie, les trous se ferment au sens de la moyenne temporelle : l'aire normalisée moyenne sur toute fenêtre de durée fixe tend vers zéro. C'est une certification a priori, utile pour des applications où l'on doit prouver la couverture avant le déploiement (surveillance, inspection, recherche et sauvetage). La garantie reste toutefois une convergence en moyenne, pas une fermeture exacte à date fixe pour tous les cas. Ces résultats reposent sur des hypothèses restrictives : aire des trous mesurable et bornée, évolution continue sans fusion ni scission, et seulement un nombre fini de nouveaux trous temporaires. Ces conditions sont difficiles à garantir dans un environnement réel bruité, avec pertes de communication ou obstacles, et le texte ne mentionne ni validation expérimentale ni comparaison avec des méthodes existantes. Le travail s'inscrit dans la lignée de la topologie algorithmique appliquée aux réseaux de capteurs (homologie, complexes de Čech et de Rips, laplaciens de Hodge) et des commandes de couverture distribuées, domaines où les garanties de bout en bout restent rares. Les étapes suivantes plausibles seraient l'assouplissement des hypothèses sur la topologie des trous, des tests sur plateformes physiques et une extension en trois dimensions. Aucun calendrier ni partenaire industriel n'est annoncé, et on est donc très en amont d'un produit ou d'un déploiement.

RecherchePaper
1 source
Coordination multi-robot résistante aux pannes par maximisation sous-modulaire avec contrainte de $k$-connectivité
97arXiv cs.RO 

Coordination multi-robot résistante aux pannes par maximisation sous-modulaire avec contrainte de $k$-connectivité

Des chercheurs publient sur arXiv (2610.13049) une méthode de coordination multi-robot qui tient compte d'un angle mort des approches existantes: la perte de connectivité réseau après la défaillance de robots. Les cadres de maximisation sous-modulaire servent déjà à répartir des actions entre robots pour des tâches de couverture, de suivi de cibles ou de collecte d'information. Leurs variantes dites résilientes anticipent la perte ou le retrait adversarial de certains robots. Les auteurs introduisent la « Resilient k-Connected Submodular Maximization », qui optimise conjointement la performance de la tâche, la résilience et la connectivité de communication. Techniquement, ils s'appuient sur une réduction de la connectivité fondée sur le théorème de Menger, sur un algorithme glouton sensible à la connectivité avec un mécanisme de repli qui préserve la faisabilité, et sur une nouvelle analyse de courbure. Le résultat garantit, dans le pire cas après défaillance, un objectif égal à au moins [max(1-νf(I), h(N,β))]² · ρ · (1/κf) · (1-e^(-κ_f)) de celui de l'affectation résiliente optimale respectant la connectivité. Les expériences portent sur du suivi de cibles multi-robot. L'enjeu est pratique pour quiconque déploie des essaims ou des flottes coopérantes: les garanties de résilience classiques supposent implicitement que les robots survivants peuvent encore échanger leurs informations. Or, si la perte de quelques unités scinde le réseau en sous-groupes isolés, la coordination s'effondre, même quand l'objectif de tâche reste théoriquement atteignable. En imposant une k-connectivité, c'est-à-dire un réseau qui reste connexe après la suppression de jusqu'à k-1 nœuds, la méthode offre une borne de performance qui reste valable dans des scénarios de panne réaliste, notamment en environnement hostile ou en inspection et surveillance. Le facteur ρ quantifie explicitement le coût de cette contrainte, ce qui permet à un intégrateur d'arbitrer entre redondance du réseau et performance nominale. Il faut toutefois relativiser: il s'agit d'un résultat théorique de garanties d'approximation, validé en simulation sur une tâche de suivi de cibles. Il n'existe ni déploiement sur flotte réelle, ni chiffres de performance en conditions industrielles, et les bornes de pire cas sont souvent conservatrices par rapport au comportement observé. Ce travail prolonge la lignée de la maximisation sous-modulaire pour la planification multi-robot, où les algorithmes gloutons offrent le célèbre ratio (1-1/e) sous contrainte de matroïde, puis les extensions résilientes qui protègent contre les retraits adverses. La difficulté ici tient au fait que l'ensemble des affectations faisables sous contrainte de connectivité n'est pas un matroïde, ce qui empêche d'appliquer directement les garanties classiques fondées sur la courbure. Les auteurs montrent néanmoins qu'ils retrouvent la garantie non contrainte dans les cas limites. La suite logique serait de tester l'approche avec des contraintes de communication réalistes (portée radio, latence, pertes de paquets), sur des flottes hétérogènes et sur du matériel réel. Cela permettrait de mesurer l'écart entre garanties théoriques et performances effectives.

RecherchePaper
1 source
La valeur de l'information et l'émergence de la communication chez des robots e-puck évolués
98arXiv cs.RO 

La valeur de l'information et l'émergence de la communication chez des robots e-puck évolués

Des chercheurs montrent, dans une étude publiée sur arXiv (2610.13118), que la communication entre robots autonomes n'émerge que lorsque l'information transmise a une réelle valeur. L'expérience met en scène deux robots e-puck, reconstruits dans le simulateur PyBullet à partir de leur modèle Webots et validés par rapport à celui-ci. Ils doivent trouver une zone de nourriture qui n'est détectable que lorsqu'un robot passe directement dessus. Chaque robot peut émettre un signal à un seul bit, dont le récepteur perçoit la direction. Le contrôle repose sur un réseau récurrent GRU avec chemin résiduel, utilisé seul ou comme canal au sein d'une architecture de sélection d'action embarquée (EASA). La fitness ne mesure que le temps passé sur la nourriture, sans récompenser la communication en elle-même. Avec une boussole pointant vers la zone, l'usage du signal disparaît totalement. Sans boussole, dans une petite arène, trois runs indépendants atteignent des performances proches avec trois stratégies distinctes : un signal référentiel, une balise permanente, ou aucun usage du signal. L'intérêt de ces résultats tient à ce qu'ils quantifient une intuition souvent admise sans preuve : les agents ne communiquent que si l'information leur manque et que la transmettre rapporte. Quand l'arène s'agrandit, la stratégie référentielle est celle qui se généralise le mieux. Une évolution directement menée en grande arène n'augmente pas la fréquence de la communication, mais elle sépare nettement les stratégies, et le signal référentiel y surpasse clairement la recherche solitaire. Pour les concepteurs de systèmes multi-robots, par exemple en logistique d'entrepôt ou en inspection, le message est que la coordination par signaux ne se décrète pas. Elle dépend de la difficulté de la tâche et de l'asymétrie d'information, ce qui plaide pour des environnements d'entraînement où la communication est réellement utile. Autre résultat : au sein de l'EASA, les réflexes innés contraignent le réseau et dégradent la performance, et l'évolution des priorités affaiblit systématiquement ces réflexes. Un échafaudage inné pensé pour des agents isolés peut donc freiner une tâche sociale. Il faut cependant relativiser la portée de l'étude. Il s'agit de simulation pure, sans transfert sur des e-puck physiques, avec seulement deux robots, un signal à un bit, et seulement trois runs indépendants par configuration, ce qui limite la robustesse statistique des conclusions. Le travail s'inscrit dans la lignée de la robotique évolutionnaire et de l'émergence de langage chez des agents, où des études antérieures avaient déjà observé des signaux apparaissant ou non selon la pression de sélection. Il apporte ici une comparaison contrôlée entre architectures avec et sans comportements innés. Il se situe loin des modèles VLA actuels et des déploiements humanoïdes, mais il informe la réflexion sur les flottes coopératives et sur la place des comportements câblés dans les architectures de contrôle. Aucune suite ni échéance n'est annoncée par les auteurs, et les tests en environnements plus grands, avec davantage d'agents et sur matériel réel, restent à faire.

RecherchePaper
1 source
Planification robuste et évolutive UAV-UGV pour la surveillance aérienne sous contraintes d'énergie et de précédence
99arXiv cs.RO 

Planification robuste et évolutive UAV-UGV pour la surveillance aérienne sous contraintes d'énergie et de précédence

Une équipe de chercheurs propose un algorithme de planification pour des missions de surveillance aérienne confiées à plusieurs binômes composés chacun d'un drone (UAV) et d'un robot terrestre (UGV). Le drone doit visiter une série de points de surveillance dans un ordre imposé, tandis que le robot terrestre joue deux rôles : station de recharge mobile et vecteur de transport, puisqu'il emmène le drone d'une tournée aérienne à la suivante. L'autonomie du drone est modélisée par son endurance, c'est-à-dire la durée maximale de vol sur batterie pleine. À partir des positions initiales et finales des équipes, l'objectif est de minimiser le temps total de mission tout en respectant les limites énergétiques, l'ordre de visite requis et des perturbations bornées sur les temps de trajet en cours d'exécution. Les auteurs annoncent un algorithme en temps polynomial, des garanties de faisabilité, une analyse de complexité et des comparaisons numériques. Le travail est publié sur arXiv (2610.12670v1) et aucun chiffre de performance n'est donné dans le résumé. L'intérêt tient à la combinaison de trois contraintes rarement traitées ensemble : l'énergie, la précédence et la robustesse aux aléas. Beaucoup de planificateurs multi-robots supposent des temps de trajet exacts ou ignorent les relations d'ordre entre tâches. Or les inspections d'infrastructures, les patrouilles de sites industriels ou les relevés agricoles imposent souvent des séquences : contrôler d'abord un équipement, puis le suivant. La garantie de faisabilité sous perturbations bornées est un argument pour un opérateur, car elle évite qu'un retard de quelques minutes invalide le plan. Autre nouveauté revendiquée : le plan détermine conjointement les itinéraires et leur calendrier, ce qui autorise les équipes à ralentir volontairement pour respecter l'ordre. Le problème de fond étant NP-difficile, la solution est une heuristique à garanties de faisabilité, pas un optimum. On ne sait pas non plus, à ce stade, quel écart avec l'optimal ni quelle taille d'instance les tests couvrent, et il s'agit de résultats numériques, sans essai sur matériel réel. Ce travail prolonge la littérature sur les systèmes coopératifs drone-véhicule terrestre, héritière des problèmes de type « flying sidekick » et de tournées de véhicules avec stations de recharge mobiles. Les travaux antérieurs fixaient généralement les itinéraires avant de calculer les horaires, ou ne tenaient pas compte de l'ordre imposé des points. Le texte ne cite ni partenaire industriel, ni produit, ni calendrier de déploiement, ni acteur européen : il relève de la recherche académique en amont, utile surtout aux intégrateurs qui conçoivent des logiciels d'orchestration de flottes hétérogènes. Les prochaines étapes naturelles seraient la validation en conditions réelles, la prise en compte de vents et d'obstacles, et la comparaison avec des solveurs exacts sur des instances de grande taille.

RecherchePaper
1 source
Planification de fenêtre d'atterrissage informée par la prédiction pour un drone sur navire autonome en mer forte
100arXiv cs.RO 

Planification de fenêtre d'atterrissage informée par la prédiction pour un drone sur navire autonome en mer forte

Des chercheurs proposent un cadre de contrôle hiérarchique pour l'atterrissage autonome d'un drone (UAV) sur un navire de surface autonome (USV) par forte mer, publié sur arXiv en octobre 2026. Les méthodes hiérarchiques existantes déduisent le mouvement futur du navire de façon seulement implicite, à partir d'un court historique d'observations. Ici, un modèle pré-entraîné prédit explicitement l'attitude du USV (roulis, tangage) au moment des décisions de haut niveau. Cette prédiction sert à repérer des fenêtres d'atterrissage favorables et à choisir l'instant précis du toucher. Un contrôleur de vol conventionnel, au niveau bas, assure la stabilité du drone et suit les commandes de mouvement. La validation repose sur un montage « real-sim ». Des données de mouvement collectées sur un USV en conditions maritimes réelles sont rejouées dans un modèle de USV sous MuJoCo, ce qui soumet le planificateur à des perturbations réalistes. Le résumé ne donne aucun chiffre : ni taux de réussite, ni horizon de prédiction, ni erreur d'attitude, ni comparaison quantifiée avec une méthode de référence. Les auteurs parlent seulement de « faisabilité ». L'intérêt tient à la séparation des tâches. Prévoir quand le pont sera assez stable plutôt que réagir à ce qu'il fait déjà est une idée simple, et elle répond à une limite connue des approches de bout en bout ou à historique court, qui s'adaptent mal quand la mer change vite. Pour les opérateurs de drones embarqués (surveillance maritime, inspection offshore, logistique navire à navire), l'atterrissage reste l'un des moments les plus risqués, et les limites d'état de mer fixent souvent la disponibilité réelle du système. Un planificateur qui choisit son moment peut élargir cette plage d'emploi. Le choix de garder un contrôleur de vol classique en bas évite aussi de réentraîner toute la pile de contrôle, ce qui facilite l'intégration sur des plateformes existantes. Il faut toutefois rester prudent. La validation se fait en simulation alimentée par des données réelles, sans essai en vol sur un navire en mouvement. Or l'écart entre simulation et réalité (effets aérodynamiques du sillage, turbulence au-dessus du pont, retard de capteurs) est justement ce qui fait échouer les atterrissages en mer. Cette étude ne dit pas encore que le problème est résolu. Le travail s'inscrit dans une littérature active sur l'atterrissage de drones sur plateformes mobiles. Elle va des marqueurs visuels et du suivi par commande prédictive (MPC) à l'apprentissage par renforcement, qui a surtout été testé sur des plateformes à mouvement modéré. Les fortes mers restent le cas le plus dur, car le mouvement du pont est rapide, couplé et peu prévisible. La suite logique serait de comparer la méthode à des références chiffrées, de tester la robustesse du modèle de prédiction face à des états de mer inédits, puis de passer à des essais en vol sur un navire réel. L'article n'annonce ni calendrier, ni partenaire industriel, ni pilote.

RecherchePaper
1 source