Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel

Dossier arXiv cs.RO — page 2

176 articles · page 2 sur 4

Les preprints robotique sur arXiv cs.RO : les avancées techniques avant publication, dont planification, learning from demos, sim2real, manipulation.

OREN : réseau résiduel octree pour la cartographie en distance euclidienne signée en temps réel
51arXiv cs.RO RecherchePaper

OREN : réseau résiduel octree pour la cartographie en distance euclidienne signée en temps réel

Des chercheurs ont publié sur arXiv (réf. 2510.18999, version 2) OREN, pour Octree Residual Network, une méthode de reconstruction de fonctions de distance signée euclidienne (ESDF) en temps réel à partir de nuages de points 3D. L'architecture est hybride : une structure octree assure l'interpolation spatiale explicite, tandis qu'un réseau de neurones calcule le résidu implicite. L'objectif annoncé est un ESDF complet (non tronqué), différentiable, avec une empreinte mémoire et computationnelle comparable aux méthodes volumétriques discrètes classiques, et une précision proche des approches entièrement neurales. Des expériences extensives sur des jeux de données de référence sont citées à l'appui de ces affirmations. La carte de distance signée est une primitive fondamentale de l'autonomie robotique : elle conditionne la planification de trajectoire, le contrôle d'évitement de collision et le SLAM. Les méthodes en production restent majoritairement des TSDF (Truncated Signed Distance Field, comme VoxBlox) rapides et scalables mais tronqués à une bande de surface étroite et non différentiables ; les méthodes neurales pures (iSDF de Meta, approches NeRF-based) sont continues et précises mais souffrent d'oubli catastrophique dans les grands environnements et restent trop coûteuses pour l'embarqué temps-réel. Si les performances annoncées de OREN résistent à une validation indépendante, l'approche pourrait concrètement débloquer l'ESDF temps-réel pour des robots mobiles et manipulateurs opérant à grande échelle en environnements dynamiques, sans les compromis habituels. OREN s'inscrit dans une vague de méthodes hybrides cherchant à réconcilier efficacité des structures discrètes et expressivité neurale, aux côtés de travaux comme SHINE-Mapping ou NGLOD. Les représentations volumétriques comme OctoMap et OpenVDB dominent encore les déploiements industriels réels. Meta avait positionné iSDF en 2022 comme alternative neurale scalable ; depuis, plusieurs équipes de recherche travaillent à réduire les coûts d'inférence pour franchir le seuil du temps-réel embarqué. L'article est un preprint arXiv (v2, soumis en octobre 2025), sans peer-review finalisé et sans affiliation industrielle identifiée dans le résumé. Les prochaines étapes attendues incluent une évaluation sur des benchmarks standardisés tels que ScanNet ou SemanticKITTI, et une intégration dans des pipelines SLAM open-source pour confirmer les gains annoncés en conditions réelles.

1 source
Préentraînement multi-sensoriel auto-supervisé pour l'apprentissage par renforcement de robots en contact intense
52arXiv cs.RO 

Préentraînement multi-sensoriel auto-supervisé pour l'apprentissage par renforcement de robots en contact intense

Une équipe de chercheurs a publié MSDP (MultiSensory Dynamic Pretraining), un cadre d'apprentissage par représentation auto-supervisé conçu pour la manipulation robotique en contact étroit. Le système fusionne trois flux sensoriels, vision, force et proprioception, via un encodeur transformer entraîné par autoencoding masqué : l'encodeur doit reconstruire des observations multisensorielles complètes à partir d'un sous-ensemble partiel d'embeddings, forçant l'émergence d'une prédiction inter-modale et d'une fusion sensorielle robuste. Pour l'apprentissage de politiques en aval (downstream policy learning), MSDP introduit une architecture asymétrique originale : un mécanisme de cross-attention permet au critique d'extraire des caractéristiques dynamiques et tâche-spécifiques depuis les embeddings figés, tandis que l'acteur reçoit une représentation poolée stable pour guider ses actions. Sur robot réel, la méthode revendique des taux de succès élevés avec seulement 6 000 interactions en ligne, un chiffre à prendre avec précaution car le papier ne détaille pas précisément le type de robot, les seuils de succès retenus ni le panel de tâches évalué. Les expériences couvrent plusieurs scénarios de manipulation contact-riches, en simulation et sur plateforme physique. L'importance de MSDP tient d'abord à la difficulté structurelle qu'il adresse : l'apprentissage par renforcement multisensoriel est notoirement instable en présence de bruit et de perturbations dynamiques, deux conditions omniprésentes en environnement industriel. Si le chiffre de 6 000 interactions en ligne se confirme sur des tâches variées, il représenterait un signal fort sur l'efficacité des données, goulot d'étranglement critique pour tout déploiement en production. L'architecture asymétrique critique-acteur est un choix peu commun et potentiellement généralisable : elle découple la richesse représentationnelle nécessaire à l'évaluation des états de la stabilité requise pour l'exécution motrice, un compromis que la communauté robotique cherche à résoudre depuis plusieurs années. Pour un intégrateur ou un COO industriel, le préentraînement auto-supervisé sans étiquetage manuel réduit également le coût de déploiement sur de nouvelles tâches ou de nouveaux effecteurs. Le contexte académique de MSDP s'inscrit dans la dynamique de transfert des techniques de préentraînement auto-supervisé, popularisées en vision (MAE de Meta, 2021) et en NLP (BERT, GPT), vers la robotique multisensorielle. La manipulation en contact étroit reste l'un des défis les plus difficiles du domaine, car contrairement au pick-and-place, elle exige une gestion précise des forces de contact et une réponse rapide aux perturbations tactiles. Côté positionnement concurrentiel, des approches comme R3M (Meta) ou les modèles VLA récents (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) explorent des fusions multimodales différentes, mais restent majoritairement centrés sur vision et langage, sans intégration native de la force au stade du préentraînement. Le papier est soumis en version 3 sur arXiv (2511.14427), ce qui témoigne de plusieurs cycles de révision. Les suites naturelles incluent la validation sur bras industriels standards (UR, Franka) et des tâches d'assemblage de précision, terrain où des acteurs européens comme Wandercraft ou les labos de robotique du CNRS pourraient s'appuyer sur ce cadre pour accélérer leurs travaux sur la manipulation dextre.

IA physiquePaper
1 source
dWorldEval : évaluation évolutive de politiques robotiques via un modèle du monde à diffusion discrète
53arXiv cs.RO 

dWorldEval : évaluation évolutive de politiques robotiques via un modèle du monde à diffusion discrète

Une équipe de chercheurs présente dWorldEval (arXiv:2604.22152, avril 2026), un système d'évaluation de politiques robotiques basé sur un modèle de monde à diffusion discrète. Le principe : plutôt que de tester une politique de contrôle sur des milliers d'environnements réels ou simulés classiques, dWorldEval joue le rôle d'un proxy d'évaluation synthétique. Le modèle projette l'ensemble des modalités, vision, langage, actions robotiques, dans un espace de tokens unifié, puis les débruite via un unique réseau transformer. Il intègre une mémoire sparse par images-clés pour maintenir la cohérence spatiotemporelle sur des séquences longues, et introduit un "progress token" qui quantifie en continu le degré d'accomplissement d'une tâche, de 0 à 1. À l'inférence, le modèle prédit conjointement les observations futures et ce token de progression, détectant automatiquement le succès quand la valeur atteint 1. Sur les benchmarks LIBERO, RoboTwin et plusieurs tâches sur robots réels, dWorldEval surpasse ses prédécesseurs directs WorldEval, Ctrl-World et WorldGym, bien que l'abstract ne fournisse pas de deltas chiffrés précis. L'enjeu central est méthodologique : évaluer une politique robotique sur des milliers de configurations est actuellement soit prohibitif en temps machine, soit impossible à déployer sur robots physiques à cette échelle. Un proxy d'évaluation fiable et automatisable change radicalement l'économie du développement de politiques VLA (Vision-Language-Action). Le progress token élimine la nécessité d'une annotation humaine ou de critères de succès codés en dur, un goulot d'étranglement récurrent dans les pipelines d'apprentissage par imitation et de reinforcement learning robotique. Si les performances se confirment sur des scénarios out-of-distribution, cette approche pourrait accélérer significativement les itérations sim-to-real dans des labs qui déploient des modèles comme pi0, GR00T N2 ou OpenVLA. Le travail s'inscrit dans une vague de modèles de monde pour la robotique, dont WorldEval (évaluation via prédiction vidéo) et Ctrl-World (modèle conditionné par actions), que dWorldEval dépasse selon ses auteurs. L'usage de la diffusion discrète, plutôt que continue, sur des tokens multimodaux rappelle les approches de tokenisation unifiée portées par des projets comme Genie 2 (Google DeepMind) ou UniSim. L'article reste un preprint non revu par les pairs ; les résultats sur robots réels sont mentionnés sans détails de setup ni volumétrie d'expériences. Les prochaines étapes naturelles seraient une validation sur des benchmarks ouverts plus larges et un test de robustesse face à des tâches longue-horizon avec contacts complexes.

IA physiqueOpinion
1 source
Modèle VLA GazeVLA : apprendre l'intention humaine pour la manipulation robotique
54arXiv cs.RO 

Modèle VLA GazeVLA : apprendre l'intention humaine pour la manipulation robotique

Une équipe de recherche a publié fin avril 2026 (arXiv:2604.22615) GazeVLA, un framework de manipulation robotique qui exploite le regard humain comme représentation intermédiaire de l'intention. L'approche repose sur un préentraînement du modèle sur un large corpus de vidéos égocentrées humaines, puis un fine-tuning sur un ensemble réduit de données robotiques et humaines combinées. Lors de l'inférence, le modèle adopte un raisonnement en chaîne (Chain-of-Thought) : il prédit d'abord la cible de fixation oculaire, c'est-à-dire l'intention, avant d'exécuter l'action motrice. Les évaluations couvrent des tâches longues-horizon et de manipulation fine-grained, en simulation et en conditions réelles, avec des benchmarks few-shot et de robustesse. Le modèle surpasse les baselines comparées sur l'ensemble des scénarios testés et atteint l'état de l'art annoncé, bien que le papier reste un preprint sans validation industrielle tierce. Le vrai enjeu de GazeVLA est économique autant que technique : collecter des démonstrations robotiques à grande échelle coûte cher et ralentit le déploiement des VLA (Vision-Language-Action models) dans des environnements industriels variés. L'abondance de vidéos égocentrées humaines, corpus comme Ego4D ou EPIC-Kitchens comptent des milliers d'heures, offre une source de données bon marché, mais le "embodiment gap" rendait leur transfert direct peu fiable. En intercalant la prédiction de gaze comme signal d'intention universel, le framework réduit ce gap sans exiger de grands volumes de démonstrations robot-spécifiques. La capacité few-shot est particulièrement pertinente pour des intégrateurs industriels qui ne peuvent pas se permettre des campagnes de collecte coûteuses pour chaque nouvelle tâche ou ligne de production. GazeVLA s'inscrit dans une compétition dense autour des architectures VLA généralisables : Physical Intelligence (pi-0), OpenVLA (UC Berkeley), Octo, et plus récemment GR00T N2 de NVIDIA cherchent tous à réduire la dépendance aux données robotiques propriétaires. L'angle "intention via gaze" n'est pas entièrement nouveau, des travaux antérieurs comme R3M ou DINObot ayant déjà exploré le préentraînement sur vidéos humaines, mais l'explicitation de la fixation oculaire comme étape de raisonnement séquentiel est une contribution distincte. Aucun déploiement commercial ni partenariat industriel n'est annoncé à ce stade, et les auteurs ne mentionnent pas d'affiliations avec des acteurs européens. Les prochaines étapes logiques seraient un test à plus grande échelle sur des robots commerciaux (Franka, UR) et une validation sur des tâches industrielles standardisées.

RechercheOpinion
1 source
LLMPhy : un raisonnement physique à paramètres identifiables combinant grands modèles de langage et moteurs physiques
55arXiv cs.RO 

LLMPhy : un raisonnement physique à paramètres identifiables combinant grands modèles de langage et moteurs physiques

Des chercheurs du laboratoire MERL (Mitsubishi Electric Research Laboratories) ont publié LLMPhy, un framework d'optimisation en boîte noire couplant grands modèles de langage (LLM) et simulateurs physiques pour résoudre un problème rarement adressé : l'identification des paramètres physiques latents d'une scène, tels que la masse ou le coefficient de friction des objets. Le système décompose la construction d'un jumeau numérique en deux sous-problèmes distincts : l'estimation continue des paramètres physiques et l'estimation discrète de la disposition spatiale de la scène. À chaque itération, LLMPhy demande au LLM de générer des programmes encodant des estimations de paramètres, les exécute dans un moteur physique, puis utilise l'erreur de reconstruction résultante comme signal de rétroaction pour affiner ses prédictions. Les auteurs introduisent également trois nouveaux jeux de données conçus pour évaluer le raisonnement physique en contexte zéro-shot, comblant un vide dans les benchmarks existants qui ignorent systématiquement la question de l'identifiabilité des paramètres. La quasi-totalité des méthodes d'apprentissage pour le raisonnement physique contournent cette identification, se contentant de prédire des comportements sans modéliser les propriétés intrinsèques des objets. Or, pour des applications critiques comme l'évitement de collision ou la manipulation robotique, connaître la masse exacte ou le frottement d'un objet est souvent non négociable. Sur ses trois benchmarks, LLMPhy revendique des performances à l'état de l'art, avec une récupération des paramètres plus précise et une convergence plus fiable que les méthodes en boîte noire antérieures, selon les résultats rapportés par les auteurs eux-mêmes. L'approche articule deux niveaux de connaissance complémentaires : le savoir physique textuel encodé dans les LLM et les modèles du monde implémentés dans les moteurs de simulation modernes. LLMPhy s'inscrit dans un courant actif autour des world models et de la fermeture du fossé sim-to-real en robotique. MERL, filiale de recherche appliquée de Mitsubishi Electric, positionne ce travail face à des approches alternatives comme les world models neuronaux de type DreamerV3 ou UniSim, et aux modèles d'action-vision-langage (VLA) qui opèrent sans moteur physique explicite, gagnant en flexibilité au détriment de l'interprétabilité des paramètres. La version publiée (arXiv:2411.08027v3, troisième révision) ne mentionne pas d'intégration sur des systèmes robotiques physiques : les résultats restent confinés à la simulation, et aucune timeline de déploiement réel n'est annoncée.

RecherchePaper
1 source
FeudalNav : un framework simple pour la navigation visuelle
56arXiv cs.RO 

FeudalNav : un framework simple pour la navigation visuelle

Des chercheurs ont publié sur arXiv (référence 2602.06974) FeudalNav, un cadre hiérarchique de navigation visuelle pour robots mobiles qui ne requiert ni carte métrique, ni GPS, ni données odométriques en phase d'entraînement ou d'inférence. Le système décompose la prise de décision en plusieurs niveaux : un réseau de sélection de sous-objectifs (waypoints) léger et transférable choisit des points intermédiaires, tandis qu'un module de mémoire dans l'espace latent organise les observations visuelles passées par similarité visuelle, utilisée comme proxy de distance. Ce module de mémoire remplace les représentations topologiques classiques basées sur des graphes, sans dégradation notable des performances. Les résultats sont obtenus dans les environnements simulés Habitat AI, un benchmark standard du domaine, et montrent des scores compétitifs face aux méthodes état de l'art. Les auteurs explorent également une modalité d'navigation interactive : ils quantifient la quantité minimale d'intervention humaine nécessaire pour atteindre un taux de succès de 100% sur l'ensemble des trajectoires testées. L'intérêt de FeudalNav réside dans sa sobriété architecturale. Là où la plupart des navigateurs apprenants reposent sur des graphes topologiques coûteux à maintenir ou sur des représentations métriques qui échouent dans des environnements non cartographiés, FeudalNav prouve qu'une mémoire visuelle latente simple suffit pour guider un agent vers un objectif en terrain inconnu. Cette approche réduit les exigences d'infrastructure embarquée (pas de capteur odométrique requis) et améliore la transférabilité entre environnements, deux critères directement pertinents pour les intégrateurs de robots de service ou d'inspection industrielle. La composante interactive est notable : même une intervention humaine minimale et ponctuelle augmente significativement le taux de réussite global, ce qui ouvre la voie à des architectures human-in-the-loop adaptatives. FeudalNav s'inscrit dans un courant de recherche actif visant à dépasser les navigateurs métriques classiques (SLAM, cartographie 2D/3D) en faveur d'approches fondées sur l'apprentissage et la mémoire sémantique, directement inspirées de la cognition spatiale humaine. Le benchmark Habitat AI, développé par Meta AI Research, est devenu la référence pour évaluer ce type de systèmes en simulation. Les méthodes concurrentes incluent les approches à graphes topologiques (NoMaD, ViNT de Berkeley) et les navigateurs basés sur des Vision-Language Models (VLMaps, CoW). FeudalNav se distingue par sa légèreté et l'absence d'odométrie, mais reste pour l'instant cantonné à la simulation, sans validation sur robot physique annoncée dans cet article.

RecherchePaper
1 source
Caractérisation du couplage des couples tangage-roulis dans des robots à ailes battantes de taille insecte via un cardan microfabriqué
57arXiv cs.RO 

Caractérisation du couplage des couples tangage-roulis dans des robots à ailes battantes de taille insecte via un cardan microfabriqué

Des chercheurs ont publié sur arXiv (réf. 2604.22121) une étude portant sur la caractérisation du couplage entre les couples de tangage (pitch) et de roulis (roll) dans les robots insectes à ailes battantes (FIR, Flapping-wing Insect Robots) sub-gramme. La plateforme testée pèse 180 mg et est actionnée par piézoélectriques, une architecture typique des systèmes volants à l'échelle milligramme, où la fréquence de battement d'aile est calée sur la résonance mécanique. L'outil central de l'étude est un cardan (gimbal) microfabriqué capable de mesurer simultanément le couple de roulis, le couple de tangage et la poussée, comblant ainsi un angle mort instrumental : aucun capteur biaxial ne disposait jusqu'ici d'une sensibilité suffisante pour opérer à cette échelle. Les résultats montrent un coefficient de détermination R² de 0,95 pour le tangage et 0,98 pour le roulis dans la régression linéaire, avec des coefficients de corrélation croisée de -0,001 et -0,085 respectivement, soit un couplage inter-axes négligeable. La poussée ne dévie que de 5,8 % maximum autour de sa valeur moyenne lors des commandes simultanées sur les deux axes. Ces mesures valident une hypothèse de conception qui était jusqu'alors posée sans vérification expérimentale directe : dans les systèmes FIR piézoélectriques, les axes de tangage et de roulis peuvent être traités comme indépendants dans les lois de commande. C'est une donnée structurante pour les équipes qui développent des contrôleurs, des simulateurs ou des modèles aérodynamiques pour ces plateformes : le sim-to-real et la synthèse de correcteurs peuvent s'appuyer sur des modèles découplés sans introduire d'erreur systématique significative. Pour l'écosystème micro-robotique, la contribution méthodologique est peut-être aussi importante que le résultat lui-même : disposer d'un banc de mesure microfabriqué standardisable ouvre la voie à une caractérisation systématique d'autres effets de couplage (yaw, variations d'envergure, asymétries d'aile) qui restent aujourd'hui peu documentés. Le champ des FIR sub-gramme est dominé depuis plus d'une décennie par le RoboBee de Harvard (environ 80 à 100 mg selon les versions), pionnier de l'actionnement piézoélectrique à résonance, et par le DelFly du TU Delft dans la gamme plus élevée (quelques grammes, ailes membraneuses). La modélisation de ces systèmes bute sur deux obstacles conjoints : la complexité mécanique des ailes flexibles et les effets aérodynamiques instationnaires qui rendent les outils classiques de la mécanique du vol inapplicables directement. Cette publication ne mentionne pas d'affiliation ou de financeur dans l'abstract disponible, ce qui limite le contexte institutionnel. Les suites naturelles annoncées sont l'intégration des mesures dans des modèles dynamiques raffinés et leur exploitation pour la conception de contrôleurs plus robustes, étapes préalables à tout déploiement autonome de robots insectes en milieu non contrôlé.

RecherchePaper
1 source
Conception, modélisation et évaluation expérimentale d'un mécanisme d'abduction-adduction du poignet à câbles pour exosquelette du membre supérieur
58arXiv cs.RO 

Conception, modélisation et évaluation expérimentale d'un mécanisme d'abduction-adduction du poignet à câbles pour exosquelette du membre supérieur

Des chercheurs ont publié sur arXiv (preprint 2604.20893, avril 2026) un mécanisme inédit d'actionnement par tendon unique pour le mouvement d'abduction-adduction du poignet dans un exosquelette de membre supérieur. Le système repose sur un câble de Bowden unique, maintenu en tension permanente par un ressort de torsion spiralé (dit "clock spring"), ce qui élimine le besoin d'une actuation antagoniste classique. Le prototype a été évalué expérimentalement avec cinq participants sans déficience motrice (NMD), dans différentes positions du bras et sous plusieurs charges, à travers trois configurations de ressorts. Les résultats montrent une bonne concordance entre les prédictions de simulation et les données expérimentales, avec la configuration nominale offrant le meilleur compromis entre amplitude de mouvement, couple requis et répétabilité. Ce travail s'attaque à un problème réel dans la conception d'exosquelettes du poignet : les actionneurs conventionnels (moteurs électriques, pneumatique) alourdissent le dispositif, introduisent des frottements et compliquent l'intégration mécanique. L'approche par câble de Bowden assisté par ressort torsionnel permet d'obtenir un mécanisme compact et léger, sans recourir à un câble de retour actif. Point méthodologique notable : les auteurs proposent une méthode de sélection des paramètres de rigidité entièrement guidée par simulation, ce qui réduit la dépendance au tuning empirique itératif, typiquement coûteux en phase de prototypage. Pour les intégrateurs en rééducation robotique, cela ouvre la voie à un processus de conception plus prévisible, même si l'évaluation sur cinq sujets valides reste insuffisante pour valider l'usage clinique. Les exosquelettes de poignet font l'objet d'une recherche active, avec des acteurs académiques et industriels comme Hocoma, Tyromotion ou, côté français, Wandercraft et Pollen Robotics qui travaillent sur la rééducation du membre supérieur. L'articulation du poignet, et notamment son degré de liberté en abduction-adduction, est souvent la moins bien couverte dans les dispositifs existants, car mécaniquement complexe à intégrer. Ce preprint ne présente pas un produit commercialisé mais un prototype de recherche validé en laboratoire; les prochaines étapes naturelles seraient une étude sur des patients post-AVC ou avec pathologies neuromusculaires, et une intégration dans un exosquelette complet du membre supérieur.

UECe mécanisme compact par câble de Bowden et ressort torsionnel pourrait informer les équipes R&D européennes en rééducation robotique (Wandercraft, Pollen Robotics), mais reste un preprint sans validation clinique ni transfert industriel annoncé.

ExosquelettesPaper
1 source
Prédiction efficace de gestes iconiques tenant compte des émotions pour les robots en co-parole
59arXiv cs.RO 

Prédiction efficace de gestes iconiques tenant compte des émotions pour les robots en co-parole

Des chercheurs ont publié sur arXiv (preprint 2604.11417) un transformer léger pour prédire le placement et l'intensité des gestes iconiques synchronisés à la parole des robots, à partir du texte et de l'émotion seuls, sans audio à l'inférence. Évalué sur le jeu de données BEAT2, référence du domaine pour la génération de gestes co-parlés, le système surpasse GPT-4o en classification du placement de gestes sémantiques et en régression d'intensité, tout en restant suffisamment compact pour un déploiement temps réel sur agents incarnés. La majorité des systèmes robotiques actuels se limitent à des gestes rythmiques (beat gestures), peu porteurs de sens. Intégrer des gestes iconiques, qui illustrent ou soulignent le contenu du discours, améliore l'engagement et la compréhension de l'interlocuteur humain. Le fait qu'un transformer spécialisé et léger surpasse GPT-4o sur cette tâche précise confirme que des architectures ciblées peuvent rivaliser avec de grands modèles généralistes en interaction homme-robot (HRI), à fraction du coût computationnel. L'absence d'audio à l'inférence simplifie également le pipeline de déploiement sur plateformes sans microphone embarqué ou soumises à des contraintes de latence strictes. La génération de gestes co-parlés est un axe actif en HRI, structuré depuis quelques années par des benchmarks communs dont BEAT2. Ce travail s'inscrit dans une tendance plus large d'allégement des modèles pour agents embarqués, des robots de service aux humanoïdes sociaux. Des plateformes comme Pepper (SoftBank) ou les projets de robotique sociale développés en Europe constituent des cibles naturelles pour ce type de module. Le preprint ne mentionne ni partenariat industriel ni validation hors laboratoire, ce qui reste à confirmer avant tout déploiement opérationnel.

UELes plateformes de robotique sociale européennes comme Pepper (SoftBank Robotics, héritière d'Aldebaran) sont citées comme cibles naturelles pour ce module, mais aucun partenariat ni validation hors laboratoire n'est confirmé.

RecherchePaper
1 source
Apprentissage par renforcement avec priors fondation : vers un agent incarné qui apprend efficacement de manière autonome
60arXiv cs.RO 

Apprentissage par renforcement avec priors fondation : vers un agent incarné qui apprend efficacement de manière autonome

Des chercheurs ont publié sur arXiv (identifiant 2310.02635, cinquième révision) un cadre appelé RLFP, Reinforcement Learning with Foundation Priors, conçu pour rendre l'apprentissage par renforcement viable sur des robots réels, sans ingénierie manuelle des récompenses. Au coeur du système se trouve l'algorithme FAC (Foundation-guided Actor-Critic), qui s'appuie simultanément sur trois types de modèles fondationnels : un modèle de politique, un modèle de valeur, et un modèle de récompense de succès. Sur cinq tâches de manipulation dextère réalisées avec de vrais robots, FAC atteint un taux de succès moyen de 86 % après seulement une heure d'apprentissage en temps réel. Sur le benchmark simulé Meta-world, il obtient 100 % de succès sur 7 des 8 tâches évaluées, en moins de 100 000 frames d'interaction, là où les méthodes de référence avec récompenses manuelles nécessitent 1 million de frames pour des performances comparables. L'impact industriel potentiel est significatif. L'un des verrous majeurs du déploiement de la robotique apprenante en environnement réel est double : la quantité astronomique de données requise par le RL classique, et le coût humain de la conception des fonctions de récompense, qui exige des ingénieurs spécialisés pour chaque nouvelle tâche. RLFP adresse les deux simultanément, en multipliant par environ dix l'efficacité en données et en automatisant la génération de signal de récompense via des modèles pré-entraînés. Si les résultats se confirment hors conditions de laboratoire, ce type de cadre pourrait réduire drastiquement le temps de mise en service d'un bras industriel sur une nouvelle opération, un enjeu clé pour les intégrateurs. Ce travail s'inscrit dans une tendance de fond qui voit les grands modèles de langage et de vision (VLM/LLM) utilisés comme priors pour guider l'exploration robotique, une approche concurrente des méthodes par imitation pure (apprentissage à partir de démonstrations humaines) ou par curriculum appris. Parmi les travaux proches figurent SayCan (Google), Code as Policies (DeepMind) et les récents VLA comme pi-0 (Physical Intelligence) ou OpenVLA. L'équipe indique que RLFP est agnostique au type de modèle fondationnel utilisé et robuste aux priors bruités, ce qui est une affirmation forte qu'il faudra valider sur des benchmarks extérieurs. Le code et les visualisations sont disponibles publiquement, ce qui facilite la reproduction indépendante.

IA physiqueOpinion
1 source
X2-N : robot humanoïde transformable hybride roues-jambes à double mode de locomotion et manipulation
61arXiv cs.RO 

X2-N : robot humanoïde transformable hybride roues-jambes à double mode de locomotion et manipulation

Des chercheurs ont publié sur arXiv (référence 2604.21541v1, avril 2026) les résultats de développement du X2-N, un robot à locomotion hybride roues-jambes capable de se transformer entre une configuration humanoïde bipède et une configuration à roues, par reconfiguration articulaire à la volée. Contrairement aux plateformes roues-jambes existantes qui utilisent des roues fixes en guise de pieds et des hanches à degrés de liberté limités, le X2-N dispose d'un grand nombre de degrés de liberté (le nombre exact n'est pas précisé dans l'abstract) et d'un buste complet avec deux bras manipulateurs. Le système de contrôle repose sur un framework de contrôle corps entier basé sur l'apprentissage par renforcement (RL), unifiant locomotion hybride, transformation morphologique et manipulation dans un même pipeline. Les validations expérimentales couvrent des tâches de locomotion dynamique de type skating, de montée d'escaliers et de livraison de colis. Le point central de cette contribution est l'adresse du double goulot d'étranglement qui freine les robots roues-jambes actuels : la rigidité de la configuration au sol, qui dégrade la stabilité en mode biped, et l'absence de membres supérieurs, qui interdit toute manipulation. En intégrant ces deux capacités dans un seul châssis transformable piloté par un unique contrôleur RL, les auteurs montrent qu'il est possible d'obtenir une adaptabilité terrain élevée sans sacrifier les capacités de manipulation. Pour un COO industriel ou un intégrateur logistique, c'est la promesse d'un seul robot capable d'alterner entre déplacement rapide en mode roues sur sol continu et navigation en mode jambes sur terrains discontinus, tout en manipulant des charges. Il convient néanmoins de souligner que les validations présentées restent des démonstrations en laboratoire : aucun déploiement industriel réel ni chiffres de cycle time en conditions production ne sont fournis. Le segment des robots roues-jambes est occupé notamment par Unitree (variantes B2W et H1 avec extensions roues), Boston Dynamics (Handle, orienté logistique mais sans bras polyvalents), et diverses startups issues de laboratoires universitaires asiatiques et américains. Le X2-N se positionne sur la convergence humanoïde-AMR, un créneau en compétition directe avec les approches tout-biped des acteurs comme Figure, Agility Robotics ou Fourier Intelligence, qui misent sur l'universalité de la forme humaine plutôt que sur la flexibilité morphologique. La prochaine étape logique pour cette recherche serait une validation hors laboratoire et la publication de métriques de performance comparables à celles des plateformes commerciales, pour confirmer que les gains en efficacité de locomotion compensent la complexité mécanique additionnelle.

HumanoïdesPaper
1 source
ExpressMM : des comportements de manipulation mobile expressifs dans les interactions humain-robot
62arXiv cs.RO 

ExpressMM : des comportements de manipulation mobile expressifs dans les interactions humain-robot

Des chercheurs ont présenté ExpressMM, un framework destiné aux manipulateurs mobiles déployés en environnements humains, capable de générer des comportements expressifs en temps réel pendant l'exécution de tâches collaboratives. Publié sur arXiv (2604.05320v3), le système repose sur une architecture à deux niveaux : un planificateur de haut niveau fondé sur un modèle vision-langage (VLM) prend en charge la perception et le raisonnement conversationnel, tandis qu'une politique vision-langage-action (VLA) de bas niveau produit les mouvements expressifs du robot. Élément distinctif : ExpressMM supporte les interactions interruptibles, c'est-à-dire que l'utilisateur peut modifier ou rediriger les instructions du robot en cours d'exécution. L'évaluation a été conduite sur un manipulateur mobile réel lors d'un scénario d'assemblage collaboratif, avec des démonstrations en direct devant un public et des questionnaires post-session. La majorité des travaux antérieurs sur les comportements expressifs des robots s'appuyaient sur des mouvements préprogrammés ou appris par démonstration, et n'anticipaient pas les interruptions en cours de tâche, un cas pourtant courant dès qu'un humain travaille aux côtés d'un robot. ExpressMM traite cette lacune en couplant une VLA capable de s'adapter dynamiquement aux nouvelles instructions avec un raisonnement langage-vision pour maintenir la cohérence sociale de l'interaction. Les résultats des questionnaires indiquent que les observateurs ont trouvé les actions du robot clairement interprétables, les interactions socialement appropriées, et le comportement prévisible et sûr. Pour les intégrateurs industriels et les équipes opérations, c'est un signal fort : les robots collaboratifs ne peuvent plus se contenter d'accomplir une tâche ; ils doivent être lisibles par les humains qui partagent l'espace de travail. Le sujet de l'expressivité robotique est activement exploré depuis plusieurs années dans la communauté HRI, mais les approches précédentes peinaient à généraliser au-delà de comportements scénarisés ou de démos contrôlées. L'utilisation conjointe d'un VLM et d'une VLA dans un seul pipeline interruptible représente une progression architecturale significative. Sur le plan concurrentiel, des acteurs comme Boston Dynamics (avec Spot) ou des startups HRI telles que Enchanted Tools en France (robot Miroki) travaillent également sur la dimension sociale des robots collaboratifs, mais peu publient des évaluations HRI aussi structurées en conditions réelles. Les prochaines étapes logiques pour ExpressMM seraient des déploiements en environnements industriels ou de service à plus grande échelle, où la variété des interactions humaines dépasse largement les scénarios d'assemblage contrôlés.

UELa recherche est directement pertinente pour Enchanted Tools (France, robot Miroki), qui travaille sur des problématiques similaires d'expressivité sociale et d'interaction humain-robot collaboratif.

IA physiqueOpinion
1 source
Hi-WM : un modèle du monde centré sur l'humain pour l'entraînement robotique à grande échelle
63arXiv cs.RO 

Hi-WM : un modèle du monde centré sur l'humain pour l'entraînement robotique à grande échelle

Une équipe de recherche présente Hi-WM (Human-in-the-World-Model), un cadre de post-entraînement pour politiques robotiques généralisées, publié sur arXiv (2604.21741). L'approche remplace l'exécution physique par un modèle du monde appris : la politique est d'abord déroulée en boucle fermée dans ce simulateur interne, et lorsqu'une trajectoire devient incorrecte ou risquée, un opérateur humain intervient directement dans le modèle pour fournir des actions correctives courtes. Hi-WM met en cache les états intermédiaires et supporte le rollback et le branchement, ce qui permet de réutiliser un seul état d'échec pour générer plusieurs continuations correctives distinctes. Les trajectoires ainsi produites sont réinjectées dans le jeu d'entraînement. Évalué sur trois tâches de manipulation réelle (objets rigides et déformables) avec deux architectures de politique différentes, le système affiche un gain de 37,9 points en taux de succès réel par rapport à la politique de base, et de 19,0 points par rapport à une ligne de base en boucle fermée dans le modèle du monde. La corrélation entre les évaluations dans le modèle et les performances réelles atteint r = 0,953. Ce résultat adresse un goulot d'étranglement structurel du déploiement robotique : le post-entraînement actuel exige du temps robot, des resets de scène, une supervision opérateur en continu, autant de contraintes qui rendent la correction itérative coûteuse à l'échelle. En décorrélant la phase corrective de l'exécution physique, Hi-WM densifie la supervision précisément là où la politique échoue, sans mobiliser le matériel. La forte corrélation sim-to-real (r > 0,95) est notable : elle suggère que le modèle du monde est suffisamment fidèle pour qualifier les politiques avant déploiement, ce qui contredit en partie l'hypothèse que l'évaluation dans le modèle reste trop éloignée des conditions réelles pour être exploitable. Les modèles du monde conditionnés sur les actions sont étudiés depuis plusieurs années principalement pour la génération de données synthétiques et l'évaluation de politiques, notamment dans les travaux autour des VLA (Vision-Language-Action models) et des politiques généralisées comme celles portées par Physical Intelligence (Pi-0) ou les recherches internes de Google DeepMind. Hi-WM repositionne ces modèles comme substrat correctif actif, une troisième fonction jusqu'ici peu explorée. Les suites naturelles incluent l'extension à des tâches de locomotion, la réduction du coût de construction du modèle du monde, et l'intégration dans des pipelines de fine-tuning continu pour robots déployés en environnement industriel variable.

RechercheOpinion
1 source
Apprendre la physique à partir de modèles vidéo préentraînés : modèles du monde continus et séquentiels pour la manipulation robotique
64arXiv cs.RO 

Apprendre la physique à partir de modèles vidéo préentraînés : modèles du monde continus et séquentiels pour la manipulation robotique

Une équipe de chercheurs propose PhysGen, un cadre d'apprentissage publié en prépublication sur arXiv (réf. 2603.00110v2), qui exploite des modèles de génération vidéo pré-entraînés comme substituts de simulateurs physiques pour la manipulation robotique. L'idée centrale est de traiter la vidéo générée de manière autorégressive comme un proxy du monde physique, et d'y greffer des actions robotiques continues via une représentation unifiée baptisée "physical tokens", des jetons partagés qui fusionnent la modalité vidéo et les commandes motrices. Pour assurer la convergence, PhysGen intègre du masquage causal, de la cinématique inverse, une prédiction multi-tokens anticipative (L-MTP) et du cache clé-valeur (KV caching). Sur les benchmarks Libero et ManiSkill, le système surpasse OpenVLA de 13,8 points et WorldVLA de 8,8 points. Plus frappant : en conditions réelles, PhysGen atteint les performances de π₀ (Physical Intelligence) sur des tâches physiquement exigeantes, notamment la saisie d'objets transparents, sans avoir bénéficié d'un pré-entraînement spécifique aux données d'action. L'enjeu pour l'industrie est direct : la pénurie de données robotiques à grande échelle reste le principal frein à la généralisation des politiques de manipulation. PhysGen contourne ce goulot en recyclant des modèles vidéo entraînés sur des corpus massifs d'internet pour en extraire une intuition physique implicite, permanence des objets, dynamique de contact, sans collecter de trajectoires robot. Le fait de rivaliser avec π₀ sans son pré-entraînement propriétaire sur des données d'action est une validation partielle de l'hypothèse que le "sim-to-real gap" peut être réduit par la connaissance du monde visuel plutôt que par des démonstrations téléopérées. Cela dit, les résultats restent issus d'un papier de recherche avec des benchmarks sélectifs ; la robustesse sur des scènes industrielles non structurées reste à démontrer. PhysGen s'inscrit dans un courant actif qui voit les laboratoires de robotique piller les architectures de génération multimodale pour nourrir leurs politiques de contrôle : UniSim, Genie, et surtout WorldVLA avaient déjà exploré cette piste. Physical Intelligence (π₀) représente aujourd'hui la référence en termes de performances sur tâches réelles grâce à son pré-entraînement massif sur données d'action hétérogènes, ce qui rend la comparaison de PhysGen d'autant plus significative. OpenVLA (Berkeley) constitue le concurrent open-source direct. La prochaine étape logique pour les auteurs serait une évaluation sur des manipulateurs industriels multi-DOF en environnement non contrôlé, et une intégration avec des pipelines de données synthétiques pour réduire encore la dépendance aux démonstrations humaines.

IA physiqueOpinion
1 source
ETac : un framework léger de simulation tactile pour apprendre la manipulation dextère
65arXiv cs.RO 

ETac : un framework léger de simulation tactile pour apprendre la manipulation dextère

Des chercheurs ont présenté ETac, un framework de simulation tactile conçu pour entraîner des robots manipulateurs dotés de capteurs tactiles à peau élastomère. Publié sur arXiv, ETac repose sur un modèle léger d'apprentissage automatique pour simuler la propagation des déformations lors des contacts, sans recourir aux coûteuses méthodes par éléments finis (FEM). Exécuté sur un seul GPU RTX 4090, le système supporte jusqu'à 4 096 environnements parallèles et atteint un débit total de 869 images par seconde. La politique de préhension entraînée avec ETac affiche un taux de réussite moyen de 84,45 % sur quatre types d'objets différents, sans aucune vision -- uniquement via le retour tactile large surface. Ce résultat est significatif car il lève l'un des principaux verrous du domaine : la simulation tactile haute fidélité est habituellement si coûteuse en calcul qu'elle empêche l'apprentissage par renforcement à grande échelle. ETac produit des estimations de déformation de surface comparables à celles obtenues par FEM, tout en étant suffisamment rapide pour l'entraînement massif de politiques robotiques. Pour les laboratoires et entreprises qui développent des robots manipulateurs -- en logistique, chirurgie assistée ou assemblage industriel -- cette approche ouvre la voie à des agents capables de saisir des objets variés et fragiles sans dépendre de caméras. La manipulation dextère reste l'un des défis les plus ardus de la robotique moderne, et le sens du toucher est reconnu depuis longtemps comme essentiel pour combler l'écart avec les capacités humaines. Les capteurs tactiles type GelSight ou DIGIT ont progressé rapidement ces dernières années, mais leur intégration dans des boucles d'apprentissage par renforcement butait sur l'absence de simulateurs rapides et réalistes. ETac s'inscrit dans un mouvement plus large visant à aligner simulation et réalité physique (sim-to-real transfer) pour les retours haptiques. Les prochaines étapes pourraient inclure le transfert de politiques vers des robots réels et l'extension à des scénarios de manipulation bimanuelle plus complexes.

HumanoïdesPaper
1 source
Les modèles du monde au service d'interventions endovasculaires robotisées autonomes et sûres
66arXiv cs.RO 

Les modèles du monde au service d'interventions endovasculaires robotisées autonomes et sûres

Des chercheurs ont développé un système d'intelligence artificielle capable de naviguer de manière autonome dans les vaisseaux sanguins pour traiter des accidents vasculaires cérébraux, sans intervention humaine directe. Publiés sur arXiv, leurs travaux portent sur la thrombectomie mécanique, une procédure d'urgence qui consiste à retirer un caillot obstruant une artère cérébrale. L'agent IA repose sur TD-MPC2, un algorithme d'apprentissage par renforcement basé sur un modèle du monde, capable de planifier ses actions en anticipant les conséquences de ses mouvements. Testé sur des anatomies vasculaires propres à chaque patient, il affiche un taux de succès de 58 % en simulation, contre 36 % pour le meilleur algorithme concurrent (SAC, Soft Actor-Critic), une différence statistiquement significative (p < 0,001). En laboratoire, sur des répliques physiques de vaisseaux réels guidées par fluoroscopie, TD-MPC2 atteint 68 % de succès contre 60 % pour SAC, avec une trajectoire plus optimale, bien qu'au prix de procédures légèrement plus longues. La force exercée par l'outil sur les parois vasculaires reste en moyenne à 0,15 newton, très en dessous du seuil de rupture estimé à 1,5 newton. Ces résultats constituent une première mondiale : c'est la première fois qu'un système d'IA autonome pour la thrombectomie est validé à la fois en simulation sur des données patient inédites et sur des fantômes vasculaires physiques sous guidage fluoroscopique. L'enjeu est considérable car la thrombectomie mécanique est une course contre la montre : chaque minute perdue aggrave les séquelles neurologiques. Un système autonome fiable pourrait réduire la dépendance aux neuroradiologues interventionnels, dont la disponibilité 24h/24 est limitée, notamment dans les hôpitaux de taille moyenne. La thrombectomie robotisée fait l'objet d'une compétition intense depuis plusieurs années, portée par des acteurs comme Siemens Healthineers, Corindus (filiale de Siemens) ou des startups comme Endowave. L'approche par modèles du monde est plus récente dans ce domaine : elle permet à l'agent de simuler mentalement les conséquences de ses actions avant d'agir, ce qui améliore la robustesse face à la diversité anatomique des patients. Les prochaines étapes passeront probablement par des essais précliniques sur animal avant toute perspective d'application clinique humaine.

UELa technologie pourrait à terme réduire les inégalités d'accès aux soins dans les hôpitaux européens de taille moyenne manquant de neuroradiologues interventionnels disponibles 24h/24.

RecherchePaper
1 source
VTouch++ : jeu de données multimodal combinant vision et retour tactile pour la manipulation bimanuelle
67arXiv cs.RO 

VTouch++ : jeu de données multimodal combinant vision et retour tactile pour la manipulation bimanuelle

Des chercheurs ont publié VTOUCH, un nouveau jeu de données multimodal conçu pour améliorer la manipulation bimanuelles des robots, c'est-à-dire la capacité d'un robot à utiliser deux bras de manière coordonnée. Présenté sur arXiv (référence 2604.20444), ce dataset combine des capteurs tactiles basés sur la vision pour fournir des signaux d'interaction physique haute fidélité. Concrètement, ces capteurs permettent au robot de "sentir" les contacts et pressions lors de tâches complexes, comme assembler un objet ou manipuler des matériaux fragiles. La collecte des données s'appuie sur des pipelines automatisés couvrant des scénarios réels orientés par la demande, et l'organisation des tâches suit une structure matricielle pensée pour faciliter l'apprentissage systématique à grande échelle. La manipulation bimanualle reste l'un des défis les plus ardus de la robotique incarnée, notamment parce que les tâches à fort contact physique exigent une coordination fine et des retours sensoriels précis que les datasets existants ne capturent pas suffisamment. VTOUCH répond directement à ce manque en intégrant des signaux tactiles riches là où la plupart des jeux de données se limitent à la vision ou aux données proprioceptives. Les expériences quantitatives menées sur la récupération cross-modale, ainsi que les évaluations sur robots réels, confirment l'efficacité du dataset. Plus important encore, les chercheurs ont démontré que les politiques entraînées sur VTOUCH se généralisent à plusieurs types de robots et plusieurs types de tâches, ce qui en fait un outil potentiellement mutualisable à travers l'industrie. La robotique incarnée connaît une accélération notable depuis l'essor des grands modèles de langage et vision, des acteurs comme Google DeepMind, Figure AI ou Physical Intelligence investissant massivement dans des robots capables d'opérer dans des environnements non structurés. La manipulation bimanualle est un goulot d'étranglement reconnu : même les systèmes les plus avancés peinent à égaler la dextérité humaine dans des tâches d'assemblage ou de cuisine. VTOUCH s'inscrit dans une tendance plus large de constitution de datasets spécialisés de grande échelle, à l'image d'Open X-Embodiment, pour accélérer l'entraînement de politiques robotiques généralisables. La prochaine étape sera de voir si ce dataset est rendu public et adopté par la communauté au-delà du laboratoire d'origine.

HumanoïdesActu
1 source
Cortex 2.0 : ancrer les modèles du monde dans les déploiements industriels réels
68arXiv cs.RO 

Cortex 2.0 : ancrer les modèles du monde dans les déploiements industriels réels

Des chercheurs ont présenté Cortex 2.0, un système de manipulation robotique industrielle qui rompt avec le contrôle réactif au profit d'une architecture de planification basée sur un modèle du monde. Décrit dans un article publié sur arXiv, le système génère plusieurs trajectoires futures candidates dans un espace latent visuel, les évalue selon leur probabilité de succès et leur efficacité, puis sélectionne la meilleure avant d'agir. Évalué sur des plateformes à un bras et deux bras, Cortex 2.0 a été testé sur quatre tâches d'une complexité croissante : saisie et placement d'objets, tri d'articles et de déchets, tri de vis, et déballage de boîtes à chaussures. Les résultats montrent que Cortex 2.0 surpasse systématiquement les modèles Vision-Language-Action (VLA) de dernière génération sur l'ensemble des tâches évaluées. L'avantage est particulièrement net dans les environnements encombrés, avec des occlusions fréquentes et des manipulations à forte contrainte physique, c'est-à-dire précisément les situations où les approches réactives accumulent les erreurs et échouent. Pour l'industrie robotique, cela représente un changement de paradigme concret : des robots capables d'exécuter des séquences d'actions longues de manière fiable, sans nécessiter des environnements strictement contrôlés, ouvrent la voie à un déploiement plus large en logistique, en assemblage ou en tri de matériaux. Les modèles VLA ont marqué une avancée importante ces dernières années en permettant aux robots de généraliser à de nouvelles tâches grâce à leur compréhension du langage et de la vision. Leur faiblesse structurelle reste néanmoins leur caractère réactif : ils optimisent l'action immédiate sans anticiper les conséquences à moyen terme, ce qui les fragilise sur des tâches longues où les erreurs s'accumulent. Cortex 2.0 s'inscrit dans un effort plus large pour doter les robots d'une capacité de planification par simulation, comparable à ce que l'on trouve dans des systèmes comme AlphaGo. Si ces résultats se confirment à plus grande échelle et sur une plus large diversité de tâches, ils pourraient accélérer significativement le déploiement de robots industriels autonomes dans des environnements réels et non scénarisés.

UESi les résultats se confirment à plus grande échelle, les secteurs industriels européens, logistique, assemblage, tri de matériaux, pourraient bénéficier d'un déploiement accéléré de robots autonomes capables d'opérer dans des environnements réels non scénarisés.

IA physiqueOpinion
1 source
FingerEye : capteur vision-tactile continu et unifié pour la manipulation dextère
69arXiv cs.RO 

FingerEye : capteur vision-tactile continu et unifié pour la manipulation dextère

Des chercheurs du laboratoire LINS de l'Université nationale de Singapour ont présenté FingerEye, un capteur robotique compact et peu coûteux capable de combiner vision et toucher de manière continue tout au long d'une interaction physique. Publié sur arXiv le 28 avril 2025, le système intègre deux caméras RGB binoculaires pour percevoir l'environnement à courte portée avant tout contact, puis capte les déformations d'un anneau souple instrumenté de marqueurs pour mesurer les forces et couples exercés au moment où le robot touche un objet. Cette architecture permet une transition fluide entre perception visuelle pré-contact et retour tactile post-contact, le tout dans un unique capteur monté sur les doigts d'un bras robotique. Les chercheurs ont également développé une politique d'apprentissage par imitation qui fusionne les signaux de plusieurs capteurs FingerEye pour apprendre des comportements de manipulation à partir d'un nombre limité de démonstrations réelles, en s'appuyant sur un jumeau numérique du système pour renforcer la généralisation. La majorité des capteurs tactiles existants, comme GelSight et ses variantes, ne fournissent de retour d'information qu'une fois le contact établi, ce qui empêche le robot d'ajuster sa trajectoire lors de l'approche. FingerEye supprime cette lacune en offrant une boucle de perception ininterrompue, ce qui améliore sensiblement la précision des gestes fins. Les expériences menées montrent que le système parvient à réaliser des tâches délicates variées : faire tenir une pièce de monnaie debout, saisir une chip individuelle, extraire une lettre d'une enveloppe ou manipuler une seringue, autant de scénarios qui exigent une coordination précise entre vue et toucher. La manipulation dextre reste l'un des problèmes les plus difficiles de la robotique, car elle suppose de gérer simultanément la localisation d'un objet et les forces exercées sur lui. La plupart des approches séparent ces deux modalités ou ne traitent qu'une phase de l'interaction. FingerEye s'inscrit dans un courant de recherche plus large visant à doter les robots de capteurs multimodaux proches des capacités sensorielles humaines. L'intégration d'un jumeau numérique permet par ailleurs de générer des données simulées enrichies visuellement pour améliorer la robustesse aux variations d'apparence des objets, réduisant ainsi la dépendance aux coûteuses démonstrations en conditions réelles. Le code, les fichiers de conception matérielle et les vidéos sont disponibles sur le site du projet.

RechercheActu
1 source
Apprentissage de l'assemblage tenon-mortaise par désassemblage visuo-tactile
70arXiv cs.RO 

Apprentissage de l'assemblage tenon-mortaise par désassemblage visuo-tactile

Des chercheurs ont publié sur arXiv (référence 2604.20712) un nouveau cadre d'apprentissage pour les robots chargés d'effectuer des assemblages de type "goupille dans un trou" (peg-in-hole, PiH), une tâche de manipulation fondamentale en robotique industrielle. L'idée centrale : plutôt que d'entraîner directement le robot sur cette tâche difficile, l'équipe lui apprend d'abord la tâche inverse, retirer une goupille d'un trou (peg-out-of-hole, PooH), puis utilise ces trajectoires inversées temporellement comme données d'expertise pour maîtriser l'insertion. Le système combine deux modalités sensorielles, la vision et le toucher, formalisées dans un cadre de processus de décision markovien partiellement observable. Les résultats sont convaincants : un taux de réussite moyen de 87,5 % sur des géométries déjà vues en entraînement, et de 77,1 % sur des objets inédits, soit une amélioration de 18,1 points de pourcentage par rapport aux méthodes d'apprentissage par renforcement classiques partant de zéro. Les forces de contact mesurées lors des assemblages sont également 6,4 % inférieures à celles des systèmes n'utilisant qu'une seule modalité sensorielle. L'enjeu de cette avancée est considérable pour l'automatisation industrielle. L'assemblage de pièces mécaniques avec précision reste l'un des goulots d'étranglement de la robotique manufacturière : un robot qui rate son insertion peut bloquer une ligne de production entière ou endommager des composants coûteux. La combinaison vision-toucher permet ici au robot de s'approcher du trou grâce aux informations visuelles, puis de corriger des désalignements millimétriques grâce aux capteurs tactiles, reproduisant le geste naturel d'un technicien humain qui "sent" la résistance avant d'ajuster. La généralisation à des objets non vus lors de l'entraînement est particulièrement prometteuse pour un déploiement industriel réel, où les pièces varient constamment d'un lot à l'autre. La tâche peg-in-hole est un problème de référence en robotique depuis les années 1980, longtemps résolu par des méthodes analytiques rigides, peu adaptables. L'apprentissage par renforcement a ouvert de nouvelles perspectives, mais se heurte à un obstacle majeur : l'exploration est coûteuse et risquée, chaque tentative ratée pouvant provoquer des chocs mécaniques. La clé de l'approche proposée est d'exploiter l'asymétrie entre insertion et extraction : retirer une goupille ne nécessite pas d'alignement précis et génère des données d'entraînement bien plus facilement. Le code, les démonstrations vidéo et les jeux de données de l'équipe sont disponibles en ligne, ce qui pourrait accélérer l'adoption de ce type d'apprentissage hybride dans la communauté robotique internationale.

UECette avancée en assemblage robotisé précis pourrait bénéficier à l'industrie manufacturière européenne (automobile, aéronautique), mais l'article ne cite aucun acteur ou programme européen spécifique.

RecherchePaper
1 source
Apprentissage du contrôle multimodal du corps entier pour robots humanoïdes réels
71arXiv cs.RO 

Apprentissage du contrôle multimodal du corps entier pour robots humanoïdes réels

Des chercheurs en robotique ont publié sur arXiv une avancée notable dans le contrôle des robots humanoïdes, présentant le Masked Humanoid Controller (MHC), un système d'apprentissage automatique capable de piloter l'ensemble du corps d'un robot à partir d'une interface unifiée. Concrètement, le MHC reçoit des commandes sous forme de trajectoires partiellement spécifiées, seules certaines parties du corps sont ciblées à la fois, et les exécute en maintenant l'équilibre général de la machine. Le système a été validé sur le robot humanoïde réel Digit V3 du fabricant Agility Robotics, démontrant que les comportements appris en simulation se transfèrent effectivement au monde physique. Ce qui distingue le MHC, c'est sa capacité à traiter des entrées radicalement différentes avec un seul contrôleur : séquences de pas planifiées par un algorithme d'optimisation, clips de capture de mouvement humain, vidéos retransposées sur le robot, ou signaux de téléopération en temps réel via joystick. Jusqu'ici, chacun de ces modes nécessitait généralement un pipeline dédié. Cette unification simplifie considérablement l'architecture des systèmes robotiques et ouvre la voie à des robots capables de recevoir des instructions hybrides, par exemple suivre une trajectoire planifiée tout en imitant simultanément des gestes captés sur une vidéo. Le problème du contrôle corps entier est l'un des verrous majeurs de la robotique humanoïde commerciale, alors que des acteurs comme Boston Dynamics, Figure AI ou Tesla Optimus investissent massivement dans ce secteur. La tendance actuelle consiste à entraîner des contrôleurs en simulation, moins coûteux et plus sûr, puis à les transférer sur du matériel réel, une approche que le MHC illustre avec le Digit V3. L'utilisation d'un curriculum d'entraînement couvrant l'ensemble des modalités d'entrée est la clé qui permet cette polyvalence sans sacrifier la robustesse. Les prochaines étapes logiques concerneront l'intégration de modèles de langage comme interface de haut niveau, permettant à terme de donner des instructions verbales à un humanoïde qui les traduirait en commandes motrices complexes.

HumanoïdesActu
1 source
PhysMem : mise à l'échelle de la mémoire physique pour la manipulation robotique
72arXiv cs.RO 

PhysMem : mise à l'échelle de la mémoire physique pour la manipulation robotique

PhysMem, un cadre mémoire présenté sur arXiv (identifiant 2502.20323, version 5 actualisée au printemps 2026), propose une approche permettant aux planificateurs robotiques basés sur des modèles vision-langage (VLM) d'acquérir des connaissances physiques au moment de l'exécution, sans modifier les paramètres du modèle. Le système enregistre les interactions, génère des hypothèses sur les propriétés physiques observées, les soumet à vérification par des gestes ciblés, puis n'intègre que les hypothèses validées pour guider les décisions futures. Évalué sur trois tâches de manipulation réelle et des benchmarks de simulation avec quatre architectures VLM distinctes, PhysMem atteint 76 % de succès sur une tâche contrôlée d'insertion de brique, contre 23 % pour une récupération directe d'expérience. Sur des sessions de déploiement de 30 minutes, les performances progressent de façon consistante au fil du temps. L'apport central de PhysMem réside dans la séparation entre récupération et vérification. Les approches classiques de mémoire épisodique supposent que les expériences passées s'appliquent directement à la situation courante, ce qui produit des échecs dès que les conditions physiques changent, même marginalement. PhysMem brise ce cycle en testant activement chaque hypothèse avant de l'exploiter, une propriété critique pour les environnements industriels où surfaces, matériaux et tolérances varient d'un poste à l'autre. Pour les intégrateurs et les décideurs B2B, cela ouvre la voie à des robots capables de s'adapter à de nouveaux objets ou environnements sans cycle de réentraînement coûteux. L'écart de 53 points de pourcentage entre les deux modes illustre que le problème n'est pas la mémoire en soi, mais la rigidité de son application directe. Les VLM comme planificateurs robotiques ont été popularisés par des travaux comme SayCan (Google DeepMind), Code as Policies, ou plus récemment pi0 de Physical Intelligence, qui ont démontré une capacité de raisonnement abstrait sur les tâches. Leur limite persistante reste l'incapacité à modéliser les propriétés physiques spécifiques d'objets particuliers, un obstacle majeur à la généralisation hors laboratoire. PhysMem s'inscrit dans un mouvement plus large vers le test-time adaptation en robotique, distinct du fine-tuning classique et complémentaire des approches VLA (Vision-Language-Action). À noter: les résultats publiés portent sur des tâches de laboratoire contrôlées, et aucun déploiement industriel n'est annoncé à ce stade. Les suites logiques incluent des tests sur des horizons de déploiement plus longs et des tâches impliquant des objets déformables ou des matériaux à comportement incertain, là où les hypothèses physiques sont les plus difficiles à abstraire.

IA physiquePaper
1 source
Optimisation de politique par dérive : apprentissage natif en une étape pour le contrôle robotique en ligne
73arXiv cs.RO 

Optimisation de politique par dérive : apprentissage natif en une étape pour le contrôle robotique en ligne

Une équipe de chercheurs publie sur arXiv (réf. 2604.03540, version 3) un cadre en deux étapes baptisé Drift-Based Policy Optimization (DBPO), conçu pour ramener les politiques génératives de manipulation robotique à une seule passe de réseau au moment de l'inférence. La première brique, la Drift-Based Policy (DBP), exploite des objectifs de "fixed-point drifting" pour internaliser le raffinement itératif directement dans les paramètres du modèle pendant l'entraînement, supprimant ainsi le besoin de débruitage multi-étapes à l'exécution. La seconde brique, DBPO, greffe sur ce backbone une interface stochastique compatible avec le renforcement en ligne, autorisant des mises à jour on-policy stables sans sacrifier la propriété de déploiement en une étape. Sur un robot bi-bras réel, le système atteint 105,2 Hz en boucle fermée, soit une fréquence comparable aux contrôleurs industriels classiques. Sur les benchmarks de manipulation, DBP égale ou dépasse les politiques de diffusion multi-étapes tout en réduisant le coût d'inférence jusqu'à un facteur 100 en nombre d'évaluations réseau (NFEs). Ce résultat touche directement l'un des verrous les plus concrets du déploiement de politiques diffusion en robotique : le coût computationnel à l'inférence. Les politiques de diffusion actuelles (Diffusion Policy, Chi et al., 2023) nécessitent typiquement 10 à 100 NFEs par action, ce qui les rend incompatibles avec du contrôle haute fréquence sans accélérateur dédié. Transférer ce coût vers l'entraînement plutôt que l'inférence change le profil économique du déploiement : un robot en production n'a plus besoin de GPU haut de gamme pour tourner en temps réel. Par ailleurs, coupler une politique one-step avec du renforcement en ligne ouvre la voie à une adaptation continue post-déploiement, hypothèse clé pour les environnements industriels non-structurés. Les politiques de diffusion pour la manipulation ont émergé comme référence de facto depuis 2022-2023, portées par des travaux comme Diffusion Policy ou les architectures VLA de Physical Intelligence (pi0) et d'autres. La course à réduire leur latence a produit plusieurs approches concurrentes : distillation de consistance (Consistency Policy), flow matching en une étape (comme dans certaines variantes de pi0-fast), ou encore les politiques à action chunking. DBPO s'inscrit dans cette compétition avec une approche qui revendique de préserver la modélisation multimodale tout en atteignant la vitesse des méthodes one-shot. Les prochaines étapes naturelles seraient un test à plus grande échelle de tâches et de morphologies robotiques, ainsi qu'une validation sur des plateformes humanoïdes telles que celles de Figure AI ou 1X Technologies, pour lesquelles la fréquence de contrôle est un critère de sécurité, pas seulement de performance.

UELes équipes de recherche et industriels européens en robotique manipulatrice pourraient réduire leurs besoins en accélérateurs GPU à l'inférence en adoptant cette approche, mais aucun acteur français ou européen n'est directement impliqué.

IA physiquePaper
1 source
De zéro à l'autonomie en temps réel : adaptation en ligne de la dynamique dans des environnements non structurés
74arXiv cs.RO 

De zéro à l'autonomie en temps réel : adaptation en ligne de la dynamique dans des environnements non structurés

Une équipe de chercheurs propose, dans un préprint arXiv (réf. 2509.12516 v2, septembre 2025), une méthode d'adaptation en ligne des dynamiques robotiques capable de passer de zéro connaissance préalable à un contrôle sûr en quelques secondes. L'algorithme combine des encodeurs de fonctions ("function encoders") avec les moindres carrés récursifs (RLS) : les coefficients de l'encodeur sont traités comme des états latents mis à jour en continu depuis l'odométrie du robot en streaming. L'estimation s'effectue en temps constant, sans boucle interne à base de gradients, ce qui la distingue structurellement des approches de méta-apprentissage. Les expériences portent sur trois configurations : un système de Van der Pol pour valider le comportement algorithmique, un simulateur Unity pour la navigation tout-terrain haute fidélité, et un robot Clearpath Jackal en conditions réelles, notamment sur la glace d'une patinoire locale. Dans toutes ces configurations, la méthode réduit le nombre de collisions par rapport aux baselines statiques et de méta-apprentissage. L'enjeu opérationnel est direct : les transitions abruptes de terrain, comme du bitume vers de la glace ou du gravier vers de la boue, déstabilisent les planificateurs de trajectoire si le modèle dynamique ne se met pas à jour assez vite. Là où des approches comme MAML nécessitent de nombreux pas de gradient pour converger vers un nouveau régime dynamique, ce système extrait une représentation exploitable à partir de quelques secondes de données odométriques. La validation sur glace physique, environnement à très faible coefficient de frottement, renforce la crédibilité de la démonstration au-delà du seul simulateur et constitue un argument sérieux contre le "dynamics gap" souvent reproché aux méthodes d'adaptation sim-to-real. Cette recherche s'inscrit dans un courant actif autour de l'adaptation rapide pour robots mobiles, en concurrence directe avec RMA (Rapid Motor Adaptation, ETH Zürich) pour les quadrupèdes et les travaux de Berkeley sur l'adaptation contextuelle via réseaux d'encodage. Le Clearpath Jackal, plateforme différentielle de référence dans la recherche académique, facilite la reproductibilité des résultats. L'article ne mentionne aucun déploiement industriel ni partenariat commercial, mais la complexité temporelle constante de l'algorithme le rend compatible avec des contraintes embarquées réelles. La prochaine étape logique serait une validation sur flottes AMR en environnement logistique ou sur des quadrupèdes exposés à des changements de surface similaires.

RecherchePaper
1 source
Apprentissage multi-allures pour robots humanoïdes par renforcement avec prior de mouvement adversarial sélectif
75arXiv cs.RO 

Apprentissage multi-allures pour robots humanoïdes par renforcement avec prior de mouvement adversarial sélectif

Des chercheurs ont publié en avril 2026 sur arXiv (preprint 2604.19102) une méthode d'apprentissage par renforcement permettant à un humanoïde à 12 degrés de liberté de maîtriser cinq allures dans un cadre politique unifié : marche normale, marche militaire cadencée (goose-stepping), course, montée d'escaliers et saut, avec un espace d'action et une formulation de récompense identiques pour toutes. La contribution centrale est une stratégie appelée AMP sélectif (Adversarial Motion Prior sélectif) : l'AMP, qui guide l'apprentissage en comparant les mouvements générés à des données de référence de type mocap, est appliqué uniquement aux allures périodiques et stables (marche, goose-stepping, escaliers), et délibérément omis pour les allures dynamiques (course, saut) où sa régularisation briderait trop le mouvement. L'entraînement repose sur PPO (Proximal Policy Optimization) avec randomisation de domaine en simulation, et les politiques sont déployées sur le robot physique par transfert sim-to-réel zéro-shot, sans phase d'adaptation supplémentaire. Les expériences quantitatives montrent que l'AMP sélectif surpasse une politique AMP uniforme sur les cinq allures : convergence plus rapide, erreur de suivi réduite et meilleurs taux de succès sur les allures stables, sans dégrader l'agilité des allures explosives. Pour les équipes d'ingénierie robotique, ce résultat renforce l'idée qu'une politique monolithique bien structurée peut remplacer plusieurs contrôleurs spécialisés, réduisant la complexité du système embarqué. La réussite du transfert zéro-shot valide par ailleurs l'efficacité de la randomisation de domaine pour combler le sim-to-real gap sur un humanoïde à 12 DOF, un résultat cohérent avec des travaux récents d'ETH Zurich et de Carnegie Mellon sur les robots bipèdes. L'Adversarial Motion Prior a été formalisé par Xue Bin Peng et al. (UC Berkeley, 2021) comme mécanisme pour imiter des mouvements de référence dans un cadre RL sans récompense artisanale excessive. Des équipes chez Agility Robotics, Figure AI et Boston Dynamics explorent des variantes similaires, mais la plupart des publications se concentrent sur une ou deux allures à la fois. Ce preprint propose une généralisation plus large, bien que le robot utilisé (12-DOF, sans identification de marque dans l'abstract) reste une plateforme expérimentale dont les performances hors simulation restent à confirmer sur des terrains non contrôlés. Aucune entité française ou européenne n'est impliquée. Les étapes suivantes naturelles incluent l'extension à davantage de DOF, l'intégration de primitives de manipulation et des tests en conditions réelles variées.

HumanoïdesPaper
1 source
Politique d'accès mémoire contrôlé
76arXiv cs.RO 

Politique d'accès mémoire contrôlé

Une équipe de chercheurs en robotique a publié fin avril 2026 sur arXiv (référence 2604.18933) la Gated Memory Policy (GMP), une architecture de politique visuomotrice pour les tâches de manipulation robotique. L'article cible un problème concret : certaines tâches sont markoviennes (la décision dépend uniquement de l'état courant), d'autres non-markoviennes (elles nécessitent de se souvenir d'interactions passées, parfois sur plusieurs essais). GMP intègre trois mécanismes distincts : une porte de mémoire apprise qui active sélectivement le contexte historique uniquement quand la tâche le requiert, un module de cross-attention léger pour construire des représentations latentes efficaces de la mémoire, et une injection de bruit de diffusion dans les actions historiques pour atténuer la sensibilité aux historiques bruités ou imprécis. Évaluée sur MemMimic, un benchmark non-markovien proposé par les auteurs eux-mêmes, GMP affiche une amélioration de 30,1 % du taux de succès moyen par rapport aux baselines à long historique, tout en maintenant des performances compétitives sur les tâches markoviennes du benchmark RoboMimic. L'enjeu pointe une limite structurelle des politiques visuomotrices actuelles : l'approche naïve consistant à étendre la fenêtre d'observation historique dégrade les performances en raison du décalage de distribution et du surajustement. GMP montre qu'apprendre quand mémoriser est plus efficace qu'empiler de l'historique brut. Pour les équipes de recherche en manipulation et les intégrateurs industriels, cela valide une direction de conception : les politiques robotiques polyvalentes devront intégrer une gestion contextuelle de la mémoire, notamment pour des scénarios multi-étapes comme l'assemblage séquentiel ou le tri conditionnel. Une nuance s'impose toutefois : MemMimic est un benchmark conçu par les auteurs eux-mêmes, ce qui limite l'indépendance de la validation et appelle une évaluation sur des référentiels tiers. Les politiques visuomotrices comme Diffusion Policy ou ACT opèrent principalement en mode réactif, sans mécanisme de mémoire épisodique explicite. Des architectures basées sur des transformers ont tenté d'incorporer l'historique, mais sans sélection adaptative. GMP s'inscrit dans une tendance plus large, aux côtés des VLA (Vision-Language-Action models) et des architectures de type state-space model comme Mamba, qui cherchent toutes à mieux gérer la temporalité en manipulation robotique. Le code, les données et les instructions de déploiement en conditions réelles sont disponibles sur le site du projet (gated-memory-policy.github.io), ce qui ouvre la voie à une reproduction indépendante et à une évaluation sur benchmarks extérieurs.

RechercheOpinion
1 source
Mémoire plutôt que cartes : localisation d'objets 3D sans reconstruction
77arXiv cs.RO 

Mémoire plutôt que cartes : localisation d'objets 3D sans reconstruction

Une équipe de chercheurs a publié sur arXiv (référence 2603.20530v2) une méthode de localisation d'objets pour robots mobiles qui abandonne complètement la construction de représentations 3D globales de l'environnement. Baptisée "Memory Over Maps", cette approche remplace les pipelines classiques (nuages de points, grilles de voxels, graphes de scènes) par une mémoire visuelle légère composée uniquement de trames RGB-D géolocalisées (keyframes avec profondeur et position de caméra). À l'exécution d'une requête, le système récupère les vues candidates pertinentes, les reclasse via un modèle vision-langage (VLM), puis reconstruit à la volée une estimation 3D locale de la cible par rétroprojection de profondeur et fusion multi-vues. Les auteurs rapportent, sur leurs benchmarks, une vitesse d'indexation de scène supérieure de plus de deux ordres de grandeur par rapport aux pipelines de reconstruction classiques, avec une empreinte mémoire significativement réduite. Ce résultat remet en question une hypothèse structurante de la robotique d'intérieur : l'idée qu'une carte 3D dense et complète serait un prérequis indispensable à la navigation orientée objets. Si la méthode tient ses promesses à l'échelle, les intégrateurs de robots de service et les développeurs de systèmes de navigation autonome pourraient simplifier drastiquement leurs pipelines de mise en service, en supprimant la phase coûteuse de cartographie initiale. Le fait que le système n'exige aucun entraînement spécifique à la tâche (zero-shot sur les benchmarks testés) renforce son potentiel de généralisation, même si les conditions réelles d'un entrepôt ou d'un hôpital restent plus exigeantes que les environnements de benchmark contrôlés. Il faut noter que les métriques de performance présentées proviennent des propres expériences des auteurs, et que des évaluations indépendantes sur des scènes dynamiques ou encombrées manquent encore. La localisation d'objets pour la navigation robotique est un problème central depuis les travaux fondateurs sur la SLAM (Simultaneous Localization and Mapping). Les approches modernes s'appuient de plus en plus sur des VLM pour raisonner directement sur des observations 2D, dans la lignée des travaux comme ConceptGraphs, OpenScene ou les architectures VLA (Vision-Language-Action) qui cherchent à court-circuiter la représentation explicite du monde. La méthode "Memory Over Maps" s'inscrit dans cette tendance de fond, en compétition directe avec des approches comme EmbodiedScan ou SQA3D. Les prochaines étapes attendues incluent des tests sur des scènes dynamiques, une évaluation sur des plateformes physiques (les résultats actuels sont validés en simulation et sur benchmarks standards), et une intégration avec des architectures de manipulation pour étendre la méthode au-delà de la navigation pure.

RecherchePaper
1 source
SynAgent : manipulation humanoïde coopérative généralisable par synergie d'agents, du solo au coopératif
78arXiv cs.RO 

SynAgent : manipulation humanoïde coopérative généralisable par synergie d'agents, du solo au coopératif

Une équipe de chercheurs a déposé sur arXiv (2604.18557, avril 2026) SynAgent, un framework unifié pour la manipulation coopérative entre robots humanoïdes. Le problème de départ est concret : faire collaborer deux humanoïdes pour saisir et déplacer un objet volumineux exige des données d'entraînement multi-agents quasi inexistantes. SynAgent contourne ce verrou via une stratégie "Solo-to-Cooperative Agent Synergy" : les compétences sont d'abord apprises sur des données de mouvement humain solo (un agent, un objet), puis transférées vers des scénarios à deux agents. Pour préserver les relations spatiales lors de ce transfert, les auteurs introduisent une méthode de retargeting basée sur un "Interact Mesh" construit par tétraédrisation de Delaunay. L'entraînement repose ensuite sur un préentraînement mono-agent, une adaptation via PPO décentralisé multi-agents, et une politique générative conditionnée par trajectoire utilisant un VAE conditionnel (cVAE), distillée depuis plusieurs priors d'imitation de mouvement. Le principal goulot d'étranglement de la manipulation humanoïde coopérative n'est pas l'algorithme, c'est la donnée : annoter deux humains manipulant des objets en interaction à l'échelle suffisante est coûteux. SynAgent propose de recycler les datasets de mouvement solo, qui sont eux abondants, pour bootstrapper des comportements collaboratifs. Les auteurs rapportent une surperformance significative sur les baselines existantes en imitation coopérative et en contrôle conditionné par trajectoire, avec une généralisation à des géométries d'objets variées, point souvent fragile dans la littérature. Si ces résultats se confirment hors benchmarks contrôlés, l'approche réduirait drastiquement le coût d'entrée pour déployer des paires de robots humanoïdes sur des tâches de manutention lourde. La manipulation bimanuelle distribue un axe de recherche actif : les travaux sur ALOHA (Berkeley), Stanford et CMU ont établi des bases solides pour les tâches dextères, mais sur des plateformes à deux bras unifiées. La coordination entre deux humanoïdes distincts est un problème plus récent, exacerbé par l'émergence commerciale de Figure 02/03, Agility Digit ou Unitree G1. SynAgent s'inscrit dans ce contexte où les labos académiques cherchent à fournir les briques algorithmiques que les industriels ne peuvent pas encore produire à temps. Important à noter : le papier ne mentionne aucune expérience sur hardware physique, ce qui laisse ouverte la question centrale du sim-to-real gap pour ce type de coordination distribuée. Le code et les données seront publiés après acceptation formelle.

HumanoïdesPaper
1 source
GenerativeMPC : contrôle prédictif corps entier guidé par VLM-RAG, impédance virtuelle et manipulation mobile bimanuelle
79arXiv cs.RO 

GenerativeMPC : contrôle prédictif corps entier guidé par VLM-RAG, impédance virtuelle et manipulation mobile bimanuelle

Des chercheurs ont soumis sur arXiv (arXiv:2604.19522) un framework baptisé GenerativeMPC, destiné aux robots manipulateurs mobiles bimanaux. Le système articule un modèle de vision-langage couplé à une génération augmentée par récupération (VLM-RAG) avec un contrôleur prédictif sur le corps entier (Whole-Body MPC). Concrètement, le module VLM-RAG analyse la scène en temps réel, visuellement et en langage naturel, puis génère des contraintes de contrôle numériques directement exploitables: limites de vitesse dynamiques et marges de sécurité injectées dans le MPC. Parallèlement, il module les gains de raideur et d'amortissement virtuels d'un contrôleur impédance-admittance unifié pour adapter la compliance du robot au contexte. Les expériences menées dans les simulateurs MuJoCo et IsaacSim, puis sur une plateforme physique bimanuale, font état d'une réduction de vitesse de 60% à proximité des humains. Le système s'appuie sur une base de données vectorielle alimentée par l'expérience passée, ce qui permet d'ancrer les paramètres de contrôle sans ré-entraînement du modèle. L'enjeu architectural est significatif pour les intégrateurs et les décideurs industriels. Les approches end-to-end de type VLA, comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), délèguent entièrement la traduction sémantique-physique au réseau neuronal, rendant les garanties de sécurité difficiles à certifier formellement. GenerativeMPC propose une architecture hybride explicite: le grand modèle raisonne sur le contexte (présence humaine, nature de la tâche) et produit des paramètres numériques interprétables qui alimentent un MPC classique au comportement auditable et déterministe. Pour les secteurs à forte contrainte réglementaire, c'est un argument de poids. La réduction de 60% reste cependant une métrique à contextualiser: le papier ne précise pas la vitesse de référence initiale ni les conditions exactes des essais physiques, un bémol courant dans les publications de ce type. La manipulation mobile bimanuale est l'un des problèmes ouverts les plus exigeants de la robotique collaborative, coincé entre contrôleurs classiques contextuellement aveugles et modèles end-to-end difficilement certifiables. L'utilisation du RAG pour paramétrer des contrôleurs physiques est une direction de recherche émergente, distincte de l'apprentissage par renforcement. Dans l'écosystème concurrent, Figure AI (Figure 03), Boston Dynamics (Atlas) et 1X Technologies explorent des architectures hybrides pour des tâches bimanales. En Europe, Enchanted Tools (France) et des laboratoires comme le LAAS-CNRS avancent sur des architectures de contrôle sûres pour la collaboration humain-robot. GenerativeMPC reste pour l'instant un résultat de recherche académique sans déploiement industriel annoncé, mais son approche explicitement certifiable ouvre des perspectives concrètes pour la logistique collaborative et la robotique médicale.

UELe LAAS-CNRS et Enchanted Tools (France) travaillent sur des architectures de contrôle sûres similaires ; l'approche hybride certifiable de GenerativeMPC pourrait renforcer le positionnement européen dans les débats réglementaires sur la certification des robots collaboratifs au titre de l'AI Act.

RechercheOpinion
1 source
Contrôle d'admittance sensible aux torseurs pour la manipulation de charges utiles inconnues
80arXiv cs.RO 

Contrôle d'admittance sensible aux torseurs pour la manipulation de charges utiles inconnues

En avril 2026, des chercheurs ont présenté sur arXiv (réf. 2604.19469) un framework de contrôle en admittance pour la manipulation robotique d'objets à masse inconnue, validé expérimentalement sur un bras UR5e de Universal Robots. Lorsque le centre de masse d'un objet saisi ne coïncide pas avec le point central outil (TCP), la charge génère un couple parasite au poignet, amplifié par l'inertie de l'objet pendant le déplacement. Sans compensation, ce couple est interprété par le contrôleur comme une force d'interaction extérieure, déclenchant des déviations de trajectoire, des erreurs de suivi et une précision de dépose dégradée. La solution exploite le capteur force-couple du poignet selon deux modes séquentiels : une excitation translationnelle sur trois axes atténue l'effet de la charge en transit sans raidir le robot, puis, après la saisie, le contrôleur estime successivement la masse de l'objet et l'offset de son centre de masse par rapport au TCP en analysant les mesures collectées lors du mouvement. Pour les intégrateurs industriels, ce travail cible un problème récurrent : adapter un cobot à des lignes à références multiples sans recalibration manuelle à chaque changement de produit. Les contrôleurs en admittance sont le standard de fait pour les applications collaboratives (ISO/TS 15066), mais leur sensibilité aux perturbations non modélisées au niveau du capteur de couple les rend fragiles sur des tâches d'empilage ou de palettisation à charges variables. La méthode démontre qu'il est possible de préserver la compliance mécanique, garante de la cohabitation humain-robot, tout en corrigeant activement les biais de charge, sans recours à l'apprentissage par renforcement. Les résultats expérimentaux indiquent des gains en transport et en précision de dépose par rapport à la commande non corrigée, bien que l'abstract ne fournisse pas de métriques quantitatives détaillées permettant d'évaluer l'ampleur réelle des améliorations. Le contrôle en admittance, formalisé par Neville Hogan au MIT dans les années 1980, est aujourd'hui intégré nativement dans les plateformes Universal Robots et Franka Robotics. Ce travail s'inscrit dans un courant concurrent des approches VLA (vision-language-action) portées par Physical Intelligence (pi-0) ou Google DeepMind, qui misent sur l'apprentissage massif plutôt que sur la modélisation analytique de la physique. L'avantage différenciant de cette approche est sa traçabilité pour la certification industrielle et l'absence totale de données d'entraînement. Les extensions naturelles incluent la prise en compte des couples en rotation et la validation sur des architectures multi-bras pour la manipulation coordonnée d'objets asymétriques.

UECette méthode de contrôle en admittance robuste aux charges inconnues est directement applicable aux cobots UR5e (Universal Robots, Danemark) et Franka (Allemagne) largement déployés dans l'industrie européenne, facilitant la conformité ISO/TS 15066 sur les lignes à références multiples sans recalibration manuelle.

RecherchePaper
1 source
Caractérisation expérimentale des systèmes de blocage mécanique par empilement de couches
81arXiv cs.RO 

Caractérisation expérimentale des systèmes de blocage mécanique par empilement de couches

Une équipe de chercheurs a publié sur arXiv un preprint (2511.07882v2) consacré à la caractérisation expérimentale des systèmes de "layer jamming" mécanique, un mécanisme de modulation de rigidité applicable aux robots souples. Le dispositif étudié est une structure bi-couche multi-matériaux équipée de protrusions en forme de dents, dont la géométrie constitue le principal paramètre de conception exploré. Les spécimens ont été soumis à des charges en flexion et en torsion afin de quantifier l'influence de la forme des dents sur les performances mécaniques. Résultats mesurés : un rapport de rigidité maximal de 5x en flexion et de 3,2x en torsion entre les états bloqué ("jammed") et libre. L'étude quantifie également la force nécessaire pour désolidariser les deux couches assemblées, un paramètre systématiquement négligé dans la littérature existante sur le jamming. Ces résultats fournissent aux concepteurs de robots souples une base expérimentale concrète pour le dimensionnement de mécanismes à rigidité variable, là où la littérature se limitait jusqu'ici à des démonstrations qualitatives ou à des systèmes pneumatiques complexes. Un rapport de 5x en flexion ouvre la voie à des applications en préhension adaptative ou en exosquelettes légers. La mesure de la force de séparation est particulièrement utile pour les architectures cycliques (grippers répétitifs, membres articulés), car elle conditionne la tenue mécanique en usage réel. L'approche purement mécanique, sans infrastructure pneumatique, simplifie l'intégration et réduit le coût système par rapport au jamming granulaire sous vide. La démarche s'inspire de deux modèles biologiques : les céphalopodes (poulpes, calmars), qui modulent la rigidité de leurs tentacules via des couches musculaires superposées, et les pachydermes (éléphants), dont la trompe exploite une architecture anatomique similaire. En robotique douce, les mécanismes à rigidité variable incluent le jamming granulaire (popularisé par les travaux iRobot/Cornell autour de 2010), le fiber jamming, et les matériaux intelligents (alliages à mémoire de forme, hydrogels actifs). Le layer jamming mécanique, moins étudié que ses variantes pneumatiques, offre une alternative sans actionneur externe dédié au blocage. Ce preprint n'a pas encore été soumis à révision par les pairs en journal ; les performances annoncées restent à valider sur des configurations complètes de membres robotiques.

RecherchePaper
1 source
Auto-reconnaissance sensorimotrice dans les robots pilotés par des LLM multimodaux
82arXiv cs.RO 

Auto-reconnaissance sensorimotrice dans les robots pilotés par des LLM multimodaux

Des chercheurs ont publié sur arXiv (référence 2505.19237) une étude portant sur la capacité des grands modèles de langage multimodaux (LLM multimodaux) à développer une forme de conscience proprioceptive lorsqu'ils sont embarqués sur un robot mobile autonome. L'équipe a intégré un LLM multimodal directement dans la boucle de contrôle d'un robot mobile, puis a évalué si le système pouvait construire une représentation interne de son propre corps dans l'environnement, sans programmation explicite de cette capacité. Les résultats montrent que le robot démontre trois propriétés distinctes : une conscience environnementale (perception cohérente du monde extérieur), une auto-identification (le système infère lui-même sa nature robotique et ses caractéristiques de mouvement), et une conscience prédictive (anticipation de ses propres états futurs). Les chercheurs ont utilisé la modélisation par équations structurelles (SEM) pour quantifier comment l'intégration sensorielle influence les différentes dimensions du "soi minimal", et ont conduit des tests d'ablation sur les entrées sensorielles pour isoler le rôle de la mémoire épisodique et structurée. Ces résultats ont des implications concrètes pour les intégrateurs et les équipes de développement travaillant sur des architectures d'agents incarnés. Jusqu'ici, la conscience de soi dans les systèmes robotiques reposait sur des modèles cinématiques codés en dur ou des estimateurs d'état dédiés. Démontrer qu'un LLM peut inférer sa propre nature physique à partir de l'expérience sensorimotrice ouvre la voie à des robots plus adaptatifs, capables de recalibrer leur comportement sans reconfiguration manuelle. Les tests d'ablation confirment que les capteurs se compensent mutuellement en cas de défaillance partielle, ce qui est un indicateur de robustesse opérationnelle réelle, pas seulement de performance en conditions idéales. La mémoire épisodique s'avère indispensable, ce qui renforce l'intérêt des architectures de type RAG (retrieval-augmented generation) pour la robotique embarquée. Ce travail s'inscrit dans un mouvement plus large visant à unifier les capacités cognitives des LLM avec l'action physique, un champ que des acteurs comme Physical Intelligence (Pi-0), Figure AI ou le projet GR00T de NVIDIA explorent depuis 2023-2024 sous l'angle des architectures VLA (Vision-Language-Action). La particularité ici est de remonter à une couche plus fondamentale : non pas "comment le robot agit" mais "comment le robot se sait robot", ce que les philosophes cognitifs appellent le "soi minimal". Aucun acteur européen n'est directement cité dans ce papier académique, mais des laboratoires comme celui de Wandercraft à Paris ou des groupes de recherche en robotique cognitive à l'INRIA travaillent sur des questions adjacentes. La prochaine étape naturelle sera de tester cette architecture sur des plateformes humanoïdes à degrés de liberté élevés, où l'auto-modélisation corporelle devient critique pour la sécurité et la planification de mouvement.

UEAucun acteur européen n'est impliqué directement, mais l'INRIA et des groupes de robotique cognitive français travaillent sur des problématiques adjacentes susceptibles de bénéficier de ces résultats sur l'auto-modélisation embarquée.

RechercheOpinion
1 source
Atelier interdisciplinaire sur l'intelligence mécanique : rapport de synthèse
83arXiv cs.RO 

Atelier interdisciplinaire sur l'intelligence mécanique : rapport de synthèse

Les 30 et 31 mai 2024, la National Science Foundation (NSF) a accueilli dans ses locaux un atelier interdisciplinaire de deux jours consacré à l'intelligence mécanique (MI, Mechanical Intelligence). L'événement a réuni 38 chercheurs académiques invités et 8 responsables de programmes NSF, soit 46 participants au total. Le format privilégiait les discussions en petits groupes (4 à 5 personnes) et en groupes élargis (9 à 10 personnes), chaque session aboutissant à des notes consignées dans des diaporamas partagés et présentées en clôture le second jour. Le rapport issu de ce workshop vient d'être déposé sur arXiv (2604.16381). L'intelligence mécanique désigne la capacité de systèmes matériels, biologiques ou robotiques à encoder des fonctions cognitives, réactivité, adaptabilité, mémoire, apprentissage, directement dans leur structure physique, sans recourir à du calcul électronique ou à du code logiciel. C'est une rupture conceptuelle avec l'intelligence computationnelle classique : plutôt que de traiter l'information dans un processeur centralisé, le comportement intelligent émerge de la morphologie, de la compliance ou des propriétés des matériaux eux-mêmes. Pour les intégrateurs et concepteurs de systèmes robotiques, cette approche ouvre une voie vers des robots plus robustes, moins énergivores et capables d'opérer dans des environnements non structurés sans dépendre d'une boucle de contrôle lourde. Ce workshop s'inscrit dans un intérêt croissant pour la robotique morphologique et la soft robotics, des champs où des institutions européennes comme l'EPFL, l'Università di Pisa ou des startups françaises proches de l'écosystème Inria jouent un rôle actif. La MI fait écho aux travaux sur les actionneurs compliant et aux recherches sur le sim-to-real gap : si l'intelligence est partiellement distribuée dans la mécanique, les besoins en simulation précise diminuent. Le rapport de synthèse, produit collectivement par les participants, constitue une feuille de route potentielle pour orienter les futurs appels à projets NSF dans ce domaine, et pourrait influencer des financements analogues côté ERC ou ANR dans les prochaines années.

UEL'EPFL, l'Università di Pisa et l'écosystème Inria sont actifs dans le champ couvert ; les conclusions du rapport pourraient orienter de futurs appels ERC et ANR en robotique morphologique et soft robotics.

RecherchePaper
1 source
ReconVLA : un cadre VLA guidé par l'incertitude et la détection des défaillances pour le contrôle robotique
84arXiv cs.RO 

ReconVLA : un cadre VLA guidé par l'incertitude et la détection des défaillances pour le contrôle robotique

Des chercheurs ont mis en ligne en avril 2026 sur arXiv (référence 2604.16677) un framework nommé ReconVLA, conçu pour doter les modèles vision-langage-action (VLA) d'une capacité jusque-là absente : estimer leur propre degré de confiance avant d'agir. ReconVLA applique la prédiction conforme (conformal prediction) directement sur les tokens d'action produits par un VLA pré-entraîné, sans modification ni réentraînement du modèle. Cette couche génère des intervalles d'incertitude calibrés, corrélés à la qualité d'exécution et au taux de succès de la tâche. Le même mécanisme est étendu à l'espace d'état du robot pour détecter des configurations anormales avant qu'une défaillance ne survienne. L'évaluation couvre des tâches de manipulation variées en simulation et sur robot réel. L'absence de mesure de confiance calibrée est aujourd'hui l'un des principaux verrous à l'industrialisation des VLA. Un modèle comme Pi-0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA) peut produire une action avec une assurance apparente même lorsque la scène perçue sort de sa distribution d'entraînement. ReconVLA contourne ce problème sans toucher au modèle sous-jacent : les intégrateurs peuvent envelopper n'importe quel VLA existant avec cette surcouche de sécurité. En pratique, le framework réduit les erreurs catastrophiques et fournit un signal exploitable par les superviseurs humains ou les systèmes de fail-safe industriels. Il convient de souligner que les résultats présentés restent à l'échelle laboratoire, sans validation sur des lignes de production réelles. La prédiction conforme est une méthode statistique bien établie dans la communauté du machine learning certifié, mais son application aux VLA robotiques reste émergente. Ces architectures ont connu une accélération notable depuis 2023 avec RT-2 (Google DeepMind), puis OpenVLA, Pi-0 et GR00T N2, chacune promettant un contrôle généraliste sans garantie formelle de comportement hors distribution. ReconVLA s'inscrit dans une tendance visant à rendre ces modèles auditables et déployables dans des contextes à risque industriel ou réglementé. Les prochaines étapes naturelles incluent l'intégration avec des pipelines temps réel et la validation sur des horizons de tâches plus longs, domaines où la calibration de l'incertitude devient critique pour les décideurs industriels.

UEImpact indirect : si validé à l'échelle industrielle, ce framework faciliterait le déploiement de VLA dans des environnements réglementés européens (AI Act, sécurité machines), sans nécessiter de réentraînement des modèles existants.

RechercheOpinion
1 source
Guidance stable par le langage pour les modèles vision-langage-action (VLA)
85arXiv cs.RO 

Guidance stable par le langage pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (réf. 2601.04052v2) une méthode baptisée Residual Semantic Steering (RSS), conçue pour corriger un défaut structurel des modèles Vision-Language-Action (VLA) utilisés en robotique manipulation : leur fragilité face aux variations de formulation des instructions textuelles. Le problème identifié, nommé "effondrement de modalité" (modality collapse), survient lorsque les signaux visuels, très denses, écrasent les signaux linguistiques, plus rares, forçant le modèle à mémoriser des tournures de phrases spécifiques plutôt qu'à comprendre l'intention sous-jacente. RSS propose deux mécanismes complémentaires : la Monte Carlo Syntactic Integration, qui génère un ensemble distribué de reformulations d'une même instruction via un LLM afin d'approximer le vrai postérieur sémantique, et le Residual Affordance Steering, un décodage à double flux qui isole explicitement la contribution causale du langage en soustrayant l'a priori visuel des affordances physiques. Les résultats publiés indiquent des performances state-of-the-art en robustesse sur plusieurs benchmarks de manipulation, y compris sous perturbations linguistiques adversariales. Le code est disponible en open source. Ce travail pointe un angle mort concret du pipeline VLA : un robot entraîné avec π0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA) peut échouer à exécuter une tâche simplement parce que l'opérateur reformule l'ordre différemment, ce qui est rédhibitoire pour tout déploiement industriel réel. RSS apporte une réponse architecturale sans nécessiter de réentraînement complet du modèle de base, ce qui le rend potentiellement compatible avec les VLA existants. La démonstration sur benchmarks adversariaux est un signal positif, même si les benchmarks de manipulation académiques restent éloignés des conditions d'atelier réelles : cycles courts, éclairage variable, instructions opérateur non normalisées. Les VLA ont émergé comme paradigme dominant depuis les travaux de RT-2 (Google DeepMind, 2023), suivis par OpenVLA, π0 de Physical Intelligence et GR00T N2 de NVIDIA, tous confrontés au même sim-to-real gap linguistique. RSS s'inscrit dans une vague de travaux tentant de rendre ces modèles plus robustes sans sacrifier leur généralité. L'approche concurrente la plus proche est le data augmentation sémantique (paraphrase augmentation), moins élégante théoriquement mais déjà intégrée dans certains pipelines de fine-tuning. Les prochaines étapes logiques seraient une validation sur robot physique en environnement non contrôlé et une intégration dans un framework VLA open source comme OpenVLA, ce que les auteurs n'ont pas encore annoncé.

IA physiqueOpinion
1 source
Des contraintes de faisabilité physique explicites améliorent-elles l'apprentissage VLA ? Une étude empirique
86arXiv cs.RO 

Des contraintes de faisabilité physique explicites améliorent-elles l'apprentissage VLA ? Une étude empirique

Une étude publiée sur arXiv (2604.17896) examine une lacune structurelle dans l'entraînement des modèles VLA (Vision-Language-Action) : ces architectures, qui transforment des entrées multimodales (vision, langage) directement en commandes motrices pour robots, sont typiquement entraînées par imitation à grande échelle, sans aucune supervision explicite des contraintes physiques dures. Les auteurs intègrent un objectif de faisabilité géométrique dans la phase d'entraînement d'une politique VLA basée sur la diffusion, et évaluent l'impact sur des tâches de manipulation avec obstacles, utilisées comme banc d'essai contrôlé de la faisabilité physique. Les résultats montrent une amélioration de la fiabilité physique, de la performance globale, et de l'efficacité d'apprentissage en régime de faibles données. L'enjeu est significatif pour quiconque déploie des VLA en environnement industriel non contrôlé. Jusqu'ici, l'hypothèse implicite du paradigme d'imitation était que suffisamment de démonstrations permettraient au modèle d'inférer les contraintes géométriques (évitement d'obstacles, faisabilité cinématique) de façon latente. Cette étude apporte une preuve empirique que cette inférence reste incomplète : ajouter un signal de faisabilité explicite, même simple, améliore à la fois la robustesse physique et les performances sur la tâche. L'effet est particulièrement marqué en faible volume de données, ce qui est précisément le régime courant en déploiement réel où les démonstrations sont coûteuses à collecter. Le contexte est celui d'une compétition intense autour des politiques de manipulation généralisable : OpenVLA, pi0 de Physical Intelligence, GR00T N2 de NVIDIA ou encore les travaux issus de RT-2/RT-X font tous le pari de l'imitation à grande échelle comme voie royale. Cette étude ne remet pas en cause ce paradigme, mais propose une correction ciblée, peu coûteuse à intégrer, sur le point précisément où les VLA actuels montrent leurs limites en production : la collision et la faisabilité cinématique. Aucun acteur commercial spécifique n'est impliqué ici, il s'agit d'une contribution académique, mais ses conclusions sont directement exploitables par les équipes d'intégration qui fine-tunent des VLA sur des postes de travail réels.

IA physiqueOpinion
1 source
ICAT : tests adaptatifs fondés sur des incidents réels pour la prédiction de risques physiques dans les modèles du monde incarnés
87arXiv cs.RO 

ICAT : tests adaptatifs fondés sur des incidents réels pour la prédiction de risques physiques dans les modèles du monde incarnés

Des chercheurs ont publié sur arXiv (référence 2604.16405) un système d'évaluation baptisé ICAT, Incident-Case-Grounded Adaptive Testing, ciblant une lacune précise des modèles de monde vidéo-génératifs : leur capacité à prédire les risques physiques dans des contextes d'action incarnée. Ces modèles, utilisés comme simulateurs neuronaux pour la planification et l'apprentissage de politiques en robotique embarquée, sont soumis à des scénarios de risque construits à partir de rapports d'incidents réels et de manuels de sécurité. ICAT structure ces sources en mémoires de risques, puis les récupère et les compose pour générer des cas de test avec chaînes causales et étiquettes de sévérité. Les expériences menées sur un benchmark dérivé de cette méthode révèlent que les modèles de monde courants omettent fréquemment les mécanismes déclencheurs des situations dangereuses et mal-calibrent systématiquement le niveau de sévérité des conséquences. Ce résultat a des implications directes pour quiconque envisage d'utiliser des world models comme substrat d'entraînement ou de planification pour des systèmes robotiques en environnement réel. Un modèle qui minimise ou ignore les signaux de danger dans ses rollouts imaginés peut inculquer des préférences comportementales non sûres à la politique apprise, sans que l'ingénieur ne le détecte en phase de simulation. Le gap sim-to-real prend ici une dimension nouvelle : ce n'est plus seulement une question de fidélité physique (textures, friction, dynamique), mais de fiabilité dans la représentation des conséquences graves. Pour les intégrateurs qui s'appuient sur des VLA (Vision-Language-Action models) entraînés sur des trajectoires synthétiques, c'est un signal d'alerte concret sur l'absence de métriques de sécurité standardisées dans les pipelines d'évaluation actuels. Les modèles de monde vidéo-génératifs, dont UniSim, DreamerV3, ou les approches issues de Genie et GameNGen, ont connu un regain d'intérêt comme alternatives aux simulateurs physiques classiques (MuJoCo, Isaac Sim), notamment pour leur capacité à généraliser à partir de vidéos brutes. Mais leur évaluation reste dominée par des métriques visuelles (FID, FVD) peu corrélées à la sécurité opérationnelle. ICAT propose un protocole ancré dans les données d'incidents industriels, ce qui le différencie des benchmarks synthétiques existants. Aucun déploiement ni partenariat industriel n'est annoncé à ce stade ; il s'agit d'une contribution académique, et la robustesse du benchmark lui-même reste à valider sur un périmètre de modèles plus large.

RechercheOpinion
1 source
Navigation en foule par LiDAR avec représentation des groupes en bordure de champ de vision
88arXiv cs.RO 

Navigation en foule par LiDAR avec représentation des groupes en bordure de champ de vision

Des chercheurs ont publié sur arXiv (référence 2604.16741) une étude portant sur la navigation autonome de robots mobiles dans des environnements piétonniers à forte densité, en s'appuyant sur une représentation simplifiée des groupes de piétons détectés par LiDAR. Le problème central qu'ils adressent est bien identifié dans le secteur : naviguer socialement en foule dense reste un verrou applicatif majeur pour les AMR déployés en gare, aéroport ou centre commercial. Les approches existantes souffrent de deux limites structurelles : soit elles n'ont été testées qu'en faible densité, soit elles reposent sur des modules de détection externe d'individus, particulièrement sensibles aux occlusions et au bruit de capteur propres aux foules compactes. Les auteurs proposent en réponse une représentation dite "visible edge-based" des groupes, qui exploite uniquement les arêtes visibles entre piétons détectés, sans reconstruction complète des trajectoires individuelles. Le résultat le plus significatif de ce travail est contre-intuitif : la précision de la prédiction des groupes n'influence que marginalement les performances de navigation en environnement dense. Cela suggère qu'une représentation simplifiée, computationnellement moins coûteuse, peut atteindre des niveaux de sécurité et de "socialness" comparables à des approches plus complexes. Pour les intégrateurs et les équipes R&D déployant des robots de service en milieu public, cette observation est directement actionnables : elle légitime une réduction significative de la complexité du pipeline de perception sans dégradation mesurable du comportement social du robot. Les expériences en simulation confirment cette parité de performance, et la vitesse de calcul accrue ouvre la voie à des déploiements sur hardware embarqué plus contraint. Le contexte académique de ce travail s'inscrit dans une littérature active sur la navigation socialmente conforme (socially-aware navigation), dont les jalons incluent les travaux sur ORCA, SARL ou encore CADRL. La prise en compte des groupes comme unité comportementale plutôt que des individus isolés remonte à des études empiriques en sciences sociales (théorie des F-formations), et plusieurs équipes travaillent sur ce sujet, notamment à travers les benchmarks de navigation piétonnière en robotique de service. L'étape suivante naturelle serait une validation à plus grande échelle en conditions réelles, les auteurs ayant pour l'instant limité les expériences terrain à un seul robot dans un environnement contrôlé.

RecherchePaper
1 source
Amélioration de la reconstruction de surfaces en verre par estimation de profondeur pour la navigation robotique
89arXiv cs.RO 

Amélioration de la reconstruction de surfaces en verre par estimation de profondeur pour la navigation robotique

Des chercheurs ont publié le 25 avril 2026 sur arXiv (arXiv:2604.18336) un framework de reconstruction de surfaces vitrées destiné à améliorer la navigation autonome en intérieur. Le problème visé est concret : les capteurs de profondeur (LiDAR, RGB-D) échouent systématiquement face aux surfaces transparentes ou réfléchissantes comme le verre, qui génèrent des mesures erronées ou absentes. L'approche proposée exploite Depth Anything 3, un modèle fondationnel de vision monoculaire, comme prior géométrique, puis aligne ce prior sur les données brutes du capteur via un algorithme RANSAC local. Ce mécanisme permet d'éviter que les mesures corrompues par le verre ne contaminent la reconstruction finale, tout en récupérant une échelle métrique absolue que le modèle de fondation seul ne fournit pas. L'équipe publie également GlassRecon, un dataset RGB-D inédit avec vérité terrain dérivée géométriquement pour les régions vitrées, et annonce la mise à disposition du code et des données sur GitHub. Ce travail adresse un angle mort réel de la navigation robotique en milieu tertiaire. Les bureaux, centres commerciaux, aéroports et hôpitaux sont truffés de cloisons vitrées, de vitrines et de portes transparentes qui font échouer les AMR (Autonomous Mobile Robots) commerciaux en production. Le fait que le framework soit training-free est un avantage pratique direct pour les intégrateurs : il ne nécessite pas de retrainer un modèle sur des données propriétaires, et peut s'insérer dans un pipeline de navigation existant sans modification majeure. Les expériences montrent des gains consistants par rapport aux baselines de l'état de l'art, particulièrement dans les cas de corruption sévère du capteur, ce qui suggère une robustesse utile en conditions réelles plutôt qu'en environnement de laboratoire contrôlé. La détection et la reconstruction de surfaces transparentes est un problème ouvert depuis plusieurs années dans la communauté robotique. Des travaux antérieurs comme GlassNet ou Trans10K avaient abordé la segmentation du verre en RGB pur, mais la fusion avec des données de profondeur restait peu explorée de manière training-free. Du côté concurrentiel, des approches de completion de profondeur par deep learning (IP-Basic, PENet) ou de slam robuste aux occultations existent, mais elles requièrent typiquement un entraînement spécialisé. La contribution de ce papier est de positionner les modèles de fondation non pas comme remplaçants du capteur, mais comme régularisateurs géométriques. Les prochaines étapes annoncées sont la publication du dataset GlassRecon et du code, ce qui permettra à la communauté d'évaluer la reproductibilité des résultats. Aucun déploiement terrain ni partenaire industriel n'est mentionné à ce stade : il s'agit d'une contribution de recherche, pas d'un produit.

RecherchePaper
1 source
Détection structurelle en temps réel pour la navigation intérieure par LiDAR 3D avec images en vue aérienne
90arXiv cs.RO 

Détection structurelle en temps réel pour la navigation intérieure par LiDAR 3D avec images en vue aérienne

Des chercheurs ont publié sur arXiv (arXiv:2603.19830v2) un pipeline de perception léger capable de détecter en temps réel les structures d'un environnement intérieur à partir de données LiDAR 3D, sans recourir à un GPU. Le principe : projeter le nuage de points 3D en images Bird's-Eye-View (BEV) 2D, puis appliquer un détecteur sur cette représentation compressée. L'équipe a comparé quatre approches de détection de structures (murs, couloirs, portes) : la transformée de Hough, RANSAC, LSD (Line Segment Detector) et un réseau YOLO-OBB (Oriented Bounding Box). Les expériences ont été conduites sur une plateforme robotique mobile standard équipée d'un single-board computer (SBC) à faible consommation. Résultat : YOLO-OBB est la seule méthode à satisfaire la contrainte temps réel de 10 Hz en bout de chaîne, là où RANSAC dépasse les budgets de latence et LSD génère une fragmentation excessive de segments qui sature le système. Un module de fusion spatiotemporelle stabilise les détections entre frames consécutives. L'intérêt opérationnel est direct pour les intégrateurs de robots mobiles autonomes (AMR) fonctionnant sur du matériel embarqué standard, typiquement des SBC ARM sans accélérateur dédié. Démontrer qu'un détecteur basé YOLO-OBB tient 10 Hz sur ce type de plateforme réduit le coût matériel des solutions de cartographie et navigation indoor, un verrou persistant dans le déploiement à grande échelle d'AMR en entrepôt ou en milieu hospitalier. L'approche BEV contourne également la complexité computationnelle des traitements de nuages de points 3D complets (méthodes de type PointNet, VoxelNet), qui restent prohibitifs hors GPU. La mise à disposition du code source et des modèles pré-entraînés facilite la reproductibilité et l'adaptation industrielle. Ce travail s'inscrit dans un courant de recherche actif visant à rendre la perception robotique robuste accessibles aux plateformes contraintes en ressources, en concurrence directe avec des approches comme les architectures 2D range-image ou les méthodes pillars (PointPillars). Sur le plan de la navigation indoor, il complète des stacks SLAM existants (Cartographer, RTAB-Map) en ajoutant une couche de détection structurelle explicite, utile pour la planification de trajectoires en espaces semi-structurés. Les prochaines étapes logiques incluent la validation sur des scénarios plus denses (open space vs couloirs étroits), ainsi que l'intégration dans des boucles de localisation et cartographie continues, où la stabilité temporelle du module de fusion sera mise à l'épreuve à plus grande échelle.

RecherchePaper
1 source
Nouveaux algorithmes pour la construction de variétés de contact régulièrement différentiables et vectorisables
91arXiv cs.RO 

Nouveaux algorithmes pour la construction de variétés de contact régulièrement différentiables et vectorisables

Un préprint déposé sur arXiv le 21 avril 2026 (identifiant 2604.17538) propose deux algorithmes destinés à rendre la détection de collision dans les simulations robotiques à la fois lissément différentiable et massivement vectorisable. Les auteurs ciblent un goulet d'étranglement bien identifié dans les pipelines de simulation standard : lorsqu'un robot interagit avec son environnement en mode contact-riche (manipulation d'objets, locomotion bipède, assemblage industriel), le calcul de gradients utiles au premier et second ordre se heurte à des pathologies à chacune des trois étapes classiques, soit la détection de collision, la dynamique de contact et l'intégration temporelle. La contribution porte ici exclusivement sur la première étape. L'équipe introduit une classe de primitives SDF (signed distance function, ou fonction de distance signée) analytiques à haute expressivité, capables de représenter des surfaces 3D complexes avec une efficacité de calcul élevée, ainsi qu'une routine inédite de génération de variétés de contact (contact manifold) exploitant cette représentation géométrique. L'enjeu est significatif pour la communauté de la robotique de contact. Aujourd'hui, les méthodes d'ordre zéro, essentiellement des approches par échantillonnage stochastique comme le CEM ou les politiques évolutionnaires, dominent sur les tâches contact-riches précisément parce que les gradients issus des simulateurs existants sont soit discontinus, soit trop bruités pour être exploitables. Si les résultats annoncés dans ce préprint se confirment, des solveurs d'ordre supérieur (gradient descent, méthodes de Newton) deviendraient applicables à ces scénarios, avec des gains potentiels substantiels en vitesse de convergence et en efficacité computationnelle. La propriété de vectorisation massive est également pertinente pour les architectures GPU modernes, ce qui ouvre la voie à un parallélisme étendu dans les boucles de simulation utilisées pour l'apprentissage par renforcement. Ce travail s'inscrit dans un effort de recherche plus large visant à rendre les simulateurs physiques différentiables de bout en bout, prérequis reconnu pour réduire le sim-to-real gap sur des comportements impliquant du contact. Des environnements comme MuJoCo (DeepMind), Drake (Toyota Research Institute) ou Brax (Google) ont posé des jalons dans cette direction, chacun avec des compromis différents entre fidélité physique et différentiabilité. L'approche SDF analytique proposée ici se distingue par sa vectorisabilité, une propriété moins prioritaire dans les travaux antérieurs. Il s'agit d'un preprint non encore soumis à peer review ; les benchmarks comparatifs et les validations expérimentales sur hardware réel restent à produire, et la robustesse de la méthode sur des géométries industrielles complexes demeure à démontrer.

RecherchePaper
1 source
LatentMimic: Terrain-Adaptive Locomotion via Latent Space Imitation
92arXiv cs.RO 

LatentMimic: Terrain-Adaptive Locomotion via Latent Space Imitation

Des chercheurs ont publié le 22 avril 2026 un préprint sur arXiv (arXiv:2604.16440) présentant LatentMimic, un cadre d'apprentissage de la locomotion pour robots quadrupèdes conçu pour concilier deux objectifs jusqu'ici antagonistes : reproduire fidèlement le style de marche issu de données de capture de mouvement (mocap) et s'adapter dynamiquement à des terrains irréguliers. L'approche repose sur une imitation dans l'espace latent : plutôt que de contraindre le robot à répliquer exactement les poses géométriques enregistrées, LatentMimic minimise la divergence marginale entre la distribution état-action de la politique apprise et un prior mocap entraîné séparément. Le système intègre également un module d'adaptation au terrain équipé d'un buffer de replay dynamique, destiné à corriger les dérives de distribution lorsque le robot passe d'un type de sol à un autre. Les évaluations portent sur quatre styles locomoteurs et quatre types de terrain, démontrant des taux de franchissement supérieurs aux méthodes de suivi de mouvement actuelles tout en conservant une haute fidélité stylistique. Ce travail s'attaque à un compromis fondamental qui freine le déploiement des robots quadrupèdes dans des environnements non structurés : les méthodes d'imitation stricte bloquent l'adaptabilité terrain, tandis que les politiques terrain-centriques sacrifient la naturalité du mouvement. En découplant la topologie de la foulée des contraintes géométriques d'extrémité, LatentMimic suggère qu'il est possible d'obtenir les deux à la fois. Pour les intégrateurs industriels et les équipes robotique, cela ouvre la voie à des contrôleurs plus robustes sur sols accidentés, escaliers ou surfaces déformables, sans devoir re-collecter des données mocap spécifiques à chaque terrain. La locomotion quadrupède par imitation est un axe de recherche actif depuis plusieurs années, avec des travaux notables comme AMP (Adversarial Motion Priors, Berkeley 2021) ou les méthodes sim-to-real de DeepMind sur ANYmal et Spot. LatentMimic s'inscrit dans cette lignée en proposant une relaxation conditionnelle plus fine du suivi de pose. Le paper est pour l'instant un préprint non relu par les pairs, et les résultats sont présentés uniquement en simulation et environnements contrôlés, le gap sim-to-real reste à valider sur hardware réel. Aucun partenariat industriel ni timeline de déploiement n'est mentionné. Les prochaines étapes naturelles seraient une validation sur plateformes physiques (Unitree, Boston Dynamics Spot) et une extension à des styles locomoteurs plus complexes comme le trot ou le galop en terrain extrême.

RecherchePaper
1 source
ST-π : VLA spatio-temporel structuré pour la manipulation robotique
93arXiv cs.RO 

ST-π : VLA spatio-temporel structuré pour la manipulation robotique

Une équipe de chercheurs a publié fin avril 2026 ST-π (ST-pi), un modèle vision-langage-action (VLA) conçu pour améliorer la manipulation robotique fine en introduisant une planification spatiotemporelle explicitement structurée. Contrairement aux VLA classiques qui projettent directement les observations visuelles vers des actions step-by-step, ST-π décompose la tâche en deux niveaux distincts : un VLM spatiotemporel qui encode des observations 4D (vidéo + profondeur) et génère une séquence ordonnée de "prompts d'action" au niveau chunk, incluant sous-tâches, ancrage spatial et ancrage temporel ; puis un "action expert" conditionné sur ces prompts, qui utilise un mécanisme de double générateur pour modéliser conjointement les dépendances spatiales et la causalité temporelle, produisant in fine les paramètres d'action step-level. Les auteurs ont également constitué un dataset réel avec annotations spatiotemporelles structurées pour le fine-tuning. Le code source est disponible sur GitHub (chuanhaoma/ST-pi). L'intérêt de cette approche réside dans l'explicitation du raisonnement spatiotemporal, un point aveugle documenté des VLA actuels. Les modèles existants comme Pi-0 (Physical Intelligence), OpenVLA ou RT-2 encodent implicitement ce raisonnement dans les représentations visuelles et d'action, ce qui les rend fragiles face à des séquences comportementales multiples avec des frontières temporelles précises, typiquement les tâches d'assemblage, de tri ou de manipulation en plusieurs étapes que les intégrateurs industriels cherchent à automatiser. ST-π propose une architecture où le VLM planifie globalement et l'action expert raffine localement, ce qui est une séparation de responsabilités plus proche de la façon dont les ingénieurs roboticiens structurent eux-mêmes les programmes de manipulation. Ce travail s'inscrit dans une dynamique de recherche active sur le sim-to-real et la généralisation des VLA, portée notamment par Physical Intelligence, Google DeepMind (avec GR00T N2 côté NVIDIA) et des laboratoires académiques en Chine. ST-π est un preprint arXiv (2604.17880), pas encore évalué en peer review, et les métriques de performance annoncées restent à confronter à des benchmarks indépendants comme LIBERO ou RLBench. Aucun partenaire industriel ni déploiement terrain n'est mentionné à ce stade, il s'agit d'une contribution de recherche, pas d'un produit commercialisé. Les prochaines étapes naturelles seraient une évaluation comparative sur des benchmarks standardisés et un test sur des robots réels en dehors du dataset des auteurs.

IA physiqueOpinion
1 source
CLAW : génération de mouvements corps entier composables et annotés en langage naturel
94arXiv cs.RO 

CLAW : génération de mouvements corps entier composables et annotés en langage naturel

Une équipe de chercheurs a publié CLAW (Composable Language-Annotated Whole-body Motion Generation), un pipeline open source conçu pour générer à grande échelle des données de mouvement annoté en langage naturel pour robots humanoïdes, appliqué ici au Unitree G1. Le système compose des primitives de mouvement paramétrées par six variables, type de déplacement, cap, vitesse, hauteur du bassin (pelvis height) et durée, et les exécute dans le simulateur MuJoCo pour produire des trajectoires physiquement cohérentes. Deux interfaces navigateur sont proposées : un mode clavier en temps réel pour l'exploration, et un éditeur de séquences en timeline pour la collecte de données en batch. En parallèle, un moteur de génération d'annotations basé sur des templates produit des descriptions en langage naturel à deux niveaux de granularité : segment individuel et trajectoire complète. Le code est disponible publiquement sur GitHub sous la référence arXiv:2604.11251. L'enjeu central est le goulot d'étranglement des données pour entraîner des contrôleurs whole-body conditionnés au langage (VLA, Vision-Language-Action). La capture de mouvement réelle est coûteuse, peu scalable et limitée en diversité ; les modèles génératifs text-to-motion existants produisent des sorties purement cinématiques, sans garantie de faisabilité physique, un écueil critique pour le déploiement réel. CLAW apporte une réponse intermédiaire : la simulation MuJoCo ancre les trajectoires dans la physique, tandis que la composition modulaire de primitives permet une diversité combinatoire élevée. C'est une approche sim-to-real pragmatique qui vise à réduire le fossé entre données d'entraînement et comportement robot en conditions réelles, sans le coût d'un studio de mocap. Le Unitree G1, robot humanoïde chinois positionné sur le segment accessible (prix catalogue autour de 16 000 USD), est une plateforme de recherche de plus en plus utilisée dans la communauté académique, notamment face aux plateformes fermées comme Figure 02 ou Apptronik Apollo. CLAW s'inscrit dans une dynamique plus large de démocratisation des pipelines de données pour la robotique humanoïde, aux côtés de travaux comme le dataset HumanoidBench ou les approches de Physical Animation de Berkeley. La mise à disposition publique du système est son principal atout différenciant : elle permet aux laboratoires sans ressources de mocap de constituer des jeux de données whole-body annotés pour leurs propres expériences de contrôle en langage. Les prochaines étapes attendues, non annoncées dans ce papier, concernent le transfert réel sur G1 et la validation des politiques entraînées sur ces données synthétiques.

UELes laboratoires européens de recherche en robotique humanoïde peuvent exploiter ce pipeline open source pour constituer des jeux de données whole-body annotés sans infrastructure de mocap coûteuse.

IA physiqueOpinion
1 source
Planification de trajectoires multi-objectifs pour flottes de robots hétérogènes par échantillonnage
95arXiv cs.RO 

Planification de trajectoires multi-objectifs pour flottes de robots hétérogènes par échantillonnage

Une équipe de chercheurs en robotique vient de publier sur arXiv (référence 2503.03509, troisième révision) un ensemble de planificateurs de trajectoires conçus pour coordonner plusieurs robots évoluant simultanément dans un espace de travail partagé, chacun devant atteindre plusieurs objectifs successifs dans des configurations physiques variées. Le problème ciblé, dit "multi-modal multi-robot multi-goal", couvre des scénarios concrets tels que le passage de pièces entre bras robotiques (handover), la navigation avec changements de mode de préhension, ou la coordination de flottes sur des horizons de planification longs. Les planificateurs proposés sont des extensions de méthodes classiques à base d'échantillonnage (de type RRT/PRM) adaptées à l'espace composite de l'ensemble des robots, et sont prouvés probabilistically complete et asymptotically optimal, deux propriétés formelles rarement réunies dans ce contexte. Le code source et le benchmark de validation sont disponibles publiquement. L'apport principal est théorique et algorithmique : les approches existantes pour ce type de problème reposent soit sur la priorisation entre robots (un robot cède le passage à un autre selon un rang fixé), soit sur une hypothèse de complétion synchrone des tâches. Ces simplifications sacrifient à la fois l'optimalité (la solution trouvée n'est pas la meilleure possible) et la complétude (l'algorithme peut rater des solutions valides). En reformulant le problème comme un seul problème centralisé de planification, les auteurs montrent qu'on peut lever ces limitations sans explosion combinatoire, au prix d'une planification dans un espace de dimension élevée. Pour les intégrateurs de cellules robotisées multi-bras ou les concepteurs de systèmes pick-and-place collaboratifs, cela ouvre la voie à des planificateurs de référence plus rigoureux que les heuristiques actuellement déployées en production. Ce travail s'inscrit dans un courant de recherche actif sur la planification multi-robot, aux côtés de travaux comme CBS (Conflict-Based Search) pour les AMR en entrepôt ou les approches de task-and-motion planning (TAMP) développées notamment chez MIT CSAIL, TU Berlin ou dans des labos liés à Boston Dynamics et Intrinsic (Alphabet). La distinction entre planification centralisée et décentralisée reste un axe structurant du domaine : cette contribution penche résolument du côté centralisé, ce qui la rend plus adaptée aux cellules industrielles fixes qu'aux flottes mobiles à grande échelle. La prochaine étape naturelle serait une validation sur hardware réel et une confrontation aux contraintes temps-réel des contrôleurs industriels.

RecherchePaper
1 source
De la perception à la simulation : génération haute-fidélité avec cousins numériques pour l'apprentissage et l'évaluation de robots généralisables
96arXiv cs.RO 

De la perception à la simulation : génération haute-fidélité avec cousins numériques pour l'apprentissage et l'évaluation de robots généralisables

Une équipe de chercheurs a publié en avril 2026 sur arXiv (arXiv:2604.15805) un framework génératif baptisé "Digital Cousins", conçu pour transformer automatiquement des panoramas de scènes réelles en environnements de simulation haute fidélité, puis en générer des variantes sémantiques et géométriques diversifiées. Le système prend en entrée une image panoramique d'une pièce réelle, reconstruit une scène simulée cohérente, et applique des modifications contrôlées, repositionnement d'objets, changement de géométrie, substitution de matériaux, pour produire des "scènes cousines" statistiquement variées. Un module de raccordement multi-pièces permet de construire des environnements à grande échelle pour des tâches de navigation longue portée dans des layouts complexes. Les expériences montrent que scaler massivement la génération de données améliore significativement la généralisation à des scènes et objets non vus en entraînement. Ce travail s'attaque directement à l'un des goulots d'étranglement majeurs du robot learning : collecter des données réelles diversifiées est coûteux en temps, en assets physiques et en reconfiguration manuelle d'environnements. L'approche real-to-sim-to-real proposée ici offre aux intégrateurs et équipes R&D une voie pour démultiplier leur corpus d'entraînement sans mobiliser de ressources physiques supplémentaires. La corrélation sim-to-real mesurée dans les expériences valide la fidélité de la plateforme, un point crucial, car beaucoup de frameworks de simulation peinent à transférer en conditions réelles. Pour les décideurs B2B, cela signifie des cycles de développement potentiellement plus courts et une meilleure robustesse des politiques déployées face à la variabilité des environnements industriels. À noter que les métriques de généralisation sont présentées sur des benchmarks de manipulation et de navigation en intérieur ; leur tenue dans des contextes industriels contraints (entrepôts, lignes de production) reste à démontrer hors laboratoire. Le concept de "Digital Cousins" s'inscrit dans une vague de travaux visant à combler le sim-to-real gap, aux côtés d'approches comme Isaac Sim (NVIDIA), Habitat (Meta) ou Genesis (labo Carnegie Mellon). Ce qui différencie cette contribution est la chaîne génératrice bout-en-bout à partir de panoramas, une méthode plus accessible que la modélisation 3D manuelle traditionnelle. Les auteurs ne rattachent pas explicitement le framework à un robot ou un produit commercial, ce qui en fait pour l'instant un outil de recherche. Les prochaines étapes naturelles seraient une intégration avec des pipelines VLA (Vision-Language-Action) existants comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), et une validation sur des robots manipulateurs déployés en conditions semi-réelles.

RecherchePaper
1 source
COVER : planification de mouvement en temps fixe avec cartes à couverture vérifiée en environnements semi-statiques
97arXiv cs.RO 

COVER : planification de mouvement en temps fixe avec cartes à couverture vérifiée en environnements semi-statiques

Des chercheurs ont publié sur arXiv (référence 2510.03875v2) un framework baptisé COVER (Coverage-VErified Roadmaps), conçu pour résoudre des requêtes de planification de mouvement dans un budget temps fixe, sur un manipulateur 7-DOF effectuant des tâches de pick-and-place dans des environnements de type table rase et étagères. Le principe repose sur des environnements dits semi-statiques : la majorité de l'espace de travail reste identique entre les tâches, tandis qu'un sous-ensemble d'obstacles change de position. COVER décompose l'espace des configurations possibles de chaque obstacle mobile de façon indépendante, construit des roadmaps (graphes de chemins) de façon incrémentale, et vérifie formellement la faisabilité de ces graphes dans chaque partition. Pour les régions vérifiées, la résolution d'une requête est garantie dans un temps borné. Les benchmarks montrent une couverture de l'espace-problème plus large et un taux de succès par requête supérieur aux approches antérieures, notamment face à des obstacles de tailles hétérogènes. L'enjeu industriel est direct : les planificateurs généralistes comme RRT ou ses variantes ne garantissent pas de temps de réponse borné, ce qui bloque leur usage dans les applications temps-réel (lignes d'assemblage, cellules de palettisation, cobots en cadence synchronisée). COVER apporte une garantie formelle de couverture, absente des travaux précédents, sans discrétiser les configurations d'obstacles en un ensemble fini prédéfini. C'est ce dernier point qui étend l'applicabilité aux scénarios industriels réels, où les positions d'obstacles varient continûment et ne tombent pas dans des cases prédéterminées. Pour un intégrateur, la différence est concrète : un planificateur qui "essaie" n'a pas la même valeur contractuelle qu'un planificateur qui "garantit" dans X millisecondes. La planification de mouvement certifiée dans des environnements changeants est un problème ouvert depuis des années, à la frontière entre la robotique manipulation et la vérification formelle. Les approches par probabilistic roadmaps (PRM) offrent performance mais pas de garanties ; les méthodes exactes sont trop coûteuses en temps de calcul pour être embarquées. COVER se positionne entre ces deux extrêmes en exploitant la structure semi-statique propre à la majorité des environnements industriels. Les concurrents implicites sont les planificateurs adaptatifs comme STOMP, TrajOpt, ou les approches d'apprentissage par imitation (pi-zero de Physical Intelligence, GR00T N2 de NVIDIA), qui résolvent la planification par inférence neuronale mais sans garantie formelle de complétude. La prochaine étape naturelle serait d'étendre COVER à des environnements avec obstacles dynamiques ou à des manipulateurs montés sur bases mobiles, ce que l'article ne couvre pas encore.

RecherchePaper
1 source
NeuroMesh : un framework d'inférence neurale unifié pour la collaboration multi-robots décentralisée
98arXiv cs.RO 

NeuroMesh : un framework d'inférence neurale unifié pour la collaboration multi-robots décentralisée

Une équipe de chercheurs a publié le 21 avril 2026 sur arXiv (référence 2604.15475) les spécifications de NeuroMesh, un framework d'inférence neuronale décentralisée conçu pour faire collaborer des flottes de robots hétérogènes sans dépendre d'un serveur central. Le système standardise quatre étapes clés dans un pipeline unifié : l'encodage des observations locales, le passage de messages entre robots, l'agrégation des informations reçues, et le décodage des tâches. L'implémentation est écrite en C++ haute performance et utilise Zenoh, un protocole de communication inter-robots orienté faible latence, avec support d'inférence hybride GPU/CPU. Les auteurs ont validé NeuroMesh sur une flotte mixte composée de robots aériens et terrestres sur trois catégories de tâches : perception collaborative, contrôle décentralisé et assignation de missions. Une mise en open-source est annoncée mais sans date précisée. Ce qui distingue NeuroMesh sur le plan technique est son paradigme de double agrégation, combinant fusion par réduction (agrégation globale) et diffusion par broadcast (partage sélectif), ainsi qu'une architecture parallélisée qui découple le cycle time de la latence bout-en-bout. Concrètement, cela signifie que la fréquence d'exécution locale d'un robot n'est plus bridée par les délais réseau, un verrou classique dans les architectures multi-robots apprenantes. Pour les intégrateurs industriels déployant des flottes AMR ou des systèmes drone-sol, cette propriété est critique : elle ouvre la voie à des modèles entraînés une fois et déployés sur du matériel varié sans refactoring du stack d'exécution. Le problème adressé par NeuroMesh, l'hétérogénéité matérielle combinée aux contraintes réseau, est un obstacle bien documenté dans la robotique multi-agents apprenante depuis les travaux sur MARL (Multi-Agent Reinforcement Learning) distribué. Des frameworks comme ROS 2 gèrent la communication mais pas l'inférence unifiée ; des approches comme celles de MIT CSAIL ou Stanford ILIAD ont exploré la coordination décentralisée sans proposer de stack complet cross-platform. NeuroMesh se positionne comme une couche d'abstraction au-dessus du hardware, comparable à ce que ONNX Runtime représente pour l'inférence mono-robot. L'absence de release effective au moment de la publication et la validation limitée à des configurations de laboratoire invitent à attendre des benchmarks sur flottes industrielles avant tout engagement produit.

RecherchePaper
1 source
VeriGraph : graphes de scène pour la vérification de plans de robots
99arXiv cs.RO 

VeriGraph : graphes de scène pour la vérification de plans de robots

Des chercheurs ont publié VeriGraph (arXiv:2411.10446v3), un système de planification robotique qui combine des modèles vision-langage (VLM) avec un mécanisme de vérification formelle des actions. Le principe central repose sur l'utilisation de graphes de scène comme représentation intermédiaire : à partir d'images en entrée, le système construit un graphe capturant les objets présents et leurs relations spatiales, puis s'en sert pour valider et corriger en boucle les séquences d'actions générées par un planificateur LLM. Les gains rapportés sur des tâches de manipulation sont significatifs : +58 % de taux de complétion sur les tâches guidées par langage, +56 % sur des puzzles tangram, et +30 % sur les tâches guidées par image, par rapport aux méthodes de référence testées. Ce résultat pointe un problème structurel bien documenté dans le domaine : les VLM et LLM génèrent des plans plausibles en surface mais géométriquement ou physiquement incorrects, un objet posé sur une surface inexistante, une saisie dans un ordre impossible. VeriGraph traite ce gap en introduisant une couche de vérification symbolique ancrée dans l'état réel de la scène, ce qui réduit les hallucinations de planification sans nécessiter de fine-tuning du modèle sous-jacent. Pour les intégrateurs industriels et les équipes robotique, cela suggère une voie pragmatique : greffer un vérificateur léger sur des LLM généralistes plutôt que de tout réentraîner, ce qui abaisse potentiellement le coût d'adaptation à de nouveaux environnements. VeriGraph s'inscrit dans un courant de recherche actif autour des architectures hybrides neuro-symboliques pour la robotique, où des travaux comme SayPlan (Rana et al.), LLMTAMP ou les approches PDDL-guided cherchent tous à contraindre la génération de plans par des vérificateurs formels ou géométriques. La nouveauté ici réside dans l'usage du graphe de scène comme interface universelle entre perception et planification. Les auteurs publient le code sur un site dédié, ce qui facilite la reproductibilité, mais les expériences restent en environnement simulé ou de laboratoire contrôlé, aucun déploiement en conditions industrielles réelles n'est mentionné à ce stade.

RechercheOpinion
1 source
Les limites de l'évolution lamarckienne face à la pression de nouveauté morphologique
100arXiv cs.RO 

Les limites de l'évolution lamarckienne face à la pression de nouveauté morphologique

Une étude publiée sur arXiv (arXiv:2604.15854) en avril 2026 examine les limites de l'héritage lamarckien dans les systèmes de robots modulaires évolutifs. Le cadre expérimental repose sur une population de robots capables de co-évoluer leur morphologie et leurs contrôleurs, puis d'apprendre individuellement une tâche de locomotion. Dans un système lamarckien, les contrôleurs appris par les parents sont transmis directement aux descendants, contrairement à l'approche darwinienne classique où seule l'information génétique est héritée. Les chercheurs ont comparé les deux paradigmes en faisant varier la pression de sélection : d'une optimisation pure sur la performance de locomotion à une optimisation multi-objectif intégrant également une récompense pour la nouveauté morphologique. Résultat : l'héritage lamarckien surpasse le darwinisme en optimisation de tâche seule, mais accuse une chute de performance significativement plus importante dès que la diversité morphologique est encouragée. Ce résultat met en évidence un arbitrage fondamental dans la conception des systèmes d'évolution robotique : l'exploitation par héritage et l'exploration par diversité sont partiellement incompatibles. L'efficacité de l'héritage lamarckien repose sur une hypothèse implicite de continuité morphologique entre parent et descendant. Or, maximiser la diversité des formes casse précisément cette continuité, rendant les contrôleurs hérités peu ou pas transférables. Pour les chercheurs en robotique évolutive et les équipes travaillant sur la synthèse automatique de robots (notamment pour des applications d'adaptation en environnements non structurés), cela signifie que le choix du mécanisme d'héritage doit être conditionné au régime d'exploration morphologique visé. Ces travaux s'inscrivent dans un débat actif en robotique évolutive sur le sim-to-real gap et la capacité des algorithmes évolutifs à produire des morphologies réellement variées et fonctionnelles. Plusieurs équipes européennes, dont des laboratoires français travaillant sur la robotique adaptative, explorent des compromis similaires entre plasticité morphologique et transfert de politiques de contrôle. La piste ouverte par cette étude pointe vers des mécanismes d'héritage sélectif ou conditionnel, activés uniquement lorsque la similarité parent-descendant dépasse un seuil donné, une direction que les auteurs identifient comme prolongement naturel de ces résultats.

UELes équipes européennes et françaises travaillant sur la robotique évolutive et adaptative peuvent ajuster leur choix de mécanisme d'héritage selon le régime d'exploration morphologique visé, à la lumière de ces résultats expérimentaux.

RecherchePaper
1 source