Aller au contenu principal

Dossier NVIDIA Isaac & Cosmos — page 2

135 articles · page 2 sur 3

La pile NVIDIA Isaac et les world models Cosmos : simulation, génération de données synthétiques, sim2real pour entraînement de politiques robotiques.

L'expansion des recrutements de NVIDIA en robotique en Chine, avec des postes à Pékin, Shanghai et Shenzhen
51TechNode Chine/AsieOpinion

L'expansion des recrutements de NVIDIA en robotique en Chine, avec des postes à Pékin, Shanghai et Shenzhen

NVIDIA a lancé une campagne de recrutement d'ampleur pour son équipe robotique, avec des postes ouverts à Pékin, Shanghai et Shenzhen dans quatre domaines clés : IA incarnée (embodied AI), simulation, déploiement et architecture de solutions. L'équipe IA incarnée se concentrera sur la manipulation dextre, la modélisation du corps humain via capteurs portables, la manipulation mobile du corps entier et le contrôle corporel global, avec pour objectif le développement de robots généralistes de nouvelle génération. L'équipe simulation bâtira l'infrastructure de simulation et d'entraînement permettant aux robots d'apprendre efficacement en environnement virtuel avant de transférer ces capacités vers le monde réel de façon plus rapide et fiable. L'équipe déploiement optimisera les algorithmes pour robots humanoïdes et systèmes d'IA incarnée en vue d'accélérer leur mise en service concrète, tandis que l'équipe architecture de solutions adaptera les technologies NVIDIA à des secteurs comme l'industrie manufacturière et les services. Cette offensive de recrutement confirme la stratégie de NVIDIA : s'imposer comme fournisseur d'infrastructure (puces, simulation, frameworks type Isaac ou GR00T) plutôt que comme constructeur de robots, y compris sur le marché chinois malgré les restrictions américaines à l'export de puces IA vers la Chine. Le choix de Pékin, Shanghai et Shenzhen, hubs historiques de l'électronique et de la robotique chinoise, place l'entreprise en position de collaborer étroitement avec des acteurs locaux comme Unitree, AgiBot, Fourier Intelligence ou UBTech, tous engagés dans la course aux humanoïdes généralistes. Pour les intégrateurs et décideurs industriels, ce mouvement souligne l'importance croissante du transfert sim-to-real et des architectures VLA (vision-langage-action) comme verrou technologique central du secteur. Cette expansion s'inscrit dans la continuité des investissements de NVIDIA en robotique depuis 2024, autour de plateformes comme Isaac Sim, Jetson Thor et les modèles GR00T. En renforçant sa présence locale en Chine plutôt qu'en se limitant à l'export de matériel, l'entreprise cherche à ancrer sa pile logicielle dans un écosystème manufacturier en pleine effervescence, où plusieurs constructeurs déploient déjà des humanoïdes en usine.

1 source
Infrastructure de simulation cloud-native évolutive, reproductible et en boucle fermée pour l'IA incarnée
52arXiv cs.RO 

Infrastructure de simulation cloud-native évolutive, reproductible et en boucle fermée pour l'IA incarnée

Des chercheurs ont déposé le 27 juin 2026 sur arXiv (arXiv:2606.27962) un framework d'infrastructure de simulation cloud-native pour l'intelligence embarquée, conçu pour unifier en une seule plateforme la génération d'environnements de simulation, l'exécution de tâches, la collecte de trajectoires, l'évaluation de modèles et la gestion de données. L'architecture s'articule en quatre couches fonctionnelles et intègre quatre systèmes représentatifs : D-VLA, RL-VLA3, Sword et Pre-VLA, couvrant respectivement la simulation scalable, la planification dynamique des ressources, l'augmentation visuelle et le filtrage de données en temps réel. Le tout repose sur des technologies cloud-native telles que l'ordonnancement élastique des ressources et la simulation conteneurisée, pour gérer des workloads multi-modèles et multi-tâches à grande échelle. L'enjeu sous-jacent touche directement au goulot d'étranglement qui freine les modèles VLA (Vision-Language-Action) : la collecte de données réelles est coûteuse, peu reproductible et difficile à scaler. Ce framework propose une réponse systémique en substituant ou en complétant les données terrain par de la simulation industrialisée, avec une boucle fermée (closed-loop) permettant d'optimiser les données de façon itérative. Si les composants comme Pre-VLA (filtrage temps réel) et RL-VLA3 (apprentissage par renforcement sur architecture VLA) tiennent leurs promesses à l'échelle, cela pourrait réduire significativement le sim-to-real gap qui reste l'obstacle majeur pour déployer des robots génériques en environnement industriel réel. Il faut toutefois noter que la publication reste au stade de preprint sans benchmarks indépendants validés, et les performances sur robots physiques ne sont pas documentées dans ce papier. Ce travail s'inscrit dans une compétition internationale intense autour des infrastructures de simulation pour l'IA incarnée. NVIDIA pousse Isaac Sim avec l'écosystème Isaac Lab pour l'entraînement par renforcement, tandis que Genesis (dévoilé en 2024, affilié MIT) et MuJoCo Playground ciblent eux aussi la simulation GPU-accélérée à grande échelle. L'approche présentée ici se distingue par son orientation service (SOA) et sa couche de gestion de données unifiée, pensée pour des déploiements multi-équipes plutôt qu'un usage chercheur individuel. Les auteurs ne précisent pas d'affiliation institutionnelle clairement identifiable ni de calendrier de mise à disposition publique du code, deux points qui limiteront concrètement l'adoption tant qu'ils resteront non documentés.

RechercheOpinion
1 source
NVIDIA Halos for Robotics : la sécurité des robots industriels entre dans une nouvelle ère
53Robot Magazine FR 

NVIDIA Halos for Robotics : la sécurité des robots industriels entre dans une nouvelle ère

The article text you pasted cuts off mid-sentence right at "Avec Halos for Robotics, NVIDIA", exactly where the actual product details (what Halos technically includes, certification partners, competitive landscape, availability timeline) would start. That's the material paragraphs 2 and 3 need most (impact concret + contexte/suites), and the brief is strict about not inventing chiffres/noms/dates. Can you paste the rest of the source article (or the URL/press release)? Once I have the missing part, what Halos actually consists of (software stack, Jetson/Isaac Sim integration if any, safety certification standards, named partners or pilot customers), I'll write the final 300-450 word, 3-paragraph version with no section headers, per the brief.

IndustrielOutil
1 source
GROVE : simulation de piétons fondée sur le langage naturel pour la navigation sociale interactive de robots
54arXiv cs.RO 

GROVE : simulation de piétons fondée sur le langage naturel pour la navigation sociale interactive de robots

GROVE (Grounded Robot-Oriented Vehicle Environment), présenté dans un preprint arXiv (2606.25504) déposé fin juin 2026, est un framework de simulation de piétons piloté par langage naturel, conçu pour entraîner et évaluer des robots de navigation sociale. Le système accepte des instructions textuelles pour générer des scénarios de simulation: trois presets préconfigurés couvrent les situations d'urgence, de file d'attente et de déplacement ordinaire, mais l'utilisateur peut aussi saisir un prompt libre pour obtenir un scénario entièrement personnalisé. Trois modules distincts gèrent respectivement le comportement humain à long horizon (trajectoires et intentions globales), la navigation piétonne à moyen horizon (évitement, flots de foule), et les interactions sociales à court horizon entre robot et individus. GROVE s'intègre nativement dans Isaac Sim (NVIDIA), Gazebo et RViz. Les scènes de validation couvrent des environnements résidentiels, hospitaliers et de bureau. Le principal verrou que GROVE cherche à lever est le coût de génération manuelle de données de simulation: aujourd'hui, produire un scénario crédible (couloir d'hôpital en heure de pointe, évacuation d'urgence) exige un travail de paramétrage fastidieux, répété à chaque variante. Déléguer cette configuration au langage naturel réduit la friction pour les équipes non-spécialistes et accélère la diversification des données d'entraînement. La sélection dynamique des algorithmes de l'état de l'art par module vise explicitement à comprimer le sim-to-real gap, défaillance structurelle qui pénalise le transfert des politiques apprises en simulation vers des robots déployés en milieu réel. Sur le papier, l'architecture modulaire permet aussi de mettre à jour chaque couche indépendamment quand un nouvel algorithme de navigation ou de prédiction de trajectoire devient disponible. La navigation sociale robotique est un champ actif depuis plus d'une décennie, avec des modèles fondateurs comme le Social Force Model et des outils de simulation existants (PedSim, pedsim\_ros, SEAN) qui imposaient des paramétrages rigides et manuels. GROVE s'inscrit dans une tendance plus large d'utilisation des LLM comme interface de configuration pour les pipelines de simulation, une direction explorée parallèlement dans la génération procédurale de scènes 3D. Important à noter: la validation présentée est uniquement qualitative, sans benchmark quantitatif sur des métriques standardisées comme celles de trajnet++ ou BARN. Les affirmations sur la "haute fidélité" de simulation restent donc à vérifier sur robot réel. Le preprint ne mentionne ni déploiement en production ni partenariat industriel.

RecherchePaper
1 source
Lier efficacement scènes réelles et données synthétiques pour la robotique cognitive et la vision par ordinateur
55arXiv cs.RO 

Lier efficacement scènes réelles et données synthétiques pour la robotique cognitive et la vision par ordinateur

Des chercheurs ont soumis mi-juin 2026 un article préliminaire (preprint arXiv 2606.20272) portant sur la génération de données d'entraînement synthétiques liées à des scènes réelles pour les systèmes de vision IA appliqués à la robotique cognitive. Le travail couvre plusieurs familles de méthodes : l'analyse sémantique d'environnement, l'estimation de pose 6D et l'estimation de pose de préhension (grasping pose estimation), deux capacités centrales pour permettre à un robot de localiser et saisir des objets dans des scènes non contrôlées. L'objectif déclaré est de réduire le fossé de domaine (domain gap) entre les environnements de simulation utilisés pour générer des données d'entraînement et les conditions du monde réel, en liant explicitement les deux lors de la phase de génération. Les auteurs présentent ce travail comme en cours ("work in progress") et ne publient pas encore de résultats quantitatifs ni de benchmarks comparatifs. Le domain gap est l'un des verrous techniques les plus structurants pour le déploiement industriel de robots perceptifs. Les modèles de vision entraînés uniquement sur des données synthétiques tendent à échouer en environnements réels à cause des variations d'éclairage, de texture et de géométrie non reproduites en simulation. Une approche qui ancre la génération synthétique dans des scènes réelles captées (par exemple via reconstruction 3D ou relevé de profondeur) pourrait réduire ce biais sans le coût prohibitif de l'annotation manuelle à grande échelle, un goulot d'étranglement bien documenté pour les pipelines de vision industrielle. Si cette méthode est validée à l'échelle, elle représente un levier de productivité concret pour les intégrateurs déployant des solutions de pick-and-place ou de navigation en environnements variés. Le sim-to-real transfer mobilise depuis plusieurs années les principaux acteurs du secteur : NVIDIA a structuré sa plateforme Isaac Sim précisément pour produire des données synthétiques photoréalistes à grande échelle, Google DeepMind y investit dans ses travaux sur les modèles Vision-Language-Action comme RT-2, et Physical Intelligence a publié des résultats notables sur la généralisation en environnements réels avec π0. L'article soumis s'inscrit dans ce courant, mais reste à un stade amont : aucune implémentation publiée, aucun code disponible, aucun jeu de données de référence cité. La version finale, si elle présente des résultats sur des benchmarks reconnus comme le BOP Challenge, YCB-V ou LINEMOD, sera plus déterminante pour évaluer la contribution réelle de cette approche.

RecherchePaper
1 source
Plateforme d'IA incarnée évolutive pour le transfert réel-sim-réel de tâches de manipulation mobile domestique
56arXiv cs.RO 

Plateforme d'IA incarnée évolutive pour le transfert réel-sim-réel de tâches de manipulation mobile domestique

Une équipe de chercheurs a publié sur arXiv (référence 2606.18646v1) les travaux autour de BestMan, une plateforme logicielle conçue pour boucler le cycle real-to-sim-to-real dans le domaine de la manipulation mobile en environnements domestiques. Le système s'articule autour de trois composants : un module de génération automatique de scènes (ASG) qui reconstruit des environnements simulés à partir d'observations réelles, une architecture d'apprentissage de compétences hybrides évaluable à grande échelle en simulation, et un middleware unifié baptisé HUM (Hardware-agnostic and Unified Middleware) assurant le déploiement sur des manipulateurs mobiles hétérogènes. Il s'agit d'une contribution académique sous forme de preprint, pas d'un produit commercialisé ni d'un déploiement industriel annoncé. L'enjeu central que traite BestMan est le fossé sim-to-real, l'un des verrous les plus persistants de la robotique d'intérieur. La manipulation mobile en environnement non-structuré, c'est-à-dire sur des surfaces encombrées, dans des cuisines ou des entrepôts domestiques sans balisage préalable, reste hors de portée des approches qui nécessitent une reconstruction manuelle et coûteuse des scènes de simulation. Le module ASG automatise cette étape, ce qui réduit le coût d'entrée pour les chercheurs souhaitant tester des stratégies de contrôle. Le middleware HUM, s'il tient ses promesses d'agnosticisme matériel, simplifierait le travail des intégrateurs qui opèrent des flottes de robots hétérogènes : une seule pipeline de simulation pour plusieurs plateformes physiques. L'article revendique des benchmarks standardisés, ce qui manquait cruellement dans le champ de la manipulation mobile, mais les métriques précises de performance (taux de succès, temps de cycle, généralisation à des objets inconnus) ne sont pas détaillées dans l'abstract. BestMan s'inscrit dans une vague de plateformes d'intelligence incarnée visant à industrialiser le pipeline simulation-réel : on pense à Isaac Sim de NVIDIA, à Genesis (plateforme de simulation physique open-source), ou encore aux travaux de Physical Intelligence (pi) autour de Pi-0 qui misent sur les VLA (vision-language-action models) pour généraliser sans retraining massif. Côté européen, des acteurs comme Enchanted Tools (Miroki) ou Wandercraft (Atalante) traitent des problèmes adjacents de transfert sim-réel mais sur des morphologies très différentes. L'équipe derrière BestMan ne précise pas de partenariats industriels ni de calendrier de mise à disposition publique de la plateforme : la prochaine étape logique serait une validation sur plusieurs familles de robots et une ouverture du code pour permettre des benchmarks communautaires comparables.

UEImpact indirect potentiel pour les acteurs européens comme Enchanted Tools ou Wandercraft si la plateforme est rendue publique, mais aucun déploiement ou partenariat européen documenté à ce stade.

RecherchePaper
1 source
Le nouveau robot humanoïde « intelligent » de Taiwan combine perception et interaction adaptative
57Interesting Engineering 

Le nouveau robot humanoïde « intelligent » de Taiwan combine perception et interaction adaptative

Deux entreprises taïwanaises ont récemment présenté leurs premiers humanoïdes. TM Technology, filiale du groupe Yinglin et spécialisée dans la conception de circuits intégrés, a dévoilé un robot humanoïde conçu pour opérer dans des environnements industriels complexes. L'architecture s'articule autour de trois couches fonctionnelles inspirées du système nerveux humain : un "cerveau" IA chargé de la compréhension sémantique, du raisonnement et de la planification de tâches ; un "cervelet" dédié à l'équilibre et à la locomotion ; et une suite perceptive combinant vision 3D, LiDAR et capteurs de force. Le robot embarque des mains dextères à articulations multi-DDL (degrés de liberté) pour des opérations de transport, d'inspection et d'assemblage. TM Technology cible un déploiement initial en usine et en logistique, avant une expansion vers la santé et les services domestiques. Techman Robot, autre acteur taïwanais reconnu pour ses cobots à vision intégrée, a de son côté présenté le TM Xplore I à la conférence Nvidia GTC 2026 à San Jose, en partenariat avec QCT et Nvidia. Ce robot adopte une architecture hybride : torse humanoïde monté sur base à roues, alimenté par le module de calcul Nvidia Jetson Thor. Il intègre la technologie VLA (Vision-Language-Action) pour traiter simultanément entrées visuelles et instructions textuelles, ainsi que les outils Nvidia Isaac Sim, FoundationStereo et Isaac GR00T pour la simulation, l'entraînement et l'inférence embarquée. Ces annonces illustrent un tournant stratégique dans la robotique taïwanaise, longtemps cantonnée à l'automatisation collaborative et à la sous-traitance électronique. Le choix architectural de Techman Robot, qui préfère la base roulante au bipédisme intégral, traduit une priorité donnée à la fiabilité opérationnelle en usine, là où les humanoïdes entièrement bipèdes peinent encore à démontrer leur robustesse en production réelle. L'intégration native de modèles VLA dans un produit à vocation industrielle est notable : elle signale que le gap sim-to-real commence à être adressé par des partenariats matériels-logiciels étroits avec des fournisseurs de plateformes comme Nvidia. Cela dit, aucun de ces deux robots ne constitue un produit "shipped" : ni payload précis, ni temps de cycle, ni volume de déploiement, ni prix ne sont communiqués. Il s'agit d'annonces en phase de démonstration, pas de mises en production confirmées. Taiwan dispose d'un avantage structurel rare dans cette course : un écosystème semi-conducteur intégré (TSMC, MediaTek, fondeurs spécialisés) qui réduit les coûts et délais d'approvisionnement en puces pour la robotique embarquée. TM Technology, qui diversifie depuis son coeur IC design vers la construction, l'énergie verte et le smart manufacturing, s'inscrit dans un mouvement plus large de montée en valeur de l'industrie taïwanaise. Sur le plan concurrentiel, ces acteurs entrent sur un segment déjà occupé par Figure (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0), Agility Robotics (Digit) et les acteurs chinois tels qu'Unitree et Agibot, tous mieux capitalisés et avec plusieurs mois voire années d'avance en déploiement terrain. Les prochaines étapes annoncées incluent des pilotes en usine et logistique, sans calendrier précis communiqué, avant une expansion vers la santé et les services à domicile à mesure que la technologie arrive à maturité.

Chine/AsieOpinion
1 source
Revue des approches de navigation et manipulation robotique avec simulateurs physiques à l'ère de l'IA incarnée
58arXiv cs.RO 

Revue des approches de navigation et manipulation robotique avec simulateurs physiques à l'ère de l'IA incarnée

Un groupe de chercheurs a publié sur arXiv (réf. 2505.01458, version 2, mai 2025) un état de l'art sur l'utilisation des simulateurs physiques pour entraîner des robots à la navigation et à la manipulation dans le cadre de l'IA incarnée (Embodied AI). L'étude analyse comment les moteurs de simulation réduisent le "sim-to-real gap", c'est-à-dire l'écart de performance constaté quand un agent entraîné en simulation est déployé dans le monde réel. Le survey passe en revue les caractéristiques des principaux simulateurs, leurs contraintes matérielles, et propose un inventaire structuré de datasets de référence, métriques d'évaluation et méthodes existantes. Aucun code ou outil nouveau n'est publié: il s'agit d'une contribution bibliographique et méthodologique. Cette revue intervient alors que le sim-to-real gap demeure l'obstacle principal au déploiement industriel de robots humanoïdes et de bras manipulateurs. Entraîner directement sur du matériel réel est coûteux, lent et risqué, ce qui place la simulation au cœur des pipelines de développement des VLA (Vision-Language-Action models) et des systèmes de navigation autonome. En consolidant des propriétés peu documentées des simulateurs, le survey aide ingénieurs et chercheurs à sélectionner l'outil adapté à leurs contraintes hardware sans avoir à faire une veille exhaustive de la littérature. Les simulateurs en compétition dans cet espace incluent Isaac Sim (NVIDIA), MuJoCo (DeepMind/Google), PyBullet, Webots et Genesis, un moteur GPU-natif récent. L'intérêt pour ce type de synthèse est alimenté par l'accélération du secteur: Figure AI, Physical Intelligence (pi zero), Boston Dynamics, Unitree et Agility Robotics multiplient les annonces de déploiements en environnements industriels réels. Ce survey constitue un point d'entrée structuré pour les équipes qui montent leur pipeline sim-to-real en 2025, à condition de ne pas attendre de benchmarks neutres et indépendants: l'évaluation des simulateurs reste largement conduite par leurs propres éditeurs.

RecherchePaper
1 source
Une architecture neuronale à impulsions pour coordonner le contrôle du bras et la locomotion
59arXiv cs.RO 

Une architecture neuronale à impulsions pour coordonner le contrôle du bras et la locomotion

Des chercheurs ont publié sur arXiv (2606.11034, juin 2026) une architecture SNN (Spiking Neural Network) capable de coordonner en temps réel le contrôle des bras et la locomotion bipède d'un humanoïde simulé, une combinaison absente des travaux précédents dans ce paradigme. Le système s'appuie sur le Neural Engineering Framework (NEF) et la Semantic Pointer Architecture (SPA), avec un modèle de ganglions de la base à impulsions biologiquement inspiré pour arbitrer la sélection entre marche et manipulation. La co-simulation Nengo (contrôle neural) et Isaac Sim de NVIDIA (physique) a permis de valider quatre tâches : atteinte de cible en espace 3D, dessin continu de chiffres, locomotion en suivi de trajectoire, et commutation dynamique entre marche et contrôle du bras via désinhibition des ganglions de la base. Le principal argument de l'approche est son potentiel d'efficacité énergétique sur matériel neuromorphique (Intel Loihi, SpiNNaker), là où les humanoïdes commerciaux actuels comme Figure 03, Optimus ou Unitree G1 exigent des GPU embarqués énergivores. Cette publication revendique la première intégration unifiée locomotion-manipulation sur plateforme humanoïde pleine échelle dans le paradigme SNN, les rares précédents traitant les deux sous-systèmes en modules entièrement isolés. La limite centrale à signaler est que l'ensemble des résultats est issu de simulation pure, le gap sim-to-real n'étant pas adressé dans cette étude. Les SNNs s'imposent depuis quelques années comme alternative crédible aux réseaux denses pour les systèmes embarqués à contrainte énergétique forte. Le framework Nengo, développé par Applied Brain Research, est l'outil de référence de cet écosystème. Face à cette approche, les acteurs majeurs de la course humanoïde, Figure AI, 1X Technologies, Boston Dynamics et Physical Intelligence (auteurs de Pi-0), misent sur des VLA (Vision-Language-Action models) et du reinforcement learning à grande échelle ; l'approche SNN vise un axe orthogonal, davantage frugal et interprétable, mais encore en retrait sur les benchmarks de manipulation en environnement réel. Les auteurs annoncent le déploiement sur matériel neuromorphique basse consommation comme prochaine étape, ce qui constituera le vrai test de l'hypothèse énergétique centrale à ce travail.

RecherchePaper
1 source
CableRobotGraphSim : un réseau de neurones en graphe pour modéliser la dynamique des robots à câbles partiellement observables
60arXiv cs.RO 

CableRobotGraphSim : un réseau de neurones en graphe pour modéliser la dynamique des robots à câbles partiellement observables

Des chercheurs ont publié sur arXiv (identifiant arXiv:2602.21331v2) un modèle de simulation neuronal pour robots à câbles, baptisé CableRobotGraphSim. L'architecture repose sur un réseau de neurones graphiques (GNN) : les corps rigides du robot forment les noeuds du graphe, les câbles et les points de contact constituent les arêtes. Cette représentation permet au modèle d'inférer la dynamique du système à partir d'observations partielles uniquement, sans exiger un accès complet à l'état interne du robot. L'entraînement combine données de simulation et données réelles (sim-and-real co-training) pour améliorer la robustesse au bruit des capteurs. Le modèle est ensuite intégré à un contrôleur MPPI (Model Predictive Path Integral) pour la navigation en boucle fermée. L'abstract ne fournit aucune métrique quantitative précise sur la précision ou les temps de cycle, ce qui rend difficile toute évaluation indépendante des performances revendiquées. L'apport technique central est de s'affranchir des deux contraintes majeures des simulateurs traditionnels à base de premiers principes : l'exigence d'observabilité complète de l'état du robot, et la nécessité d'une identification paramétrique coûteuse. Pour les robots à câbles (CDPR, Cable-Driven Parallel Robots), utilisés notamment en logistique grande portée, en plateformes de simulation de mouvement et dans des projets de construction, ces contraintes ont historiquement bloqué le déploiement de pipelines sim-to-real fiables. Un modèle adaptatif capable d'ingérer des données bruitées et partiellement observées ouvre la voie à un transfert plus direct vers des applications industrielles réelles, en rapprochant la mécanique câblée des pipelines qui ont déjà transformé la manipulation et la locomotion bipedale. Les CDPR suscitent un intérêt croissant dans des contextes à grande échelle, du radiotélescope FAST en Chine aux projets logistiques en entrepôt. Sur le terrain de la simulation, les environnements généralistes comme MuJoCo, Isaac Sim de NVIDIA ou PyBullet modélisent mal la dynamique câble-contact, laissant un angle mort que cette approche data-driven spécialisée cherche à combler. Des travaux antérieurs avaient tenté des modèles analytiques ou d'apprentissage, sans traiter explicitement l'observabilité partielle. Le papier, en version v2, ne précise pas d'affiliation institutionnelle claire dans l'abstract et ne mentionne pas de dépôt open-source, deux éléments qui conditionneront son adoption réelle par la communauté robotique.

RecherchePaper
1 source
Entretien avec Yuhnzu Li, professeur à Columbia et cofondateur de SceniX : « La simulation est centrale »
61Robotics & Automation News 

Entretien avec Yuhnzu Li, professeur à Columbia et cofondateur de SceniX : « La simulation est centrale »

Yuhnzu Li, professeur à l'Université Columbia et co-fondateur de SceniX, défend une thèse tranchée dans un secteur en pleine effervescence : la simulation est la clé de voûte du développement robotique moderne, pas un outil auxiliaire. L'entretien intervient alors que l'industrie humanoïde accumule les annonces de production à grande échelle et que l'IA générative nourrit des attentes parfois déconnectées du terrain. Li, chercheur ancré dans la robotique fondamentale, rappelle que les démonstrations publiques reflètent rarement la robustesse opérationnelle réelle des systèmes. Le positionnement de SceniX éclaire un enjeu industriel concret : le sim-to-real gap, c'est-à-dire l'écart de performance entre un robot entraîné en simulation et ce même robot déployé en environnement physique non contrôlé. Résoudre ce gap est devenu le problème n°1 des équipes qui développent des politiques de contrôle visuomotrices (VLA), car générer suffisamment de données réelles reste coûteux et lent. Une simulation de haute fidélité permet de produire des millions d'épisodes d'entraînement que l'on ne pourrait pas collecter physiquement à coût raisonnable, ce qui conditionne directement la vitesse de commercialisation. SceniX émerge dans un marché des outils de simulation robotique de plus en plus disputé : Isaac Sim de NVIDIA, MuJoCo maintenu par DeepMind/Google, Genesis ou encore le récent projet Cosmos d'NVIDIA ciblent le même besoin. L'ancrage académique de Li à Columbia lui confère une crédibilité sur la rigueur méthodologique, là où les acteurs commerciaux sont davantage jugés sur leurs benchmarks. La prochaine étape logique pour SceniX sera de démontrer que ses environnements synthétiques tiennent leurs promesses sur des robots en production réelle, pas seulement en laboratoire.

InfrastructureOpinion
1 source
Planification POMDP en ligne vectorisée
62arXiv cs.RO 

Planification POMDP en ligne vectorisée

Des chercheurs ont publié VOPP (Vectorized Online POMDP Planner), un nouveau solveur de planification pour robots autonomes opérant sous observabilité partielle. L'article, paru sur arXiv (référence 2510.27191, cinquième version), propose une refonte architecturale des solveurs de POMDP (Partially Observable Markov Decision Process), le cadre formel qui permet à un robot de planifier ses actions quand ses capteurs sont bruités et son environnement incertain. L'innovation centrale : représenter toutes les structures de données de planification sous forme de tenseurs et exécuter chaque étape de calcul en mode entièrement vectorisé, éliminant les dépendances et goulots d'étranglement de synchronisation qui pénalisaient les approches parallèles antérieures. Les résultats expérimentaux affichent un gain d'efficacité d'au moins 20× par rapport au meilleur solveur parallèle existant pour des solutions quasi-optimales, et VOPP surpasse également les meilleurs solveurs séquentiels tout en utilisant un budget de planification 1 000× inférieur. Ces résultats, s'ils se confirment sur des plateformes physiques, changeraient significativement la faisabilité de la planification POMDP embarquée en temps réel. Jusqu'ici, les POMDP restaient souvent cantonnés à la recherche académique ou à des applications à horizons de décision limités, précisément parce que les solveurs classiques, qui alternent optimisation numérique et estimation de valeur avec des synchronisations coûteuses, restaient incompatibles avec des contraintes temps-réel. L'approche tensorielle de VOPP exploite directement les GPU et accélérateurs vectoriels modernes, ouvrant la voie à une planification sous incertitude à grande échelle : navigation d'AMR en entrepôt, manipulation d'objets à préhension incertaine, coordination multi-robots dans des environnements dynamiques. Le POMDP est un cadre établi depuis les années 1990, mais ses applications robotiques ont longtemps buté sur la malédiction de la dimensionnalité. Des travaux comme POMCP (2010) et DESPOT ont progressivement rendu les solveurs en ligne plus tractables. VOPP s'inscrit dans cette lignée en exploitant une reformulation récente qui résout analytiquement une partie du problème d'optimisation, réduisant les calculs numériques à de pures estimations d'espérances. Aucun partenariat industriel ni déploiement concret n'est mentionné dans la publication, il s'agit d'un résultat de recherche fondamentale. Les étapes logiques suivantes seraient une validation sur des benchmarks physiques et une intégration dans des frameworks comme ROS 2 ou Isaac Sim.

RecherchePaper
1 source
Validation reproductible de robots par simulation avec traçabilité de provenance
63arXiv cs.RO 

Validation reproductible de robots par simulation avec traçabilité de provenance

Un article publié sur arXiv (2605.29973) propose un cadre méthodologique pour rendre les campagnes de validation robotique par simulation réplicables de façon rigoureuse. Le constat de départ : la simulation est l'outil dominant pour évaluer le comportement des robots avant déploiement, mais les conditions exactes des tests (configuration, exécution, post-traitement) sont rarement documentées de façon structurée. Les auteurs répondent en appliquant les principes FAIR (Findability, Accessibility, Interoperability, Reusability) et en intégrant la traçabilité de provenance directement dans les pipelines de test, plutôt qu'en couche ajoutée après coup. Concrètement, ils ont instrumenté un framework de simulation existant avec des mécanismes de capture de métadonnées machine-readable et appliqué cette approche à un jeu de données de navigation de robot mobile. L'enjeu dépasse la recherche académique : sans documentation fiable des conditions de test, il devient impossible de comparer des résultats entre environnements simulés, de reproduire des scénarios de défaillance, ou de constituer une base certifiable pour des AMR industriels ou des robots de service. Ce travail identifie un problème en amont du sim-to-real gap : un "sim-to-sim replicability gap", l'impossibilité de reproduire fidèlement une campagne d'un laboratoire à l'autre. Pour les intégrateurs et les certifiants, c'est un frein direct à la standardisation des processus de qualification robotique. Les principes FAIR, nés en bioinformatique et en physique des particules, restent peu adoptés en robotique. Ce travail s'inscrit dans un effort plus large de structuration des benchmarks du secteur, porté par des communautés ROS et des groupes de travail ISO sur la performance des robots. Les obstacles identifiés par les auteurs -- alignement des vocabulaires entre outils, sélection des attributs pertinents, adoption de standards de domaine -- soulignent que la transition reste complexe. L'étape naturelle serait une intégration dans des simulateurs populaires comme Gazebo, Isaac Sim de NVIDIA ou MuJoCo, et la convergence vers des ontologies partagées entre laboratoires.

RecherchePaper
1 source
STR Robot : conception d'un robot mobile autonome de la simulation au réel
64arXiv cs.RO 

STR Robot : conception d'un robot mobile autonome de la simulation au réel

Un article de recherche publié le 28 mai 2026 sur arXiv (référence 2505.28110) présente le STR Robot, un robot mobile autonome développé selon une approche simulation-vers-réalité (sim-to-real) à partir d'une plateforme mécanique existante. Le travail porte exclusivement sur la couche logicielle : contrôle embarqué, auto-localisation et navigation autonome en environnement extérieur. Le système intègre capteurs et calcul embarqués pour estimer sa pose et se déplacer sans intervention humaine. L'ensemble du framework a d'abord été développé et validé en simulation, puis transféré sur le robot physique pour évaluation expérimentale. Le code source sera rendu public via un dépôt GitHub associé au projet. À noter : le preprint ne fournit aucune métrique chiffrée précise dans son abstract, ce qui limite l'évaluation indépendante des performances annoncées. L'intérêt de cette contribution réside dans la démonstration pratique du pipeline sim-to-real appliqué à un robot mobile autonome (AMR) sur plateforme mécanique préexistante, un cas d'usage courant pour les intégrateurs industriels qui cherchent à capitaliser sur du matériel existant plutôt que de repartir de zéro. Si le sim-to-real reste un défi structurel dans la robotique, avec des écarts persistants entre comportements simulés et réels, les résultats décrits affirment la faisabilité de l'approche comme fondation pour des systèmes fiables. Pour un COO industriel ou un ingénieur robotique, c'est la validation d'un workflow de développement qui réduit les cycles de test en conditions réelles et donc les coûts d'itération. Le contexte scientifique de ce travail s'inscrit dans une vague de recherches académiques sur le sim-to-real transfer, thème central depuis que des environnements comme Isaac Sim (NVIDIA), Gazebo ou MuJoCo ont atteint une fidélité suffisante pour entraîner des policies directement exportables. Du côté industriel, des acteurs comme Boston Dynamics, Exotec ou Locus Robotics investissent massivement dans ces pipelines pour leurs AMR logistiques. La publication reste toutefois au stade du preprint non évalué par les pairs, sur un démonstrateur dont l'échelle et les conditions de test précises ne sont pas encore divulguées.

RecherchePaper
1 source
Simulateur différentiable neuronal adaptatif : modélisation des contacts rigides par transfert réel-vers-simulation
65arXiv cs.RO 

Simulateur différentiable neuronal adaptatif : modélisation des contacts rigides par transfert réel-vers-simulation

Des chercheurs ont publié sur arXiv (référence 2603.06218v2) un framework baptisé "Few-Shot Neural Differentiable Simulator", conçu pour calibrer des simulateurs analytiques rigides à partir d'un volume réduit de données réelles, puis générer des jeux de données synthétiques à grande échelle. L'approche combine un simulateur analytique traditionnel, utilisé comme générateur de données après calibration, avec un réseau de neurones sur graphe (GNN) basé sur des maillages 3D, chargé de modéliser la dynamique avant des corps rigides. La contribution technique centrale réside dans la dérivation de gradients de substitution pour la détection de collision, rendant l'ensemble du pipeline entièrement différentiable. Les expériences portent sur des scénarios d'interaction multi-objets, où le système apprend des politiques de manipulation directement par optimisation basée sur les gradients dans le simulateur. Ce travail s'attaque à l'un des verrous majeurs du apprentissage robotique : le coût prohibitif de la collecte de données réelles et l'écart persistant entre simulation et réalité (sim-to-real gap). En n'exigeant qu'un petit nombre d'épisodes réels pour recaler le simulateur analytique, plutôt que des milliers de trajectoires pour entraîner un modèle purement appris, le framework réduit significativement la barrière d'accès à la simulation haute-fidélité. La différentiabilité complète est un avantage concret pour les concepteurs de politiques robotiques : elle permet de propager des gradients à travers la dynamique de contact, évitant le recours à des méthodes d'optimisation sans gradient (evolutionary strategies, RL model-free) typiquement moins efficaces en échantillons. Les résultats présentés indiquent que le GNN ainsi entraîné surpasse des baselines différentiables analytiques pour répliquer des trajectoires réelles, bien que ces résultats restent à ce stade expérimentaux et non validés en conditions industrielles réelles. Le problème de la simulation de contact rigide mobilise depuis plusieurs années des équipes académiques et industrielles majeures. Les simulateurs dominants comme MuJoCo (DeepMind), Isaac Sim (NVIDIA) et PyBullet offrent une différentiabilité partielle, mais peinent à modéliser fidèlement les contacts complexes sans paramétrage expert lourd. Des approches concurrentes comme DiffTaichi ou Brax (Google) ont exploré la différentiabilité à l'échelle, tandis que des laboratoires comme MIT CSAIL et Stanford travaillent sur des simulateurs neuronaux pour la manipulation. Ce preprint, non encore soumis à révision par pairs, ouvre une direction crédible vers des simulateurs "grounded" en peu de données réelles, pertinente pour les déploiements en manipulation industrielle et en robotique de service où les données réelles sont coûteuses à acquérir.

RecherchePaper
1 source
Q-SpiRL : apprentissage par renforcement quantique à impulsions pour la navigation adaptative des robots
66arXiv cs.RO 

Q-SpiRL : apprentissage par renforcement quantique à impulsions pour la navigation adaptative des robots

Une équipe de chercheurs présente Q-SpiRL (arXiv:2605.20801), un cadre d'apprentissage par renforcement combinant calcul neuromorphique et circuit quantique pour la navigation robotique en environnements dynamiques. Cinq familles d'agents sont comparées : Q-learning tabulaire, MLP classique, réseau à impulsions (SNN) classique, MLP à couche quantique (QMLP), et SNN à couche quantique (QSNN). L'architecture centrale est le QSNN, qui couple un traitement temporel basé sur les impulsions neuronales à une transformation de features par circuit quantique variationnel. Les expériences portent sur trois grilles de navigation de tailles croissantes (20x20, 30x30 et 40x40 cellules), avec obstacles statiques et dynamiques. Le QSNN atteint jusqu'à 99 % de taux de succès dans la configuration la plus exigeante, avec un SPL (success-weighted path length) élevé et un faible taux de rotation, surpassant les quatre autres architectures sur l'ensemble des métriques. L'exécution du framework sur matériel quantique réel via IBM Quantum confirme la faisabilité opérationnelle d'une politique hybride hors simulation pure. L'intérêt principal pour la robotique industrielle et mobile réside dans la combinaison des propriétés des SNNs et du quantum computing : les réseaux à impulsions traitent l'information de manière éparse et asynchrone, ce qui les rend naturellement économes en énergie par rapport aux MLP denses, avantage réel pour les plateformes embarquées. L'ajout d'une couche quantique variationnelle enrichit la représentation d'état sans faire exploser le coût de calcul classique. Les résultats valident empiriquement cette complémentarité, mais il convient de nuancer : les environnements testés sont des grilles 2D abstraites, très éloignées d'un entrepôt logistique ou d'une cellule de production. Aucun résultat sur robot physique n'est présenté, et les métriques de consommation énergétique effective ne sont pas mesurées. Cette publication s'inscrit dans la convergence de deux courants de recherche : le quantum machine learning appliqué au contrôle, et la robotique neuromorphique utilisant des puces comme Intel Loihi. Les approches classiques de navigation par reinforcement learning (PPO, SAC) restent dominantes dans les AMR commerciaux et les flottes d'entrepôt, mais la pression énergétique sur les systèmes embarqués alimente l'intérêt pour les alternatives neuromorphiques. La validation suivante naturelle serait des tests en simulation physique réaliste (Isaac Sim, Gazebo) puis sur plateforme robotique réelle, avec des benchmarks de consommation et de temps de cycle. Aucun partenariat industriel ni calendrier de transfert technologique n'est annoncé dans la publication.

RecherchePaper
1 source
OrbiSim : des modèles du monde comme moteurs physiques différentiables pour l'IA incarnée
67arXiv cs.RO 

OrbiSim : des modèles du monde comme moteurs physiques différentiables pour l'IA incarnée

Une équipe de chercheurs a déposé sur arXiv en mai 2026 (réf. 2605.16395) un article présentant OrbiSim, un nouveau paradigme de simulation robotique qui repositionne les modèles du monde (world models) comme des moteurs physiques entièrement différentiables. Là où les world models existants, tels que DreamerV3 ou TD-MPC2, opèrent dans des espaces latents ou visuels sans contraintes physiques explicites, OrbiSim construit une chaîne unifiée et physiquement ancrée reliant trois composantes : des actifs de scène structurés, une dynamique neurale apprise, et l'entraînement par renforcement en aval. L'architecture garantit une différentiabilité de bout en bout sur l'ensemble de la boucle de simulation, depuis les transitions d'état explicites jusqu'à la génération d'observations visuelles. Cette propriété permet des tâches jusqu'ici peu tractables pour les simulateurs classiques : modélisation différentiable des contacts, optimisation de politique par gradient sous récompenses éparses, et inférence physique intuitive. Les auteurs affirment qu'OrbiSim surpasse significativement les world models de l'état de l'art en fidélité prédictive et en performance de contrôle, sans toutefois publier de métriques chiffrées dans l'abstract. L'enjeu industriel est réel : le fossé sim-to-real reste l'un des principaux freins au déploiement de robots en environnement non contrôlé. Les simulateurs classiques comme MuJoCo, Isaac Sim (NVIDIA) ou PyBullet ne sont pas différentiables au niveau des contacts, ce qui bloque l'optimisation par gradient lors des phases de manipulation ou de locomotion complexe. Les world models neuronaux offrent la flexibilité, mais au prix de la cohérence physique. OrbiSim propose une synthèse des deux approches. Si les résultats se confirment à plus grande échelle, la capacité à optimiser des politiques par gradient sous récompenses éparses pourrait réduire significativement les temps de convergence en apprentissage par renforcement, un gain direct pour les équipes développant des robots manipulateurs ou bimanes destinés à l'industrie. Il faut souligner qu'il s'agit d'un preprint non encore soumis à peer review, sans affiliation industrielle explicite ni validation sur hardware physique annoncée. Le domaine de la simulation différentiable est activement disputé : DiffTaichi, Warp (NVIDIA) et Brax (Google DeepMind) couvrent déjà certains aspects de la physique différentiable, mais sans intégrer la génération visuelle neurale. OrbiSim se positionne dans un espace hybride encore peu occupé. Les prochaines étapes crédibles seraient une validation sur benchmarks standardisés comme RoboSuite ou IsaacLab, et surtout des expériences de transfert sim-to-real sur robot physique, dont aucune n'est annoncée à ce stade.

RecherchePaper
1 source
Apprentissage par renforcement visuel avec politique primitive séparée pour l'assemblage par emboîtement
68arXiv cs.RO 

Apprentissage par renforcement visuel avec politique primitive séparée pour l'assemblage par emboîtement

Des chercheurs ont publié sur arXiv (référence 2504.14820) une approche de reinforcement learning visuel baptisée Separate Primitive Policy (S2P), conçue pour automatiser les tâches d'assemblage par insertion cheville-trou (peg-in-hole). La méthode s'inspire du comportement humain en vision binoculaire : un opérateur localise d'abord visuellement la cheville au-dessus de la surface cible, puis exécute l'insertion. S2P décompose ce processus en deux primitives apprises simultanément, la localisation et l'insertion, dans un cadre de reinforcement learning sans modèle (model-free). Les auteurs ont développé dix tâches d'insertion distinctes utilisant des formes polygonales variées comme banc d'essai standardisé, ont conduit des expériences en simulation avec contraintes de force, puis validé l'approche sur robot réel. L'intérêt principal de S2P réside dans son gain de sample efficiency, c'est-à-dire la capacité à apprendre une politique efficace avec moins d'interactions avec l'environnement, combiné à une amélioration du taux de succès même lorsque des contraintes de force sont imposées. Pour les intégrateurs industriels, c'est un signal concret : l'assemblage fin, encore largement opéré par des systèmes rigides à programmation manuelle, devient plus accessible à l'apprentissage automatique en présence de retour visuel. La compatibilité affichée avec n'importe quel algorithme RL model-free élargit le spectre d'application, même si les performances absolues restent à confirmer hors des conditions de laboratoire présentées dans le papier. Le peg-in-hole est un benchmark historique en manipulation robotique, standardisé notamment dans le cadre des compétitions NIST Assembly Task Board. Des approches concurrentes combinent typiquement vision et retour d'effort (force-torque control), ou s'appuient sur des politiques d'imitation comme les VLA (Vision-Language-Action models) de Physical Intelligence (Pi-0) ou les travaux de simulation massive de NVIDIA Isaac Lab. S2P se positionne dans un espace différent, celui du RL visuel pur avec décomposition de primitives, une direction que des équipes comme celles de DeepMind et CMU explorent également. Les prochaines étapes naturelles concernent la robustesse aux variations d'éclairage, aux tolérances mécaniques réelles, et la généralisation à des géométries non vues en entraînement.

UEImpact indirect : les équipes R&D et intégrateurs industriels européens travaillant sur l'assemblage automatisé peuvent intégrer S2P dans leur veille sur le RL visuel pour la manipulation fine, sans déploiement ni acteur européen directement impliqué.

RecherchePaper
1 source
SR-Platform : un pipeline à base d'agents pour la synthèse d'environnements de simulation robotique en langage naturel
69arXiv cs.RO 

SR-Platform : un pipeline à base d'agents pour la synthèse d'environnements de simulation robotique en langage naturel

SR-Platform est un pipeline agentique, publié en preprint arXiv (2605.14700) en mai 2026, qui convertit des descriptions en langage naturel en environnements de simulation MuJoCo exécutables et physiquement valides. Le système décompose la génération de scènes en quatre étapes : un orchestrateur LLM qui structure l'intention utilisateur en plan de scène ; un "asset forge" qui récupère des géométries en cache ou en génère de nouvelles via synthèse LLM-CadQuery ; un "layout architect" qui assigne les poses des objets et vérifie les contraintes spatiales ; et une couche bridge qui assemble le fichier MJCF final en intégrant le modèle de robot cible. Déployé comme stack Docker à neuf services (MinIO pour les meshes, Qdrant pour la récupération sémantique d'assets, Redis pour l'état des jobs, InfluxDB pour la télémétrie), SR-Platform affiche une latence médiane d'environ 50 secondes pour des scènes à cinq objets, tombant à 30-40 secondes avec cache d'assets actif, sur une base de 611 appels LLM réussis en 30 jours de production. Le taux de retry de l'asset forge atteint 11,3 %, avec récupération automatique. Construire manuellement une scène MuJoCo prête à l'entraînement exige une expertise croisée en modélisation 3D, spécification MJCF, gestion des collisions et intégration robot, un processus qui représente typiquement plusieurs heures par scène. Ramener cette étape à moins d'une minute via une invite en langage naturel est un levier direct pour produire des environnements d'entraînement plus variés, facteur clé de la généralisation sim-to-real des politiques robotiques. Pour les équipes de robot learning, cette friction de configuration est réelle et souvent sous-estimée dans les pipelines de données synthétiques. Les métriques publiées portent cependant sur des scènes limitées à cinq objets dans un cadre contrôlé, et la robustesse du pipeline sur des configurations plus complexes ou des descriptions ambiguës reste à démontrer. La génération automatisée d'environnements de simulation est un goulot d'étranglement reconnu dans les pipelines de robot learning, que ce soit pour le reinforcement learning, l'imitation learning ou l'entraînement de modèles vision-langage-action (VLA). MuJoCo, maintenu par DeepMind, est le moteur physique de référence pour ces travaux. NVIDIA Isaac Lab et le framework open-source Genesis couvrent également cet espace ; Physical Intelligence (pi.ai) mise de son côté sur des pipelines d'entraînement à très large échelle. SR-Platform se positionne en amont, sur la génération de scènes plutôt que de politiques, avec un accent sur l'accessibilité via le langage naturel. Son code source n'est pas publié en open-source et le contexte précis du déploiement qualifié de "production" n'est pas explicité dans le preprint.

RecherchePaper
1 source
Chrono-Gymnasium : un framework de simulation distribué open source compatible Gymnasium
70arXiv cs.RO 

Chrono-Gymnasium : un framework de simulation distribué open source compatible Gymnasium

Une équipe de chercheurs a publié en mai 2026 sur arXiv (arXiv:2605.14911) les spécifications de Chrono-Gymnasium, un framework open-source de simulation distribuée qui combine le moteur de dynamique multi-corps Project Chrono avec l'interface standardisée Gymnasium d'OpenAI, via le framework de calcul distribué Ray. L'architecture permet de déployer des simulations haute-fidélité sur des clusters de calcul à grande échelle, avec des primitives de synchronisation et de messagerie intégrées pour l'exécution parallèle. Deux études de cas valident l'approche : l'entraînement d'un agent de reinforcement learning (RL) pour la navigation autonome en terrains complexes, et l'optimisation bayésienne des paramètres de conception d'un atterrisseur planétaire pour garantir la stabilité à l'impact. L'enjeu central que résout ce framework est le compromis historique entre fidélité physique et débit de simulation. Les moteurs haute-fidélité comme Project Chrono, qui modélisent précisément les contacts, les déformations et les cinématiques complexes, sont trop lents pour les workflows RL qui exigent des millions de pas d'environnement, ce qui pousse la majorité des équipes vers des simulateurs simplifiés ou des approximations GPU comme Isaac Lab ou MuJoCo. Chrono-Gymnasium propose une troisième voie : distribuer la charge de simulation sur cluster plutôt que sacrifier la précision physique, une approche particulièrement pertinente pour les systèmes où le sim-to-real gap est critique, comme la locomotion sur terrain accidenté ou la conception mécanique avec contraintes dynamiques serrées. La compatibilité native avec l'interface Gymnasium garantit l'interopérabilité avec les bibliothèques ML standard (Stable Baselines3, RLlib) sans couche d'adaptation supplémentaire. Project Chrono est un moteur open-source de dynamique multi-corps développé en collaboration entre l'Université du Wisconsin-Madison et d'autres institutions académiques, reconnu pour sa précision mais rarement utilisé en RL à cause de sa lenteur séquentielle. Sur le terrain concurrentiel, les solutions dominantes restent NVIDIA Isaac Lab (GPU-natif, physique simplifiée) et Genesis (encore en phase de maturité), tandis que MuJoCo demeure la référence pour les robots articulés légers. Chrono-Gymnasium cible un segment distinct : systèmes mécaniques complexes, robots off-road, ou applications spatiales où la fidélité du contact prime sur la vitesse brute. Il s'agit pour l'instant d'un preprint non peer-reviewed ; les benchmarks comparatifs complets et la disponibilité stable du code restent à confirmer.

RecherchePaper
1 source
Contacts corps rigides lisses formulés comme un ReLCP : un problème de complémentarité linéaire généré récursivement
71arXiv cs.RO 

Contacts corps rigides lisses formulés comme un ReLCP : un problème de complémentarité linéaire généré récursivement

Des chercheurs publient sur arXiv (référence 2506.14097) une reformulation des méthodes de simulation de contact entre corps rigides lisses, en introduisant le concept de "Problème de Complémentarité Linéaire Récursivement Généré" (ReLCP). Là où les approches classiques discrétisent les surfaces en maillages ou en assemblages de sphères pour détecter les collisions, cette méthode opère directement sur la géométrie lisse sous-jacente. Concrètement, elle part d'un LCP mono-contrainte standard (dit SNSD, shared-normal signed-distance), puis augmente itérativement le système uniquement lorsque la mise à jour temporelle prédirait une interpénétration des surfaces réelles, limitant ainsi l'explosion combinatoire du nombre de contraintes actives. Les auteurs démontrent formellement que pour des corps strictement convexes et des pas de temps suffisamment petits, l'augmentation récursive se termine en un nombre fini d'itérations et produit une mise à jour de vitesse discrète unique. À la limite des petits pas de temps, la méthode se réduit au LCP SNSD classique. Les validations numériques portent sur des ellipsoïdes en collision, des suspensions denses d'ellipsoïdes, des colonies bactériennes en croissance, et des réseaux de cotte de mailles. L'enjeu pour les développeurs de simulateurs physiques est direct : les approches par proxy-surface souffrent d'un défaut bien documenté, améliorer la fidélité géométrique multiplie le nombre de contraintes et dégrade les performances de manière non linéaire. Le ReLCP contourne ce problème en n'activant des contraintes supplémentaires qu'à la demande, ce qui se traduit, selon les auteurs, par des réductions substantielles du nombre de contraintes actives et du temps de calcul, ainsi qu'une interpénétration bornée sans rugosité artificielle induite par la discrétisation. Pour les équipes travaillant sur la simulation de robots manipulant des objets convexes denses (granulats, composants d'assemblage), ou sur des systèmes biologiques computationnels, c'est une alternative concrète aux formulations de surfaces discrètes. Sur le plan du contexte, la simulation de contact par complémentarité est un champ de recherche actif depuis les travaux fondateurs des années 1990-2000 (Stewart, Trinkle, Anitescu), et reste centrale pour les moteurs physiques embarqués dans les simulateurs robotiques comme MuJoCo, Isaac Sim ou Bullet. La méthode s'inscrit dans une tendance plus large visant à exploiter directement la géométrie analytique (fonctions de distance signée, formes implicites) plutôt que des approximations discrètes. Aucune implémentation commerciale ni partenariat industriel n'est annoncé dans ce preprint : il s'agit d'un résultat théorique et numérique dont l'intégration dans des outils de simulation grand public reste à évaluer.

RecherchePaper
1 source
Moore Threads et Guangyun Intelligence s'associent pour bâtir une base d'IA physique souveraine avec calcul national et simulation
72Pandaily 

Moore Threads et Guangyun Intelligence s'associent pour bâtir une base d'IA physique souveraine avec calcul national et simulation

Moore Threads et Guangyun Intelligence ont annoncé un partenariat stratégique, selon le média financier chinois IPO Zaozhidao. L'accord associe les GPU polyvalents de Moore Threads et son cluster de calcul intelligent Kua'e à la plateforme de simulation propriétaire de Guangyun Intelligence, articulée autour d'une approche intégrée "solve-measure-generate" (résolution, mesure, génération). L'objectif commun est de produire à grande échelle des données synthétiques haute-confiance pour le développement de l'IA incarnée (embodied AI). Aucun chiffre de volume de données, de puissance de calcul déployée ni de tarification n'a été communiqué dans l'annonce. Ce partenariat cible un verrou structurel de la robotique humanoïde : la rareté des données physiques réelles, leur coût de collecte, la couverture insuffisante des scénarios, et la difficulté à reproduire de façon stable des processus physiques complexes lors des campagnes de collecte sur robot réel. La synthèse de données de haute qualité s'impose comme voie de contournement, mais elle se heurte à des besoins en calcul en croissance exponentielle liés à l'explosion combinatoire du rendu. Le pipeline proposé, de la trajectoire réelle à la modélisation en simulation puis à l'augmentation de données, ambitionne notamment de résoudre la simulation physique de la préhension de corps souples (flexible body grasping), un défi technique clé pour les applications de manipulation industrielle. L'annonce s'inscrit dans la course chinoise à la souveraineté en IA physique. Moore Threads, fondé en 2020, positionne ses GPU comme alternative domestique aux puces Nvidia dans un contexte de restrictions américaines à l'exportation. Guangyun Intelligence se spécialise dans la simulation pour la robotique incarnée. Ce type de boucle fermée entre calcul souverain et production de données synthétiques robotiques trouve des équivalents directs dans l'écosystème occidental, notamment NVIDIA Isaac Sim, la plateforme open-source Genesis, ou les pipelines internes de Figure AI et Physical Intelligence. La portée réelle de ce partenariat reste à démontrer : l'annonce relève du cadre stratégique, sans déploiement documenté ni résultat public à ce stade.

Chine/AsieOpinion
1 source
Modèle JODA : dynamique articulaire composable pour objets articulés
73arXiv cs.RO 

Modèle JODA : dynamique articulaire composable pour objets articulés

Une équipe de chercheurs a déposé en mai 2026 sur arXiv (arXiv:2605.09954) JODA, un cadre de modélisation des dynamiques d'articulation pour objets articulés (composable Joint Dynamics for Articulated Objects), destiné à combler l'absence de comportements mécaniques fins dans les simulateurs robotiques et les environnements d'IA incarnée. La méthode encode la dynamique d'un joint sous la forme d'un champ à trois canaux couvrant son degré de liberté : forces conservatives (ressorts, butées de fin de course), frottement sec (holding friction, detents, snap-latching) et amortissement (soft-close). Ces composantes sont instanciées par interpolation cubique par morceaux avec contraintes de forme (PCHIP), produisant une représentation compacte, interprétable et compatible avec la simulation différentiable. Pour inférer ces paramètres depuis des observations visuelles, JODA utilise un modèle vision-langage (VLM) qui propose des primitives dynamiques structurées, composées en un champ unifié, éditable manuellement ou affiné par descente de gradient. Le problème que JODA adresse est central en robotique de manipulation : le fossé simulation-réalité (sim-to-real gap). Les environnements comme MuJoCo, Isaac Sim ou Habitat modélisent la géométrie et la cinématique des objets articulés, mais ignorent les effets mécaniques de second ordre qui conditionnent le comportement tactile réel : résistance variable selon la position, crans d'arrêt, fermeture amortie, encliquetage. Pour un robot manipulant un tiroir de cuisine ou une vanne industrielle, ces dynamiques sont déterminantes. Une simulation plus fidèle devrait améliorer le transfert de politiques entraînées sur données synthétiques vers l'environnement physique, un enjeu clé pour les architectures VLA (Vision-Language-Action) en cours de déploiement à grande échelle. Les approches existantes ignorent généralement ces dynamiques ou s'appuient sur des paramètres scalaires fixes (raideur constante, amortissement linéaire), sans capturer ni la non-linéarité du frottement ni les comportements multi-stables. JODA se distingue par sa représentation paramétrique interprétable couplée à un pipeline d'inférence fondé sur un VLM, ouvrant la voie à une annotation semi-automatique d'actifs 3D à grande échelle. Le code et les assets d'exemple seront publiés uniquement à la parution de l'article, ce qui place JODA au stade de preprint sans validation externe à ce jour. La méthode s'inscrit dans une dynamique plus large d'enrichissement des simulateurs robotiques par des propriétés physiques extraites de données multimodales, un axe de recherche actif chez Google DeepMind, Meta FAIR et dans le domaine des jumeaux numériques industriels.

RecherchePaper
1 source
Des priors de diffusion avec contraintes pour une locomotion quadrupède haute fidélité et polyvalente
74arXiv cs.RO 

Des priors de diffusion avec contraintes pour une locomotion quadrupède haute fidélité et polyvalente

Une équipe de chercheurs publie Diff-CAST (Diffusion-guided Constraint-Aware Symmetric Tracking), un nouveau cadre de prior de mouvement pour la locomotion quadrupède biomimétique, déposé le 12 mai 2026 en preprint sur arXiv (2605.08804). La méthode substitue les modèles de diffusion aux discriminateurs GAN classiquement utilisés dans les pipelines combinant apprentissage par renforcement (RL) et imitation learning. L'architecture intègre deux composants : le SACC (Symmetric Augmented Command Conditioning), conçu pour corriger les dérives involontaires de cap lors de manœuvres complexes hors distribution, et un bloc de RL contraint (Constrained RL) chargé de garantir la conformité aux limites dynamiques des actionneurs lors du passage sur matériel physique, dans un schéma global baptisé Sim2Re. Le verrou que Diff-CAST cherche à lever est documenté dans la communauté : à mesure que les jeux de données de mouvement grossissent et se diversifient (sources multiples, données non curées), les discriminateurs GAN s'effondrent en mode collapse, incapables de modéliser des distributions multi-modales complexes. Les modèles de diffusion, dont la supériorité sur ce point est établie en génération d'images et de trajectoires, constituent une alternative logique. Si les expériences sur quadrupède réel confirment les résultats annoncés, cela ouvrirait la voie à un scaling massif de datasets hétérogènes sans perte de diversité comportementale, notamment pour des transitions fluides entre marche, trot et récupération. Il convient cependant de souligner que le papier est un preprint non évalué par les pairs, et que le gap sim-to-real reste à valider indépendamment. La locomotion quadrupède à base de RL est un domaine consolidé depuis les travaux d'ANYbotics sur ANYmal et du laboratoire Robotic Systems Lab d'ETH Zurich, prolongés par des équipes de Carnegie Mellon et Berkeley. Unitree (Go2, H1) et Boston Dynamics industrialisent ces méthodes, tandis que le secteur académique cherche à réduire la dépendance aux données de capture de mouvement coûteuses au profit de datasets non curés. Diff-CAST s'inscrit précisément dans cette tendance. Les prochaines étapes attendues sont la publication du code source, des benchmarks standardisés sur des plateformes comme Isaac Lab ou legged gym, et une validation multi-robots au-delà du quadrupède utilisé dans les expériences reportées.

RecherchePaper
1 source
Préhension optimisée dans les robots à pattes : une approche par apprentissage profond pour la loco-manipulation
75arXiv cs.RO 

Préhension optimisée dans les robots à pattes : une approche par apprentissage profond pour la loco-manipulation

Des chercheurs ont publié sur arXiv (référence 2508.17466v3) un framework de deep learning destiné à améliorer les capacités de préhension des robots quadrupèdes équipés d'un bras manipulateur, une configuration connue sous le nom de loco-manipulation. L'approche repose sur une méthodologie sim-to-real développée dans l'environnement de simulation Genesis, où des milliers d'interactions synthétiques ont été générées sur des objets courants pour produire des cartes annotées pixel par pixel de qualité de préhension. Ces données ont servi à entraîner un réseau de neurones convolutif inspiré de l'architecture U-Net, qui fusionne en entrée des flux multi-modaux issus de caméras embarquées : images RGB, cartes de profondeur, masques de segmentation et cartes de normales de surface. En sortie, le modèle produit une heatmap identifiant le point de préhension optimal. Le système complet a été validé sur un vrai robot quadrupède, qui a exécuté de façon autonome la séquence complète : navigation vers l'objet cible, perception, prédiction de la pose de préhension, puis saisie effective. Le principal intérêt de ce travail est de montrer qu'un pipeline sim-to-real bien conçu peut substituer la collecte de données physiques, historiquement le goulet d'étranglement du développement en manipulation robotique. Pour les intégrateurs et décideurs industriels, cela suggère qu'il devient possible de déployer des capacités de manipulation sur robots mobiles sans investissement massif en démonstrations réelles. Cela dit, l'abstract ne fournit aucun taux de succès quantifié, aucune comparaison avec une baseline, et aucun détail sur le nombre d'objets testés ou la robustesse aux variations d'éclairage et de pose : des lacunes habituelles dans les preprints mais qui freinent l'évaluation sérieuse de la transférabilité industrielle. Ce travail s'inscrit dans un champ académique très actif autour des robots quadrupèdes à bras, popularisé par des plateformes comme l'ANYmal de ANYbotics (Suisse) ou le Spot d'Boston Dynamics, tous deux cibles régulières de recherches en loco-manipulation. L'environnement Genesis, relativement récent, se positionne comme alternative à Isaac Sim (NVIDIA) et MuJoCo pour la génération de données synthétiques. L'architecture U-Net, initialement conçue pour la segmentation médicale, est ici réutilisée pour un problème de régression spatiale, une transposition qui gagne du terrain en robotique de manipulation. Ce papier, en version 3 de révision, reste un travail de recherche en laboratoire : aucun déploiement opérationnel ni partenariat industriel n'est mentionné.

UEImpact indirect limité : ANYbotics (Suisse) est citée comme plateforme cible type, mais le travail est un preprint académique sans affiliation institutionnelle européenne identifiée ni déploiement opérationnel.

RecherchePaper
1 source
Effets inattendus de la randomisation de domaine sensible au risque pour la commande prédictive par échantillonnage à contacts multiples
76arXiv cs.RO 

Effets inattendus de la randomisation de domaine sensible au risque pour la commande prédictive par échantillonnage à contacts multiples

Des chercheurs ont publié en mai 2026 une étude préliminaire (arXiv:2605.03290) sur les effets de la randomisation de domaine sensible au risque appliquée au contrôle prédictif par échantillonnage (SPC) dans des tâches à contacts physiques denses. La randomisation de domaine (DR) consiste à entraîner un planificateur sur des variantes aléatoires des paramètres physiques, masse, friction, rigidité, pour le rendre robuste aux erreurs de modélisation. Très utilisée en apprentissage par renforcement, elle restait quasiment inexploriée dans le SPC, où la qualité des trajectoires simulées est particulièrement sensible à l'incertitude. Les auteurs comparent trois stratégies d'agrégation de rollouts sous instances de modèles randomisés : moyenne, optimiste (meilleur cas) et pessimiste (pire cas), sur la tâche Push-T, un benchmark de manipulation où un robot pousse un objet en T vers une pose cible. Les résultats révèlent un effet inattendu : la DR ne se contente pas d'améliorer la robustesse aux erreurs de modèle, elle modifie structurellement le paysage de coût perçu par l'optimiseur d'échantillonnage. Selon le profil de risque retenu, le bassin d'attraction autour des actions produisant des contacts physiques est reconfiguré différemment, ce qui influe directement sur la propension de l'optimiseur à explorer ou à éviter les configurations de contact. Pour des applications industrielles, assemblage, manipulation fine ou tri, où les contacts sont inévitables, ce couplage entre incertitude de modèle et stratégie de risque est critique : un mauvais calibrage peut rendre le SPC soit trop conservateur, soit instable face aux contacts non planifiés. La DR a été systématisée dans les simulateurs physiques comme Isaac Sim de NVIDIA et popularisée par les travaux d'OpenAI sur la manipulation dextre (projet Dactyl, 2019). Le SPC, notamment via l'algorithme MPPI (Model Predictive Path Integral), connaît un regain d'intérêt pour la robotique temps réel, en locomotion et manipulation. Cette étude constitue un premier jalon formel à l'intersection des deux approches, jusqu'ici traitées séparément. Elle s'inscrit dans un contexte plus large où les modèles VLA (Vision-Language-Action) et les approches sim-to-real de Google DeepMind ou Physical Intelligence (Pi-0) cherchent à réduire l'écart entre simulation et réalité. Les auteurs ne publient que des résultats initiaux sur une tâche simple et ne proposent pas encore de généralisation ni de calendrier applicatif, ce qui limite la portée immédiate mais ouvre un axe de recherche prometteur pour le contrôle robuste aux contacts.

RecherchePaper
1 source
MiniVLA-Nav v1 : un jeu de données de simulation multi-scènes pour la navigation robotique guidée par le langage
77arXiv cs.RO 

MiniVLA-Nav v1 : un jeu de données de simulation multi-scènes pour la navigation robotique guidée par le langage

MiniVLA-Nav v1 est un dataset de simulation publié sur HuggingFace pour la navigation robotique conditionnée par le langage naturel, tâche désignée LCOA (Language-Conditioned Object Approach). Un robot différentiel NVIDIA Nova Carter reçoit une instruction courte et doit atteindre l'objet nommé en s'arrêtant à moins d'un mètre. Le dataset couvre 1 174 épisodes dans quatre scènes Isaac Sim photoréalistes (bureau, hôpital, entrepôt complet, entrepôt à étagères multiples), chacun annoté avec images RGB 640x640, cartes de profondeur métriques float32, masques de segmentation d'instance et labels d'action à 60 Hz (commandes continues v/omega et tokenisation 7x7 via contrôleur proportionnel visuel). Trois tiers de distance d'initialisation (1,5-3,5 m, 3,5-7,0 m, et lointain curatés) assurent la diversité des trajectoires, avec une corrélation Pearson r=0,94 entre distance de départ et longueur. Douze catégories d'objets et 30 templates (18 d'entraînement, 12 hors distribution) structurent cinq splits d'évaluation. La rareté de données annotées pour entraîner des modèles VLA (Vision-Language-Action) orientés navigation reste un frein reconnu dans la communauté. MiniVLA-Nav v1 y répond avec un benchmark à cinq axes : précision en distribution, robustesse aux paraphrases et généralisation hors distribution sur de nouvelles catégories. La tâche LCOA isole délibérément le grounding linguistique, c'est-à-dire la capacité à relier une instruction verbale à un objet physique, sans mélanger avec la planification globale de chemin. Les labels moteurs continus à 60 Hz offrent une supervision plus fine que la majorité des datasets de navigation verbale existants, souvent limités à des waypoints discrets. La compatibilité native avec l'écosystème Isaac Sim et la plateforme Nova Carter facilite un éventuel transfert sim-to-real vers des robots physiques en milieu industriel ou hospitalier. Ce travail s'inscrit dans la lignée de R2R et REVERIE pour la navigation à instruction verbale, mais avec un focus bas niveau peu commun. La publication, signée Ali Bustami et déposée sur arXiv en mai 2025 (2605.00397), ne présente pas encore de modèle baseline entraîné sur ces données, ce qui en limite la portée empirique immédiate : c'est un dataset, pas une preuve de performance. L'écosystème concurrent inclut Meta AI avec Habitat, Allen AI avec AI2-THOR et plusieurs benchmarks récents de Google DeepMind, mais aucun ne cible spécifiquement le LCOA avec commandes continues à 60 Hz sur plateforme NVIDIA. Le dataset est librement accessible sur HuggingFace (alibustami/miniVLA-Nav), en attente d'un modèle VLA de référence et d'expériences de transfert sim-to-real sur robot physique.

RechercheOpinion
1 source
EvolvingAgent : un agent à curriculum auto-évolutif avec modèle du monde continu pour les tâches à long horizon
78arXiv cs.RO 

EvolvingAgent : un agent à curriculum auto-évolutif avec modèle du monde continu pour les tâches à long horizon

Une équipe de chercheurs propose EvolvingAgent, un agent incarné conçu pour accomplir des tâches à horizon long (Long-Horizon, LH) dans des mondes ouverts, sans intervention humaine. Publié sur arXiv (2502.05907, version 3), le système repose sur trois modules en boucle fermée : un planificateur de tâches piloté par les expériences accumulées, qui utilise un LLM pour décomposer une tâche complexe en sous-tâches exécutables ; un contrôleur d'actions guidé par un World Model (WM) continu, chargé de générer les actions de bas niveau et de mettre à jour automatiquement la base d'expériences multimodales via un mécanisme de vérification interne ; et un réflecteur fondé sur l'apprentissage par curriculum (Curriculum Learning, CL) en deux étapes, qui sélectionne les expériences pertinentes pour adapter le WM à chaque nouvelle tâche. Les expériences ont été conduites principalement sur Minecraft, environnement de référence pour les agents incarnés. Résultats revendiqués : +111,74 % de taux de succès moyen par rapport aux approches existantes, réduction d'un facteur supérieur à 6 des actions inefficaces, et généralisation à l'environnement Atari avec des performances comparables au niveau humain. L'apport central d'EvolvingAgent est de s'attaquer simultanément à deux limitations bien documentées dans la littérature : la dépendance aux curricula et données créés par l'humain, et l'oubli catastrophique lors de l'exposition à de nouvelles tâches. La boucle planificateur-contrôleur-réflecteur permet une mise à jour autonome des connaissances du monde sans réentraînement explicite. Pour les chercheurs en IA incarnée et les équipes travaillant sur des agents opérationnels en environnement dynamique (robotique industrielle, systèmes autonomes), cela représente un pas vers une adaptabilité continue sans supervision humaine permanente. Le gain de +111,74 % est néanmoins à contextualiser : il s'appuie sur Minecraft, un sandbox 3D simulé, et les vidéos ou démonstrations n'ont pas été publiées en open access à ce stade. Les travaux sur les agents LH en monde ouvert ont connu une accélération notable depuis Voyager (2023, Microsoft/UT Austin, GPT-4), DEPS, et les approches basées sur des planificateurs symboliques. EvolvingAgent s'inscrit dans ce courant en remplaçant la supervision humaine par une boucle d'auto-amélioration multimodale. Côté concurrent, des systèmes comme GROOT (vidéo-conditionné) ou les agents Minecraft basés sur MineRL continuent de servir de baseline. L'article reste à ce stade un preprint arXiv (v3, sans revue par les pairs confirmée), et aucun déploiement industriel ni partenariat n'est annoncé. Les prochaines étapes naturelles seraient une validation sur des environnements physiques simulés (Isaac Sim, MuJoCo) ou des robots réels, pour mesurer le sim-to-real gap de l'approche.

RecherchePaper
1 source
LeHome : un environnement de simulation pour la manipulation d'objets déformables en contexte domestique
79arXiv cs.RO 

LeHome : un environnement de simulation pour la manipulation d'objets déformables en contexte domestique

Des chercheurs ont publié LeHome, un environnement de simulation open-source consacré à la manipulation d'objets déformables en contexte domestique, accessible en préprint sur arXiv (2604.22363) et accompagné d'une page de démonstration. LeHome couvre un spectre large d'objets typiques des foyers, vêtements, aliments, textiles, avec une modélisation dynamique haute-fidélité destinée à reproduire les interactions complexes que les simulateurs existants peinent à rendre correctement. L'environnement supporte plusieurs morphologies robotiques et place explicitement les robots à faible coût au centre de sa conception, permettant d'évaluer des tâches ménagères de bout en bout sur du matériel à budget contraint. Le problème que tente de résoudre LeHome est structurant pour la robotique domestique : les objets déformables représentent une part massive des tâches quotidiennes (plier du linge, manipuler des aliments, ranger des textiles), mais leur simulation réaliste reste un angle mort des environnements dominants comme Isaac Sim, MuJoCo ou Gazebo. Sans simulation fiable de ces matériaux, le transfert sim-to-real, technique centrale dans l'entraînement des politiques modernes par renforcement ou imitation, produit des modèles qui s'effondrent dès qu'ils quittent les objets rigides. LeHome prétend combler ce fossé en proposant un banc de test scalable, ce qui pourrait accélérer le développement de politiques de manipulation généralistes pour l'environnement résidentiel. Le problème du "deformable gap" est documenté depuis plusieurs années : des projets comme DexDeform (Stanford), SoftGym ou PyBullet Cloth ont proposé des approches partielles, sans jamais couvrir l'ensemble des catégories domestiques avec un accent sur les plateformes accessibles. LeHome s'inscrit dans un mouvement plus large où des laboratoires ciblent explicitement le segment low-cost, Boston Dynamics, Figure ou 1X restant hors de portée de la plupart des équipes académiques. À ce stade, il s'agit d'un préprint sans validation industrielle ni déploiement annoncé : la crédibilité du projet dépendra de la capacité des auteurs à démontrer un transfert réel sur des plateformes concrètes telles que Low Cost Robot, SO-ARM ou des équivalents open-hardware.

UELes équipes académiques européennes travaillant sur la manipulation domestique pourraient adopter LeHome pour entraîner des politiques sur plateformes low-cost open-hardware, mais aucun impact institutionnel ou industriel direct n'est documenté à ce stade.

RecherchePaper
1 source
Estimation de la présence humaine par vision pour améliorer la sécurité et l'efficacité des AMR en entrepôt industriel
80arXiv cs.RO 

Estimation de la présence humaine par vision pour améliorer la sécurité et l'efficacité des AMR en entrepôt industriel

Des chercheurs ont publié sur arXiv (référence 2604.18627) un système temps réel permettant à un robot mobile autonome (AMR) d'estimer, via une unique caméra RGB, si un opérateur humain à proximité a conscience de sa présence. La méthode combine deux modules : un estimateur de pose humaine 3D ("3D pose lifting") qui reconstruit la position du corps dans l'espace, et un module d'estimation d'orientation de la tête qui calcule le cône de vision du travailleur. Si l'humain est orienté vers le robot et se trouve dans ce cône, le système le catégorise comme "conscient de l'AMR" ; dans le cas contraire, le robot adopte un comportement de précaution. L'ensemble du pipeline a été validé sur données synthétiques dans NVIDIA Isaac Sim, sans validation sur environnement physique réel annoncée à ce stade. L'intérêt industriel de cette approche réside dans l'inefficacité chronique des systèmes actuels : les AMRs déployés aujourd'hui traitent tout humain comme un obstacle dynamique générique, ce qui entraîne des ralentissements ou détours systématiques, même lorsque l'opérateur a clairement vu le robot et s'est écarté de sa trajectoire. En distinguant les travailleurs attentifs des travailleurs inattentifs, le système permettrait théoriquement d'augmenter les cadences opérationnelles sans dégrader la sécurité. Pour les intégrateurs et les COO industriels, c'est une piste concrète pour réduire les temps de cycle dans des environnements à forte densité humaine. La validation reste cependant limitée à des données simulées, ce qui laisse entier le problème du sim-to-real gap pour les cas limites : occlusions partielles, éclairage variable, postures atypiques. Ce travail s'inscrit dans un contexte de forte croissance des flottes AMR dans la logistique mondiale, porté par des acteurs comme MiR (acquis par Teradyne), Locus Robotics, Geek+, ou côté français Exotec dont les robots Skypod évoluent dans des allées partagées avec des opérateurs humains. Les approches concurrentes misent généralement sur des systèmes LIDAR multicouche ou des zones de sécurité paramétrables conformes à la norme ISO 3691-4, sans modélisation explicite de l'attention humaine. La prochaine étape naturelle serait une validation sur données réelles et une intégration dans une stack de navigation type ROS 2 Nav2, mais ni timeline ni partenariat industriel ne sont mentionnés dans ce preprint.

UEDirectement pertinent pour Exotec (Skypod) qui opère des flottes AMR en allées partagées avec des opérateurs, mais aucune collaboration ni validation sur environnement réel n'est annoncée à ce stade.

IndustrielPaper
1 source
Géwu : un environnement interactif en ligne pour l'apprentissage par renforcement en robotique
81arXiv cs.RO 

Géwu : un environnement interactif en ligne pour l'apprentissage par renforcement en robotique

Une équipe de chercheurs a publié le 23 avril 2026 Web-Gewu (arXiv:2604.17050), une plateforme pédagogique de robotique conçue pour permettre l'entraînement par renforcement (RL) directement depuis un navigateur web, sans installation locale. L'architecture repose sur un modèle cloud-edge-client s'appuyant sur WebRTC : toute la simulation physique et l'entraînement RL sont déportés sur un nœud edge, tandis que le serveur cloud ne joue qu'un rôle de relais de signalisation léger. La communication entre l'apprenant et le nœud de calcul s'effectue en pair-à-pair (P2P), avec une latence bout-en-bout annoncée comme faible, sans que des chiffres précis soient fournis dans le préprint. Les apprenants visualisent en temps réel les courbes de récompense RL et interagissent avec plusieurs formes de robots simulés, le tout via un protocole de communication de commandes prédéfini. L'intérêt de cette approche est structurel : elle attaque directement les deux verrous qui freinent l'enseignement de la robotique incarnée à grande échelle. D'un côté, les solutions cloud centralisées existantes entraînent des coûts GPU et de bande passante prohibitifs pour un déploiement massif en contexte éducatif. De l'autre, le calcul purement local bute sur les limitations matérielles des apprenants, souvent sans GPU dédié. En déplaçant la charge vers un nœud edge mutualisé et en réduisant le cloud à un simple relais, Web-Gewu réduit significativement le coût marginal par apprenant. Pour les institutions qui cherchent à former des ingénieurs au RL appliqué à la robotique, c'est un argument concret, même si la robustesse à l'échelle reste à démontrer hors environnement de laboratoire. Ce travail s'inscrit dans une tendance plus large de démocratisation des outils de simulation robotique, portée notamment par des environnements comme Isaac Sim (NVIDIA), MuJoCo (DeepMind/Google) ou encore Genesis, tous nécessitant des ressources locales ou des accès cloud coûteux. Web-Gewu se positionne dans un créneau différent, celui de la formation et de l'expérimentation accessible, plutôt que de la recherche haute performance. Le code source n'est pas encore public au moment de la soumission, et la plateforme reste au stade de prototype académique avec une instance de démonstration exposée à l'adresse IP indiquée dans le papier. Les prochaines étapes naturelles seraient une évaluation quantitative de la latence, une montée en charge sur plusieurs dizaines d'apprenants simultanés, et une ouverture du code pour permettre un déploiement institutionnel autonome.

RecherchePaper
1 source
De la perception à la simulation : génération haute-fidélité avec cousins numériques pour l'apprentissage et l'évaluation de robots généralisables
82arXiv cs.RO 

De la perception à la simulation : génération haute-fidélité avec cousins numériques pour l'apprentissage et l'évaluation de robots généralisables

Une équipe de chercheurs a publié en avril 2026 sur arXiv (arXiv:2604.15805) un framework génératif baptisé "Digital Cousins", conçu pour transformer automatiquement des panoramas de scènes réelles en environnements de simulation haute fidélité, puis en générer des variantes sémantiques et géométriques diversifiées. Le système prend en entrée une image panoramique d'une pièce réelle, reconstruit une scène simulée cohérente, et applique des modifications contrôlées, repositionnement d'objets, changement de géométrie, substitution de matériaux, pour produire des "scènes cousines" statistiquement variées. Un module de raccordement multi-pièces permet de construire des environnements à grande échelle pour des tâches de navigation longue portée dans des layouts complexes. Les expériences montrent que scaler massivement la génération de données améliore significativement la généralisation à des scènes et objets non vus en entraînement. Ce travail s'attaque directement à l'un des goulots d'étranglement majeurs du robot learning : collecter des données réelles diversifiées est coûteux en temps, en assets physiques et en reconfiguration manuelle d'environnements. L'approche real-to-sim-to-real proposée ici offre aux intégrateurs et équipes R&D une voie pour démultiplier leur corpus d'entraînement sans mobiliser de ressources physiques supplémentaires. La corrélation sim-to-real mesurée dans les expériences valide la fidélité de la plateforme, un point crucial, car beaucoup de frameworks de simulation peinent à transférer en conditions réelles. Pour les décideurs B2B, cela signifie des cycles de développement potentiellement plus courts et une meilleure robustesse des politiques déployées face à la variabilité des environnements industriels. À noter que les métriques de généralisation sont présentées sur des benchmarks de manipulation et de navigation en intérieur ; leur tenue dans des contextes industriels contraints (entrepôts, lignes de production) reste à démontrer hors laboratoire. Le concept de "Digital Cousins" s'inscrit dans une vague de travaux visant à combler le sim-to-real gap, aux côtés d'approches comme Isaac Sim (NVIDIA), Habitat (Meta) ou Genesis (labo Carnegie Mellon). Ce qui différencie cette contribution est la chaîne génératrice bout-en-bout à partir de panoramas, une méthode plus accessible que la modélisation 3D manuelle traditionnelle. Les auteurs ne rattachent pas explicitement le framework à un robot ou un produit commercial, ce qui en fait pour l'instant un outil de recherche. Les prochaines étapes naturelles seraient une intégration avec des pipelines VLA (Vision-Language-Action) existants comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), et une validation sur des robots manipulateurs déployés en conditions semi-réelles.

RecherchePaper
1 source
ShapeGen : génération de données robotiques pour la manipulation par catégorie d'objets
83arXiv cs.RO 

ShapeGen : génération de données robotiques pour la manipulation par catégorie d'objets

ShapeGen, présenté dans un preprint arXiv (2604.15569) publié en avril 2026, propose une méthode de génération automatique de données d'entraînement pour les politiques de manipulation robotique. L'enjeu central est la généralisation intra-catégorie : un robot doit savoir saisir n'importe quelle tasse, bouteille ou outil, pas uniquement les objets vus pendant l'entraînement. La méthode opère en deux étapes. La première construit une bibliothèque de formes 3D (Shape Library) en apprenant des déformations spatiales (warpings) qui font correspondre des points fonctionnellement équivalents entre objets d'une même catégorie. La seconde étape, Function-Aware Generation, exploite cette bibliothèque pour produire automatiquement des démonstrations physiquement plausibles sur de nouveaux objets géométriquement variés, avec une annotation humaine minimale. Le pipeline est dit "simulator-free" : il génère des données directement en 3D, sans recourir à un moteur de simulation classique comme MuJoCo ou Isaac Sim. Des expériences en environnement réel valident l'amélioration de la généralisation des politiques ainsi entraînées. Le problème adressé est structurel dans le déploiement industriel des bras manipulateurs : collecter manuellement des corpus de démonstrations sur des centaines de variantes d'objets est coûteux en main-d'oeuvre et logistiquement difficile. ShapeGen automatise cette diversification morphologique, ce qui pourrait réduire significativement le coût de préparation des données pour des politiques visuomotrices (VLA, diffusion policies). Si les résultats réels se confirment à plus grande échelle, cela allège directement le goulot d'étranglement data dans le cycle de développement robotique, en particulier pour les intégrateurs qui doivent adapter des cellules à des référentiels produits variables. La claim "simulator-free" mérite cependant d'être nuancée : le pipeline repose sur des modèles 3D et des transformations géométriques qui constituent en eux-mêmes une forme de simulation implicite. Les benchmarks présentés restent limités en termes de diversité de tâches et d'objets testés. La généralisation intra-catégorie est un axe de recherche actif depuis plusieurs années, exploré notamment via des approches comme PointNet, Category-Level 6D Pose Estimation (Wang et al., 2019) ou les politiques basées sur des représentations implicites (NeRF, SDF). ShapeGen se positionne dans la lignée des travaux sur la génération de données synthétiques pour la manipulation, concurrençant des approches comme RoboGen ou MimicGen (NVIDIA), qui utilisent également la génération automatique pour diversifier les démos. Le projet est affilié à des auteurs du milieu académique (page projet hébergée sur GitHub personnel), sans affiliation industrielle explicite déclarée dans le preprint. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks standardisés (RLBench, FurnitureBench) et une intégration dans des pipelines VLA existants pour mesurer le gain réel sur des tâches longue-distance.

IA physiqueActu
1 source
Vidéo du vendredi : un robot humanoïde apprend à jouer au tennis face à des humains
84IEEE Spectrum AI 

Vidéo du vendredi : un robot humanoïde apprend à jouer au tennis face à des humains

Des chercheurs ont développé LATENT, un système permettant à un robot humanoïde d'apprendre des compétences de tennis dynamiques à partir de données de mouvement humain imparfaites. Par ailleurs, la startup Sharpa revendique être la première entreprise robotique à démontrer un robot épluchant une pomme avec deux mains dextres, grâce à leur architecture MoDE-VLA (Mixture of Dexterous Experts) fusionnant vision, langage, force et toucher. Ces avancées illustrent une semaine riche en démonstrations de manipulation bimanuelle de contact et de locomotion avancée, dont un robot UMV entraîné via NVIDIA Isaac Lab capable de sauter et de faire des pirouettes.

HumanoïdesActu
1 source