Aller au contenu principal

Recherche — page 2

2079 articles · page 2 sur 42

Publications scientifiques en robotique : arXiv cs.RO, ICRA, IROS, Humanoids, CoRL — nouveaux algorithmes, benchmarks et datasets.

SkillPlug : extraction non supervisée de compétences pour l'adaptation en few-shot dans la manipulation robotique
51arXiv cs.RO RecherchePaper

SkillPlug : extraction non supervisée de compétences pour l'adaptation en few-shot dans la manipulation robotique

Une équipe de recherche publie sur arXiv (arXiv:2607.08354v1, soumission nouvelle) SkillPlug, un framework destiné à l'apprentissage par imitation visuomotrice en robotique de manipulation. Le système se présente comme un module "plug-in" qui vient s'ajouter à une politique visuomotrice existante : il ajoute un module de conditionnement par compétences ("skill-conditioning") et extrait, à partir de démonstrations multi-tâches brutes et sans supervision, une bibliothèque de compétences partagée et réutilisable. L'extraction repose sur des objectifs auto-supervisés conçus pour produire des primitives comportementales compactes, non redondantes et transférables d'une tâche à l'autre. Une fois cette bibliothèque figée, l'adaptation à une nouvelle tâche ne nécessite plus qu'un réentraînement léger : seuls un routeur et une tête d'action sont ajustés, sans réentraînement complet de bout en bout. Les auteurs rapportent des tests sur deux bancs d'essai en simulation et sur un robot réel, avec une amélioration observée à la fois en performance multi-tâches et en adaptation à partir de peu de démonstrations (few-shot). L'abstract ne fournit toutefois aucun chiffre précis de gain de taux de réussite ni détail sur les bancs de test utilisés, ce qui limite la portée vérifiable des résultats à ce stade. L'enjeu pratique visé est réel pour les intégrateurs robotiques : la plupart des politiques actuelles sont entraînées de bout en bout et n'offrent aucune structure explicite pour réutiliser des comportements déjà appris, ce qui rend le transfert vers de nouvelles tâches coûteux en données. En figeant une bibliothèque de compétences et en ne réentraînant qu'un routeur léger, SkillPlug promet une adaptation à moindre coût de calcul et de données, un point sensible pour tout déploiement industriel où recollecter des centaines de démonstrations par nouvelle tâche n'est pas viable économiquement. Ce travail s'inscrit dans un courant de recherche plus large qui cherche à réintroduire une structure compositionnelle (bibliothèques de compétences, primitives réutilisables) dans des politiques d'apprentissage par imitation de plus en plus dominées par des modèles monolithiques de type VLA (vision-language-action). Il s'agit ici d'une publication de recherche académique, sans acteur industriel ni produit commercial associé, et sans mention de comparaison directe avec des systèmes VLA à grande échelle déployés dans l'industrie. Les prochaines étapes attendues seraient une évaluation à plus grande échelle et une comparaison chiffrée face aux approches de politique de bout en bout dominantes.

1 source
StreamVLN : navigation vision-langage en flux continu via modélisation contextuelle SlowFast
52arXiv cs.RO 

StreamVLN : navigation vision-langage en flux continu via modélisation contextuelle SlowFast

Chercheurs présentent StreamVLN, un framework de navigation vision-langage (VLN) conçu pour fonctionner en flux continu plutôt que sur des séquences vidéo pré-découpées. Publié sur arXiv (version 2, remplaçant une première mouture du 05/07/2025 sous la référence 2507.05240), le système repose sur une architecture dite "slow-fast" : un contexte de dialogue rapide gère une fenêtre glissante d'échanges multi-tours pour générer des actions avec une latence minimale, tandis qu'une mémoire à mise à jour lente compresse l'historique visuel via une stratégie d'élagage de tokens tenant compte de la géométrie 3D de la scène. Grâce à la réutilisation du cache KV, StreamVLN maintient des dialogues en temps réel sur des flux vidéo longs, avec une taille de contexte et un coût d'inférence bornés, quelle que soit la durée du flux. Sur les benchmarks VLN-CE, référence du domaine pour évaluer la navigation guidée par instructions en environnement continu, les auteurs revendiquent des performances état de l'art combinées à une faible latence. L'enjeu dépasse la simple performance sur benchmark : les modèles vidéo-LLM appliqués à la navigation robotique butent généralement sur un compromis entre compréhension visuelle fine, mémorisation du contexte long terme et coût de calcul, un compromis qui freine leur déploiement embarqué sur robots mobiles ou humanoïdes à ressources limitées. En bornant le coût d'inférence indépendamment de la longueur du flux vidéo, StreamVLN répond directement à un obstacle pratique du secteur : faire tourner un agent VLA (vision-language-action) en continu, sans dérive de latence ni explosion mémoire, condition nécessaire pour une navigation autonome réactive en environnement réel plutôt qu'en simulation contrôlée ou sur clips vidéo courts. Le travail s'inscrit dans la lignée des approches VLN basées sur des Video-LLM apparues ces deux dernières années, qui cherchaient à exploiter les capacités de raisonnement multimodal de ces modèles pour l'instruction-following robotique, au prix jusqu'ici d'architectures gourmandes en contexte. La publication d'une version 2 sur arXiv indique une itération après retours ou revue, sans changement de statut : il s'agit toujours d'un travail de recherche, avec code et démonstrations disponibles sur la page projet (streamvln.github.io), et non d'un produit ou d'un déploiement industriel annoncé. La suite logique pour ce type d'approche reste son intégration et sa validation sur plateformes robotiques physiques, au-delà des benchmarks simulés VLN-CE.

RechercheActu
1 source
SeFA-Policy : apprentissage rapide et précis de politiques visuomotrices par alignement de flux sélectif
53arXiv cs.RO 

SeFA-Policy : apprentissage rapide et précis de politiques visuomotrices par alignement de flux sélectif

Une équipe de recherche a publié SeFA-Policy (Selective Flow Alignment), une nouvelle méthode d'apprentissage de politiques visuomotrices par imitation pour la robotique, décrite dans une version révisée sur arXiv (2511.08583v2) et accompagnée d'un code source disponible sur GitHub (RongXueZoe/SeFA). Le problème ciblé concerne les approches récentes de "rectified flow", qui accélèrent la génération d'actions robotiques mais souffrent d'un défaut connu : après distillation itérative, les actions générées finissent par dévier des actions réelles associées à l'observation visuelle en cours, ce qui accumule l'erreur au fil des cycles de reflow et déstabilise l'exécution des tâches. SeFA introduit un mécanisme de correction de cohérence qui réaligne sélectivement les actions générées sur les démonstrations expertes, tout en conservant la capacité du modèle à représenter plusieurs solutions possibles (multimodalité). Sur des tâches de manipulation simulées et réelles, les auteurs annoncent une précision et une robustesse supérieures aux politiques de référence basées sur la diffusion ou sur le flow, avec une latence d'inférence réduite de plus de 98%. Pour l'industrie robotique, l'enjeu dépasse la performance académique brute : le goulot d'étranglement des politiques par diffusion a toujours été le nombre d'étapes de débruitage nécessaires à chaque décision, incompatible avec du contrôle temps réel sur bras manipulateurs ou robots mobiles. Les méthodes à un seul pas d'inférence promettent de lever ce verrou, mais au prix, jusqu'ici, d'une fidélité dégradée aux observations réelles. En traitant explicitement ce compromis précision/vitesse plutôt qu'en l'ignorant, SeFA apporte un signal utile aux intégrateurs qui évaluent si les politiques de type flow sont mûres pour un déploiement embarqué, au-delà des démonstrations en laboratoire. Ce travail s'inscrit dans la lignée des Diffusion Policy puis des politiques par rectified flow, apparues ces deux dernières années comme alternative aux architectures de type transformer pour l'apprentissage par imitation en robotique. Il se positionne explicitement contre les méthodes de diffusion et de flow "state of the art" existantes, sans toutefois nommer d'acteur industriel ni annoncer de déploiement commercial : il s'agit d'une contribution de recherche, publiée en v2 après une première soumission, avec code ouvert pour reproduction par la communauté.

RechercheActu
1 source
X-ACTA : algorithme de distribution de tension du centre analytique étendu pour robots parallèles à câbles fixes et mobiles
54arXiv cs.RO 

X-ACTA : algorithme de distribution de tension du centre analytique étendu pour robots parallèles à câbles fixes et mobiles

Les robots parallèles à câbles (Cable-Driven Parallel Robots, CDPR) utilisent plusieurs câbles tendus pour déplacer une plateforme mobile, une architecture prisée pour les grandes portées et les charges lourdes, du levage industriel à l'assistance médicale. Leur fonctionnement reste toutefois contraint à un espace de travail dit "faisable en efforts" (Wrench-Feasible Workspace, WFW), une zone où les tensions de câbles peuvent équilibrer les forces externes sans jamais devenir négatives. Un article publié sur arXiv (identifiant 2607.08265) propose une méthode baptisée X-ACTA (eXtended Analytic Center Tension distribution Algorithm), conçue pour piloter ces robots au-delà de ce WFW, notamment lors de manœuvres agressives ou après la rupture d'un câble. La méthode étend l'approche dite du "centre analytique" en conservant des profils de tension continus et différentiables, une convergence rapide vers une solution unique compatible avec un usage temps réel, et des contraintes non linéaires prises en compte nativement. Contrairement aux formulations existantes basées sur le relâchement de câbles ("slack-based"), elle limite les erreurs de torseur (wrench) à une zone marginale du WFW. Les auteurs valident la supériorité de leur méthode en douceur des trajectoires et en précision d'effort via une dominance de Pareto face à l'état de l'art, complétée par des expériences numériques. Cette avancée touche un point aveugle connu des CDPR : la plupart des algorithmes de calcul de tensions fonctionnent bien à l'intérieur du WFW, mais deviennent instables ou imprécis dès qu'un robot en sort, que ce soit volontairement pour étendre sa portée opérationnelle ou accidentellement après une défaillance matérielle. Pour les intégrateurs industriels qui déploient des CDPR fixes ou mobiles dans des environnements exigeants, comme les grands entrepôts, les chantiers ou les applications de levage, disposer d'un contrôleur capable de gérer une perte de câble sans à-coups ni divergence numérique est un enjeu direct de sécurité et de continuité opérationnelle. La différentiabilité garantie par X-ACTA facilite aussi son intégration dans des boucles de commande plus larges, un critère souvent négligé par les méthodes purement géométriques. Le calcul de la distribution des tensions dans les CDPR est un sujet mature en robotique, mais la littérature s'est historiquement concentrée sur l'optimisation à l'intérieur du WFW plutôt que sur la robustesse aux sorties de cet espace. X-ACTA s'inscrit dans une lignée de travaux cherchant à combler ce manque, en se positionnant explicitement contre les méthodes "slack-based" dominantes. L'article, encore au stade de preprint, ouvre la voie à des implémentations sur robots à câbles mobiles et fixes, sans toutefois préciser à ce stade de partenaire industriel ou de calendrier de transfert vers un produit commercial.

RecherchePaper
1 source
Time-to-collision : évitement dynamique d'obstacles pour robots en environnements non structurés via modèles de vision préentraînés
55arXiv cs.RO 

Time-to-collision : évitement dynamique d'obstacles pour robots en environnements non structurés via modèles de vision préentraînés

Voici l'article traduit et résumé : Une équipe de recherche présente une méthode d'évitement d'obstacles dynamiques pour robots mobiles autonomes évoluant en extérieur, dans des environnements non structurés, publiée sur arXiv (arXiv:2607.07885v1). Contrairement aux approches classiques qui nécessitent un entraînement massif spécifique au robot ou des politiques apprises en simulation, cette méthode fonctionne entièrement sur données réelles et évite le problème de transfert simulation-vers-réel. Le pipeline s'appuie sur UniDepth, un modèle pré-entraîné d'estimation de profondeur monoculaire, pour générer des cartes de profondeur denses à partir d'une simple caméra RGB, sans besoin de stéréovision ni de LiDAR au moment de l'inférence. Le système étend le pipeline de correspondance de points-clés SuperPoint et SuperGlue pour suivre des points caractéristiques sur de longues séquences d'images, les projeter en 3D via les intrinsèques caméra et la profondeur estimée, puis calculer un ajustement de faisceaux et un temps avant collision (TTC) par point-clé. Une primitive de mouvement 2D dans le plan au sol permet ensuite d'éloigner le robot du point de rapprochement minimal. Testée sur le jeu de données réel M3ED, la méthode atteint une précision de 0,49 et un rappel de 0,38 pour détecter les images avec un TTC réel inférieur à une seconde, et génère la bonne direction d'évitement dans 84% des détections correctes. Elle détecte au moins une image à risque pour 20 des 22 obstacles physiques uniques testés. L'intérêt principal tient à l'efficacité en données: seulement 74 secondes de données ont suffi pour le réglage des hyperparamètres, contre des milliers d'heures habituellement nécessaires aux méthodes end-to-end apprises. Pour les intégrateurs et décideurs en robotique mobile, cela ouvre une voie de déploiement rapide sans les coûts d'entraînement massif ni les risques de décalage sim-to-real, un problème persistant qui limite la fiabilité des politiques apprises en simulation lors du transfert vers le monde réel. Les chiffres de précision et rappel restent toutefois modestes (0,49 et 0,38), signe que la méthode n'est pas encore prête pour un déploiement critique sans garde-fous supplémentaires, mais la comparabilité et l'interprétabilité de l'approche par rapport aux boîtes noires apprises constituent un argument de poids pour la robotique de sécurité. Cette approche s'inscrit dans une tendance plus large de réutilisation de modèles de vision pré-entraînés à grande échelle (comme UniDepth, SuperPoint, SuperGlue) pour construire des briques robotiques sans réentraînement spécifique, une alternative aux politiques VLA ou aux pipelines de bout en bout qui dominent actuellement la recherche en navigation autonome. Elle se positionne face aux méthodes de simulation-vers-réel largement utilisées chez les acteurs de la robotique mobile et de la navigation extérieure, en misant sur l'interprétabilité plutôt que sur la performance brute. Les auteurs évoquent des perspectives d'amélioration de la précision et du rappel, ainsi qu'une validation plus large sur davantage de types d'obstacles et de conditions environnementales.

RecherchePaper
1 source
Harness VLA : orienter les VLA figés vers des primitives de manipulation fiables via des agents guidés par la mémoire
56arXiv cs.RO 

Harness VLA : orienter les VLA figés vers des primitives de manipulation fiables via des agents guidés par la mémoire

Des chercheurs présentent Harness VLA, un framework agentique décrit dans un article publié le 10 juillet 2026 sur arXiv (2607.08448v1), qui vise à rendre les modèles Vision-Language-Action (VLA) plus fiables sans réentraînement. Le système transforme un VLA figé en une primitive de manipulation "contact-rich" réessayable, orchestrée par un agent doté de mémoire et couplée à une bibliothèque fixe de primitives analytiques couvrant le grounding, le staging, le transport, la navigation et le relâchement d'objet. Plutôt que d'élargir le répertoire de compétences du robot, le harness apprend la plage de fonctionnement de ces primitives à partir de traces d'exécution spécifiques à la tâche, de règles de succès globales et de modèles d'échec. Testé sur trois bancs d'essai simulés perturbés (manipulation de table, cuisine domestique, et manipulation bimanuelle avec transfert propre-vers-aléatoire), le système améliore les performances de 38,6 points de pourcentage sur LIBERO-Pro et de 25,4 points sur RoboCasa365 par rapport aux meilleures baselines existantes, et atteint 58,4% de réussite sur RoboTwin C2R. Ce travail s'attaque à un problème central dans le déploiement des VLA end-to-end : entraînés sur des trajectoires en distribution, ces modèles s'effondrent souvent dès que le contexte de déploiement s'écarte du jeu d'entraînement, que ce soit par un changement sémantique de la tâche, un repositionnement spatial des objets ou une instabilité de contact locale. Les agents LLM apportent un raisonnement compositionnel complémentaire, mais échouent typiquement sur les phases de préhension irrégulière, de placement contraint ou d'interaction avec des objets articulés, précisément là où les VLA excellent. En confiant au planificateur le re-ancrage sémantique et l'exécution non contactuelle, et en réservant le VLA figé aux phases de contact fin, Harness VLA prolonge la distribution effective des compétences d'un modèle pré-entraîné sans le retoucher. Pour les intégrateurs et les équipes de recherche en robotique, l'intérêt est double : cela réduit le coût de réentraînement à chaque nouvel environnement et adresse directement l'écart entre démonstrations contrôlées et robustesse en conditions perturbées, un point sensible depuis que la plupart des annonces commerciales de robots humanoïdes s'appuient sur des vidéos filtrées. Le papier s'inscrit dans la lignée des travaux récents combinant modèles VLA (Pi-0, GR00T N2, Helix, ou les architectures propriétaires de Figure et Tesla Optimus) avec des couches de planification symbolique, une tendance qui s'accélère à mesure que les limites du end-to-end pur en dehors du laboratoire deviennent visibles. Contrairement à des approches qui étendent le répertoire de compétences via de nouvelles données ou du finetuning, Harness VLA mise sur l'orchestration et la mémoire d'exécution pour exploiter au mieux un modèle existant, une direction qui pourrait intéresser les acteurs cherchant à déployer des VLA génériques sur du matériel varié sans long cycle de réentraînement. Les résultats restent pour l'instant limités à des bancs d'essai simulés (LIBERO-Pro, RoboCasa365, RoboTwin C2R) ; aucun déploiement sur robot physique n'est mentionné dans l'abstract, ce qui invite à la prudence avant d'extrapoler ces gains à des conditions réelles d'usine ou de foyer.

RechercheActu
1 source
Politique de non-fabrication : je ne dois pas inventer de traduction pour un titre d'article sans contexte vérifiable au-delà de ce qui est donné, mais ici la tâche est simplement de traduire le titre fourni, donc je peux procéder
57arXiv cs.RO 

Politique de non-fabrication : je ne dois pas inventer de traduction pour un titre d'article sans contexte vérifiable au-delà de ce qui est donné, mais ici la tâche est simplement de traduire le titre fourni, donc je peux procéder

Des chercheurs publient sur arXiv (2607.08283) une nouvelle architecture baptisée TFP (Temporally Conditioned Memory-Fusion Policies), conçue pour améliorer les politiques vision-langage-action (VLA) comme π0.5 ou OpenVLA, aujourd'hui limitées par leur caractère réactif : l'action suivante est prédite uniquement à partir de l'observation courante, sans mémoire de la progression de la tâche. TFP ajoute une croyance locale à l'épisode, mise à jour via une dynamique de type Liquid Time-Constant, injectée directement dans le décodeur d'action par flow-matching. Avec un modèle de 3,3 milliards de paramètres, le taux de succès moyen passe de 96,9% à 98,75% sur le benchmark LIBERO et de 91,4% à 93,77% sur LIBERO-plus. Sur le diagnostic MIKASA ShellGameTouch, spécifiquement conçu pour tester la mémoire, TFP atteint jusqu'à 75% de réussite. Les auteurs montrent aussi que les variations du gain d'écriture de la mémoire sont environ six fois plus fortes près des événements de manipulation (contact, relâchement, sous-objectif) que dans les phases stables. Pour l'industrie robotique, ce travail cible un angle mort connu des VLA actuels : la gestion des tâches à étapes, où deux états visuellement identiques nécessitent des actions différentes selon l'historique des interactions, par exemple lors d'occlusions temporaires ou de sous-tâches séquentielles. Un module de mémoire événementielle, plutôt qu'un simple historique passif, pourrait réduire les échecs sur des manipulations complexes en usine ou en logistique, sans nécessiter de refonte complète des backbones VLA existants. Le papier s'inscrit dans la lignée des travaux sur les politiques génératives par flow-matching, après RT-2, OpenVLA et la famille π0 de Physical Intelligence, ainsi que GR00T N2 de NVIDIA. Il s'agit ici d'une contribution de recherche académique évaluée sur des benchmarks de simulation (LIBERO, MIKASA), sans déploiement réel ni intégration annoncée sur un robot commercial. Les auteurs présentent TFP comme un module greffable sur des backbones VLA existants, une piste à confirmer sur des tâches physiques réelles plutôt qu'en simulation.

RechercheActu
1 source
FSD-VLN : modélisation duale rapide-lente pour la navigation aérienne vision-langage à long horizon
58arXiv cs.RO 

FSD-VLN : modélisation duale rapide-lente pour la navigation aérienne vision-langage à long horizon

Des chercheurs publient sur arXiv (papier 2607.08359, juillet 2026) FSD-VLN, une architecture de navigation aerienne guidee par le langage destinee aux drones (UAV) evoluant en environnement inconnu, sans dependance GPS ni trajectoire preprogrammee. Le systeme repose sur deux flux asynchrones : un flux "lent" qui extrait des priors semantiques stables a partir de modeles vision-langage pre-entraines, et un flux "rapide" fonde sur un Diffusion Transformer (DiT) qui modelise les distributions d'actions dans le temps pour generer des commandes de vol coherentes. Un optimiseur adaptatif sensible au temps a ete integre pour stabiliser l'entrainement sur de longues sequences et limiter les oscillations de gradient. En simulation a grande echelle sur des scenarios de vol a basse altitude, FSD-VLN atteint un taux de reussite de navigation jusqu'a deux fois superieur aux methodes de reference sur des scenes inedites, tout en reduisant de plus de 50% le delai d'inference par action et la duree totale des taches. L'enjeu technique vise juste : les systemes de navigation aerienne par langage souffrent generalement d'un desalignement entre comprehension multimodale globale et generation d'actions sequentielles, ce qui produit des trajectoires saccadees et une latence de decision penalisante sur les missions longues. En decouplant explicitement raisonnement semantique et generation de commandes bas niveau, FSD-VLN reprend une logique "systeme rapide / systeme lent" deja explorée cote robotique humanoide (Pi-0, GR00T N2, Helix) et l'applique au vol de drone, un domaine ou la contrainte de latence est encore plus stricte qu'au sol. Pour les integrateurs de drones industriels (inspection, logistique, surveillance), c'est une piste credible pour rendre la navigation instructable en langage naturel viable sur des taches longues, meme si les gains annonces restent, a ce stade, mesures uniquement en simulation. La navigation vision-langage (VLN) s'est imposee ces dernieres annees comme alternative aux systemes GPS-dependants, en promettant une interaction homme-machine plus intuitive et une meilleure adaptabilite environnementale, au prix d'une charge de calcul et de coordination bien plus lourde qu'un pilotage classique. FSD-VLN s'inscrit dans une lignee de travaux cherchant a resoudre ce compromis vitesse/comprehension, deja au cœur des debats sur les modeles VLA en robotique generale. Les auteurs presentent leurs resultats comme un "paradigme pratique" plutot qu'un systeme deploye : la prochaine etape logique, non couverte par cette publication, sera la validation en conditions de vol reelles, seule capable de confirmer si les gains constates en simulation resistent au bruit sensoriel et aux perturbations physiques du monde reel.

RechercheActu
1 source
Collaboration entre agents pour le diagnostic d'anomalies en robotique sous-marine
59arXiv cs.RO 

Collaboration entre agents pour le diagnostic d'anomalies en robotique sous-marine

Un article de recherche mis à jour sur arXiv (identifiant 2511.03075, version 2) présente AURA, pour Autonomous Resilience Agent, un framework de diagnostic d'anomalies et de pannes destiné à la robotique sous-marine. Le système combine deux agents distincts : un agent de bas niveau, chargé de la caractérisation d'état, qui surveille en continu la télémétrie du robot et traduit les signaux bruts en une description structurée du problème en langage naturel ; et un agent de raisonnement diagnostique de haut niveau, qui mène un dialogue guidé par des connaissances externes avec un opérateur humain pour identifier la cause racine d'une anomalie. L'ensemble s'appuie sur un jumeau numérique haute fidélité et sur de grands modèles de langage (LLM), avec une boucle homme-dans-la-boucle explicite. Une fois qu'un diagnostic est validé par un opérateur, il est reconverti en exemple d'entraînement pour affiner le modèle perceptif de bas niveau. Les auteurs ne publient pas de résultats chiffrés de déploiement dans le résumé ; il s'agit d'une contribution de recherche décrivant l'architecture et une implémentation de référence, pas d'un produit commercialisé. L'intérêt principal de ce travail tient au terrain qu'il cible : les véhicules sous-marins autonomes évoluent dans des environnements où la connectivité est intermittente et où une panne non anticipée peut être coûteuse, voire dangereuse, ce qui rend l'automatisation intégrale du diagnostic risquée sans supervision humaine. En positionnant explicitement l'IA comme partenaire évolutif plutôt qu'outil figé, AURA répond à une critique répandue envers les systèmes autonomes classés comme boîtes noires, en gardant l'humain dans la boucle de validation tout en capitalisant sur chaque cas traité pour améliorer le modèle. Pour les intégrateurs de robotique sous-marine et les opérateurs de flottes d'AUV, ce type d'architecture ouvre la voie à une maintenance prédictive plus fiable, sans sacrifier la traçabilité des décisions critiques. Le papier s'inscrit dans la tendance plus large des architectures agentiques bâties sur des LLM couplés à des jumeaux numériques pour la robotique de terrain, un axe de recherche actif depuis l'essor des modèles de raisonnement conversationnel. Aucun acteur industriel ni concurrent n'est cité dans le résumé, ce qui confirme la nature académique de la publication ; les suites logiques attendues seraient une validation expérimentale sur des plateformes sous-marines réelles et une comparaison avec des approches de diagnostic purement automatisées.

RecherchePaper
1 source
New flapping robot nage et vole comme un oiseau plongeur
60MIT News Robotics 

New flapping robot nage et vole comme un oiseau plongeur

Une équipe du MIT et de l'EPFL à Lausanne a mis au point un robot volant capable de plonger dans l'eau puis de reprendre son envol, imitant les oiseaux plongeurs comme les macareux, les huarts ou les puffins. Baptisé FAAV (flapping-wing aerial-aquatic vehicle), l'engin pèse moins de 300 grammes et se compose d'un fuselage central, de deux ailes battantes flexibles et d'une queue orientable, ces éléments pouvant être remplacés par différentes tailles selon les besoins. Les essais ont été menés dans un bassin puis sur un lac, où les chercheurs ont identifié les combinaisons de taille d'ailes, de fréquence de battement et d'angle de queue permettant une transition fluide entre la nage sous-marine, le franchissement de la surface et le vol aérien. Les résultats, publiés le 9 juillet 2026 dans la revue Science, s'appuient notamment sur l'observation que les petits oiseaux plongeurs battent des ailes environ 10 fois par seconde dans l'air et 4 fois par seconde sous l'eau, une fréquence légèrement inférieure chez les espèces plus grandes en raison de leur envergure. L'étude est menée par Raphael Zufferey, professeur assistant en génie mécanique au MIT et responsable de l'AURA Lab, avec des co-auteurs de l'EPFL et du Northwest Indian College à Bellingham (État de Washington). L'intérêt de ce robot dépasse la simple prouesse mécanique : il démontre qu'une plateforme robotique mobile peut reproduire la transition air-eau que seule une centaine d'espèces d'oiseaux savent exécuter dans la nature, une bascule rendue complexe par le fait que l'eau est mille fois plus dense que l'air. Pour l'océanographie et la biologie marine, cela ouvre la voie à une nouvelle catégorie de drones capables d'aller prélever des échantillons ou effectuer des mesures dans des zones difficiles d'accès pour les navires classiques (icebergs, ports, zones fréquentées par des cétacés), à un coût nettement inférieur aux méthodes actuelles. C'est aussi une validation concrète que l'approche bio-inspirée, en s'appuyant sur des données de vol réelles issues d'oiseaux plongeurs, peut se traduire en un système robotique fonctionnel et pas seulement en simulation. Le projet s'inscrit dans les travaux de l'AURA Lab du MIT, spécialisé dans les véhicules aériens et aquatiques inspirés de la biomécanique animale pour surveiller la santé des océans et des cours d'eau de façon peu intrusive. Zufferey et son équipe avaient d'abord recensé dans la littérature scientifique les données de vol de puffins, pétrels et martins-pêcheurs avant de concevoir un robot calé sur ces fréquences de battement naturelles. Les auteurs présentent ce projet comme une première étape vers des flottes de drones lancés depuis un bateau ou la côte, capables d'alterner vol et plongée pour la collecte de données environnementales, sans toutefois annoncer à ce stade de calendrier de déploiement opérationnel.

UEL'EPFL (Lausanne) est coauteur de cette recherche publiee dans Science, illustrant une contribution europeenne notable a la robotique bio-inspiree, mais aucun deploiement operationnel n'est prevu en France ou en UE a ce stade.

RecherchePaper
1 source
Robots-bateaux miniatures construisent des structures flottantes
61MIT News Robotics 

Robots-bateaux miniatures construisent des structures flottantes

Un petit robot flottant modulaire signé MIT : voici la traduction-résumé demandée. Une équipe du MIT CSAIL, dirigée par Daniela Rus et Carlo Ratti, a développé FloatForm, un essaim de petits robots-bateaux carrés capables de s'assembler seuls pour former des structures flottantes plus grandes, de se désassembler, puis de se reconfigurer selon les besoins. Chaque unité mesure 21 centimètres de côté, à peu près la taille d'une assiette, et embarque ses propres propulseurs, capteurs et loquets magnétiques pour s'accrocher à ses voisins. Les travaux, publiés en accès libre dans Nature Communications, sont menés par Wei Wang, ancien chercheur du MIT qui dirige désormais le Marine Robotics Lab de l'université du Wisconsin à Madison, avec la contribution d'Alejandro Gonzalez-Garcia et de Niklas Hagemann, doctorant en architecture au MIT. Le projet prolonge Roboat, l'initiative conjointe du MIT et de l'Amsterdam Institute for Advanced Metropolitan Solutions (AMS) qui avait mis des bateaux autonomes grandeur nature sur les canaux d'Amsterdam. L'enjeu dépasse la démonstration technique : la plupart des systèmes d'auto-assemblage robotique existants, sur l'eau comme ailleurs, dépendent d'un ordinateur central qui dicte chaque mouvement, une architecture fragile en cas de panne et qui ne passe pas à l'échelle, le calcul de planification explosant avec le nombre de robots et l'assemblage devant se faire séquentiellement pendant que la majorité de la flotte reste inactive. FloatForm inverse la logique en s'inspirant des fourmis de feu, capables de former des radeaux flottants sans chef d'orchestre, chaque insecte suivant des règles locales simples. Le système du MIT ne fait intervenir un planificateur central que de façon minimale, laissant chaque robot agir comme un agent quasi autonome. Pour l'industrie robotique et les urbanistes, l'intérêt est de rendre le front de mer programmable à la demande : un pont temporaire après une catastrophe, un marché flottant, une scène de festival qui apparaît puis disparaît, sans infrastructure fixe coûteuse. Le projet s'inscrit dans la continuité de Roboat, qui avait exploré si les canaux d'Amsterdam, autrefois voie de transport de marchandises et aujourd'hui largement dédiés au tourisme, pouvaient servir à la collecte de déchets ou au transport pour soulager la circulation routière. FloatForm miniaturise cette ambition à l'échelle d'une table pour résoudre un problème plus fondamental : comment coordonner des dizaines, puis potentiellement des milliers, de robots flottants sans supervision centralisée lourde. Les chercheurs présentent la ville comme un espace public capable de s'étendre, se contracter ou se reconfigurer sur l'eau à la demande, une piste que l'équipe du CSAIL et du Senseable City Lab entend maintenant pousser vers des essaims plus nombreux et des structures plus complexes.

RecherchePaper
1 source
GrandTour : un jeu de données de robotique à pattes en conditions réelles pour la perception multimodale et l'estimation d'état
62arXiv cs.RO 

GrandTour : un jeu de données de robotique à pattes en conditions réelles pour la perception multimodale et l'estimation d'état

Voici l'article : Des chercheurs publient GrandTour, un jeu de données massif dédié à la perception multimodale et à l'estimation d'état pour robots quadrupèdes, disponible sur grand-tour.leggedrobotics.com au format HuggingFace (indépendant de ROS) ainsi qu'en formats ROS. La plateforme utilisée est un ANYmal-D d'ANYbotics équipé de la charge utile capteurs Boxi, combinant LiDAR rotatif, plusieurs caméras RGB aux caractéristiques complémentaires, capteurs proprioceptifs et caméras de profondeur stéréo, le tout synchronisé temporellement. Les données ont été collectées sur des sites très variés : environnements alpins, forêts, bâtiments démolis et zones urbaines, couvrant une large gamme d'échelles, de conditions d'éclairage et de météo. Point clé pour la fiabilité scientifique : les trajectoires de référence (ground truth) proviennent de GNSS RTK par satellite et d'une station totale Leica Geosystems, offrant une précision de localisation bien supérieure aux méthodes d'estimation embarquées classiques. Selon les auteurs, il s'agit du plus grand jeu de données en accès libre jamais publié pour la robotique à pattes. Ce type de ressource comble un manque criant dans la recherche en robotique légère : jusqu'ici, aucun jeu de données public à grande échelle ne permettait de développer et de comparer rigoureusement des algorithmes de SLAM, d'estimation d'état et de fusion de capteurs pour des quadrupèdes évoluant en conditions réelles, hors laboratoire. Pour les équipes travaillant sur la navigation autonome de robots à pattes, en particulier dans des environnements non structurés (chantiers, sites industriels accidentés, terrains extérieurs), GrandTour offre un benchmark commun et une vérité terrain de précision géodésique, rare dans ce domaine. C'est un signal que la communauté cherche à standardiser l'évaluation des systèmes de perception embarqués, plutôt que de se fier à des démonstrations isolées difficiles à reproduire. Le projet s'inscrit dans la lignée des travaux du Robotic Systems Lab, à l'origine de la plateforme ANYmal, aujourd'hui commercialisée par ANYbotics, acteur suisse reconnu de la robotique quadrupède industrielle aux côtés de Boston Dynamics (Spot) et Unitree. La publication constitue une mise à jour (version 3) d'un article déposé sur arXiv sous la référence 2602.18164. Les auteurs annoncent la mise à disposition d'outils et de ressources de démonstration pour faciliter l'adoption du jeu de données par la communauté SLAM et apprentissage multimodal, sans toutefois préciser de calendrier pour d'éventuelles extensions futures du corpus.

UECe jeu de donnees en acces libre, issu du Robotic Systems Lab (ETH Zurich) et d'ANYbotics (Suisse), constitue une ressource directement utile aux equipes de recherche francaises et europeennes travaillant sur le SLAM et l'estimation d'etat pour robots a pattes.

RecherchePaper
1 source
Le titre traite d'un article de recherche technique, pas de robotique, je le traduis directement
63arXiv cs.RO 

Le titre traite d'un article de recherche technique, pas de robotique, je le traduis directement

Des chercheurs publient un nouveau cadre méthodologique pour évaluer la fiabilité des modèles de monde (World Models, WM) utilisés en robotique et en conduite autonome, dans un article arXiv (2607.07196) diffusé début juillet 2026. Le constat de départ : ces modèles génératifs, de plus en plus employés comme "oracles" pour tester des politiques d'action en simulant les conséquences de leurs décisions, rendent un verdict de succès ou de sécurité sans que leur propre fiabilité soit vérifiée. Les auteurs pointent une faille des métriques actuelles comme la Fréchet Video Distance (FVD), qui juge le réalisme visuel des vidéos générées mais ignore si le monde simulé réagit correctement aux actions testées, notamment celles absentes des données d'entraînement. Pour y remédier, ils proposent une "échelle d'admissibilité" en cinq niveaux (L0 à L4) que tout WM devrait franchir avant que ses verdicts en boucle fermée soient acceptés comme preuve d'assurance qualité. Le cadre, conçu pour être indépendant du type de robot, est testé sur deux modèles de monde dédiés à la conduite autonome. Le résultat le plus frappant : le modèle qui obtient le meilleur score en qualité visuelle de génération (niveau L0) se classe moins bien sur le suivi effectif des actions demandées (niveaux L1-L2). Autrement dit, la fidélité visuelle d'une simulation ne garantit pas sa robustesse à l'action, ce qui remet en cause l'usage de métriques purement esthétiques pour valider des systèmes destinés à juger des politiques de conduite ou de manipulation robotique en conditions réelles. Pour les industriels et intégrateurs qui misent sur les modèles génératifs pour accélérer les tests en sim-to-real, notamment dans le contexte des architectures VLA (vision-langage-action) où la simulation sert de banc d'essai avant déploiement physique, ce travail est un signal d'alerte méthodologique plutôt qu'une remise en cause technologique. L'approche s'appuie sur des pratiques éprouvées de la simulation critique pour la sécurité, comme la Vérification, Validation et Accréditation (VV&A), le cadre SOTIF (Safety of the Intended Functionality) et les normes de test par scénarios, déjà utilisées dans l'aéronautique et l'automobile. Les auteurs choisissent la conduite autonome comme premier terrain d'application car les méthodes d'assurance qualité pour la simulation classique y sont les plus matures, ouvrant la voie à une extension future vers d'autres domaines robotiques comme la manipulation ou l'humanoïde.

RecherchePaper
1 source
SPECTRA : primitives de mouvement spectrales conditionnées par le contexte pour la généralisation des compétences robotiques
64arXiv cs.RO 

SPECTRA : primitives de mouvement spectrales conditionnées par le contexte pour la généralisation des compétences robotiques

Des chercheurs proposent SPECTRA (Spectral Movement Primitive, SMP), un framework d'apprentissage par imitation dans le domaine fréquentiel pour la manipulation robotique, décrit dans un article publié sur arXiv (2607.06978v1). Le principe consiste à représenter les démonstrations de trajectoire par des coefficients de Fourier tronqués sur horizon fini, plutôt que par des points temporels bruts. Une bande de fréquences basses, sélectionnée empiriquement, capture la géométrie dominante du mouvement, tandis que les harmoniques plus élevées, responsables d'une croissance disproportionnée des dérivées (vitesse, accélération, jerk), sont écartées. Un modèle GMM/GMR (mélange de gaussiennes avec régression) conditionné par le contexte et sensible au référentiel prédit les coefficients de la bande de tâche dans un repère canonique ; la trajectoire cartésienne obtenue est ensuite convertie en espace articulaire via cinématique inverse séquentielle. Un régulateur couplé en phase limite la progression temporelle demandée sans toucher aux coefficients spectraux, imposant ainsi les limites de vitesse et d'accélération articulaires tout en conservant le chemin de l'effecteur. Les auteurs valident l'approche sur plusieurs critères (reconstruction de la bande de tâche, robustesse à des démonstrations corrompues, généralisation hors distribution entre repères non vus, admissibilité dynamique en espace articulaire, préservation du chemin) et un déploiement réel sur un bras Franka Panda. Le problème que cible SPECTRA est concret pour tout intégrateur en apprentissage par imitation : les pipelines classiques apprennent une trajectoire en espace de tâche puis lui imposent après coup des limites d'exécution (filtrage, lissage, écrêtage, mise à l'échelle temporelle), ce qui déforme souvent le chemin de l'effecteur jugé critique pour la tâche, par exemple lors d'un versement, d'une insertion de pièce ou du suivi d'un contour précis. En couplant génération de trajectoire et régulation dynamique dès la conception, dans le domaine fréquentiel, SPECTRA évite cette distorsion a posteriori : les résultats rapportés montrent une réduction substantielle des violations dynamiques et du jerk, tout en préservant le chemin voulu pendant la régulation de phase. Pour la robotique industrielle, où les cycles de préhension et d'insertion tolèrent mal les à-coups mécaniques, cela offre une alternative aux primitives de mouvement dynamiques (DMP) classiques et aux méthodes de lissage a posteriori. Les primitives de mouvement existent depuis les Dynamic Movement Primitives (DMP), introduites il y a une vingtaine d'années et largement utilisées en apprentissage par imitation pour encoder des trajectoires robustes et reproductibles. SPECTRA s'en démarque en travaillant dans le domaine fréquentiel plutôt que temporel, et en couplant explicitement génération de tâche et contraintes d'exécution articulaire plutôt que de les traiter séparément. Le choix du Franka Panda comme plateforme de validation, un bras collaboratif conçu par l'allemand Franka Robotics (ex Franka Emika) très utilisé en recherche académique, ancre les travaux dans l'écosystème européen de manipulation robotique. L'article ne mentionne ni calendrier de transfert industriel ni partenariat commercial : il s'agit à ce stade d'une contribution de recherche évaluée en laboratoire, dont la suite logique serait une validation sur des tâches de manipulation plus complexes et une comparaison directe avec les approches DMP existantes.

UEImpact indirect: la validation s'appuie sur un bras Franka Panda, plateforme concue par l'allemand Franka Robotics, mais aucun partenariat, financement ou deploiement commercial en France/UE n'est mentionne.

RecherchePaper
1 source
Rapide apprentissage du contrôle de robots souples via un pas de temps implicite
65arXiv cs.RO 

Rapide apprentissage du contrôle de robots souples via un pas de temps implicite

Des chercheurs démontrent qu'un apprentissage rapide de politiques de contrôle pour robots souples est possible grâce au pas de temps implicite, une avancée jusqu'ici jugée hors de portée en raison du coût de calcul de la simulation de mécanique des milieux continus. Leur simulateur, DisMech, est un moteur généraliste entièrement implicite capable de gérer à la fois la dynamique des corps souples et les contacts frictionnels. L'équipe introduit aussi le contrôle par delta de courbure naturelle, une méthode analogue au contrôle delta de position articulaire des manipulateurs rigides, offrant un moyen intuitif d'appliquer des commandes lors de l'apprentissage. Testée sur quatre tâches de manipulation souple et comparée à Elastica, l'un des frameworks de simulation souple les plus répandus, l'approche atteint jusqu'à 6 fois la vitesse d'exécution sur les scénarios sans contact et jusqu'à 40 fois sur les scénarios riches en contact, avec 500 environnements simulés en parallèle. Une évaluation de l'écart sim à sim, entraînement dans un simulateur puis test dans un autre, confirme que ces gains de vitesse ne sacrifient pas la précision. Cette avancée s'attaque à un verrou connu du secteur : la simulation de corps rigides a permis l'essor massif de l'apprentissage par renforcement pour les robots articulés classiques, mais la robotique souple est restée à la traîne faute d'outils accessibles et rapides. Pour les chercheurs et industriels développant des préhenseurs souples, des trompes robotiques ou des manipulateurs continus destinés à la manutention délicate, ce travail suggère que l'apprentissage de politiques par simulation, longtemps réservé aux morphologies rigides, devient enfin praticable pour les morphologies déformables. Cela pourrait accélérer le transfert de techniques d'apprentissage de bout en bout vers des applications comme la préhension d'objets fragiles ou la chirurgie assistée, où la rigidité mécanique classique est un handicap. Le fossé entre simulateurs rigides matures et frameworks souples rudimentaires explique en partie le retard de la robotique douce sur l'apprentissage par simulation, un constat que ce travail cherche à combler en misant sur un solveur implicite plutôt que sur des approches explicites plus lentes comme Elastica. L'article, publié sur arXiv en version révisée (arXiv:2511.06667v2), s'inscrit dans une dynamique de recherche visant à doter la robotique souple d'outils logiciels aussi matures que ceux dont bénéficie la robotique rigide depuis des années, ouvrant la voie à de futurs benchmarks entre frameworks concurrents.

RecherchePaper
1 source
Communication efficace du mouvement du cou d'un robot : axe unique vs multi-axes
66arXiv cs.RO 

Communication efficace du mouvement du cou d'un robot : axe unique vs multi-axes

Un consortium de chercheurs en robotique publie sur arXiv (arXiv:2607.07390v1) un cadre théorique inédit pour mesurer l'efficacité communicative des mouvements de cou robotiques. L'équipe a utilisé une plateforme de cou robotique dotée de trois degrés de liberté (DoF) en rotation et a enregistré 84 stimuli vidéo en faisant varier l'amplitude, l'accélération et la fréquence des mouvements sur un, deux ou trois axes simultanément. Pour chaque configuration, les chercheurs ont calculé l'entropie de Shannon des signaux de changement de pixels, une mesure de l'information transmise visuellement, tout en mesurant la consommation énergétique associée. Une étude perceptive complémentaire a permis de valider comment des observateurs humains interprètent ces gestes. Résultat central: l'information communicative culmine à deux DoF actifs puis chute au troisième, alors même que la dépense énergétique continue d'augmenter, un phénomène que les auteurs baptisent le goulot d'étranglement informationnel morphologique. Cette découverte contredit une hypothèse répandue dans la conception des robots humanoïdes, selon laquelle multiplier les degrés de liberté du cou améliorerait automatiquement l'expressivité. Pour les ingénieurs et intégrateurs qui conçoivent des interfaces homme-robot, cela signifie qu'ajouter un troisième axe de rotation n'apporte aucun bénéfice communicatif, gaspille de l'énergie et, pire, brouille la lisibilité du geste selon les données perceptives collectées auprès des participants humains. Les auteurs proposent un nouvel outil, le Motor Information Space, qui met en regard entropie et énergie pour comparer différentes morphologies de cou robotique. Dans ce cadre, la configuration optimale identifiée atteint 5,26 bits d'information pour un coût énergétique jugé compétitif. Ce travail s'inscrit dans un champ de recherche plus large sur la communication non verbale des robots sociaux, où le mouvement de tête et de cou joue un rôle clé dans la signalisation d'intentions ou d'émotions chez l'humain. En établissant une base quantitative pour arbitrer entre complexité mécanique et clarté du signal, l'étude fournit aux concepteurs de robots humanoïdes un critère chiffré pour orienter le choix du nombre d'axes motorisés au niveau du cou, plutôt que de calquer par défaut l'anatomie humaine ou de multiplier les DoF par souci de réalisme.

RecherchePaper
1 source
RoboLight : un jeu de données à éclairage linéairement composable pour la manipulation robotique
67arXiv cs.RO 

RoboLight : un jeu de données à éclairage linéairement composable pour la manipulation robotique

Voici l'article traduit et résumé. RoboLight, présenté dans un article arXiv, est le premier jeu de données de manipulation robotique capturant des épisodes synchronisés sous des conditions d'éclairage systématiquement variées. Il comprend deux volets : RoboLight-Real, avec 2 800 épisodes réels collectés sur un dispositif calibré baptisé Light Cube, équipé de huit lampes LED RGB programmables et faisant varier trois dimensions indépendantes (couleur, direction, intensité), chaque dimension étant associée à une tâche dédiée impliquant des objets de géométries et matériaux différents pour créer des défis perceptifs ; et RoboLight-Synthetic, qui compte 196 000 épisodes générés par interpolation dans l'espace image HDR de RoboLight-Real, un volume potentiellement extensible à volonté en affinant la granularité d'interpolation. Toutes les images sont enregistrées au format HDR pour préserver la précision radiométrique. Les auteurs valident la qualité du jeu de données via une analyse qualitative et des déploiements de politiques en conditions réelles, en étudiant la difficulté des tâches, la diversité de distribution et l'efficacité des données synthétisées, avec trois cas d'usage représentatifs à l'appui. Pour l'industrie robotique, ce jeu de données cible un angle mort persistant des modèles vision-langage-action (VLA) et des politiques de manipulation apprises : leur fragilité face aux variations d'éclairage, un facteur rarement isolé et contrôlé dans les données d'entraînement existantes. En permettant de faire varier couleur, direction et intensité lumineuse de façon indépendante et reproductible, RoboLight offre un banc d'essai pour mesurer la robustesse réelle des politiques de perception, une question centrale pour tout déploiement industriel où l'éclairage n'est jamais parfaitement contrôlé, entrepôt, ligne de production, environnement extérieur. L'approche par interpolation HDR pour générer des données synthétiques à moindre coût illustre aussi une piste concrète pour réduire la dépendance à la collecte réelle, un goulot d'étranglement connu pour l'entraînement des modèles de manipulation à grande échelle. Le projet s'inscrit dans la lignée des efforts récents visant à combler l'écart entre démonstrations en laboratoire et robustesse en conditions réelles, un problème régulièrement pointé du doigt concernant les modèles VLA générique (dans la veine de Pi-0 ou GR00T N2). Contrairement à des jeux de données généralistes, RoboLight isole spécifiquement la variable lumineuse via un montage matériel dédié, ce qui le distingue des benchmarks existants qui ne contrôlent pas systématiquement ce paramètre. Les auteurs annoncent la publication en open source du jeu de données complet, ainsi que des conceptions logicielle et matérielle du système Light Cube, ce qui laisse présager une adoption possible comme outil de benchmark standard par la communauté robotique si la promesse de reproductibilité est tenue.

RecherchePaper
1 source
Recherche technique d'ABot-C0 sur les comportements fondamentaux pour robots quadrupèdes
68arXiv cs.RO 

Recherche technique d'ABot-C0 sur les comportements fondamentaux pour robots quadrupèdes

ABot-C0, présenté dans un rapport technique publié sur arXiv (2607.07370), est un système généraliste de contrôle de mouvement pour robots quadrupèdes reposant sur trois piliers complémentaires. Les chercheurs ont d'abord construit une pyramide de données combinant génération vidéo conditionnelle, capture de mouvement annotée, téléopération et conception manuelle, pour produire 16 074 séquences de mouvement physiquement réalisables. Sur cette base, ils ont entraîné une politique généraliste par flow-matching qui, selon les auteurs, démontre pour la première fois une loi d'échelle pour le suivi de mouvement chez les quadrupèdes: les performances s'améliorent de façon constante avec l'augmentation des données d'entraînement, avec une capacité à suivre des mouvements inédits sans exemples spécifiques (zero-shot). Pour la locomotion sur tout-terrain, l'équipe a développé un cadre en trois étapes passant d'un contrôle privilégié à un contrôle perceptif, appuyé sur une mémoire temporelle LiDAR et une supervision prédictive du terrain. Le système a été testé en navigation autonome sur terrain urbain et en interaction multimodale de type compagnon. L'enjeu dépasse la simple démonstration technique. Contrairement aux robots humanoïdes, qui bénéficient de vastes corpus de capture de mouvement humain et d'un paradigme de motion-tracking déjà mature, les quadrupèdes souffrent d'un manque criant de données animales exploitables, et le transfert d'un squelette à un autre reste fragile. En traitant ce problème par la synthèse vidéo et une politique d'apprentissage unifiée, ce travail cherche à combler l'écart entre les deux familles de robots. La revendication centrale, faire passer les quadrupèdes de démonstrations mono-fonction à une intelligence comportementale de niveau produit, doit toutefois être lue comme une affirmation d'auteurs de papier de recherche, non comme un déploiement commercial vérifié: les expériences relatées restent des tests en conditions contrôlées ou semi-contrôlées, pas des mises en service industrielles à grande échelle. Ce travail s'inscrit dans une dynamique plus large où l'apprentissage de bout en bout par grands modèles de mouvement, déjà éprouvé sur les humanoïdes commerciaux, cherche à s'étendre aux plateformes quadrupèdes utilisées en inspection, sécurité ou logistique, un segment où des acteurs comme Unitree, ANYbotics ou Boston Dynamics dominent aujourd'hui avec des commandes plus classiques. En s'appuyant sur des données synthétiques plutôt que sur la capture animale, coûteuse et rare, les auteurs ouvrent une piste pour industrialiser l'entraînement de ces robots. Aucune date de déploiement commercial ni partenaire industriel n'est mentionnée dans ce rapport, qui reste à ce stade une contribution académique destinée à être suivie par d'autres itérations.

RecherchePaper
1 source
Robotique sociale : projection multimodale de l'activité vocale pour la gestion des tours de parole avec des encodeurs préentraînés liés à l'activité vocale
69arXiv cs.RO 

Robotique sociale : projection multimodale de l'activité vocale pour la gestion des tours de parole avec des encodeurs préentraînés liés à l'activité vocale

Les chercheurs à l'origine de ce travail présentent MM-VAP (Multimodal Voice Activity Projection), un système de prédiction des tours de parole conçu pour les robots sociaux impliqués dans des interactions humain-humain, en particulier en contexte de médiation. Contrairement à l'approche VAP originale qui ne traite que l'audio, MM-VAP synchronise les flux audio et visuel tout en conservant l'objectif d'apprentissage auto-supervisé de projection future. Le système s'appuie sur des architectures audio-visuelles pré-entraînées, initialement conçues pour des tâches liées à la parole, adaptées au problème du tour de parole via la technique LoRA (Low-Rank Adaptation), qui permet un fine-tuning léger sans réentraîner l'intégralité des poids. Après un encodage indépendant de chaque locuteur, une couche d'attention inter-locuteurs modélise les dynamiques relationnelles nécessaires pour anticiper l'activité vocale future, complétée par une fonction de perte de cohérence sémantique régularisant un espace de sortie à 256 états selon des patterns de dialogue de plus haut niveau. Les tests ont été menés sur les corpus NoXi et NoXi+J, avec une évaluation complémentaire sur le corpus Haru EDR. Ce travail s'inscrit dans un enjeu clé pour les robots conversationnels et sociaux : anticiper la dynamique d'une conversation plutôt que réagir mécaniquement aux silences, ce qui reste un point faible des systèmes de dialogue actuels. Pour les concepteurs de robots de médiation ou d'assistance sociale (accueil, animation de réunion, robots compagnons), une meilleure prédiction des tours de parole se traduit directement par des interactions moins mécaniques et plus naturelles. Les résultats montrent des améliorations par rapport aux références existantes, notamment sur certains types spécifiques d'événements de tour de parole, ce qui suggère que l'ajout de la modalité visuelle apporte un signal réellement exploitable, au-delà du simple audio, pour ce type de tâche. Le champ du "turn-taking" prédictif s'appuie historiquement sur des modèles purement acoustiques, le cadre VAP servant de référence. Cette extension multimodale s'inscrit dans une tendance plus large de l'interaction humain-robot consistant à combiner plusieurs canaux sensoriels pour améliorer la robustesse des modèles conversationnels, avec le corpus Haru comme banc d'essai orienté robotique de médiation, ouvrant la voie à des évaluations sur des plateformes robotiques réelles au-delà des corpus d'interaction humain-humain enregistrés.

RecherchePaper
1 source
Robots miniatures modulaires : des graphes de synchronisation programmables pour plus d'adaptabilité et de tolérance aux pannes
70arXiv cs.RO 

Robots miniatures modulaires : des graphes de synchronisation programmables pour plus d'adaptabilité et de tolérance aux pannes

Des chercheurs publient sur arXiv (arXiv:2607.07281v1) un nouveau cadre appelé "programmable synchronization graphs" pour coordonner des essaims de robots miniatures modulaires, chaque module associant un actionneur et un capteur. Le principe : représenter chaque paire actionneur-capteur comme un nœud de réseau, et encoder la coordination locomotrice via un couplage de graphe plutôt que via un leader central ou un gabarit de démarche fixe. Des liens fixes à l'intérieur de sous-groupes synchronisent des groupes hétérogènes d'actionneurs, tandis qu'un petit nombre de liens signés entre sous-groupes programme les relations de phase. Sur des collectifs physiques allant jusqu'à neuf modules, les chercheurs montrent l'émergence de la synchronisation, un contrôle du déphasage entre mouvement en phase et en opposition de phase, et des allures de type galop ou trot sur un assemblage de cinq modules au sol. Remplacer un couplage dense (tous les modules connectés entre eux) par des topologies creuses "d-régulières" préserve la synchronisation tout en réduisant la charge de communication. Un algorithme d'apprentissage par sélection de liens (upper-confidence-bound) permet en outre au système d'apprendre en ligne les connexions nécessaires pour atteindre un état de phase cible. L'intérêt pratique tient surtout à la tolérance aux pannes : plus le degré du graphe de couplage est élevé, plus le système supporte de désactivations de modules avant de perdre la synchronisation. Sur un test de désactivation, ce contrôleur distribué évite le mode de défaillance typique du contrôle centralisé leader-suiveur, où la perte du module leader fait s'effondrer toute la coordination, et réduit l'erreur de phase dans le pire cas d'un facteur d'environ trois. Pour l'industrie des robots modulaires et essaims miniatures, c'est une piste concrète pour des systèmes robustes sans point de défaillance unique, un enjeu classique en robotique en essaim et en inspection dans des environnements confinés. Ce travail s'inscrit dans une problématique ancienne de la robotique modulaire : comment coordonner de nombreux modules imparfaits, à calcul et communication limités, sans dépendre d'une hiérarchie rigide. Les approches concurrentes reposent typiquement sur des architectures leader-suiveur ou des gabarits de démarche prédéfinis, moins robustes à la perte d'unités. Le papier ne précise pas de calendrier de déploiement industriel ; il s'agit à ce stade d'une démonstration en laboratoire sur des collectifs à petite échelle (jusqu'à neuf modules), dont la généralisation à des essaims plus grands reste à établir.

RecherchePaper
1 source
IA incarnée, HumAIN : la navigation sociale implicite du robot conscient des humains
71arXiv cs.RO 

IA incarnée, HumAIN : la navigation sociale implicite du robot conscient des humains

Des chercheurs présentent HumAIN (Human-Aware Implicit Social Robot Navigation), un nouveau framework publié sur arXiv (arXiv:2607.07357v1) qui vise à rendre la navigation des robots sociaux plus sensible aux comportements humains. Le système repose sur un modèle enseignant de type transformer qui fusionne plusieurs sources de données : images historiques, points clés du squelette humain (keypoints), état du robot et objectif de destination, afin d'apprendre des représentations robustes pour planifier la trajectoire future du robot. Cette connaissance est ensuite distillée dans un modèle élève beaucoup plus léger, optimisé conjointement pour reconstruire la trajectoire et aligner ses caractéristiques latentes sur celles de l'enseignant, ce qui permet un déploiement en temps réel. Lors des tests, HumAIN améliore les métriques de prédiction de trajectoire de 29,8% en moyenne sur l'ensemble des métriques évaluées, par rapport aux meilleures méthodes existantes. L'enjeu principal de ces travaux est de combler l'écart entre prédiction et planification, un problème récurrent dans la navigation robotique en environnement humain : beaucoup de systèmes prédisent bien le mouvement des piétons mais peinent à traduire cette prédiction en trajectoire exploitable en temps réel, surtout sur du matériel aux ressources limitées. En s'appuyant sur des indices sociaux implicites, comme la démarche ou l'orientation du corps, plutôt que sur des règles explicites ou des modèles de forces sociales classiques, cette approche pourrait rendre les robots mobiles (AMR, robots de service, plateformes embarquées) plus fluides et prévisibles dans des espaces partagés avec des humains, un facteur clé pour l'acceptabilité et la sécurité de ces systèmes en usage réel, notamment en logistique ou en environnement industriel où humains et robots cohabitent. Ce travail s'inscrit dans la lignée des recherches sur la navigation sociale des robots, un domaine qui cherche depuis plusieurs années à dépasser les modèles purement géométriques d'évitement d'obstacles pour intégrer une compréhension plus fine du comportement humain. La technique de distillation de connaissances, empruntée à l'apprentissage profond, est ici appliquée pour rendre exploitables sur des plateformes à ressources contraintes des représentations normalement coûteuses à calculer. Les auteurs positionnent HumAIN par rapport à des méthodes de l'état de l'art en prédiction de trajectoire, et les prochaines étapes attendues porteraient sur une validation au-delà de la simulation, sur des robots physiques en conditions réelles.

RecherchePaper
1 source
Multi-agent : contrôle robotique par modèles vision-langage embarqués
72arXiv cs.RO 

Multi-agent : contrôle robotique par modèles vision-langage embarqués

Une équipe de recherche présente, dans un article publié sur arXiv (arXiv:2607.07403v1), une architecture multi-agents (MAS) pour le contrôle robotique conçue pour fonctionner entièrement en local, sans dépendre d'une infrastructure de calcul externe. Le système pilote un manipulateur mobile autonome polyvalent dans un entrepôt industriel simulé, où il exécute cinq catégories de tâches : inspection de sécurité, maintenance de l'entrepôt, recherche d'objets, vérification de la qualité des colis, et réponse aux demandes humaines. L'architecture s'appuie sur des modèles vision-langage (VLM) compacts, entre 3 et 20 milliards de paramètres, avec un fine-tuning appliqué spécifiquement pour améliorer la précision de l'inspection des colis. Un agent d'orchestration baptisé "Megamind" a été conçu pour limiter les pertes de contexte que subissent les petits modèles sur des tâches de planification à long horizon. Le système a été validé en configuration hardware-in-the-loop, sur un mini PC AMD Ryzen AI, combinant simulation et matériel embarqué réel. Ce travail s'attaque à trois limites récurrentes des VLM et des modèles vision-langage-action (VLA) appliqués à la robotique : l'explicabilité, la généralisation et les besoins en calcul. En s'appuyant sur des modèles compacts exécutés localement plutôt que sur des VLA massifs hébergés dans le cloud, l'approche promet une réduction des coûts d'infrastructure et une latence moindre, deux critères déterminants pour les intégrateurs industriels qui veulent déployer des robots autonomes sans dépendre d'une connectivité permanente. Les auteurs présentent leurs résultats comme une preuve qu'une architecture multi-agents entièrement embarquée constitue une alternative viable et économique aux déploiements dépendants du cloud, avec un potentiel de transfert vers le réel. Ces résultats restent toutefois obtenus en environnement simulé ; le passage à un robot physique en conditions réelles d'entrepôt demeure l'étape déterminante pour confirmer la promesse. L'essor de VLA comme Pi-0, GR00T N2 ou Helix a mis en évidence la dépendance de nombreux systèmes robotiques à des clusters de calcul distants, un frein pour les déploiements industriels à grande échelle. En misant sur des modèles plus petits orchestrés collectivement plutôt que sur un modèle monolithique unique, cette recherche se distingue des approches dominantes centrées sur des VLA de grande taille. Les chercheurs ont publié l'environnement de simulation en open source sous licence Apache 2.0, ouvrant la voie à des extensions et comparaisons par la communauté robotique. Les prochaines étapes attendues concernent la validation sur robot physique en entrepôt réel ainsi que l'élargissement des catégories de tâches couvertes par le système.

RecherchePaper
1 source
SPEAR : un simulateur d'IA incarnée photoréaliste pour la recherche
73arXiv cs.RO 

SPEAR : un simulateur d'IA incarnée photoréaliste pour la recherche

Voici l'article en français, sans titres ni séparateurs : Une équipe de recherche présente SPEAR (Simulator for Photorealistic Embodied AI Research), un nouveau simulateur conçu pour entraîner des agents incarnés (embodied agents) et générer des données visuelles synthétiques photoréalistes. Publié sur arXiv début juillet 2026, SPEAR se présente comme une bibliothèque Python capable de se connecter à n'importe quelle application Unreal Engine (UE) et de la piloter via une architecture de plugins modulaires. Elle expose plus de 14 000 fonctions UE uniques à Python, soit un gain d'un ordre de grandeur en fonctionnalités programmables par rapport aux simulateurs UE existants. Côté performance, une seule instance de SPEAR peut rendre des images photoréalistes en 1920x1080 directement dans un tableau NumPy à 73 images par seconde, également dix fois plus rapide que les plugins UE existants, tout en fournissant des modalités de vérité terrain inédites, comme la décomposition intrinsèque non diffuse, les IDs de matériaux ou les paramètres de shading physiquement basé (PBR). Pour un ingénieur en robotique ou en IA incarnée, l'enjeu dépasse la simple prouesse technique : la plupart des simulateurs photoréalistes actuels souffrent d'un compromis entre réalisme visuel et vitesse de rendu, ou entre flexibilité de programmation et généralité. En combinant vitesse élevée, richesse des modalités de sortie et contrôle programmatique fin de scènes UE complexes, SPEAR vise à réduire l'écart entre simulation et réalité (sim-to-real) pour l'entraînement d'agents visuels, un point critique pour la robotique mobile, les véhicules autonomes et les modèles vision-langage-action (VLA). Les chercheurs démontrent l'outil sur des cas variés : contrôle de multiples agents aux espaces d'action distincts (humains, voitures, robots) dans des projets UE existants, rendu d'environnements urbains à grande échelle, manipulation des systèmes de génération procédurale de contenu d'UE, rendu multi-vues synchronisé de visages humains détaillés, co-simulation avec le moteur physique MuJoCo, et édition de scènes en langage naturel via un assistant de code IA. SPEAR s'inscrit dans la lignée des simulateurs bâtis sur Unreal Engine comme AirSim ou CARLA, mais cherche à en dépasser les limites de généralité et de vitesse.

RecherchePaper
1 source
Modèle vision-langage-action partagé et modulaire pour le contrôle universel de la morphologie en MDP contextuels
74arXiv cs.RO 

Modèle vision-langage-action partagé et modulaire pour le contrôle universel de la morphologie en MDP contextuels

Une équipe de recherche propose une nouvelle architecture pour piloter des robots de morphologies très différentes avec un seul contrôleur, dans un article intitulé "Shared Modular Recurrence in Contextual MDPs for Universal Morphology Control" (arXiv:2506.08630, version 3, republiée en cross-listing début juillet 2026). Le système repose sur une architecture transformer combinée à une récurrence modulaire partagée entre les composants du robot (bras, jambes, articulations), conçue pour reconstruire des informations contextuelles sur les propriétés physiques d'un robot même quand ces données ne sont que partiellement disponibles au départ. Les chercheurs l'ont testé sur un large ensemble de robots simulés dans MuJoCo, le moteur physique open source largement utilisé en apprentissage par renforcement, à travers quatre environnements distincts. Résultat clé: le modèle affiche un gain net en généralisation zero-shot, c'est-à-dire sa capacité à piloter correctement des robots aux dynamiques, cinématiques et topologies jamais rencontrées pendant l'entraînement, sans réglage additionnel. Cette avancée s'inscrit dans un enjeu central pour l'industrie robotique: réduire le coût d'entraînement et de déploiement de contrôleurs spécifiques à chaque morphologie de robot. Un contrôleur universel capable de généraliser à de nouveaux designs mécaniques réduirait drastiquement les besoins en données et en calcul pour chaque nouveau modèle de robot, un problème que rencontrent aujourd'hui les fabricants de robots humanoïdes et de bras manipulateurs multiples. C'est aussi une contribution au débat sur la viabilité des architectures de type VLA (vision-language-action) et des politiques génériques à grande échelle: ici, la généralisation ne vient pas d'un volume massif de données mais d'une architecture qui exploite explicitement la structure modulaire du robot. L'approche s'inscrit dans une lignée de travaux en RL contextuel et en contrôle multi-robots qui exploitent déjà des informations sur la morphologie pour entraîner des agents partagés, mais qui peinaient jusqu'ici à généraliser à des morphologies fortement dissimilaires. Le fait que cet article soit republié en tant que "replace-cross" sur arXiv suggère une révision après retours de la communauté, un signe que le sujet suscite un intérêt actif en apprentissage par renforcement appliqué à la robotique. Les prochaines étapes attendues concernent une validation sur robots physiques réels, au-delà des simulations MuJoCo, pour confirmer le transfert sim-to-real.

RecherchePaper
1 source
NativeMEM : compression native de la mémoire pour la manipulation robotique long horizon
75arXiv cs.RO 

NativeMEM : compression native de la mémoire pour la manipulation robotique long horizon

Des chercheurs présentent, dans un preprint publié sur arXiv début juillet 2026, NativeMEM, une politique Vision-Language-Action (VLA) dotée d'une mémoire longue durée mise à jour en temps réel. Le cœur du système, baptisé Native Memory Compression, réutilise l'encodeur visuel du VLA lui-même pour compresser chaque image historique de chaque caméra en un unique token, ajouté à la séquence d'entrée du modèle. Cette approche permet au VLA préentraîné d'exploiter un historique long avec un surcoût de latence négligeable, sans planificateur externe ni module mémoire réinitialisé à part. L'entraînement se fait en deux temps : d'abord un tokenizer de mémoire générique, entraîné sous la supervision d'un VLA gelé sur des données exigeantes en mémoire, puis un dégel complet du modèle pour un fine-tuning spécifique à la tâche. Les résultats annoncés sont marqués : le taux de réussite passe de 32,4% à 84,0% en simulation, et grimpe jusqu'à 98,7% sur robots réels, avec une latence d'inférence et une consommation GPU maîtrisées. Le système atteint aussi des performances comparables aux méthodes précédentes en n'utilisant que 20% des données d'entraînement. L'enjeu adressé est concret pour la manipulation robotique longue horizon, un point dur reconnu du secteur : les VLA préentraînés peinent à retenir un historique visuel étendu à haute fréquence de mise à jour sans sacrifier leur réactivité, et les solutions de gestion mémoire externe existantes limitent soit l'horizon temporel, soit la vitesse de réaction. Que la compression tienne dans l'encodeur visuel déjà présent, sans architecture séparée, va à l'encontre de l'hypothèse répandue qu'une mémoire longue nécessite un module dédié coûteux à entraîner. Le saut de performance observé, notamment sur robots réels et non seulement en simulation, est le signal à surveiller pour les intégrateurs qui cherchent à dépasser les tâches courtes et réactives. Ce travail s'inscrit dans la vague de recherche actuelle sur les architectures VLA à mémoire pour la manipulation robotique, un axe activement exploré en parallèle des efforts de robots humanoïdes commerciaux. Le papier n'ayant pas encore été relu par les pairs, ses chiffres restent à confirmer par des évaluations indépendantes ; les prochaines étapes attendues concernent la généralisation à davantage de plateformes robotiques et de tâches multi-étapes en conditions réelles.

RechercheActu
1 source
HiMoE-VLA : mélange hiérarchique d'experts pour des politiques VLA généralistes
76arXiv cs.RO 

HiMoE-VLA : mélange hiérarchique d'experts pour des politiques VLA généralistes

Des chercheurs ont publié début décembre 2025 sur arXiv une nouvelle architecture baptisée HiMoE-VLA (Hierarchical Mixture-of-Experts for generalist Vision-Language-Action policies), avec code et modèles en accès libre sur GitHub (ZhiyingDu/HiMoE-VLA). Le problème visé : les politiques VLA généralistes sont entraînées sur des mélanges hétérogènes de démonstrations robotiques couvrant des embodiments, espaces d'action et configurations de capteurs différents, ce qui provoque un "transfert négatif" quand un module d'action dense unique doit absorber cette diversité. HiMoE-VLA répond avec un module d'action hiérarchique à mélange d'experts : des couches Action-Space MoE en entrée/sortie spécialisent le calcul par espace d'action, des couches Heterogeneity-Balancing MoE dans les couches voisines absorbent les variations résiduelles de scènes et d'embodiments, et des blocs Transformer denses au centre intègrent les représentations partagées. Deux objectifs auxiliaires guident l'entraînement : une régularisation contrastive par espace d'action pour la spécialisation aux frontières, et un objectif d'équilibrage de charge entre experts. Sur les bancs d'essai, le modèle atteint un score de 3,98 sur CALVIN, 98,0 % de réussite sur LIBERO, et respectivement 75,0 % et 63,7 % de succès moyen sur des tâches réelles avec un bras xArm7 et une plateforme ALOHA. Le résultat le plus significatif tient moins aux scores bruts qu'à la démonstration, en co-entraînement hétérogène contrôlé, que HiMoE-VLA transforme en transfert positif ce qui reste un transfert négatif chez des bases de référence pourtant robustes. C'est un signal notable pour le secteur : l'un des obstacles récurrents à l'entraînement de politiques VLA "généralistes" est justement la difficulté à mélanger des jeux de données robotiques disparates, bras différents, capteurs différents, espaces d'action différents, sans dégrader les performances par rapport à des modèles spécialisés par plateforme. Pour les équipes qui construisent des fondations robotiques multi-embodiment, à l'image de ce que visent Physical Intelligence avec pi-0, NVIDIA avec GR00T N2 ou Figure avec Helix, la capacité à absorber l'hétérogénéité des données sans coût de performance est un enjeu direct de scalabilité : moins de collecte de données spécifiques par plateforme pour chaque nouveau déploiement industriel. HiMoE-VLA s'inscrit dans la lignée des architectures Vision-Language-Action apparues ces deux dernières années pour doter les robots de politiques de contrôle génériques, entraînées comme des modèles de fondation plutôt que comme des contrôleurs tâche par tâche. Le recours aux mélanges d'experts, déjà répandu dans les grands modèles de langage pour augmenter la capacité sans exploser le coût de calcul, est ici adapté spécifiquement au problème de l'hétérogénéité des données robotiques, via une hiérarchie à trois niveaux plutôt qu'un simple routage plat. Le papier, référencé arXiv:2512.05693, est une version révisée d'un travail antérieur, et les auteurs s'appuient sur CALVIN, LIBERO ainsi que des essais réels sur xArm7 et ALOHA comme bancs de test. Code et modèles étant publiés en open source, la validation indépendante par la communauté robotique déterminera si les gains observés se généralisent au-delà des bancs d'essai contrôlés vers des déploiements industriels réels.

RechercheActu
1 source
RoboSnap : génération de scènes réel-vers-simulation en un seul essai pour l'apprentissage et l'évaluation généralisables de robots
77arXiv cs.RO 

RoboSnap : génération de scènes réel-vers-simulation en un seul essai pour l'apprentissage et l'évaluation généralisables de robots

RoboSnap transforme une simple image RGB en environnement de simulation prêt pour l'entraînement robotique, selon un article publié sur arXiv (2607.06699v1). L'équipe de recherche propose une architecture en couches qui sépare la zone d'interaction physique de l'arrière-plan visuel : les objets au premier plan, ceux avec lesquels le robot interagit, sont reconstruits avec une attention particulière à la stabilité de collision, tandis que le fond est restitué par Gaussian splatting 3D pour préserver un rendu fidèle sous des angles de vue inédits. Les tests ont porté sur des scènes issues du jeu de données DROID ainsi que sur des tâches robotiques réelles, montrant une reproduction fiable des trajectoires dans les scènes recréées. Pour accompagner ces travaux, les auteurs publient DROID-Sim, un jeu de données compagnon construit à partir de 564 scènes réelles extraites de DROID. L'enjeu dépasse la simple reconstruction visuelle. Le passage du réel à la simulation ("real-to-sim") est un goulot d'étranglement connu pour l'entraînement des politiques robotiques par apprentissage : générer des environnements à la fois physiquement stables et visuellement réalistes reste coûteux en temps et en ingénierie. RoboSnap promet de générer une scène simulable à partir d'une seule photo, ce qui pourrait accélérer la production de données synthétiques d'entraînement et faciliter l'évaluation reproductible de politiques, un point sensible dans un secteur où les benchmarks physiques réels sont difficiles à standardiser. Les auteurs revendiquent une corrélation significative entre performances en simulation et en conditions réelles, un indicateur clé pour juger si un tel pipeline peut réellement remplacer des tests physiques répétés. Ce travail s'inscrit dans une vague plus large de recherches sur le "real-to-sim" et les architectures vision-langage-action (VLA), où des approches comme Gaussian splatting gagnent du terrain face aux méthodes de reconstruction 3D classiques, jugées plus lentes ou moins fidèles visuellement. L'article, encore au stade de prépublication non revue par les pairs, ne précise pas de calendrier de mise à disposition du code ou du jeu de données DROID-Sim, ni de partenariat industriel. Les prochaines étapes attendues concernent l'extension à des scènes plus complexes et la validation sur davantage de plateformes robotiques.

RecherchePaper
1 source
EvoPlan : planification robotique neuro-symbolique évolutionnaire avec garanties spatio-temporelles
78arXiv cs.RO 

EvoPlan : planification robotique neuro-symbolique évolutionnaire avec garanties spatio-temporelles

Une nouvelle publication arXiv (2607.06724v1) présente EvoPlan, un framework neuro-symbolique pour la planification robotique combinant modèles de langage et méthodes formelles. Le système repose sur trois composants fonctionnant avec un LLM open-weight hébergé localement, permettant un déploiement embarqué sans dépendance au cloud. Le premier module extrait hors ligne une contrainte globale de logique temporelle signal (STL) portant sur la mobilité, à partir de données de démonstration : règles codifiées comme l'arrêt aux feux rouges, minées des journaux de conduite nuPlan, ou préférences comportementales comme le confort en navigation sociale, extraites des données de téléopération SCAND. Comme ces démonstrations ne fournissent que des exemples positifs, les chercheurs génèrent des contre-exemples par perturbations contrefactuelles et un générateur de violations basé sur LLM, puis ajustent la contrainte par recherche évolutionnaire. Cette contrainte sert ensuite à encadrer une politique de conduite vision-langage testée sur Bench2Drive et deux politiques de navigation discrète sur HA-VLN-CE. Le deuxième module est un planificateur PDDL évolutionnaire où un LLM propose et corrige des plans, validés par des vérificateurs programmatiques, testé sur le benchmark ALFWorld Text. Le troisième module est une boucle d'exécution contrainte qui compile les plans en trajectoires, vérifiées contre la contrainte STL, avec replanification en cas de violation. L'enjeu pointé par les auteurs est concret pour l'industrie : les planificateurs purement LLM sont fluides mais n'offrent aucune garantie d'exécutabilité ou de sécurité, tandis que les planificateurs PDDL classiques garantissent ces propriétés mais exigent une spécification complète du problème et exploitent mal la capacité des LLM à lire le contexte et réparer un plan. EvoPlan tente de concilier les deux approches, un enjeu central pour tout déploiement robotique en environnement réel où sécurité et adaptabilité doivent coexister sans validation manuelle exhaustive. Il s'agit à ce stade d'un travail de recherche académique, illustré uniquement par des démonstrations dans le simulateur Gazebo, sans déploiement sur robot physique ni annonce industrielle associée. Le planificateur reste robuste même quand le vocabulaire des objectifs ne correspond pas à celui du modèle d'actions, un point que les auteurs présentent comme un résultat significatif face aux baselines existantes.

RecherchePaper
1 source
Ace ! Planification de mouvement pour des services de tennis de table de niveau professionnel avec un bras robotique
79arXiv cs.RO 

Ace ! Planification de mouvement pour des services de tennis de table de niveau professionnel avec un bras robotique

Le laboratoire ayant produit ce travail présente "Ace!", une nouvelle méthode permettant à un bras robotique de générer des services de tennis de table conformes aux règles officielles de la discipline. L'approche combine trois briques techniques : des primitives de mouvement préconçues, une commande prédictive par modèle (Model Predictive Control, MPC) pour l'exécution en temps réel, et une optimisation bayésienne pour ajuster les paramètres du service. Le système parvient à produire des effets (spin) contrôlables allant jusqu'à 550 rad/s et des vitesses de balle atteignant 6,7 m/s, des valeurs qui égalent, voire dépassent, celles observées chez les joueurs de tennis de table de niveau élite. Les travaux sont détaillés dans un article publié sur arXiv (référence 2607.06989v1). Ce résultat comble un angle mort de la robotique sportive : depuis des décennies, la quasi-totalité des recherches sur le tennis de table robotique portait sur la relance, c'est-à-dire la capacité à renvoyer une balle entrante, un problème qui mobilise déjà vision rapide et contrôle en boucle fermée. Le service, lui, restait largement inexploré alors qu'il pose des défis physiques bien plus extrêmes : générer un effet important à partir d'une balle initialement sans rotation, viser avec précision, et arbitrer entre plusieurs objectifs contradictoires (vitesse, spin, placement). Démontrer qu'un bras robotique peut reproduire, voire dépasser, la performance humaine sur cette tâche constitue une preuve de concept significative pour la modélisation physique appliquée à des mouvements dynamiques complexes, au-delà du seul cas du tennis de table. Le tennis de table s'est imposé comme un banc d'essai classique en robotique en raison de sa combinaison unique de vitesse, de précision et d'espace de jeu compact, un terrain propice pour tester vision rapide et planification de trajectoire. Les recherches précédentes s'étaient concentrées presque exclusivement sur la relance ; ce travail ouvre la voie à des systèmes robotiques capables de gérer l'intégralité d'un point, service compris, avec des applications potentielles pour l'entraînement sportif automatisé ou les partenaires de jeu robotisés.

RecherchePaper
1 source
Opérateur en douceur : un algorithme d'échantillonnage en temps réel pour le retargeting cinématique des mains
80arXiv cs.RO 

Opérateur en douceur : un algorithme d'échantillonnage en temps réel pour le retargeting cinématique des mains

Des chercheurs publient sur arXiv (2607.07491, juillet 2026) un nouvel algorithme de retargeting cinématique des mains baptisé Sampling-Based Retargeter (SBR), conçu pour convertir en temps réel les mouvements d'un opérateur humain en commandes pour une main robotique, sans les à-coups (jitter) qui affectent les méthodes actuelles basées sur le gradient. Contrairement à ces approches classiques, qui convergent souvent vers des minima locaux différents et produisent des mouvements saccadés, SBR s'appuie sur les techniques de contrôle par échantillonnage, sans calcul de gradient. L'équipe l'a testé en simulation puis lors d'une étude utilisateur en conditions réelles avec 18 participants effectuant trois tâches de manipulation complexes. Résultat : SBR obtient le meilleur taux de réussite global des baselines comparées, 54,1%, tout en réduisant significativement la fatigue cognitive des opérateurs, avec le score de charge de travail NASA-TLX le plus bas relevé, 36,4 sur 100. L'enjeu dépasse la seule fluidité du geste téléopéré. Les modèles Vision-Language-Action (VLA) et les Video Action Models, aujourd'hui au cœur des pipelines d'apprentissage pour la manipulation robotique dexterous, sont entièrement bornés par la qualité des démonstrations humaines collectées en téléopération. Un retargeting bruité ou saccadé dégrade directement les données d'entraînement, donc les capacités finales du robot, quelle que soit la sophistication du modèle en aval. En réduisant le jitter et la fatigue de l'opérateur, SBR s'attaque donc à un goulot d'étranglement amont, souvent négligé face aux annonces spectaculaires sur les modèles eux-mêmes : la qualité de la donnée de téléopération conditionne tout le reste. Un taux de succès de 54,1% reste toutefois modeste en valeur absolue, signe que la manipulation dexterous téléopérée demeure un problème ouvert même avec un meilleur retargeting. Le retargeting cinématique, c'est-à-dire la traduction des degrés de liberté (DOF) d'une main humaine vers ceux, différents, d'une main robotique, est un problème classique de téléopération dexterous, historiquement traité par optimisation gradient-based. Les auteurs positionnent explicitement SBR contre ces baselines à gradient et livrent, au-delà de l'algorithme, une méthodologie de benchmarking destinée à structurer les évaluations futures dans ce domaine encore fragmenté.

RecherchePaper
1 source
Initiation Safety : une dimension manquante dans la sécurité des robots généralistes
81arXiv cs.RO 

Initiation Safety : une dimension manquante dans la sécurité des robots généralistes

Le laïus d'un nouvel article publié sur arXiv (référence 2607.07420v1) pointe un angle mort dans les cadres de sécurité des robots généralistes. Jusqu'ici, la sécurité robotique se pense presque exclusivement autour de deux couches : la sécurité du mouvement (évitement de collision, limitation de force) et la sécurité du dialogue (filtrage de contenu). Les auteurs identifient une troisième dimension absente des architectures actuelles : l'autorisation d'initiation, c'est-à-dire la question de savoir si un robot doit engager de lui-même une première action sociale difficile à annuler, comme saluer une personne, saisir un objet sans y être invité, ou entrer dans son espace personnel. Pour y répondre, ils proposent un protocole baptisé PAS (probe-authorize-speak, soit sonder-autoriser-parler), qu'ils implémentent sur un humanoïde positionné à l'entrée d'une pièce, et qu'ils comparent à une approche directe ("direct-init") à partir de traces d'interactions déjà enregistrées. Une étude utilisateur à trois conditions est proposée pour la suite des travaux. L'argument central est simple mais structurant pour l'industrie : détecter une personne n'équivaut pas à obtenir son consentement pour être abordée. Or les architectures actuelles des robots humanoïdes et des systèmes VLA (vision-language-action) traitent souvent un score d'engagement élevé, ou une prédiction de mouvement jugée fiable, comme un feu vert implicite pour agir. Pour les intégrateurs et décideurs qui déploient des robots généralistes dans des environnements partagés (retail, hôpitaux, hôtellerie), cela signale un risque de confiance et de responsabilité juridique largement ignoré par les filtres de sécurité existants : un robot peut être physiquement sûr tout en étant socialement intrusif. Cette contribution reste pour l'instant un travail de recherche, testé sur un unique prototype de robot en situation de porte d'entrée, sans validation à grande échelle ni étude utilisateur complète. Les auteurs laissent ouvertes plusieurs questions clés : comment mesurer le consentement dans ce type d'interaction, quelle gouvernance ou certification appliquer, et où placer la frontière entre des règles explicites d'initiation et le comportement génératif plus large des modèles fondation qui pilotent ces plateformes, qu'il s'agisse de Figure, Optimus ou d'architectures VLA comme Pi-0, GR00T N2 ou Helix.

RecherchePaper
1 source
TouchWorld : un modèle fondation tactile, prédictif et réactif, pour la manipulation dextérique
82arXiv cs.RO 

TouchWorld : un modèle fondation tactile, prédictif et réactif, pour la manipulation dextérique

Une équipe de recherche présente TouchWorld, un modèle fondationnel tactile conçu pour la manipulation dextre, dans un article publié sur arXiv (2607.07287v1) début juillet 2026. Le système repose sur une politique hiérarchique en trois couches : une couche de planification vision-langage qui découpe la tâche en sous-objectifs et prédit des sous-buts tactiles, une politique visuo-tactile conditionnée par objectif qui génère des séquences d'actions nominales, et une politique de raffinement conditionnée par le toucher qui corrige en temps réel à partir du retour tactile et proprioceptif haute fréquence. Évalué sur six tâches de manipulation dextre longues et riches en contacts, TouchWorld atteint 65,0% de réussite en conditions propres et 53,7% sous perturbations humaines, soit 15,7 et 18,5 points de plus que la meilleure référence testée. L'apport principal tient à la séparation des échelles de temps : la plupart des politiques existantes traitent le toucher comme un simple flux d'observation basse fréquence, mélangé dans la même boucle que le raisonnement de tâche et la génération d'action. TouchWorld découple ce retour rapide (glissement, désalignement, force, stabilité de prise) du raisonnement sémantique lent porté par la vision et le langage. Pour les intégrateurs et chercheurs en robotique, cela répond directement à une limite connue des architectures vision-langage-action : leur capacité de généralisation sémantique ne suffit pas à gérer les micro-corrections de contact nécessaires en manipulation fine, un écart souvent cité entre démonstrations impressionnantes et robustesse réelle en conditions perturbées. L'article s'inscrit dans la lignée des travaux récents sur les modèles de fondation tactiles et les politiques visuo-tactiles pour la robotique, un axe de recherche encore jeune comparé aux modèles vision-langage-action purement visuels. Les auteurs ne précisent pas d'affiliation ni de calendrier de déploiement dans le résumé ; il s'agit à ce stade d'un travail de recherche évalué en environnement contrôlé, sans indication de transfert vers un produit ou un déploiement industriel.

RecherchePaper
1 source
Immersion sociale en réalité virtuelle avec des humanoïdes assistés par LLM
83arXiv cs.RO 

Immersion sociale en réalité virtuelle avec des humanoïdes assistés par LLM

Des chercheurs présentent un système de téléopération immersive pour robots humanoïdes combinant casque Apple Vision Pro et modèle de langage, testé sur un robot Unitree H1 équipé de mains dextres. L'opérateur reçoit un flux vidéo à la première personne directement depuis les caméras du robot, pilote ses déplacements par commandes vocales en langage naturel converties en instructions de haut niveau par un module LLM, et contrôle les bras et les doigts du robot par suivi du poignet et des mains, retranscrit via cinématique inverse et régulation PD. Le système enregistre en parallèle des données multimodales : images RGB égocentriques, commandes vocales et texte, états articulaires, mouvements des mains et signaux de regard, en vue d'un futur entraînement par apprentissage par imitation. Les auteurs rapportent que des utilisateurs novices, après une brève familiarisation, atteignent 80% de réussite sur des tâches de manipulation d'objets et 70% sur une tâche d'interaction sociale consistant à se faire passer un cube avec le robot. L'intérêt de ces travaux tient moins à la performance brute qu'à la démonstration d'une interface de téléopération accessible à des non-experts, sans entraînement lourd ni contrôle bas niveau exigeant. C'est un signal pertinent pour le secteur : la plupart des démonstrations de téléopération humanoïde restent réservées à des opérateurs entraînés maniant des contrôleurs spécialisés, ce qui freine leur adoption pour l'assistance à distance ou la collecte de données d'entraînement à grande échelle. En couplant retour visuel immersif, langage naturel et capture de mouvement fine, cette approche illustre une piste concrète pour réduire la charge cognitive et physique de l'opérateur, un frein connu au déploiement commercial des humanoïdes téléopérés. Il faut toutefois noter que les taux de réussite annoncés, 70 à 80%, restent modestes face aux standards industriels et proviennent d'un nombre d'essais limité en laboratoire, loin d'un déploiement réel. Ce travail s'inscrit dans la lignée des systèmes de téléopération immersive qui se sont multipliés avec l'essor des VLA (modèles vision-langage-action) comme Pi-0 ou GR00T N2, où la collecte de démonstrations humaines de haute qualité est un goulot d'étranglement majeur pour l'apprentissage. Le choix du Vision Pro comme interface, plutôt que des combinaisons de capture de mouvement traditionnelles, reflète une tendance plus large du secteur à exploiter le matériel grand public pour réduire les coûts de téléopération, une direction également explorée par plusieurs laboratoires américains et chinois. Il s'agit ici d'une publication de recherche académique arXiv, sans partenaire industriel ni calendrier de commercialisation annoncé : les prochaines étapes attendues porteraient sur l'exploitation des données multimodales collectées pour entraîner des politiques autonomes, transformant à terme cette téléopération assistée en un système capable d'agir de façon plus indépendante.

RecherchePaper
1 source
LHM-Humanoid : commande longue portée du mouvement humain pour le transport continu d'objets en environnement encombré
84arXiv cs.RO 

LHM-Humanoid : commande longue portée du mouvement humain pour le transport continu d'objets en environnement encombré

Des chercheurs présentent LHM-Humanoid, un système de contrôle physique pour humanoïdes simulés capable d'enchaîner en continu des cycles complets de collecte, transport et dépôt d'objets, sans réinitialisation entre chaque cycle. L'approche a été testée sur 350 configurations de pièces encombrées, réparties en quatre types d'environnements. Elle repose sur deux contrôleurs conditionnés par objectif : le premier exécute le cycle « aller chercher, porter, déposer » et apprend un comportement de relâchement et de retrait pour terminer dans un état récupérable ; le second prend ensuite le relais depuis cette distribution d'états. Les deux sont régularisés par un a priori de mouvement adversarial, puis distillés en une seule politique capable d'exécuter toute la séquence en un unique passage continu, sans reset. Les travaux, publiés sur arXiv (2508.16943v3, version révisée), montrent des performances nettement supérieures à celles du RL de bout en bout, du RL hiérarchique et des méthodes antérieures d'interaction humain-scène. Le problème central n'est pas la marche, le levage ou le dépôt pris isolément, ces briques sont déjà bien maîtrisées en simulation, mais la transition entre cycles : chaque dépôt laisse le personnage dans une posture déséquilibrée non canonique, où l'apprentissage par renforcement de bout en bout échoue généralement. En traitant ce passage de relais comme un problème de récupérabilité à double contrainte, préserver l'objet tout juste posé tout en atterrissant dans un état permettant une reprise équilibrée, l'équipe s'attaque à un angle mort classique du secteur : la plupart des démonstrations de robotique humanoïde restent des clips courts réinitialisés entre chaque prise, loin des scénarios de production continue visés en logistique ou en usine. Pour les chercheurs et intégrateurs, ce résultat éclaire un vrai obstacle vers l'autonomie longue durée, plutôt qu'une simple performance ponctuelle sur une tâche isolée. Ces travaux s'inscrivent dans le champ du contrôle de mouvement humain basé sur la physique, orienté simulation et réalisme biomécanique, à distinguer des approches VLA appliquées à du matériel réel comme Pi-0 ou GR00T N2, qui elles ciblent le transfert sim-to-real sur robot physique. LHM-Humanoid demeure pour l'instant un résultat purement simulé, validé sur scènes connues et inédites, sans mention de déploiement sur plateforme réelle. La suite logique consisterait à transposer cette stratégie de transition récupérable vers des humanoïdes physiques, à l'image de ceux développés par Figure, Tesla ou Boston Dynamics, où l'enchaînement sans interruption de tâches de manutention reste aujourd'hui un défi ouvert pour l'industrie.

RecherchePaper
1 source
EmbodiedGen V2 : un moteur de monde 3D à base d'agents, prêt pour la simulation, pour l'IA incarnée
85arXiv cs.RO 

EmbodiedGen V2 : un moteur de monde 3D à base d'agents, prêt pour la simulation, pour l'IA incarnée

Une équipe de recherche a publié EmbodiedGen V2 sur arXiv (2607.07459v1), un moteur génératif de mondes 3D destiné à produire des environnements de simulation directement exploitables pour l'entraînement de robots. Le problème visé est concret : générer des assets 3D "sim-ready" est devenu rapide, mais les assembler en environnements de tâches réellement utilisables pour l'apprentissage reste largement manuel, ce qui limite le passage à l'échelle de l'apprentissage en boucle fermée. EmbodiedGen V2 propose une représentation unifiée qui relie assets compatibles multi-simulateurs, affordances d'interaction, mondes orientés tâches, scènes multi-pièces à grande échelle, et un système de "Vibe Coding" avec état, le tout dans un pipeline génératif, éditable et réutilisable. Les environnements produits couvrent la manipulation, la navigation, la manipulation mobile, le déploiement cross-simulateur et l'entraînement de politiques robotiques. Sur le plan chiffré, le pipeline de génération d'assets atteint 96,5% d'acceptation humaine et 98,6% de réussite de détection de collisions, et 83,3% des mondes orientés tâches sont directement utilisables en simulation sans retouche manuelle. L'intérêt principal tient aux résultats de transfert obtenus grâce à ces environnements générés. Un entraînement par renforcement en ligne fait passer le taux de succès en simulation de 9,7% à 79,8%, et ces gains se transfèrent à des robots réels avec un taux de succès en tâche réelle passant de 21,7% à 75,0%. Pour un secteur où l'écart entre démonstration simulée et comportement réel reste un obstacle majeur à la commercialisation de robots humanoïdes ou mobiles pilotés par des politiques apprises, ce type de résultat constitue un argument concret en faveur de la génération procédurale de mondes comme infrastructure d'entraînement, plutôt qu'une simple preuve de concept de génération d'assets visuels. Le travail s'inscrit dans la lignée des efforts récents de génération de scènes 3D et d'assets simulables pour l'IA incarnée, où la difficulté ne portait plus tant sur la qualité visuelle des objets générés que sur leur intégration fonctionnelle dans des tâches robotiques complètes et transférables entre simulateurs. Le papier ne mentionne pas de partenariat industriel ni de déploiement sur robot commercial identifié, et se positionne comme une contribution d'infrastructure de recherche, dont l'adoption dépendra de sa reproductibilité et de son intégration par d'autres laboratoires travaillant sur l'apprentissage par renforcement pour la robotique.

RechercheActu
1 source
ELEANOR, le bras architecturé souple inspiré de la trompe d'éléphant, continu et à grande échelle
86arXiv cs.RO 

ELEANOR, le bras architecturé souple inspiré de la trompe d'éléphant, continu et à grande échelle

Des chercheurs ont publié sur arXiv, le 7 juillet 2026 (arXiv:2607.07622), une nouvelle conception de bras robotique souple baptisée ELEANOR, inspirée de la trompe de l'éléphant d'Afrique (Loxodonta africana). Contrairement aux robots continus précédents, construits de façon modulaire et à échelle réduite, l'équipe a privilégié la continuité structurelle pour reproduire les propriétés dynamiques macroscopiques de l'organe biologique plutôt que de viser des comportements prédéfinis. Le prototype, imprimé en 3D, mesure 85 cm de long, est effilé, souple et construit selon une architecture tessellée en volume. L'actionnement repose sur des tendons imitant les muscles longitudinaux et obliques de la trompe naturelle. Les chercheurs démontrent des capacités de préhension dite corps entier, c'est à dire une saisie d'objets mobilisant l'ensemble du bras plutôt que sa seule extrémité, sur des objets de formes et de dimensions variées, et comparent le comportement du système à celui de l'organe biologique. Cette approche s'attaque à un défi non résolu de la robotique souple: reproduire la dextérité de la trompe d'éléphant, manipulateur biologique jugé encore inégalé en robotique, malgré des années de recherche en continuum robotics. En misant sur la continuité structurelle plutôt que sur l'assemblage de modules, ELEANOR teste une hypothèse différente des travaux antérieurs, à savoir que les propriétés dynamiques globales du bras, plus que le contrôle fin de segments indépendants, sont ce qui permet des mouvements et une préhension proches de ceux de l'éléphant. Pour l'industrie, cela ouvre une piste de conception pour des bras souples capables de manipuler des objets encombrants ou de forme irrégulière sans préhenseur dédié, utile en logistique, en agriculture ou en intervention en milieu contraint, là où bras rigides et pinces classiques peinent. Le travail reste un démonstrateur académique: aucune donnée de charge utile ni de temps de cycle n'est communiquée, ce qui limite toute comparaison directe avec des bras industriels commerciaux. Le projet s'inscrit dans une lignée de recherche bio-inspirée active depuis plus d'une décennie, dominée jusqu'ici par des robots à continuum modulaires empilant plusieurs segments actionnés indépendamment. ELEANOR s'en démarque en visant un système unique et continu, pari qui, selon les auteurs, rapproche davantage le comportement du bras de celui de l'organe biologique réel. L'article relève de la recherche fondamentale en robotique souple plutôt que d'un produit commercial: aucun partenaire industriel ni calendrier de transfert technologique n'est mentionné. Les auteurs annoncent vouloir approfondir la comparaison entre leur système et la trompe biologique, tant sur le plan de la biologie que de la robotique, ce qui suggère des travaux de caractérisation supplémentaires plutôt qu'une application industrielle immédiate.

RecherchePaper
1 source
Détection dynamique d'objets et suivi sur chantiers : un modèle de fusion caméra fisheye et LiDAR
87arXiv cs.RO 

Détection dynamique d'objets et suivi sur chantiers : un modèle de fusion caméra fisheye et LiDAR

Des chercheurs présentent, dans une prépublication arXiv (2607.06896v1), une nouvelle méthode de fusion de capteurs pour détecter et suivre des objets mobiles sur les chantiers de construction. Le système équipe un robot quadrupède d'un LiDAR et d'une caméra fisheye orientée vers le haut, combinés en temps réel. Après avoir identifié les objets en mouvement dans un nuage de points recalé (registered point cloud) issu du LiDAR, la méthode projette leurs coordonnées 3D sur un panorama cylindrique 2D, ce qui permet de leur attribuer une étiquette sémantique en les recoupant avec les détections d'image en temps réel. Ces informations alimentent ensuite la mise à jour d'observation d'un filtre de Kalman, chargé du suivi proprement dit. Les auteurs revendiquent une précision élevée, une architecture simple et une robustesse particulière lorsque des objets basculent entre état statique et état dynamique, un cas généralement délicat à gérer. L'enjeu dépasse la seule prouesse technique : sur un chantier, un robot doit distinguer en permanence ce qui bouge (ouvriers, engins, matériaux déplacés) de ce qui reste fixe, sous peine de collisions ou de fausses alertes. La plupart des approches actuelles de vision 3D s'appuient sur des réseaux de neurones pré-entraînés et nécessitent un post-traitement lourd pour isoler les objets mobiles, ce qui pèse sur la latence et la fiabilité en environnement non structuré. En misant sur la fusion LiDAR/caméra plutôt que sur la seule vision par apprentissage profond, les auteurs proposent une alternative plus légère et potentiellement plus robuste pour les intégrateurs de robotique mobile en environnement industriel. Le travail s'inscrit dans la lignée des recherches en SLAM et grilles d'occupation pour la navigation robotique en environnement dynamique, domaine où les chantiers de BTP constituent un cas d'usage particulièrement exigeant en raison du désordre visuel et de la présence humaine constante. Aucun déploiement industriel n'est mentionné à ce stade : il s'agit d'une validation méthodologique en amont d'une éventuelle intégration sur des plateformes commerciales de robots quadrupèdes utilisés pour l'inspection de chantiers.

RecherchePaper
1 source
Apprentissage de tubes spatiotemporels pour toutes les tâches de logique temporelle de signal, pour le contrôle de systèmes inconnus sous contraintes d'entrée
88arXiv cs.RO 

Apprentissage de tubes spatiotemporels pour toutes les tâches de logique temporelle de signal, pour le contrôle de systèmes inconnus sous contraintes d'entrée

Le 9 juillet 2026 (arXiv:2607.07136v1), une équipe de chercheurs a publié un nouveau cadre de contrôle basé sur les "spatiotemporal tubes" (STT) destiné aux systèmes non linéaires inconnus de type Euler-Lagrange, sous contraintes d'entrée, pour satisfaire des spécifications de logique temporelle de signal (STL). L'idée centrale : au lieu de calculer une trajectoire optimale classique, la méthode apprend un tube englobant variable dans le temps, modélisé comme une boule dont le centre et le rayon évoluent, dont le confinement de la trajectoire garantit automatiquement le respect de la tâche STL. Ce tube est paramétré conjointement par un réseau de neurones informé par la physique (PINN), entraîné en intégrant directement la métrique de robustesse de la spécification STL comme fonction de perte. Pour les scénarios multi-agents, une métrique de robustesse globale supplémentaire est ajoutée afin que les tubes individuels ne se chevauchent jamais, évitant ainsi les collisions. Une loi de contrôle en forme close est ensuite dérivée pour maintenir la trajectoire dans le tube tout en respectant les bornes du système. L'approche a été validée sur plusieurs études de cas simulées, pas sur du matériel réel. L'intérêt pratique tient au fait que la méthode ne suppose aucune connaissance du modèle dynamique du système, un point de friction majeur pour appliquer des spécifications formelles (STL) à des robots ou véhicules réels dont la dynamique exacte est rarement connue avec précision. En couplant apprentissage par PINN et garanties de robustesse formelle, le travail tente de combler l'écart entre contrôle par apprentissage, souvent sans garantie, et contrôle formel, souvent limité à des modèles simplifiés. La prise en compte explicite des contraintes d'entrée (actionneurs limités) rapproche aussi la méthode de cas d'usage industriels concrets, comme la coordination de flottes de robots mobiles ou de bras manipulateurs. Ce travail s'inscrit dans la lignée des recherches sur les tubes de contrôle (funnel control, control barrier functions) et sur l'usage croissant des PINN pour encoder des contraintes physiques dans l'apprentissage. Les prochaines étapes attendues concernent la validation sur des plateformes matérielles réelles et l'extension à des dynamiques plus complexes que le formalisme Euler-Lagrange.

RecherchePaper
1 source
Context-aware : estimation de force pour la manipulation d'outils déformables lors du prélèvement environnemental robotisé par adaptation continue à faible échantillonnage
89arXiv cs.RO 

Context-aware : estimation de force pour la manipulation d'outils déformables lors du prélèvement environnemental robotisé par adaptation continue à faible échantillonnage

Une équipe de recherche publie sur arXiv (référence 2607.07574, soumis le 7 juillet 2026) une méthode d'estimation de force par apprentissage pour la manipulation d'outils déformables en robotique, appliquée au prélèvement d'échantillons de surface (swabbing environnemental). Le problème technique visé est précis : quand un bras robotique presse un écouvillon souple contre une surface, l'hystérésis viscoélastique non linéaire de l'outil déforme le signal capté par le capteur de force au poignet, qui ne reflète alors plus fidèlement la force réellement appliquée à la pointe. Intégrer un capteur directement dans l'outil est écarté pour des raisons de stérilité et de jetabilité en contexte de prélèvement. Les chercheurs comparent plusieurs architectures temporelles et retiennent un LSTM compact, qui obtient la meilleure précision avec une latence d'inférence sous la milliseconde. Pour généraliser à des surfaces et outils inédits, ils ajoutent une couche d'adaptation few-shot : un backbone récurrent gelé est modulé par des embeddings de contexte de faible dimension via FiLM (feature-wise linear modulation). Testée sur un bras UR5e à travers neuf régimes d'interaction outil-surface différents, l'approche réduit l'erreur d'estimation en zero-shot jusqu'à 63%, sans dégrader les performances de base (pas d'oubli catastrophique). L'enjeu dépasse le simple prélèvement d'échantillons : c'est un problème générique de manipulation d'outils déformables (compresses, éponges, brosses, tampons) que l'on retrouve en robotique médicale, en laboratoire automatisé et en inspection industrielle, là où le retour de force est indispensable pour garantir une pression de contact constante mais où l'instrumentation directe de l'outil est impossible ou trop coûteuse à jeter à chaque usage. La contribution méthodologique intéressante pour les intégrateurs est la séparation entre une dynamique de déformation partagée, apprise une fois, et un conditionnement spécifique au domaine, adapté avec très peu de données pour chaque nouvelle combinaison outil-surface. Cela répond directement à un point de friction classique du déploiement de systèmes appris en robotique : la plupart des modèles de force ou de contact entraînés en labo s'effondrent face à des surfaces ou des outils jamais vus, obligeant à tout réentraîner. Une adaptation few-shot qui tient sans réentraînement complet, si elle se confirme au-delà des neuf configurations testées en laboratoire, réduirait le coût d'intégration pour des cas d'usage variés (hôpitaux, sites industriels, environnements BSL). Ce travail s'inscrit dans la lignée des recherches sur le contrôle par impédance et l'estimation de force sans capteur dédié, un axe actif depuis plusieurs années en robotique de manipulation fine, mais appliqué ici spécifiquement au cas peu documenté des outils souples à usage unique. Il reste à ce stade un résultat de recherche publié en preprint, validé sur un seul robot (UR5e) et un jeu limité de neuf régimes en environnement contrôlé, sans indication de déploiement réel ni de partenariat industriel annoncé. Les prochaines étapes attendues pour ce type de travaux sont généralement une validation sur du matériel de prélèvement réel (écouvillons médicaux certifiés), un élargissement du nombre de surfaces et de conditions de rigidité testées, et une comparaison directe avec des approches concurrentes de force sensing sans capteur tactile embarqué, avant toute intégration dans un système commercial.

RecherchePaper
1 source
GeoGS-SLAM : Gaussian Splatting géométrique pur pour le SLAM monoculaire dense
90arXiv cs.RO 

GeoGS-SLAM : Gaussian Splatting géométrique pur pour le SLAM monoculaire dense

Une équipe de chercheurs vient de publier sur arXiv (2607.07452v1) GeoGS-SLAM, un système de SLAM visuel dense monoculaire fondé sur une nouvelle représentation baptisée Geometry-only Gaussian Splatting (GeoGS). Contrairement aux méthodes 3D Gaussian Splatting classiques utilisées en SLAM, qui modélisent à la fois l'apparence et la géométrie de la scène, GeoGS ne conserve que les paramètres spatiaux de chaque primitive gaussienne, ce qui réduit de plus de 80% le nombre de paramètres par primitive. Le système s'appuie sur un entraînement combinant supervision géométrique et photométrique en vue unique et multi-vues, une initialisation guidée par plans locaux pour accélérer la convergence, et une stratégie de mise à jour de la carte lors des fermetures de boucle qui transforme globalement le nuage de gaussiennes pour éviter les déchirures de carte causées par des corrections de pose incohérentes. Les auteurs affirment que leur méthode dépasse l'état de l'art sur des bancs d'essai synthétiques et réels, tant en efficacité de cartographie en ligne qu'en qualité de reconstruction géométrique. L'intérêt de cette approche tient à un constat simple: pour des tâches robotiques comme la navigation ou l'évitement d'obstacles, c'est la précision géométrique qui compte, pas le rendu photoréaliste. En abandonnant la modélisation d'apparence, GeoGS allège drastiquement le nombre de primitives gaussiennes nécessaires, accélère la convergence géométrique et gagne en robustesse face aux variations d'éclairage, un point faible connu des pipelines 3DGS classiques en conditions réelles. Pour les intégrateurs travaillant sur la localisation et cartographie embarquées, cela ouvre la voie à des systèmes SLAM plus légers en calcul, potentiellement plus adaptés à un déploiement temps réel sur robot mobile. Le papier s'inscrit dans la vague de travaux exploitant le 3D Gaussian Splatting pour le SLAM dense depuis l'essor de cette représentation en 2023, une alternative aux cartes NeRF ou aux nuages de points classiques. Comme il s'agit d'un preprint tout juste déposé, sans revue par les pairs ni code public annoncé à ce stade, les gains revendiqués face à l'état de l'art restent à confirmer par la communauté, notamment sur des séquences réelles complexes en dehors des benchmarks utilisés par les auteurs.

RecherchePaper
1 source
Modèles vision-langage-action (VLA) pour la robotique aérienne sans pilote et la manipulation bimanuelle : une revue
91arXiv cs.RO 

Modèles vision-langage-action (VLA) pour la robotique aérienne sans pilote et la manipulation bimanuelle : une revue

Une équipe de chercheurs publie sur arXiv (référence 2607.06706, mise en ligne le 7 juillet 2026) une revue de littérature consacrée aux modèles Vision-Language-Action (VLA), ces architectures qui unifient perception visuelle, compréhension du langage naturel et génération d'actions dans un seul modèle de fondation. L'objectif : permettre à un robot d'exécuter une instruction du type "plie la serviette" ou "vole vers le bâtiment rouge" directement à partir d'images caméra, sans étape de programmation intermédiaire. Le travail passe en revue 183 contributions publiées entre 2017 et 2026, organisées selon sept axes : les architectures VLA, les recettes d'entraînement, les représentations d'actions, la coordination bimanuelle (2022-2026), la navigation et le contrôle de drones (2017-2026), l'ancrage du langage dans la perception, et des enjeux transverses comme la mémoire et les modèles du monde. Les auteurs identifient au passage quatorze directions de recherche encore ouvertes dans ces deux domaines. L'intérêt de cette synthèse tient au rapprochement qu'elle opère entre deux champs jusqu'ici traités séparément. La manipulation bimanuelle, où deux bras à 7 degrés de liberté chacun doivent coordonner leurs mouvements pour plier, assembler ou réorienter un objet, sert de banc d'essai le plus exigeant pour les VLA appliqués à la manipulation. Or les auteurs montrent que les stratégies de coordination, les recettes d'entraînement et les représentations d'actions conçues pour ces bras robotiques se transfèrent directement aux drones, confrontés à un défi structurellement similaire : coordonner poussée, attitude et, de plus en plus, commandes de préhenseur à partir d'observations visuelles, sous des contraintes strictes de latence et de charge utile (payload). Pour les intégrateurs et décideurs du secteur robotique, cela suggère qu'un socle technique commun pourrait émerger entre robotique aérienne et manipulation au sol, plutôt que deux écosystèmes cloisonnés. Cette revue s'inscrit dans la montée en puissance des VLA comme cadre dominant de l'apprentissage robotique, portée par leur capacité à hériter des connaissances générales acquises lors d'un pré-entraînement à l'échelle d'Internet, un atout que les approches de contrôle classiques n'offrent pas. En couvrant neuf ans de littérature sur la manipulation bimanuelle et la navigation de drones dans un même cadre d'analyse, le travail offre une cartographie utile pour situer les futures publications et les futurs produits commerciaux dans ce paysage encore mouvant, sans toutefois lui-même annoncer de déploiement ou de système opérationnel nouveau.

RecherchePaper
1 source
Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique
92arXiv cs.RO 

Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique

Des chercheurs ont publié le 7 juillet 2026 sur arXiv (arXiv:2607.07608v1) un nouveau framework baptisé LaMem-VLA, conçu pour doter les modèles Vision-Language-Action (VLA) d'une mémoire native directement intégrée à leur espace latent de raisonnement. Aujourd'hui, la plupart des VLA prédisent une action à partir de la seule observation courante sous hypothèse markovienne, ce qui les rend peu efficaces sur les tâches longues et dépendantes du temps. LaMem-VLA repose sur quatre composants coordonnés: un "curator" qui organise l'expérience passée en deux coffres mémoire, court terme et long terme; un "seeker" qui interroge ces coffres via la cognition multimodale pour en extraire les preuves pertinentes au contexte; un "condenser" qui reconstruit ces preuves en tokens de mémoire latente compacts; et un "weaver" qui injecte ces tokens avec l'observation et l'instruction courantes dans une seule séquence d'embedding continue. Les auteurs rapportent une supériorité de leur approche sur les benchmarks SimplerEnv et LIBERO, deux références standard pour évaluer la manipulation robotique pilotée par VLA. L'enjeu dépasse la simple performance sur benchmark. Les VLA actuels, qu'ils s'appuient sur des architectures type Pi-0, GR00T N2 ou Helix, butent tous sur une mémoire de travail limitée à la fenêtre d'observation courante, ce qui les fragilise dès qu'une tâche exige de se souvenir d'une action antérieure, par exemple qu'un tiroir a déjà été ouvert. Les solutions existantes, élargir la fenêtre d'observation ou interroger une banque mémoire externe comme contexte auxiliaire, laissent cette mémoire hors de l'espace latent natif du modèle, limitant son intégration au raisonnement multimodal. En rendant la mémoire nativement latente, LaMem-VLA vise à réduire l'écart entre démonstrations courtes réussies en laboratoire et déploiements réels où les séquences de tâches s'étirent, un critère que surveillent de près les intégrateurs industriels évaluant la fiabilité des VLA au delà du simple "pick and place". Ce travail s'inscrit dans une vague de recherche sur la mémoire des VLA, alors que le secteur de la robotique humanoïde et généraliste, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix, cherche à dépasser les tâches courtes démontrées en vidéo pour viser des chaînes d'actions plus longues et industriellement exploitables. Classé "Announce Type: new" sur arXiv et non encore relu par les pairs, le papier ne mentionne aucun déploiement matériel ni partenariat industriel: il s'agit pour l'instant d'une contribution académique validée uniquement en simulation. Les suites attendues, classiques pour ce type de travaux, seraient une validation sur robot physique et une comparaison directe avec les architectures mémoire déjà explorées par les grands laboratoires de robotique généraliste.

RechercheActu
1 source
Cadre d'apprentissage continu pour le contrôle adaptatif de robots souples modulaires
93arXiv cs.RO 

Cadre d'apprentissage continu pour le contrôle adaptatif de robots souples modulaires

Une équipe de recherche propose un nouveau cadre de contrôle pour robots souples modulaires (Modular Soft Robots, MSR), basé sur les principes de l'apprentissage continu, selon un article publié sur arXiv le 7 juillet 2026 (arXiv:2607.06740v1). Les MSR sont des systèmes composés de plusieurs segments interconnectés, hautement déformables et reconfigurables, utilisés notamment en intervention médicale, en rééducation et en manipulation robotique. Le problème que résout ce travail est concret : jusqu'ici, changer la morphologie d'un MSR obligeait à réentraîner entièrement son contrôleur, faute de pouvoir réutiliser les connaissances acquises sur les configurations précédentes. Le framework proposé permet au contrôleur d'apprendre séquentiellement de nouvelles configurations sans oublier les précédentes, et peut aussi fonctionner de façon distribuée pour apprendre la dynamique propre de chaque module sur un robot à configuration fixe. La validation s'est faite en deux temps : des expériences de suivi de trajectoire en boucle fermée en simulation sur un robot souple actionné par tendons, puis un test sur un bras robotique souple pneumatique à trois modules, en conditions réelles. Pour l'industrie robotique, l'apport principal est méthodologique plutôt qu'un produit prêt à déployer : il s'attaque à un goulot d'étranglement bien identifié dans la robotique souple, à savoir la difficulté à faire évoluer la morphologie d'un robot sans tout reconstruire. Les MSR intéressent particulièrement les intégrateurs travaillant sur des tâches nécessitant une compliance mécanique élevée, comme la chirurgie mini-invasive ou la manipulation d'objets fragiles, où la rigidité des robots classiques est un handicap. Un contrôleur capable de s'adapter progressivement à des changements de structure, tout en activant sélectivement seulement les modules nécessaires pour atteindre une cible (ce qui réduit la charge de calcul), pourrait accélérer l'itération de conception sur ces plateformes reconfigurables, un axe encore peu mature comparé aux robots humanoïdes rigides à actionneurs classiques. Ce travail s'inscrit dans la lignée des recherches en robotique souple qui cherchent à dompter la nonlinéarité et la redondance hyper-élevée de ces systèmes, deux caractéristiques qui rendent les approches de contrôle classiques inadaptées. L'article ne mentionne pas de partenaire industriel ni de calendrier de commercialisation : il s'agit d'une contribution de recherche académique, à un stade de preuve de concept en laboratoire, dont l'étape suivante logique serait l'extension à des morphologies plus complexes ou à des tâches de manipulation réelles au-delà du suivi de trajectoire.

RecherchePaper
1 source
Agents peuvent exploiter, des motifs de représentation basiques aux motifs complexes
94arXiv cs.RO 

Agents peuvent exploiter, des motifs de représentation basiques aux motifs complexes

Un article publié sur arXiv (référence 2607.07475v1, catégorie "new") propose une nouvelle représentation formelle des "affordances coopératives" en robotique sociale, c'est-à-dire les situations où plusieurs agents interagissent entre eux pour étendre leurs possibilités d'action individuelles. Les auteurs introduisent le concept d'"agent-exploitation", qui désigne la capacité d'un agent artificiel à mobiliser un autre agent comme ressource pour accomplir des actions que ni l'un ni l'autre ne pourrait réaliser seul. Le papier construit une représentation ontologique dite "tractable", c'est-à-dire exploitable de façon opérationnelle par un système artificiel, en partant de patterns élémentaires d'affordances coopératives. Ces briques de base sont ensuite combinées pour illustrer, à travers plusieurs scénarios, une diversité de situations multi-agents où la coopération élargit le champ d'action possible. L'enjeu pour la robotique sociale et multi-agents est de dépasser la seule modélisation des affordances fonctionnelles, c'est-à-dire la relation entre un agent et les objets ou outils qu'il peut manipuler, un champ déjà largement couvert par la représentation des connaissances. En intégrant la dimension sociale et la présence d'autres agents dans le modèle des possibilités d'action, ce travail ouvre la voie à des architectures de planification où un robot pourrait raisonner explicitement sur ce qu'un partenaire humain ou artificiel peut lui apporter, au-delà de ses propres capteurs et actionneurs. Pour les concepteurs de systèmes multi-robots ou d'interaction homme-robot, cela offre un cadre formel pour raisonner sur la délégation de tâches et la complémentarité des capacités plutôt que de coder ces comportements au cas par cas. Ce travail s'inscrit dans la continuité des recherches en knowledge representation appliquées à la robotique, où les affordances servent depuis longtemps à modéliser les interactions agent-objet. La nouveauté ici est de traiter formellement la dimension sociale, jusqu'ici peu explorée, en la reliant aux affordances déjà connues. Le papier reste à ce stade théorique et ontologique, sans démonstration sur robot physique ni validation expérimentale à grande échelle rapportée dans le résumé, ce qui en fait une contribution conceptuelle destinée à être reprise par des systèmes de planification ou de raisonnement multi-agents.

RecherchePaper
1 source
WAM-TTT : piloter les modèles monde-action en observant le jeu humain en temps de test
95arXiv cs.RO 

WAM-TTT : piloter les modèles monde-action en observant le jeu humain en temps de test

Une équipe de recherche présente WAM-TTT, une méthode d'entraînement au moment du test ("test-time training") permettant d'orienter des modèles fondation robotiques de type world-action model (WAM) simplement en leur montrant des vidéos humaines, sans démonstration robotique ni fine-tuning spécifique à la tâche. Publié sur arXiv (2607.06988v1), le système ne traite pas les vidéos humaines comme des trajectoires à imiter directement : il les absorbe dans une mémoire adaptative légère, greffée sur un WAM gelé, via un objectif de prédiction vidéo auto-supervisé. Une étape de méta-entraînement, utilisant des paires de données humain-robot et un objectif de reconstruction de mémoire par clé-valeur, aligne en amont les démonstrations humaines avec les comportements robotiques attendus. Résultat : au moment du déploiement, seules des vidéos humaines non annotées suffisent pour adapter le comportement du robot, le modèle fondation pré-entraîné restant intégralement gelé. Les auteurs rapportent que WAM-TTT surpasse systématiquement les approches de référence par conditionnement contextuel sur vidéos humaines, sur un ensemble varié de tâches de manipulation et de scénarios de généralisation. Cette approche s'attaque à un vrai goulot d'étranglement des modèles fondation robotiques (RFM) : aujourd'hui, adapter un modèle vision-langage-action (VLA) à une nouvelle variante de tâche ou à une préférence utilisateur exige généralement de nouvelles démonstrations robotiques coûteuses à collecter, un fine-tuning dédié, ou un long contexte de conditionnement gourmand en calcul. En permettant un pilotage à partir de simples vidéos humaines, sans action robotique ni annotation, WAM-TTT réduit potentiellement le coût d'adaptation et de personnalisation des robots pour les intégrateurs, tout en préservant les capacités de généralisation du modèle de base, un compromis que les méthodes de fine-tuning classiques peinent souvent à tenir. Le papier s'inscrit dans la lignée des travaux récents sur les world-action models et le conditionnement en contexte par vidéo, dont il cherche explicitement à dépasser les limites en tant que méthode de référence comparée. À ce stade, il s'agit d'un résultat de recherche évalué en simulation et sur des bancs de manipulation expérimentaux, sans indication de déploiement industriel ni de partenariat avec un fabricant de robots humanoïdes ou d'AMR ; les auteurs ne précisent pas de calendrier de transfert vers des plateformes commerciales.

RechercheActu
1 source
Modèle vision-langage-action pour la manipulation robuste multi-robot en boucle fermée
96arXiv cs.RO 

Modèle vision-langage-action pour la manipulation robuste multi-robot en boucle fermée

Un article publié le 9 juillet 2026 sur arXiv (référence 2607.06990) présente un nouveau système multi-agent destiné à fiabiliser la manipulation robotique lorsque plusieurs robots doivent coopérer. Les chercheurs proposent une architecture hiérarchique et bouclée reposant sur trois agents pilotés par un grand modèle de langage (LLM) : un agent de planification qui décompose une instruction globale en sous-tâches réparties entre les robots, un agent de manipulation propre à chaque robot qui exécute les actions en mobilisant dynamiquement des outils adaptés, et un agent de vérification qui observe les résultats physiques réels et renvoie des corrections sémantiques en cas d'échec ou d'écart. Le système a été testé lors d'expériences réelles, sans que l'article ne précise pour l'instant de chiffres exacts (taux de succès, nombre de robots, temps de cycle) au-delà de l'affirmation d'une performance supérieure aux approches existantes, aussi bien sur des tâches limitées à un seul poste de travail que sur des tâches réparties entre plusieurs espaces de travail distincts. L'intérêt de ce travail tient au problème qu'il cible directement : la plupart des approches actuelles combinant LLM et robotique se cantonnent soit à un seul bras manipulateur, où la prise en compte du contact physique est robuste mais sans coordination multi-robot possible, soit à une planification multi-robot de haut niveau qui traite la manipulation comme une brique idéalisée, ignorant les aléas réels d'exécution (glissement, échec de préhension, erreur de perception). En bouclant la boucle perception-action-vérification à l'échelle du système multi-robot, cette architecture s'attaque à un angle mort connu du secteur : la difficulté à faire passer un plan LLM cohérent en langage naturel vers une exécution physique fiable quand plusieurs machines doivent se synchroniser sur des tâches à long horizon. Ce travail s'inscrit dans une tendance de recherche plus large qui cherche à doter les architectures VLA (vision-language-action) et les systèmes agentiques d'un mécanisme de rétroaction correctif, plutôt que de se reposer uniquement sur des plans ouverts non révisables. Il concurrence conceptuellement les approches de planification hiérarchique pure et les méthodes de manipulation mono-robot type Pi-0 ou GR00T N2, en visant explicitement le passage à l'échelle vers des ateliers ou des cellules industrielles à plusieurs robots. L'article, encore un simple dépôt arXiv à ce stade, ne mentionne pas de partenariat industriel ni de calendrier de déploiement commercial.

RechercheActu
1 source
EgoVerse : un ensemble de données humaines égocentriques pour l'apprentissage des robots, venu du monde entier
97arXiv cs.RO 

EgoVerse : un ensemble de données humaines égocentriques pour l'apprentissage des robots, venu du monde entier

Une équipe de chercheurs vient de publier une nouvelle version de son article sur arXiv (2604.07607v2) présentant EgoVerse, une plateforme collaborative de données humaines égocentriques destinée à l'apprentissage robotique. La version actuelle du jeu de données regroupe 1 362 heures d'enregistrements, soit environ 80 000 épisodes de démonstrations humaines, couvrant 1 965 tâches différentes réalisées dans 240 environnements distincts par 2 087 démonstrateurs uniques. Les données sont standardisées avec des annotations pertinentes pour la manipulation et des outils dédiés à l'entraînement de modèles en aval. Le projet est conçu pour recevoir des contributions aussi bien de chercheurs individuels que de laboratoires académiques et d'acteurs industriels, dans un cadre commun de collecte et de traitement. Ce travail répond à un problème concret du secteur robotique : la collecte de données réelles sur robot reste coûteuse et difficile à faire passer à l'échelle, tandis que les données humaines égocentriques offrent une alternative bien moins onéreuse pour capturer des comportements de manipulation dans des environnements du quotidien. Les auteurs ont mené une étude à grande échelle sur le transfert humain-vers-robot, avec des expériences répliquées dans plusieurs laboratoires, sur différentes tâches et différentes plateformes robotiques, selon des protocoles partagés. Résultat notable : la performance des politiques s'améliore globalement avec davantage de données humaines, mais ce passage à l'échelle n'est efficace que si ces données sont alignées avec les objectifs d'apprentissage du robot ciblé, un nuance importante pour les équipes qui espèrent simplement empiler du volume de données sans questionner leur pertinence. Le problème que EgoVerse cherche à résoudre est la fragmentation des jeux de données humains existants, souvent limités en portée et difficiles à étendre au-delà de l'institution qui les a produits. En unifiant collecte, traitement et accès sous un même cadre partagé, la plateforme se positionne comme une infrastructure de recherche reproductible plutôt qu'un simple jeu de données figé, avec vocation à s'enrichir au fil des contributions externes. Les vidéos et informations complémentaires sont disponibles sur egoverse.ai.

RecherchePaper
1 source
D'observateur passif à critique actif : l'apprentissage par renforcement révèle un raisonnement de processus pour la manipulation robotique
98arXiv cs.RO 

D'observateur passif à critique actif : l'apprentissage par renforcement révèle un raisonnement de processus pour la manipulation robotique

Une équipe de recherche propose PRIMO R1 (Process Reasoning Induced Monitoring), un framework de 7 milliards de paramètres qui transforme les modèles vidéo multimodaux (MLLM) en "critiques" actifs capables d'évaluer la progression d'une tâche de manipulation robotique, plutôt qu'en simples "observateurs" qui se contentent de reconnaître les actions en cours. La méthode s'appuie sur de l'apprentissage par renforcement basé sur le résultat final pour inciter le modèle à générer un raisonnement explicite en chaîne de pensée (chain-of-thought) lors de l'estimation de la progression. L'architecture ancre la séquence vidéo entre une image de l'état initial et une image de l'état courant, une construction temporelle structurée soutenue par un nouveau jeu de données et benchmark, le PRIMO Dataset. Les résultats annoncés sont significatifs : une réduction de 50% de l'erreur absolue moyenne par rapport aux meilleures références spécialisées, des gains face à des MLLM généralistes de 72 milliards de paramètres malgré une taille dix fois inférieure, et 67,0% de précision sur le benchmark RoboFail, dépassant le modèle o1 d'OpenAI de 6 points. Cette avancée cible un vrai point de friction du secteur : pour les tâches de manipulation longues, les robots doivent non seulement reconnaître ce qu'ils font, mais estimer où ils en sont par rapport à l'objectif final, une capacité clé pour la détection autonome d'échecs sans supervision humaine. Qu'un modèle de 7B batte des systèmes bien plus lourds, y compris o1, sur ce type de raisonnement suggère que le renforcement orienté résultat peut compenser la taille, un argument important pour un déploiement embarqué sur des robots humanoïdes où latence et coût de calcul comptent. Le travail s'inscrit dans la vague de modèles de raisonnement entraînés par RL appliquée spécifiquement à la robotique, avec des tests validés aussi bien en environnements simulés qu'en scénarios réels sur humanoïdes. Il s'agit à ce stade d'une publication de recherche (preprint arXiv, version révisée) accompagnée d'un dataset et d'un benchmark ouverts, pas d'un produit déployé, mais elle pose une référence explicite face aux modèles généralistes et aux systèmes propriétaires comme o1 sur la détection d'échec robotique.

RecherchePaper
1 source
EAGOR : raisonnement incarné omnidirectionnel
99arXiv cs.RO 

EAGOR : raisonnement incarné omnidirectionnel

Des chercheurs présentent EAGOR, un framework de raisonnement directionnel pour agents dotés de caméras omnidirectionnelles à 360 degrés, conçu pour les tâches de navigation et de recherche d'objets sans carte préalable. Contrairement aux modèles vision-langage (VLM) existants qui projettent les images à 360 degrés en projection équirectangulaire (ERP) et les traitent avec des architectures pensées pour des images classiques, EAGOR traite directement la géométrie sphérique de l'observation via une estimation bayésienne récursive sur la sphère, sans réentraîner le modèle VLM sous-jacent. Sa brique centrale, le Spherical Harmonic Belief Field (SH-BF), maintient une croyance continue sur la direction cible et la propage de façon cohérente lors des déplacements du robot. Évalué sur les benchmarks HOS et OSR-Bench ainsi que sur un robot à pattes en conditions réelles, EAGOR affiche des gains relatifs moyens de 34,4% et 45,6% sur ces deux jeux de données, une amélioration de 14,6% du taux de réussite en navigation, une réduction de 17,7% du nombre de pas nécessaires et une baisse de 24,5% de l'erreur angulaire moyenne. L'enjeu dépasse la simple performance sur benchmark : les VLM actuels perdent en cohérence directionnelle dès que l'agent bouge, car la projection ERP introduit des distorsions de latitude et des discontinuités aux coutures de l'image, ce qui rend peu fiable toute estimation de cap dans un contexte de navigation autonome sans carte. En traitant nativement la sphère plutôt que sa projection 2D, EAGOR répond directement à ce problème d'écart entre démonstration et fiabilité opérationnelle, un point sensible pour les intégrateurs qui cherchent à déployer des agents mobiles ou des robots à pattes capables de s'orienter de manière robuste dans des environnements changeants, sans dépendre d'une cartographie préalable coûteuse à maintenir. Cette approche s'inscrit dans la lignée des travaux cherchant à exploiter la vision omnidirectionnelle pour des tâches embarquées, un domaine où les architectures perspective restent dominantes par simple héritage des VLM génériques. En étant training-free, EAGOR peut potentiellement se greffer sur des piles de navigation existantes sans coût de réentraînement, et les tests menés sur un robot à pattes en conditions réelles, au-delà des seuls benchmarks synthétiques, suggèrent une voie vers une adoption plus rapide dans des systèmes de navigation autonome déployés en environnement réel.

RecherchePaper
1 source
RynnWorld-Teleop : un modèle du monde conditionné par l'action pour la téléopération numérique
100arXiv cs.RO 

RynnWorld-Teleop : un modèle du monde conditionné par l'action pour la téléopération numérique

Des chercheurs viennent de publier RynnWorld-Teleop (arXiv:2607.06558v1), un système de "téléopération numérique" qui remplace le robot physique par un modèle du monde génératif. Le principe : un flux de poses de main capturé chez l'opérateur pilote un modèle génératif centré-robot qui synthétise, à partir d'une seule image de référence, une vidéo égocentrique haute fidélité simulant ce que verrait le robot en exécutant le geste. Ce flux de poses sert d'étiquette d'action indépendante de l'embodiment, transférable à n'importe quel robot cible via un retargeting standard, ce qui produit des trajectoires état-action complètes sans jamais toucher de matériel réel. Techniquement, le pipeline combine un conditionnement squelettique sensible à la profondeur, un entraînement progressif humain-vers-robot sur un Diffusion Transformer vidéo, et une distillation autorégressive en streaming qui compresse le processus génératif en une seule passe d'inférence, atteignant plus de 40 images par seconde en génération interactive temps réel sur un seul GPU H100. L'enjeu dépasse la prouesse technique : la collecte de données robotiques massives et diversifiées est aujourd'hui bridée par la téléopération physique, où chaque démonstration immobilise du temps opérateur sur un matériel et un espace de travail précis. En découplant la collecte des contraintes physiques, RynnWorld-Teleop promet de faire chuter drastiquement le coût par trajectoire. Les auteurs rapportent que des politiques entraînées exclusivement sur des données générées par leur système atteignent un transfert Sim2Real en zero-shot sur des tâches bimanuelles dextres et variées, et que l'ajout de ces données synthétiques à des jeux réels améliore systématiquement les taux de réussite, un signal fort pour ceux qui cherchent à faire passer les architectures VLA à l'échelle sans exploser les budgets de collecte terrain. Ce travail s'inscrit dans une tendance plus large de modèles du monde génératifs utilisés comme moteurs de données pour l'apprentissage par imitation, en écho à des approches comme les VLA à grande échelle (Pi-0, GR00T). Il s'agit pour l'instant d'une publication de recherche, sans déploiement industriel ni partenariat annoncé, et la prochaine étape naturelle serait une validation sur des plateformes robotiques commerciales tierces.

RecherchePaper
1 source