Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel

Recherche — page 6

2151 articles · page 6 sur 44

Publications scientifiques en robotique : arXiv cs.RO, ICRA, IROS, Humanoids, CoRL — nouveaux algorithmes, benchmarks et datasets.

HumanoïdesIA physiqueIndustrielFR/EU ecosystemeChine/AsieBusinessExosquelettesRegulationInfrastructureSociete/EthiqueAutre
CoorGrasp : contrôle de contact coordonné pour une préhension dextérique adaptative sous incertitude
251arXiv cs.RO RecherchePaper

CoorGrasp : contrôle de contact coordonné pour une préhension dextérique adaptative sous incertitude

Une équipe de recherche propose CoorGrasp, un contrôleur prédictif piloté par le toucher (tactile-driven model predictive controller) conçu pour améliorer l'exécution de prises dextres complexes lorsque la forme ou la position exacte d'un objet reste incertaine. Le problème ciblé est concret : en boucle ouverte, une main robotique dextre a tendance à établir des contacts mal coordonnés entre ses doigts, ce qui provoque des mouvements indésirables de l'objet en main, voire des échecs de prise complets. La méthode repose sur trois apports techniques précis : une séparation des phases sensible à la coordination (approche puis serrage), une coordination bras-main destinée à compenser les erreurs de position, et une coordination adaptative des forces pour augmenter les forces de contact de façon équilibrée entre les points d'appui. Un modèle analytique relie les forces de contact aux mouvements articulaires du robot pour piloter cette commande prédictive. L'équipe a validé l'approche via 15 000 prises simulées portant sur 478 objets différents, testées sur trois mains robotiques distinctes, complétées par des essais réels sur 8 objets physiques. L'enjeu dépasse la seule prouesse algorithmique. Une grande partie de la recherche récente en manipulation dextre s'est concentrée sur la génération de poses de prise (où poser les doigts), en traitant l'exécution comme une étape secondaire. Or c'est précisément cette exécution qui échoue en conditions réelles, quand les capteurs de vision se trompent sur la géométrie ou la position exacte d'un objet. En démontrant un gain mesurable de taux de réussite et une réduction des mouvements parasites de l'objet, ce travail s'attaque directement à l'écart classique entre démonstration en laboratoire et robustesse en environnement non contrôlé, un frein connu à l'adoption industrielle des mains robotiques multi-doigts pour la logistique ou l'assemblage fin. Le point notable de généralité de CoorGrasp est qu'il ne dépend pas d'un type de prise ou d'une configuration de contact particulière : il s'intègre à n'importe quelle méthode existante de génération de poses de prise, ce qui en fait potentiellement une brique complémentaire plutôt qu'un système fermé. Publié sur arXiv début juillet 2026, ce travail s'inscrit dans un effort de recherche plus large visant à combler l'écart entre planification de prise et contrôle tactile en temps réel, un axe suivi de près par les laboratoires travaillant sur les mains dextres pour l'humanoïde et la manipulation fine.

1 source
Glance-Say : collaboration homme-robot multimodale et reconnaissance d'intention via un regard soutenu
252arXiv cs.RO 

Glance-Say : collaboration homme-robot multimodale et reconnaissance d'intention via un regard soutenu

Des chercheurs proposent Glance-Say, un cadre d'interaction multimodale associant regard et parole pour la manipulation robotique assistive destinee aux personnes a mobilite reduite. Le systeme repose sur un algorithme dit de "regard collant" (sticky-glance) qui stabilise la selection de cible en cumulant conjointement la distance geometrique et l'evidence directionnelle du regard, un mecanisme concu pour compenser les micro-saccades oculaires et l'ambiguite semantique dans des environnements comportant plusieurs objets. Dans ce paradigme, le regard designe l'objet vise pendant que la commande vocale precise l'action a executer, le tout couple a un schema de controle partage en continu qui maintient le bras robotique en etat de haute reactivite tout en integrant un retour humain-dans-la-boucle. Les experiences rapportees affichent un taux de suivi de 0,92 pour des cibles mobiles, une precision de selection de 0,97 pour des cibles statiques, ainsi qu'une reduction du temps necessaire pour accomplir les taches, par rapport aux paradigmes d'interaction de reference. Pour l'assistance robotique aux personnes en situation de handicap moteur, ce travail s'attaque a un verrou concret: les interfaces regard-plus-voix existantes echouent souvent des que plusieurs objets similaires sont presents ou que l'utilisateur bouge la tete, forcant des re-selections fastidieuses. Une methode qui stabilise l'intention en temps reel sans capteur exotique, en s'appuyant sur des signaux de regard et de parole standards, rapproche ce type d'interface d'un usage quotidien realiste plutot que d'une demonstration de laboratoire en conditions ideales. Pour les integrateurs travaillant sur des bras assistifs ou des fauteuils robotises, cela ouvre la voie a des controles plus naturels, sans dispositifs de pointage dedies ni entrainement lourd de l'utilisateur. Ce travail s'inscrit dans la lignee des recherches en interaction cerveau-machine et interfaces oculaires pour l'assistance, un champ historiquement freine par le bruit du regard et l'ambiguite des commandes vocales isolees. Publie sur arXiv en tant que version revisee, l'article ne mentionne pas de partenariat industriel ni de deploiement au-dela du banc d'essai experimental; les prochaines etapes attendues concernent une validation sur davantage d'utilisateurs et de scenarios de manipulation reels, ainsi qu'une comparaison plus large face aux systemes commerciaux d'assistance existants.

RecherchePaper
1 source
HUGS : synthèse unifiée de préhension dextérique guidée par des priors humains, à travers modes et échelles
253arXiv cs.RO 

HUGS : synthèse unifiée de préhension dextérique guidée par des priors humains, à travers modes et échelles

Le laboratoire à l'origine de ce travail de recherche présente HUGS (Human-prior-guided Unified Dexterous Grasp Synthesis), une méthode qui unifie la synthèse de prises dextres robotiques à travers différentes échelles d'objets et différents modes de contact, de la pince à deux doigts à la prise bimanuelle. Plutôt que de recopier directement des démonstrations humaines, le système apprend un a priori conditionné par l'objet à partir d'un jeu de données compact de 1,8K prises collectées sur 304 objets réels, couvrant une large gamme de tailles et de modes de contact. Cet a priori guide ensuite une optimisation qui privilégie la fermeture de force (force-closure), en proposant de façon adaptative les modes de contact et les initialisations de poignet les plus pertinents. Résultat concret : les chercheurs ont synthétisé 3,2 millions de prises robotiques réparties sur 157 000 scènes, avec des objets dont la demi-diagonale varie de 2 à 30 centimètres, allant d'une vis à un grand carton. Cette approche s'attaque à un problème récurrent en robotique dextre : les méthodes existantes s'appuient sur des contacts attendus et des heuristiques d'initialisation conçues manuellement, ce qui limite soit le taux de réussite, soit la diversité des prises générées. En démontrant que des modèles entraînés sur ce jeu de données synthétique choisissent de façon autonome le mode de contact adapté à chaque objet dans le monde réel, HUGS apporte un élément de preuve supplémentaire que l'apprentissage à partir de données synthétiques à grande échelle peut réduire l'écart entre simulation et réalité, un point de friction classique pour les intégrateurs qui cherchent à déployer des mains robotiques polyvalentes en entrepôt ou en usine. Ce travail s'inscrit dans une tendance plus large de la recherche en manipulation robotique, où la génération de données synthétiques massives sert à contourner la rareté des démonstrations humaines réelles, coûteuses à collecter à cette échelle. En s'appuyant sur des préférences de préhension humaines plutôt que sur un simple retargeting geste par geste, les auteurs se positionnent face aux approches purement heuristiques ou purement basées sur l'imitation. Les prochaines étapes attendues concernent le passage à l'échelle sur des mains robotiques physiques variées et l'intégration de ces prises synthétiques dans des pipelines d'apprentissage bout-en-bout pour la manipulation générale.

RecherchePaper
1 source
ObjRetarget : un cadre de retransfert de mouvement sensible aux objets, avec contraintes anthropomorphiques du bras et modélisation polyédrique de la main
254arXiv cs.RO 

ObjRetarget : un cadre de retransfert de mouvement sensible aux objets, avec contraintes anthropomorphiques du bras et modélisation polyédrique de la main

Une équipe de recherche présente ObjRetarget, un nouveau framework de retargeting de mouvement humain vers robot destiné à l'apprentissage de la manipulation dextre à partir de vidéos humaines, décrit dans un article publié sur arXiv (2607.03828v1). Le problème visé est classique en intelligence incarnée : transférer fidèlement l'intention humaine observée dans une vidéo vers des actions robotiques exécutables, tout en conservant un contact main-objet stable pendant la manipulation. La méthode combine deux briques. Pour le bras, des trajectoires de référence extraites des vidéos humaines servent de point de départ, affinées par des contraintes anthropomorphiques et une optimisation tenant compte de la redondance cinématique, afin de produire des mouvements naturels et précis. Pour la main, ObjRetarget modélise les contacts multi-doigts via des clusters polyédriques (polytopes) et préserve la structure de contact grâce à des invariants géométriques, ce qui améliore la stabilité du geste. Les tests sur robots réels montrent une amélioration des taux de réussite de manipulation et de la stabilité de contact sur plusieurs tâches dextres, avec une bonne généralisation à de nouvelles démonstrations, poses d'objets et configurations de tâche. Ce travail s'inscrit dans un enjeu central pour l'industrie robotique actuelle : faire fonctionner l'apprentissage par imitation à partir de vidéos humaines à grande échelle, un des piliers annoncés des modèles VLA (vision-language-action) comme GR00T N2, Pi-0 ou Helix. Le point faible historique de ces approches est justement le retargeting, l'étape où l'intention humaine capturée en vidéo doit être traduite en gestes robotiques exploitables sans perdre la qualité du contact physique. En modélisant explicitement le contact plutôt qu'en s'en remettant au reinforcement learning, souvent gourmand en données et peu généralisable, ObjRetarget répond à une limite concrète freinant le passage de la démonstration vidéo à une manipulation dextre fiable en conditions réelles, un enjeu direct pour les intégrateurs travaillant sur des mains robotiques multi-doigts. Le papier se positionne en creux face aux méthodes existantes de retargeting, jugées insuffisantes faute de modélisation de contact explicite. Il s'agit ici d'une contribution de recherche publiée sur arXiv, validée expérimentalement sur robots réels mais sans déploiement industriel ni partenaire commercial annoncé à ce stade, les suites logiques étant une intégration possible dans des pipelines d'apprentissage de politiques robotiques plus larges.

RecherchePaper
1 source
Deform360 : un vaste jeu de données visuotactile multi-vues pour les modèles du monde déformables
255arXiv cs.RO 

Deform360 : un vaste jeu de données visuotactile multi-vues pour les modèles du monde déformables

Une équipe de recherche publie Deform360, un jeu de données visuotactile de très grande échelle dédié à la modélisation du monde pour les objets déformables, disponible sur arXiv (2607.05390) et sur le site du projet deform360.lhy.xyz. Le dataset couvre 198 objets du quotidien et 1 980 séquences d'interaction, totalisant plus de 215 heures d'observations. La capture repose sur 41 caméras en vue périphérique combinées à des pinces bimanuelles équipées de capteurs tactiles, afin d'enregistrer à la fois le mouvement global des objets et les déformations locales induites par le contact. Les chercheurs ont développé un pipeline de suivi 3D visuotactile sans marqueurs pour extraire une géométrie et un mouvement denses, puis ont évalué plusieurs modèles du monde de référence, comparant les approches vidéo en 2D aux modèles de particules en 3D. Une démonstration préliminaire de planification robotique sur des objets déformables valide l'applicabilité pratique du jeu de données. Cette publication comble un vide méthodologique important pour la robotique de manipulation : la modélisation des objets déformables (tissus, aliments, câbles) reste l'un des angles morts des systèmes actuels, faute de données réelles diversifiées et à grande échelle pour comparer objectivement les paradigmes concurrents. En confrontant directement les modèles 2D pixel et 3D géométrique sur un même benchmark, l'étude apporte des éléments concrets sur l'arbitrage entre a priori structurels et scalabilité, une question centrale pour les intégrateurs qui cherchent des architectures de perception-action robustes face à des matières non rigides, un défi encore largement non résolu comparé à la manipulation d'objets rigides. Les modèles du monde se sont imposés ces dernières années comme brique clé pour la planification robotique, portés par des architectures vidéo génératives d'un côté et des représentations particulaires ou géométriques de l'autre, à l'image des travaux sur les modèles VLA à grande échelle. Jusqu'ici, l'essentiel des jeux de données disponibles restait limité en taille ou en diversité d'objets, freinant les comparaisons rigoureuses entre approches. Deform360 se positionne comme un benchmark de référence pour la communauté et ouvre la voie à des travaux futurs sur la généralisation des modèles du monde centrés objets déformables, un domaine encore émergent où l'écart entre démonstrations en laboratoire et déploiement industriel reste à combler.

RecherchePaper
1 source
CABTO : ancrage contextuel d'arbres de comportement pour la manipulation robotique
256arXiv cs.RO 

CABTO : ancrage contextuel d'arbres de comportement pour la manipulation robotique

Des chercheurs presentent CABTO (Context-Aware Behavior Tree grOunding), un framework qui automatise la construction de systemes d'arbres de comportement (Behavior Trees, BT) pour le controle de robots manipulateurs. Les auteurs formalisent d'abord le probleme du "BT Grounding" : produire automatiquement, a la fois, les modeles d'action de haut niveau et les politiques de controle bas niveau qui rendent un arbre de comportement executable, une etape qui exigeait jusqu'ici un travail d'expert manuel consequent. CABTO s'appuie sur des grands modeles pre-entraines (LLMs) pour explorer heuristiquement l'espace des modeles d'action et des politiques de controle possibles, guide par un retour contextuel issu des planificateurs de BT et des observations de l'environnement. Les chercheurs ont evalue leur methode sur sept ensembles de taches repartis sur trois scenarios distincts de manipulation robotique, et rapportent des resultats montrant l'efficacite et la rapidite de l'approche pour generer des systemes de BT complets et coherents. Ce travail cible un goulot d'etranglement concret dans le deploiement des arbres de comportement en robotique : jusqu'ici, faire le lien entre une architecture BT theoriquement valide et son execution reelle sur un robot demandait un reglage manuel des modeles d'action et des politiques bas niveau, un frein a l'automatisation complete du pipeline de conception de controleurs. En automatisant cette etape de "grounding" via des LLMs, CABTO reduit la dependance a l'expertise humaine pour construire des controleurs modulaires et reactifs, un enjeu direct pour les integrateurs et laboratoires qui cherchent a deployer plus vite des comportements robotiques fiables sans reecrire manuellement chaque politique de bas niveau. Le papier s'inscrit dans le champ emergent du "BT planning", qui fournit des garanties theoriques pour generer automatiquement des arbres de comportement fiables, mais suppose generalement qu'un systeme BT deja "ground" (modeles et politiques definis) est disponible en amont. CABTO se positionne comme la premiere approche a s'attaquer explicitement a cette hypothese manquante, en s'inscrivant dans la vague plus large des methodes combinant LLMs et planification symbolique en robotique. La version arXiv consultee est une republication (v2) de l'article.

RecherchePaper
1 source
Recherche autonome de phénomènes visuels épars par modélisation du contexte environnemental
257arXiv cs.RO 

Recherche autonome de phénomènes visuels épars par modélisation du contexte environnemental

Des chercheurs ont mis au point une méthode permettant à des véhicules sous-marins autonomes (AUV) de localiser efficacement des espèces de corail rares sur un récif, un problème classique en robotique d'exploration où la cible est trop dispersée pour guider directement la recherche. Plutôt que de s'appuyer uniquement sur les détections directes de l'espèce visée, souvent trop rares pour indiquer une direction utile, l'équipe propose d'exploiter le contexte environnemental visuel, c'est-à-dire les caractéristiques d'habitat qui coexistent statistiquement avec l'espèce recherchée. À partir d'une seule image annotée, le système utilise des embeddings DINOv2 au niveau du patch pour détecter en une seule fois, et en temps réel, à la fois la cible et son environnement typique. La méthode a été validée sur des images réelles capturées par un AUV sur deux sites de récifs à Saint-Jean, dans les îles Vierges américaines, avec une simulation offline du déplacement du robot. Résultat: jusqu'à 75% de la cible peut être échantillonnée en environ la moitié du temps requis par une couverture exhaustive du terrain, lorsque l'espèce est rare, avec de meilleures performances que les stratégies de recherche fondées sur la seule détection directe. Pour l'industrie robotique sous-marine et la surveillance environnementale, ce résultat répond à une contrainte très concrète: l'autonomie énergétique limitée des AUV rend la couverture exhaustive d'un récif souvent impossible. En démontrant qu'un signal de contexte, plus dense et plus lisse spatialement que les détections de cible elles-mêmes, permet à un planificateur adaptatif de mieux décider où explorer ensuite, l'étude apporte une alternative concrète aux approches de recherche par balayage systématique ou par détection pure, notamment utile pour la surveillance écologique à grande échelle où les cibles biologiques sont naturellement éparses. Ce travail s'inscrit dans la lignée des recherches sur l'exploration robotique guidée par apprentissage, où des modèles de vision fondationnels comme DINOv2 permettent désormais une détection "one-shot" sans réentraînement lourd, un atout pour des missions de terrain où les données annotées sont rares. Les auteurs positionnent leur approche face aux stratégies de couverture exhaustive et aux méthodes de recherche fondées uniquement sur la détection de cible, qu'ils surpassent dans leurs tests. Les prochaines étapes annoncées concernent le déploiement en conditions réelles, au-delà de la simulation offline utilisée dans cette étude.

RecherchePaper
1 source
SEAM : exécution fluide de mouvements segmentés en actions pour les politiques vision-langage-action (VLA)
258arXiv cs.RO 

SEAM : exécution fluide de mouvements segmentés en actions pour les politiques vision-langage-action (VLA)

Une équipe de recherche publie SEAM (Smooth Execution of Action-Chunked Motion), une méthode d'inférence sans entraînement destinée aux politiques Vision-Language-Action (VLA) à appariement de flux (flow matching), décrite dans un article déposé sur arXiv (2607.04609). Testée sur le benchmark de simulation LIBERO-10 avec le modèle pi0.5 de Physical Intelligence, la méthode réduit de 28% les à-coups (jerk) aux frontières entre segments de trajectoire et de 27% la discontinuité de transition entre ces segments, tout en préservant le taux de réussite des tâches et en ajoutant un coût de calcul quasi nul par rapport à la version non guidée. Son mécanisme central, le Velocity-guided Loss Steering (VLS), exploite le fait que la fin non exécutée du segment précédent reste disponible comme référence de cohérence une fois le préfixe consommé par le robot, et applique une correction analytique après chaque étape d'Euler sans rétropropager dans le réseau. Le problème visé, la bifurcation multimodale, touche toutes les architectures VLA qui découpent leurs actions en segments de longueur fixe pour limiter la fréquence d'inférence, une approche partagée par des modèles comme pi0, GR00T N2 ou Helix. Quand deux segments adjacents, générés à partir de latents gaussiens indépendants, convergent vers des modes de trajectoire incompatibles, le robot produit des à-coups brusques aux jonctions, un symptôme visible de l'écart entre démonstration et exécution réelle. Les solutions existantes, rétropropagation à chaque étape de débruitage, échantillonnage par rejet ou réentraînement complet, imposaient toutes un compromis entre coût de calcul et fiabilité des tâches. Une correction déployable à l'inférence, sans toucher aux poids du modèle, intéresse directement les intégrateurs qui opèrent des politiques VLA figées sur du matériel de production. L'évaluation reste toutefois cantonnée à la simulation LIBERO-10, un banc d'essai standard mais éloigné des conditions réelles d'un bras ou d'un humanoïde en usine. La validation sur matériel physique et l'extension à d'autres politiques que pi_0.5 constituent les étapes naturelles avant toute adoption industrielle.

RechercheActu
1 source
ADP : a priori dynamiques adverses pour une locomotion humanoïde ancrée physiquement
259arXiv cs.RO 

ADP : a priori dynamiques adverses pour une locomotion humanoïde ancrée physiquement

Des chercheurs publient sur arXiv (arXiv:2607.03454) une nouvelle methode d'apprentissage baptisee Adversarial Dynamics Priors (ADP), destinee a rendre la marche des robots humanoides plus resistante aux chocs et poussees exterieures. Les approches actuelles de type AMP (Adversarial Motion Priors) imposent un style de demarche naturel en imitant des caracteristiques cinematiques du mouvement, mais elles ne regulent pas directement les grandeurs dynamiques sous jacentes: trajectoire du centre de masse, moment centroidal, forces de contact et etats de contact au sol. ADP change la cible de l'apprentissage adversarial en remplacant ces indices de style par des trajectoires generees via optimisation de trajectoire, utilisees comme jeu de reference. Un discriminateur est ensuite entraine a juger si les sequences temporelles produites par la politique de controle du robot restent coherentes avec cette distribution de reference, sans suivi explicite de mouvement imprime a l'avance. Compare a AMP, la reference la plus solide testee, ADP ameliore de 16,7% le seuil de reussite a 80% face a une impulsion (J80, une mesure de la force de choc absorbable sans chute), tout en reduisant de 47,9% le temps de recuperation moyen et de 35,4% l'erreur de suivi de vitesse apres perturbation. Pour l'industrie robotique, ce travail cible un angle mort frequent des demonstrations commerciales: la resilience a des perturbations reelles et non scriptees, plutot que la seule fluidite du mouvement en conditions de laboratoire. Les controleurs entraines par imitation de style de mouvement produisent souvent des demarches visuellement convaincantes en video mais fragiles des qu'un choc imprevu survient, un ecart classique entre demonstration et deploiement reel evoque regulierement dans le secteur des humanoides. En regulant directement la dynamique plutot que l'apparence du mouvement, ADP fournit une piste concrete pour combler cet ecart, un enjeu direct pour les integrateurs qui envisagent des humanoides en environnements industriels non controles. Ce travail s'inscrit dans la lignee des methodes d'apprentissage par imitation adversariale de mouvement (AMP), largement adoptees depuis plusieurs annees pour entrainer des politiques de controle de robots bipedes et quadrupedes en simulation avant transfert au reel. Il ne s'accompagne pas, a ce stade, d'annonce de deploiement sur une plateforme commerciale identifiee: il s'agit d'une contribution de recherche methodologique, evaluee en simulation, dont la generalisation a du materiel physique reste a demontrer dans de futurs travaux.

RecherchePaper
1 source
ROBOCYCLE : manipulation et coordination robotiques autonomes à deux bras pour le recyclage
260arXiv cs.RO 

ROBOCYCLE : manipulation et coordination robotiques autonomes à deux bras pour le recyclage

Des chercheurs présentent ROBOCYCLE, une plateforme robotique autonome à deux bras conçue pour le tri des déchets recyclables, calibrée pour répondre aux normes de recyclage de la métropole de Tokyo. Le système combine une perception RGB-D multi-vues, une segmentation d'instances basée sur le transformeur RF-DETR, et une planification de prise à 6 degrés de liberté (DoF) via le SDK Anygrasp. En traitant des nuages de points segmentés, la plateforme génère des poses de préhension robustes pour des objets irréguliers, déformables ou encombrés (bouteilles en PET froissées, emballages transparents, déchets mélangés). Les résultats annoncés font état d'un taux de réussite de préhension de 90,3% et d'un taux de réussite global des tâches de 84,3%, incluant des opérations coordonnées complexes comme le dévissage de bouchons de bouteilles PET avant tri. Le tri des déchets reste l'un des angles morts de la robotique industrielle : les objets transparents, déformables ou empilés de façon chaotique mettent en échec la plupart des systèmes de vision et de préhension actuels, ce qui oblige encore de nombreux centres de tri à s'appuyer sur du personnel humain malgré des pénuries de main-d'œuvre croissantes dans ce secteur. Un taux de réussite de tâche proche de 85% sur ce type de matériaux, si confirmé en conditions réelles et pas seulement en environnement contrôlé de laboratoire, marquerait une avancée notable par rapport aux pilotes existants, généralement limités à des flux de déchets homogènes ou pré-triés. Pour les opérateurs de centres de tri, les intégrateurs de systèmes et les décideurs municipaux, ROBOCYCLE montre comment l'association de modèles de segmentation récents et de SDK de préhension commerciaux comme Anygrasp permet de construire rapidement des démonstrateurs crédibles, sans développer une pile de perception et de manipulation entièrement propriétaire. ROBOCYCLE s'inscrit dans une vague de recherche académique visant à automatiser le tri sélectif face à la hausse des volumes de déchets urbains, un problème documenté de longue date au Japon, où les normes de recyclage, notamment à Tokyo, comptent parmi les plus strictes au monde. Le projet assemble des briques technologiques existantes plutôt que de proposer un nouveau modèle de bout en bout : RF-DETR pour la segmentation d'instances et Anygrasp pour la planification de prise, deux outils déjà exploités dans d'autres travaux de manipulation robotique en entrepôt. Publié comme article de recherche sur arXiv, ROBOCYCLE reste à ce stade un prototype académique dont les résultats n'ont pas encore été validés par un déploiement commercial ou industriel ; les auteurs ne précisent aucun calendrier de transfert vers un site de tri réel ni d'accord avec un opérateur de gestion des déchets.

RecherchePaper
1 source
Latents de mouvement sensibles à la géométrie pour des politiques de manipulation robustes
261arXiv cs.RO 

Latents de mouvement sensibles à la géométrie pour des politiques de manipulation robustes

Ils entraînent GeoMoLa (Geometry-Aware Motion Latents) en prédisant l'évolution de nuages de points plutôt qu'en reconstruisant des images, pour capturer les transformations géométriques 3D sous-jacentes aux gestes de manipulation. Contrairement aux approches existantes qui nécessitent une reconstruction multi-vues, GeoMoLa atteint des performances état de l'art avec une seule caméra RGB-D en entrée. Les auteurs valident la méthode sur plusieurs bancs d'essai de manipulation robotique standards, ainsi que sur des expériences en conditions réelles, où le système parvient à manipuler des objets dans des environnements encombrés avec un nombre minimal de démonstrations. Leurs études d'ablation confirment que c'est la prédiction géométrique, et non la richesse visuelle, qui pilote la performance du modèle. Ce résultat pèse sur un débat central de la robotique manipulative actuelle: faut-il apprendre le mouvement à partir de motifs visuels (pixels, textures, apparence) ou à partir de la géométrie sous-jacente de la scène (formes, profondeur, déplacement des points dans l'espace)? En montrant que des latents entraînés sur la géométrie 4D (espace + temps) généralisent à des scènes visuellement inédites tout en produisant des transformations physiquement cohérentes, l'étude apporte un argument empirique en faveur d'une abstraction du mouvement indépendante de l'apparence. Pour les équipes qui développent des politiques de manipulation type VLA (vision-language-action) destinées à des bras robotiques ou des humanoïdes, cela suggère une voie pour réduire la dépendance à des configurations multi-caméras coûteuses, tout en gagnant en robustesse face au bruit visuel et au clutter, un problème récurrent des déploiements industriels réels. Cette recherche s'inscrit dans la lignée des travaux sur les représentations latentes discrètes pour le contrôle robotique, où plusieurs équipes académiques cherchent depuis quelques années à dépasser les limites des politiques purement pixel-to-action, jugées fragiles hors distribution. L'approche par nuages de points 4D rejoint des efforts plus larges en robotique combinant perception 3D (depth, LiDAR, RGB-D) et apprentissage de politiques, un axe également exploré par des laboratoires travaillant sur les modèles VLA généralistes comme Pi-0 ou GR00T N2. Le papier, publié sur arXiv début juillet 2026, ne précise pas de partenariat industriel ni de déploiement commercial: il s'agit à ce stade d'une contribution de recherche fondamentale, dont la prochaine étape naturelle serait une validation à plus grande échelle sur des plateformes robotiques commerciales.

RecherchePaper
1 source
Penser par proprioception : une sélection de tokens visuels ancrée sur l'état pour les modèles VLA
262arXiv cs.RO 

Penser par proprioception : une sélection de tokens visuels ancrée sur l'état pour les modèles VLA

Voici l'article traduit et résumé : Des chercheurs présentent ThinkProprio, une nouvelle architecture pour les modèles vision-langage-action (VLA) qui pilotent les robots. Contrairement aux approches classiques où la proprioception, c'est-à-dire l'état interne du robot comme la position de ses articulations, n'intervient qu'en toute fin de traitement comme simple signal de conditionnement passif, ThinkProprio discrétise cette information en tokens compatibles avec le vocabulaire du modèle de vision-langage. Ces tokens sont ensuite utilisés conjointement avec l'instruction textuelle pour filtrer les patches visuels avant même que le calcul du VLM ne démarre. Résultat clé des expériences menées sur les bancs d'essai CALVIN et LIBERO ainsi qu'en manipulation réelle : ne conserver qu'environ 12% des tokens visuels suffit à dépasser les performances d'une baseline utilisant l'intégralité des tokens sur le protocole CALVIN ABC vers D, tout en réduisant la latence d'inférence de bout en bout. L'apport est significatif pour le secteur car il renverse une hypothèse répandue : ajouter la proprioception comme simple signal supplémentaire ne change quasiment rien aux performances, contrairement à ce qu'on pourrait attendre. La valeur n'apparaît que lorsque l'état du robot sert de requête active, en sélectionnant en amont quelles informations visuelles méritent d'être traitées. Pour les intégrateurs et équipes robotique confrontées au goulot d'étranglement de la latence d'inférence lors du déploiement de VLA sur du matériel réel, cette piste ouvre une voie concrète pour accélérer l'exécution sans sacrifier la précision des actions. Cette contribution s'inscrit dans une tendance de fond de la recherche en VLA, où des modèles comme GR00T N2, Pi-0 ou Helix intègrent généralement la proprioception de façon tardive et peu exploitée architecturalement. Face à la pression pour rendre ces modèles exécutables en temps réel embarqué, l'efficacité de l'inférence devient un axe de recherche aussi central que la précision des tâches. Les auteurs valident leur approche par des ablations systématiques montrant la supériorité des tokens de vocabulaire VLM sur des projecteurs appris, ouvrant la voie à une adoption potentielle par les laboratoires développant des modèles fondation pour la robotique embarquée.

RechercheActu
1 source
CN-CBF : fonction de barrière de contrôle neuronale composite pour la navigation robotique en environnements dynamiques
263arXiv cs.RO 

CN-CBF : fonction de barrière de contrôle neuronale composite pour la navigation robotique en environnements dynamiques

Des chercheurs proposent une nouvelle méthode de conception de fonctions de barrière de contrôle neuronales, baptisée CN-CBF (Composite Neural Control Barrier Function), pour sécuriser la navigation de robots autonomes dans des environnements dynamiques et incertains. L'approche combine plusieurs CBF neuronales individuelles en une seule fonction composite : chacune est entraînée hors ligne à partir de données générées par le cadre de calculabilité Hamilton-Jacobi, afin d'approximer l'ensemble de sécurité optimal face à un obstacle mobile unique. Une architecture neuronale résiduelle garantit que l'ensemble de sécurité estimé ne recoupe jamais l'ensemble d'échec correspondant. La méthode a été testée en simulation sur un robot terrestre et un quadricoptère, puis validée par des expériences matérielles sur les deux plateformes. Comparée aux meilleures méthodes de référence existantes, elle améliore le taux de réussite de la navigation jusqu'à 18%, tout en conservant des longueurs de trajectoire et des temps de déplacement comparables, voire inférieurs. Ce résultat s'attaque à un problème central pour l'industrie robotique : les filtres de sécurité basés sur les CBF sont simples à déployer mais notoirement difficiles à concevoir manuellement, en particulier quand l'environnement change en temps réel. En automatisant et en fiabilisant cette conception via l'apprentissage, CN-CBF pourrait faciliter le déploiement de robots autonomes, mobiles ou volants, dans des environnements partagés avec des obstacles mobiles, humains compris, sans sacrifier l'efficacité des trajectoires. Le passage du simulateur au matériel réel, sur deux morphologies distinctes, robot au sol et drone, est un signal encourageant pour les intégrateurs et les équipes de R&D qui cherchent des garanties de sécurité formelles plutôt que des heuristiques ad hoc, un enjeu clé pour la certification et l'adoption en environnements industriels ou logistiques. Les fonctions de barrière de contrôle sont un outil classique de la théorie du contrôle pour garantir la sécurité formelle des systèmes dynamiques, mais leur conception manuelle devient vite intraitable dès que la dimension ou la complexité de l'environnement augmente. Les approches existantes, qu'elles soient purement basées sur des modèles ou purement apprises, souffrent chacune de limites que les auteurs cherchent explicitement à corriger en combinant apprentissage neuronal et cadre théorique Hamilton-Jacobi. Publié sur arXiv en version révisée, ce travail s'inscrit dans une littérature croissante sur les CBF neuronales pour la robotique mobile et aérienne. Les auteurs mentionnent des évaluations étendues en simulation face à plusieurs méthodes concurrentes ; une extension naturelle consisterait à traiter des scénarios multi-obstacles ou multi-robots, au-delà du cas de l'obstacle mobile unique étudié ici.

RecherchePaper
1 source
Politique visuomotrice haute fidélité en une étape, via correction récursive, cohérence fréquentielle et flux contrastif
264arXiv cs.RO 

Politique visuomotrice haute fidélité en une étape, via correction récursive, cohérence fréquentielle et flux contrastif

Un article de recherche publié sur arXiv (2607.03865v1) propose une nouvelle méthode pour accélérer drastiquement le contrôle visuomoteur des robots par réseaux génératifs. Les modèles de diffusion et de flow matching, qui modélisent des distributions d'actions multimodales, souffrent d'une latence d'inférence élevée car ils nécessitent typiquement une dizaine d'étapes de calcul (10-step sampling) pour produire une action robotique. Les chercheurs introduisent trois mécanismes complémentaires réunis dans un même cadre : Recursive Consistent Action Flow (RCAF), qui corrige par récursion les erreurs de troncature spatiale ; Dual-Timestep Frequency Consistency (DTFC), qui préserve les détails haute fréquence du mouvement via une cohérence spectrale adaptative ; et Contrastive Flow Matching (CFM), qui sépare les trajectoires d'action enchevêtrées grâce à un objectif répulsif à marge. Testée sur les benchmarks RoboTwin, RoboTwin 2.0, Adroit et DexArt ainsi que sur des plateformes robotiques réelles, l'approche atteint des performances comparables voire supérieures à des politiques génératives à 10 étapes, tout en ne nécessitant qu'un seul passage direct (1 NFE, number of function evaluations). Cette avancée s'attaque à un goulot d'étranglement bien connu du secteur : les politiques de type diffusion ou flow matching produisent des gestes précis et multimodaux, mais leur lenteur d'inférence les rend difficiles à déployer pour du contrôle temps réel sur robot physique. Les méthodes d'accélération en une étape existantes compressaient jusqu'ici tout le processus en une seule grande mise à jour, au prix d'une dérive spatiale, d'une distorsion des fréquences et d'un lissage des modes d'action qui dégradait la précision du geste. Réduire l'inférence à un facteur proche de dix sans sacrifier la qualité rapproche les politiques génératives type VLA d'un usage industriel réel, pour l'intégration robotique ou la manipulation fine. Ce travail s'inscrit dans la lignée des politiques de diffusion pour la robotique popularisées depuis 2023, et des architectures flow matching comme Pi-0, qui ont démontré la puissance des modèles génératifs pour l'action mais peinaient sur la latence. La validation sur plusieurs benchmarks académiques et sur robots réels laisse présager une adoption plus large de ces techniques de compression à mesure que les laboratoires cherchent à rendre les VLA exploitables en production.

RecherchePaper
1 source
Ancrage des affordances par tokens avec de grands modèles vision-langage
265arXiv cs.RO 

Ancrage des affordances par tokens avec de grands modèles vision-langage

Le papier arXiv 2607.03595, publié cette semaine, présente TokAG, une méthode "zero-shot" de localisation d'affordances dans les images, c'est-à-dire l'identification des zones précises qui permettent une action donnée sur un objet (attraper une poignée, s'asseoir sur une chaise, etc.). Contrairement aux approches précédentes qui s'appuyaient sur un apprentissage faiblement supervisé à partir d'étiquettes d'action sur des images à la première personne extérieure (exocentriques), TokAG n'utilise aucune annotation externe. La méthode exploite les cartes d'attention associées aux différents tokens générés par un grand modèle vision-langage (LVLM) : les auteurs montrent que ces cartes varient fortement selon le token choisi, certains pointant vers l'arrière-plan plutôt que vers l'objet ciblé. Un mécanisme de sélection spatiale identifie automatiquement le token dont l'attention se concentre le mieux sur l'objet pertinent, et cette carte est ensuite convertie en carte de chaleur d'affordance. Sur les benchmarks de référence, TokAG améliore le score NSS de 10,7% sur le split "invisible" d'AGD20K et de 29,7% sur HICO-IIF par rapport aux meilleures méthodes faiblement supervisées existantes. L'enjeu dépasse la seule métrique académique : la localisation d'affordances est une brique centrale pour la perception incarnée et l'intelligence physique, notamment en robotique de manipulation, où un système doit repérer où et comment saisir un objet sans supervision spécifique à chaque action. Le problème que ciblent les auteurs est concret : les méthodes précédentes confondaient des actions sémantiquement proches car elles s'appuyaient sur de courtes étiquettes textuelles pauvres en détails, et échouaient sur des images ambiguës où plusieurs actions cohabitent. Montrer qu'un LVLM déjà entraîné encode implicitement assez de signal spatial pour s'en passer va dans le sens d'une tendance plus large : réutiliser les modèles vision-langage-action existants plutôt que ré-entraîner des détecteurs dédiés à chaque tâche. Le travail s'inscrit dans la lignée des recherches sur l'extraction de signaux spatiaux depuis des modèles figés, sans fine-tuning supplémentaire. Les auteurs annoncent la publication future du code et des modèles, ce qui reste à vérifier puisque rien n'est encore disponible au moment de la parution du preprint ; les gains restent donc validés uniquement sur benchmarks internes (AGD20K, HICO-IIF), pas encore testés en conditions réelles de manipulation robotique.

RecherchePaper
1 source
Un système robotique de perception-manipulation pour la découpe alimentaire
266arXiv cs.RO 

Un système robotique de perception-manipulation pour la découpe alimentaire

Une équipe de recherche publie sur arXiv (juillet 2026) un système de perception et manipulation robotique dédié à la découpe alimentaire, l'une des tâches les plus délicates pour les robots de cuisine. Le système combine deux modules : un premier de sélection du couteau, qui s'appuie sur les données de force capturées lors d'une coupe d'essai fixe pour identifier automatiquement l'outil adapté à l'aliment présenté, et un second de découpe adaptative piloté par apprentissage par renforcement (RL), qui ajuste en continu la trajectoire pour équilibrer vitesse de coupe et consommation d'énergie. Dans les expériences menées par les auteurs, le module de sélection de couteau atteint un taux de réussite de 100% sur des aliments jamais vus à l'entraînement, et les chercheurs comparent trois approches, une politique fixe préprogrammée, la politique RL, et des opérateurs humains, sur les mêmes tâches de découpe. L'enjeu dépasse la simple démonstration technique. La découpe alimentaire est réputée difficile à automatiser car les propriétés mécaniques des aliments, texture, dureté, élasticité, varient énormément d'un ingrédient à l'autre, ce qui oblige souvent à changer d'outil et de stratégie de coupe en cours de préparation. En obtenant des performances comparables à celles d'opérateurs humains, tout en automatisant le choix de l'outil via un simple test de force, cette approche adresse un goulot d'étranglement concret pour les robots de cuisine commerciaux, qu'il s'agisse de restauration automatisée, de traitement agroalimentaire ou de cuisine domestique assistée. Ce travail s'inscrit dans un courant de recherche plus large sur les robots de cuisine, un segment encore largement expérimental où la plupart des démonstrations restent limitées à des gestes simples ou répétitifs. Contrairement à une annonce produit, il s'agit ici d'un article de recherche, sans mention de partenaire industriel ni de calendrier de commercialisation. Les auteurs eux-mêmes cadrent leurs résultats comme une preuve de concept, ouvrant la voie à des tests sur une gamme plus large d'aliments et, potentiellement, à une intégration future dans des systèmes robotiques de cuisine plus complets.

RecherchePaper
1 source
P³ : vers des agents incarnés polyvalents
267arXiv cs.RO 

P³ : vers des agents incarnés polyvalents

Des chercheurs ont publié la seconde version d'un article arXiv (2508.07033v2) présentant P³, un framework unifié pour agents incarnés (embodied agents) polyvalents. Le code et les données sont disponibles sur GitHub (fz-zsl/P3). Le framework s'attaque à trois limitations identifiées dans les approches existantes: la perception dynamique de l'environnement, l'usage flexible d'outils, et la planification multi-tâches complexe. Contrairement aux méthodes précédentes qui dépendent uniquement du retour d'agents-outils pour détecter les changements d'environnement et le statut des tâches, ce qui limite l'adaptabilité en temps réel et provoque une accumulation d'erreurs, P³ permet à l'agent de percevoir activement les informations pertinentes directement depuis l'environnement. Il autorise aussi l'utilisation d'outils sans nécessiter de retour systématique, et priorise dynamiquement les tâches urgentes en ajustant leur ordre d'exécution selon leurs dépendances. Les auteurs rapportent des expérimentations en conditions réelles, sans toutefois préciser dans le résumé les métriques chiffrées, le nombre de tâches testées ou les plateformes robotiques utilisées, ce qui invite à la prudence sur la portée exacte des gains démontrés. Cette contribution touche un point sensible du secteur des agents incarnés: l'écart persistant entre les benchmarks académiques et le déploiement pratique. La plupart des architectures actuelles pour robots ou agents autonomes traitent la perception, l'usage d'outils et la planification comme des modules largement indépendants, ce qui les rend fragiles dès que l'environnement change ou que plusieurs tâches concurrentes doivent être arbitrées en temps réel. En proposant un mécanisme de planification dynamique capable de réordonner les priorités selon les dépendances, P³ répond à un problème très concret pour les intégrateurs qui cherchent à déployer des agents capables de gérer plusieurs objectifs simultanément sans supervision humaine constante, un prérequis pour toute application industrielle ou domestique à grande échelle. Le travail s'inscrit dans la lignée des recherches sur les architectures agentiques pour l'IA incarnée, qui combinent perception, raisonnement et action physique ou logicielle, un domaine où rivalisent notamment les approches fondées sur de grands modèles multimodaux couplés à des outils externes. La publication d'une seconde version de l'article, après un premier dépôt, suggère une itération liée à des retours de relecture, signe habituel d'une maturation vers une publication en conférence. La mise à disposition du code sur GitHub permettra à la communauté de reproduire et d'étendre les résultats, étape nécessaire avant toute adoption au-delà du cadre académique.

RecherchePaper
1 source
Démonstrations structurées du simple au complexe pour l'apprentissage vision-langage-action
268arXiv cs.RO 

Démonstrations structurées du simple au complexe pour l'apprentissage vision-langage-action

Les chercheurs proposent une nouvelle méthode de collecte de démonstrations pour l'entraînement de modèles Vision-Language-Action (VLA), publiée sur arXiv le 4 juillet 2026 (arXiv:2607.04591v1). Plutôt que de se concentrer sur l'architecture des modèles ou la taille des jeux de données, comme le fait la majorité des travaux récents, l'équipe s'attaque à un maillon jusqu'ici négligé de l'apprentissage par imitation : la manière dont les démonstrations elles-mêmes sont organisées. Leur approche, testée sur une plateforme robotique à double bras, repose sur trois principes: décomposer les tâches de manipulation complexes en sous-compétences apprises progressivement, standardiser l'environnement d'interaction pour limiter la variabilité inutile, et ordonner les démonstrations par complexité croissante plutôt que de les collecter en bloc. Deux tâches servent de banc d'essai: le tri et la préhension de blocs, et le pliage de serviettes. Les auteurs rapportent une amélioration du taux de réussite et une meilleure stabilité d'entraînement par rapport à la méthode de référence, qui consiste à enregistrer directement des trajectoires complètes de bout en bout, sans toutefois détailler de métriques chiffrées précises dans le résumé. Pour l'industrie robotique, ce travail pointe un angle mort du secteur VLA: la course actuelle privilégie l'échelle des modèles et des jeux de données, sur le modèle de Pi-0, GR00T N2 ou Helix, mais néglige souvent la qualité et la structure des données d'apprentissage. Si l'organisation curriculaire des démonstrations s'avère aussi déterminante que le suggèrent ces résultats, cela remettrait en question l'hypothèse dominante selon laquelle il suffit d'accumuler des heures de téléopération pour obtenir des politiques robustes et généralisables sur des tâches longues et séquentielles. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par curriculum, déjà éprouvé en apprentissage par renforcement, mais peu exploré pour l'imitation robotique à l'ère des VLA. Alors que les grands acteurs du secteur, qu'il s'agisse de Figure, Tesla avec Optimus ou Physical Intelligence, communiquent surtout sur les capacités finales de leurs robots humanoïdes, cette étude reste à un stade de recherche académique, sans annonce de déploiement industriel. Ses auteurs présentent ces résultats comme une preuve de concept ouvrant la voie à une collecte de données plus efficace et plus scalable pour la manipulation robotique à long horizon.

RecherchePaper
1 source
Un cadre de conception conjointe pour le saut haute performance d'un monopode à cinq barres avec optimisation des actionneurs
269arXiv cs.RO 

Un cadre de conception conjointe pour le saut haute performance d'un monopode à cinq barres avec optimisation des actionneurs

Des chercheurs présentent un nouveau cadre de co-conception pour optimiser les performances de saut d'un monopode à cinq barres, un mécanisme planaire à chaîne fermée équipé d'une seule jambe. Contrairement aux approches classiques qui se limitent aux dimensions des liaisons et aux ratios de transmission, cette méthode optimise conjointement la géométrie mécanique, les paramètres moteur et réducteur, ainsi que les paramètres de contrôle. Le processus se déroule en deux étapes: une première phase d'optimisation des actionneurs établit une correspondance entre le ratio de réduction et la masse, l'efficacité et le couple de crête de l'actionneur; ces données alimentent ensuite un algorithme d'optimisation CMA-ES qui ajuste simultanément la conception du robot et sa commande. En simulation, le cadre proposé améliore la distance de saut d'environ 30,4% tout en réduisant la consommation d'énergie mécanique de 11,5%, comparé à une conception nominale de référence. Ce travail comble un angle mort des méthodes de co-conception existantes, largement cantonnées aux mécanismes en chaîne ouverte série et négligeant l'optimisation fine des actionneurs. Pour les concepteurs de robots à pattes et de plateformes dynamiques (saut, course, locomotion agile), le résultat démontre qu'intégrer le dimensionnement moteur et réducteur directement dans la boucle d'optimisation, plutôt que de le traiter après coup, produit des gains de performance et d'efficacité énergétique significatifs sans changement d'architecture. Cela renforce l'idée que le potentiel des mécanismes à chaîne fermée, souvent plus compacts et robustes mécaniquement que les architectures série, reste sous-exploité faute d'outils de conception adaptés. Le cadre s'inscrit dans une lignée de recherches sur la co-conception mécatronique des robots légers, où l'enjeu est de sortir du cycle itératif traditionnel séparant conception mécanique et réglage du contrôleur. Les auteurs positionnent leur contribution comme une étape vers des méthodologies génériques applicables à d'autres mécanismes à chaîne fermée, avec des perspectives de validation expérimentale sur prototype physique et d'extension à des tâches locomotrices au-delà du simple saut vertical ou horizontal.

RecherchePaper
1 source
TACO : modèle du monde tactile en auto-correcteur pour le post-entraînement à grande échelle des VLA
270arXiv cs.RO 

TACO : modèle du monde tactile en auto-correcteur pour le post-entraînement à grande échelle des VLA

Des chercheurs ont presente TACO (TActile world model as a self-COrrector), un cadre de post-entrainement pour les modeles Vision-Language-Action (VLA) dedie aux taches de manipulation robotique a fort contact physique, decrit dans un article publie sur arXiv (2607.02840v1). Le systeme repose sur une boucle en trois etapes baptisee Recognize-Imagine-Label : un modele unifie de progression et d'action detecte les etats proches de l'echec a partir d'estimations de progression, un modele generatif visuo-tactile imagine des segments de correction locale, puis ce meme modele de progression-action etiquette ces segments avec des actions correctives executables. Applique a des taches reelles de manipulation a fort contact, TACO ameliore le taux de reussite de 44 points de pourcentage par rapport a la politique de base, et de 32 points par rapport a une version depourvue de son mecanisme d'adaptation tactile a isolation de connaissances, qui protege les priors visuo-linguistiques pre-entraines pendant l'apprentissage. Ce travail cible un angle mort connu des modeles VLA actuels : la vision seule peine a detecter les micro-perturbations de contact (glissement, mauvais alignement, prise partielle) qui, dans une tache d'assemblage ou de prehension fine, peuvent transformer une erreur locale en echec irrecuperable. Jusqu'ici, corriger ce type de defaillance necessitait soit une supervision humaine couteuse a grande echelle, soit des modeles du monde uniquement visuels susceptibles de generer des trajectoires imaginees plausibles a l'oeil mais physiquement incoherentes au niveau du contact. En montrant qu'un modele du monde tactile peut produire des corrections exploitables sans superviseur humain et sans degrader les capacites de base du modele, TACO apporte un element de reponse concret a une limite regulierement pointee par les integrateurs industriels : des demonstrations VLA impressionnantes en environnement controle qui ne se traduisent pas toujours en fiabilite sur des taches de prehension fine en usine ou en logistique. L'approche s'inscrit dans la lignee des travaux recents sur les modeles du monde pour ameliorer les politiques robotiques par simulation de rollouts, dans la meme veine que ce qui alimente des familles de modeles VLA comme Pi-0, GR00T N2 ou Helix, mais en ajoutant une modalite tactile la ou ces travaux se limitaient jusque-la a la vision. L'article ne precise ni affiliation institutionnelle ni deploiement industriel : il s'agit a ce stade d'une contribution de recherche publiee en preprint, sans integration annoncee chez un fabricant de bras robotique ou d'humanoide. La suite logique, si ces resultats se confirment, serait une adoption par des laboratoires travaillant sur la manipulation fine (objets deformables, assemblage electronique, tri logistique), la ou le cout de supervision humaine pour corriger les echecs de contact reste aujourd'hui le principal frein au deploiement a grande echelle des politiques VLA.

RechercheActu
1 source
CoRE-VLA : vers une modélisation vision-langage-action évolutive et robuste par routage conditionnel d'experts
271arXiv cs.RO 

CoRE-VLA : vers une modélisation vision-langage-action évolutive et robuste par routage conditionnel d'experts

Des chercheurs présentent CoRE-VLA, une nouvelle architecture de modèle vision-langage-action (VLA) conçue pour résoudre un problème concret de déploiement robotique: la gestion de capteurs hétérogènes et potentiellement défaillants. Publié sur arXiv le 3 juillet 2026, le papier propose de traiter la génération d'actions comme un calcul épars conditionné par le contexte, plutôt que par un calcul dense partagé comme dans les VLA classiques. Concrètement, la disponibilité des capteurs active des experts spécialisés par modalité (le papier se concentre sur la profondeur, ou depth, comme capteur auxiliaire représentatif), tandis que l'intention de la tâche route les représentations vers des experts pertinents pour chaque sous-objectif. Les auteurs testent CoRE-VLA sur les benchmarks LIBERO et RoboCasa GR1 Tabletop, ainsi que sur des manipulations réelles à deux bras, et rapportent des performances supérieures à un modèle dense équivalent et à un VLA pré-entraîné de référence, y compris en généralisation zero-shot sur des scénarios non vus à l'entraînement. L'enjeu pratique est réel pour les intégrateurs: la plupart des VLA actuels couplent rigidement la génération d'action à un jeu de capteurs fixe, ce qui les rend fragiles dès qu'un capteur auxiliaire tombe en panne ou qu'un embodiment robotique en est simplement dépourvu par conception. CoRE-VLA promet une dégradation gracieuse sans réentraînement complet, un point clé pour des flottes hétérogènes déployées en usine ou en entrepôt où tous les robots n'ont pas la même instrumentation. C'est un signal de plus que la recherche VLA s'oriente vers la robustesse opérationnelle plutôt que la seule performance en benchmark contrôlé, un décalage régulièrement pointé du doigt entre démonstrations académiques et réalité industrielle. Ce travail s'inscrit dans la lignée des architectures VLA généralistes type Pi-0 ou GR00T N2, mais adresse un angle mort spécifique: l'hétérogénéité capteurs plutôt que la seule diversité des tâches. Il s'agit ici d'une contribution de recherche publiée sur arXiv, sans partenaire industriel ni déploiement annoncé; les prochaines étapes attendues seraient une validation sur davantage d'embodiments réels et une comparaison directe avec les VLA propriétaires déployés en production.

RechercheActu
1 source
DREAMSTEER : les modèles du monde latents peuvent orienter les politiques VLA au déploiement sans aucun ajustement
272arXiv cs.RO 

DREAMSTEER : les modèles du monde latents peuvent orienter les politiques VLA au déploiement sans aucun ajustement

DREAMSTEER, présenté dans un article arXiv déposé début juillet 2026 (arXiv:2607.02865v1), est un nouveau framework destiné à piloter des politiques VLA (vision-language-action) pré-entraînées directement au moment du déploiement, sans aucun réentraînement ni modification des paramètres du modèle. Concrètement, le système échantillonne des séquences d'actions candidates générées à la fois par la politique VLA de base et par des primitives de mouvement prédéfinies, puis utilise un modèle du monde latent conditionné par l'action pour "imaginer" les conséquences de chaque trajectoire avant de les classer avec un modèle de valeur conditionné par le langage. Sur quatre bancs d'essai de manipulation en conditions réelles impliquant des objets jamais vus à l'entraînement, DREAMSTEER fait grimper le taux de réussite des tâches de 23,75% à 66,25%, et la précision de suivi des instructions de 38,75% à 56,25% par rapport à la politique VLA de base seule. Cette approche s'attaque à un problème central et bien documenté du déploiement robotique: les politiques VLA pré-entraînées généralisent bien en théorie mais s'effondrent souvent face au moindre décalage de distribution entre l'environnement d'entraînement et celui du terrain, un écart classique entre démonstration et réalité opérationnelle. La solution habituelle, le réentraînement sur des données spécifiques au site cible, suppose de disposer de démonstrations déjà collectées dans cet environnement, ce qui est coûteux et souvent impossible en déploiement réel. En évitant tout finetuning, DREAMSTEER ouvre la voie à des robots capables de s'adapter à de nouveaux objets ou environnements sans cycle de collecte de données ni réentraînement, un enjeu direct pour les intégrateurs industriels qui cherchent à réduire le temps et le coût de mise en service de flottes de manipulateurs. Le travail s'inscrit dans la lignée des politiques VLA génériques type OpenVLA, RT-2 ou Pi-0, dont la promesse de généralisation zero-shot peine souvent à tenir en pratique. En couplant modèle du monde et modèle de valeur pour simuler et évaluer des trajectoires avant exécution, DREAMSTEER relève d'une famille émergente de méthodes de contrôle par planification en espace latent, distincte du réentraînement pur. Les auteurs limitent pour l'instant leur validation à quatre bancs d'essai de manipulation; la généralisation à des tâches plus complexes, à la locomotion ou à des plateformes humanoïdes reste une étape à venir pour confirmer la portée de l'approche au-delà du laboratoire.

RechercheActu
1 source
Le courant comme toucher : retour de contact proprioceptif pour la manipulation dextérique souple
273arXiv cs.RO 

Le courant comme toucher : retour de contact proprioceptif pour la manipulation dextérique souple

Cette semaine, une équipe de recherche a publié sur arXiv (référence 2607.03529, juillet 2026) un nouveau cadre de contrôle pour la préhension dextre compliante qui se passe entièrement de capteurs tactiles ou de force externes. La méthode s'appuie uniquement sur le courant moteur et l'état des articulations, deux signaux proprioceptifs déjà disponibles nativement sur la plupart des mains robotiques. Plutôt que d'estimer directement la force de contact ou de commander un couple, le système prédit une "position de référence compliante" : une cible de position articulaire destinée à un contrôleur PD standard, dont l'écart de position induit génère la force de préhension appropriée. Les auteurs ont testé l'approche sur plusieurs mains dextres et sur une série de tâches à fort contact physique : manipulation d'objets fragiles, maintien prolongé au contact d'une surface, récupération d'objets fins, et adaptation dynamique à des charges variables. L'intérêt pour l'industrie robotique tient à la promesse de compliance quasi gratuite : aujourd'hui, doter une main robotique de retour de force nécessite des capteurs tactiles ou des capteurs d'effort dédiés, coûteux, fragiles et souvent difficiles à intégrer mécaniquement sur des mains bon marché. En démontrant qu'un signal purement proprioceptif suffit à détecter le contact, la résistance de l'objet et la stabilité de la prise, ce travail ouvre la voie à des mains dextres low-cost capables de manipulation compliante sans matériel de détection additionnel. C'est également une bonne nouvelle pour la téléopération, rendue plus sûre et plus efficace grâce à ce retour de force implicite, ainsi que pour l'apprentissage de politiques (policy learning), qui bénéficie directement de signaux de contact exploitables sans capteur externe à calibrer. Ce travail s'inscrit dans une tendance de fond de la recherche en manipulation dextre : contourner les limites du tactile artificiel (durabilité, coût, intégration) en exploitant des signaux internes déjà présents dans la chaîne de commande moteur. Le choix d'une formulation en position, compatible avec les pipelines de téléopération et d'apprentissage de politiques déjà en place, suggère une intégration facilitée dans les architectures existantes plutôt qu'une rupture technique nécessitant une refonte du matériel. Les prochaines étapes attendues concernent le passage à l'échelle sur des plateformes commerciales et la comparaison directe avec des mains équipées de capteurs tactiles classiques.

RecherchePaper
1 source
TiROD : petit jeu de données et benchmark de robotique pour la détection d'objets en continu
274arXiv cs.RO 

TiROD : petit jeu de données et benchmark de robotique pour la détection d'objets en continu

Une équipe de recherche présente TiROD (Tiny Robotics Object Detection), un nouveau jeu de données vidéo destiné à évaluer la détection d'objets sur des robots mobiles de petite taille. Les images ont été capturées directement par la caméra embarquée d'un petit robot mobile, dans plusieurs environnements et avec des catégories d'objets variées, afin de reproduire les changements de domaine auxquels ces plateformes sont confrontées en conditions réelles. Sur cette base, les chercheurs ont construit un benchmark comparant plusieurs stratégies d'apprentissage continu, appliquées à NanoDet, un détecteur d'objets léger et temps réel conçu pour tourner sur du matériel à ressources limitées. L'article, publié sur arXiv, en est à sa quatrième révision depuis 2024, signe d'un travail approfondi retravaillé au fil des retours de la communauté. L'enjeu dépasse le simple exercice académique. Les robots miniatures, contraints en taille, en autonomie énergétique et en puissance de calcul, doivent malgré tout détecter des objets sur des images basse résolution et bruitées, tout en s'adaptant à des environnements changeants sans réentraînement complet ni intervention humaine. C'est précisément cette capacité d'adaptation, l'apprentissage continu embarqué, qui conditionne le déploiement réel de flottes de robots low-cost dans l'inspection, la logistique ou la navigation autonome. Les résultats du benchmark montrent que les stratégies existantes peinent encore à concilier efficacité computationnelle et robustesse face à l'oubli catastrophique, un signal utile pour les intégrateurs qui évaluent la maturité réelle de ces approches avant tout déploiement industriel. Ce travail s'inscrit dans une tendance de fond de la robotique embarquée: développer des modèles de vision suffisamment légers pour tourner sur des microcontrôleurs ou des puces à faible consommation, tout en conservant une capacité d'apprentissage en continu. Contrairement aux grands modèles de perception utilisés sur des robots industriels ou humanoïdes, ce créneau cible spécifiquement les plateformes tiny robotics, moins médiatisées mais représentant un volume potentiellement massif de déploiements à bas coût. Les auteurs positionnent TiROD comme une base commune permettant à la communauté de comparer objectivement de futures méthodes sur ce terrain encore peu standardisé.

RecherchePaper
1 source
MOSAIC : une autonomie modulaire et évolutive pour la coordination intelligente d'équipes robotiques hétérogènes
275arXiv cs.RO 

MOSAIC : une autonomie modulaire et évolutive pour la coordination intelligente d'équipes robotiques hétérogènes

Des robots mobiles explorent des environnements hostiles, espace ou zones sinistrées, mais restent aujourd'hui largement dépendants d'un télépilotage humain continu, ce qui limite le nombre de machines déployables et exige une liaison de communication à faible latence quasi permanente. Des chercheurs présentent MOSAIC, un framework d'autonomie scalable pour l'exploration scientifique multi-robots, construit autour d'une abstraction de mission unifiée fondée sur des points d'intérêt (POI) et plusieurs couches d'autonomie, permettant à un seul opérateur de superviser toute une flotte. Le système alloue dynamiquement les tâches d'exploration et de mesure selon les capacités propres de chaque robot, en exploitant la redondance et la spécialisation au niveau de l'équipe pour maintenir l'opération en continu. La validation a eu lieu lors d'une expérience de terrain en environnement analogue spatial, simulant un scénario de prospection lunaire, avec une équipe hétérogène de cinq robots supervisée par un seul opérateur humain. Malgré la défaillance complète d'un des robots en cours de mission, l'équipe a accompli 82,3% des tâches assignées, avec un taux d'autonomie de 86%, tandis que la charge de travail de l'opérateur est restée à 78,2%. Ces résultats comptent parce qu'ils s'attaquent directement au goulot d'étranglement classique des missions robotiques en environnement extrême : la dépendance à la téléopération continue, coûteuse en bande passante et en attention humaine, et fragile dès qu'un délai de communication apparaît (cas typique des missions lunaires ou martiennes). Démontrer qu'une flotte hétérogène peut absorber la panne totale d'un robot et continuer à remplir sa mission sans réallocation manuelle constante est un signal concret pour les intégrateurs travaillant sur la résilience des systèmes multi-robots, que ce soit pour le spatial, la surveillance industrielle ou l'intervention post-catastrophe. Cela illustre aussi une tendance de fond : le report de la charge cognitive du pilotage individuel vers la supervision de mission à haut niveau, un des verrous identifiés depuis longtemps pour faire passer la robotique de terrain de la démonstration à l'opération à grande échelle. Le papier, révisé sur arXiv (version 3, catégorie replace), s'inscrit dans la lignée des recherches en robotique spatiale et en gestion d'équipes multi-robots hétérogènes, un champ où la littérature reste dominée par des simulations ou des tests en petite échelle plutôt que des validations de terrain réalistes. Les auteurs en tirent des enseignements pratiques sur l'interopérabilité entre robots, l'architecture réseau et la composition d'équipe, autant d'éléments destinés à nourrir la conception de futures missions d'exploration multi-robots, sans qu'un calendrier de déploiement opérationnel ne soit pour l'instant annoncé.

RecherchePaper
1 source
PRISM : génération de données robotiques personnalisées par synthèse d'images de scènes et de mouvements
276arXiv cs.RO 

PRISM : génération de données robotiques personnalisées par synthèse d'images de scènes et de mouvements

Il n'y a pas de nom d'entreprise, de labo ou de deploiement commercial cité dans cet abstract (c'est un papier de recherche arXiv), donc l'article reste focalisé sur la méthode et ses résultats mesurés, sans inventer de contexte industriel absent du texte source. Des chercheurs présentent PRISM, un pipeline qui génère des jeux de données robotiques personnalisés à partir d'une seule image et d'une instruction en langage naturel, sans téléopération humaine. Le système construit des scènes dites "digital cousins" : des environnements synthétiques alignés sémantiquement et géométriquement avec l'environnement cible de l'utilisateur, mais suffisamment variés au niveau des instances (objets, agencements) pour éviter le surapprentissage. PRISM synthétise ensuite des démonstrations exécutables directement utilisables pour entraîner une politique robotique. Sur les benchmarks LIBERO et LIBERO-Plus, les politiques entraînées sur les données générées par PRISM surpassent celles entraînées sur des jeux de données de référence, et atteignent jusqu'à 100 % de taux de réussite sur trois tâches de manipulation réelles, avec une meilleure robustesse lorsque l'environnement de test diffère de celui vu à l'entraînement. L'enjeu ici est la collecte de données, principal goulot d'étranglement pour déployer des modèles vision-langage-action (VLA) au-delà des laboratoires. La téléopération produit des données bien alignées avec la tâche mais coûte cher et ne passe pas à l'échelle ; la simulation pure passe à l'échelle mais peine à ressembler à l'environnement réel de l'utilisateur final. PRISM tente de concilier les deux, ce qui intéresse directement les intégrateurs et décideurs B2B confrontés au coût de personnalisation d'un robot pour un site spécifique (usine, entrepôt, domicile) : si la génération de données synthétiques personnalisées tient ses promesses hors laboratoire, elle réduit un frein économique majeur à l'adoption des politiques génératives en robotique. Ce travail s'inscrit dans la vague plus large des modèles fondation VLA (dans la lignée de Pi-0, GR00T N2 ou Helix) qui cherchent à généraliser au-delà des tâches et environnements d'entraînement, un problème encore mal résolu malgré les démonstrations impressionnantes de ces modèles. Il fait aussi écho à la tendance du "sim-to-real" et à l'usage de scènes synthétiques proches mais non identiques à la réalité pour diversifier les données d'entraînement sans reproduire du réel coûteux. Les auteurs positionnent PRISM face à deux approches concurrentes existantes, la téléopération manuelle et la simulation générique, en montrant un gain de performance sur des benchmarks standards ainsi que sur des tâches de manipulation réelles. L'abstract ne précise pas de calendrier de déploiement ou de partenariat industriel : à ce stade, il s'agit d'un résultat de recherche à valider sur un périmètre de tâches plus large.

RechercheActu
1 source
AmpAttention, une attention inspirée des amplificateurs différentiels pour la manipulation robotique multi-vue
277arXiv cs.RO 

AmpAttention, une attention inspirée des amplificateurs différentiels pour la manipulation robotique multi-vue

Une équipe de chercheurs anonymes, dans une soumission actuellement en évaluation par les pairs sur arXiv (2607.02845), propose AmpAttention, un mécanisme d'attention pour la manipulation robotique multi-vues inspiré des amplificateurs différentiels utilisés en électronique analogique. Intégré dans un modèle baptisé RVAF, ce mécanisme combine attention intra-vue et inter-vue guidée par la tâche pour filtrer le bruit visuel issu des occlusions, de la redondance entre caméras et de la dépendance au point de vue. Sur le benchmark de simulation RLBench, qui couvre 18 tâches et 249 variations, RVAF affiche le meilleur taux de réussite moyen parmi les méthodes comparées, tout en réduisant le temps d'entraînement de 33,3%. En conditions réelles, le système a démontré une précision suffisante pour saisir une fléchette et l'insérer au centre d'une cible de dart, une tâche qui exige un alignement fin entre perception et contrôle moteur. Une variante étendue, RVAF++, intègre l'encodeur d'images SAM2, développé par Meta, et atteint un taux de réussite de 91% sur la tâche d'insertion de goupille, l'une des plus exigeantes en précision du benchmark. L'enjeu dépasse la simple performance sur un benchmark académique. Les approches de manipulation multi-vues par attention souffrent d'un problème connu de dérive attentionnelle: le modèle se laisse distraire par des signaux visuels redondants ou occultés selon l'angle de caméra, ce qui dégrade la fiabilité en conditions réelles, précisément là où les démonstrations en laboratoire échouent souvent à se traduire en performance industrielle. En empruntant le principe du rejet de bruit en mode commun des amplificateurs différentiels, plutôt qu'en ajoutant des couches d'attention supplémentaires, AmpAttention propose une piste architecturale peu coûteuse en calcul pour améliorer le rapport signal/bruit perceptif, un facteur clé pour les intégrateurs qui cherchent à fiabiliser des tâches de précision comme l'insertion ou l'assemblage sans multiplier les capteurs ou le temps d'entraînement. RVAF s'inscrit dans la lignée des modèles vision-langage-action et des architectures de manipulation basées sur l'attention qui ont rapidement progressé ces deux dernières années, aux côtés de travaux comme GR00T N2 ou Helix. La comparaison directe avec SAM2, encodeur d'images publié par Meta et intégré dans RVAF++, illustre comment les briques de vision généraliste des grands laboratoires irriguent désormais la recherche en robotique spécialisée. Publié anonymement dans le cadre d'une évaluation par les pairs, avec du matériel qualitatif complémentaire disponible sur un site de projet temporaire, l'article ne précise ni application industrielle concrète ni calendrier de transfert vers des plateformes commerciales. Il s'ajoute néanmoins à une liste croissante de travaux qui cherchent à résoudre le problème du transfert simulation-vers-réel sur des tâches de haute précision.

RecherchePaper
1 source
RoboVista : évaluation des modèles vision-langage pour diverses applications robotiques
278arXiv cs.RO 

RoboVista : évaluation des modèles vision-langage pour diverses applications robotiques

Les chercheurs à l'origine de ce travail publient RQA (Robot Question Answering), un cadre d'évaluation modulaire, et RoboVista, un benchmark associé conçu pour tester les modèles vision-langage (VLM) sur des tâches robotiques réelles. RoboVista rassemble 474 instances de questions-réponses visuelles annotées manuellement par des experts, couvrant 39 types de tâches distincts répartis sur l'agriculture, l'industrie, la robotique domestique, la chirurgie assistée, la conduite autonome et divers jeux de données robotiques ouverts. Les données proviennent de systèmes robotiques réels, d'articles de recherche et d'annotations expertes, plutôt que des habituels jeux de données téléopérés de bout en bout. Les expérimentations menées par l'équipe montrent que les VLM de pointe actuels présentent des écarts de performance substantiels sur ces tâches, et des essais complémentaires sur robots physiques révèlent une corrélation forte entre les scores obtenus sur RoboVista et la réussite effective des tâches en conditions réelles. Pour les intégrateurs et décideurs qui évaluent l'usage de VLM comme brique de raisonnement pour des robots polyvalents, ce travail apporte un signal utile: les benchmarks classiques, souvent bâtis sur de la téléopération bout en bout, masquent des lacunes de raisonnement modulaire (perception, planification, décision) que RoboVista rend visibles composant par composant. Le fait que la corrélation avec la performance en conditions réelles soit confirmée par des essais physiques renforce la crédibilité de l'outil comme prédicteur, et non simple exercice académique déconnecté du terrain. Cela vient tempérer l'enthousiasme actuel autour des architectures VLA (vision-language-action) génériques: disposer d'un modèle capable de décrire une scène ne garantit pas qu'il raisonne correctement sur les contraintes physiques et séquentielles propres à chaque secteur, de l'agriculture à la chirurgie. Ce travail s'inscrit dans une lignée de critiques adressées aux benchmarks robotiques existants, jugés trop dépendants de démonstrations téléopérées qui capturent mal la structure de décision sous-jacente aux comportements robotiques. En proposant une décomposition modulaire via le format question-réponse, RQA se positionne comme une alternative complémentaire aux suites d'évaluation end-to-end dominantes dans le secteur, à mesure que les VLM et les architectures VLA gagnent du terrain comme fondation du raisonnement robotique généraliste. La publication ne précise pas de calendrier de mise à disposition publique du benchmark ni d'intégration dans des pipelines industriels existants, mais elle ouvre la voie à des évaluations plus fines des futurs modèles vision-langage déployés sur des flottes robotiques réelles, au-delà des seules démonstrations vidéo.

RecherchePaper
1 source
Raisonnement inverse rationnel : imitation en quelques exemples par inférence d'intention via la planification
279arXiv cs.RO 

Raisonnement inverse rationnel : imitation en quelques exemples par inférence d'intention via la planification

Une équipe de recherche en robotique présente Rational Inverse Reasoning (RIR), une méthode d'apprentissage par imitation capable d'acquérir une nouvelle tâche de manipulation à partir d'une seule démonstration, contre des centaines voire des milliers habituellement nécessaires aux approches actuelles. Le système combine un modèle vision-langage (VLM), qui propose des programmes candidats décrivant l'intention du démonstrateur, et un planificateur hiérarchique de type task-and-motion-planning (TAMP) qui évalue la plausibilité de ces programmes selon un principe de rationalité bornée. Par itérations successives, RIR affine cet ensemble de candidats pour converger vers une explication compacte et exécutable de la tâche, sous forme de buts, sous-buts et contraintes. La méthode a été testée sur un benchmark de raisonnement en 2D ainsi que sur un bras robotique réel Franka FR3. En configuration à un ou trois exemples de démonstration, RIR améliore le taux de réussite de 34 et 28 points de pourcentage par rapport aux approches de référence combinant VLM et planification, mais dépourvues d'inférence explicite de la rationalité. L'enjeu dépassé ici est celui de la généralisation, le talon d'Achille de l'imitation learning en robotique. Un humain apprend un geste et sait l'adapter à une nouvelle pièce, de nouveaux objets ou de nouvelles contraintes ; les politiques apprises par imitation, elles, s'effondrent souvent au moindre changement de disposition ou de géométrie. RIR répond à ce problème non pas en accumulant davantage de données, mais en changeant de niveau d'abstraction: au lieu de reproduire des trajectoires de mouvement, le système infère le pourquoi du comportement démontré. Pour les intégrateurs et laboratoires travaillant sur des politiques de manipulation generalistes, ce résultat suggère qu'un raisonnement structuré ancré dans la planification symbolique peut réduire drastiquement le besoin de données, un argument qui pèse face aux approches VLA pures gourmandes en démonstrations. Ce travail s'inscrit dans une lignée de recherches cherchant à combiner modèles de fondation et planification classique plutôt que de tout déléguer à l'apprentissage de bout en bout. La publication, mise à jour sur arXiv en tant que "replace" d'une version antérieure, ouvre la voie à des extensions vers des tâches multi-étapes plus complexes et des environnements moins contrôlés que le laboratoire.

RecherchePaper
1 source
DSWAM : un modèle fondation à double système pour la manipulation robotique fine
280arXiv cs.RO 

DSWAM : un modèle fondation à double système pour la manipulation robotique fine

Des chercheurs publient sur arXiv (référence 2607.04927v1) DSWAM, un nouveau modèle "Dual-System World Action Model" destiné à la manipulation robotique fine. Le système combine deux composants : un exécuteur System 1 basé sur un World Action Model (WAM), qui reste le chemin de contrôle par défaut, et un planificateur System 2 de type vision-langage, activé seulement quand une tâche nécessite une décomposition en sous-tâches. Ce planificateur prédit des sous-tâches exécutables à partir d'un court historique visuel et d'une consigne globale, tandis que l'exécuteur WAM génère les actions en tenant compte du contexte du monde observé. Contrairement aux WAM classiques, DSWAM ne génère pas de vidéo future à l'inférence : il prédit directement des séquences d'actions ("action chunks"), tout en étant entraîné avec une co-supervision vidéo. Pour un déploiement temps réel sur robot physique, les auteurs ajoutent une accélération TensorRT, une exécution asynchrone et un mécanisme de "real-time chunking" (RTC) afin que les requêtes du modèle ne bloquent pas le contrôle moteur. Le système est évalué sur le protocole DeMaVLA, dédié à la manipulation d'objets déformables, avec plateforme robotique, données de pré-entraînement et post-entraînement identiques à celles utilisées pour comparer aux politiques VLA. L'intérêt principal de ce travail est méthodologique autant que technique : jusqu'ici, la comparaison entre approches VLA (Vision-Language-Action) et WAM souffrait d'un manque de protocole équitable, chaque camp utilisant ses propres données, robots et critères d'évaluation. En imposant un cadre contrôlé (DeMaVLA), DSWAM cherche à trancher un débat central du secteur robotique : les modèles WAM, réputés plus ancrés physiquement mais moins doués pour planifier des instructions complexes en langage naturel, peuvent-ils combler cet écart via un module de planification optionnel, sans sacrifier la vitesse d'exécution nécessaire au contrôle temps réel ? Ce travail s'inscrit dans la lignée des VLA génériques comme Pi-0 ou GR00T N2, qui ont démontré la viabilité de politiques apprises à grande échelle mais peinent parfois sur des tâches multi-étapes complexes typiques des environnements domestiques. En positionnant explicitement le System 2 comme optionnel plutôt que systématique, DSWAM propose une architecture hybride que d'autres laboratoires pourraient reprendre pour arbitrer entre réactivité et capacité de planification, un compromis clé pour la manipulation fine à l'approche de déploiements domestiques réels.

RechercheActu
1 source
StageCraft : atténuation, sensible à l'exécution, des échecs de distraction et d'obstruction dans les modèles VLA
281arXiv cs.RO 

StageCraft : atténuation, sensible à l'exécution, des échecs de distraction et d'obstruction dans les modèles VLA

Voici l'article traduit et résumé : Des chercheurs proposent StageCraft, une méthode qui améliore les performances des modèles VLA (Vision-Language-Action) sans réentraînement, en s'appuyant sur le raisonnement en contexte de grands modèles vision-langage (VLM) préentraînés sur des données à l'échelle d'internet. Le système prend en entrée des vidéos d'exécution de la politique robotique ainsi que des étiquettes de succès ou d'échec, puis identifie quels objets dans l'état initial de l'environnement doivent être déplacés ou retirés pour éviter les échecs anticipés liés à des distracteurs ou des obstructions physiques. Conçu comme un module plug-and-play, StageCraft ne nécessite que quelques essais de la politique pour fonctionner et n'impose aucune contrainte supplémentaire sur le modèle VLA sous-jacent. Les auteurs rapportent un gain de performance absolu de 40% sur trois domaines de tâches réelles impliquant des distracteurs et obstructions variés, ainsi que des résultats complémentaires en simulation sur RLBench. Cette approche s'attaque à un point de friction concret pour le déploiement industriel des VLA: ces modèles généralisent bien à de nouvelles tâches, objets et scènes grâce au préentraînement massif, mais restent fragiles dès que l'environnement réel introduit des éléments perturbateurs non anticipés, l'écart classique entre démonstration contrôlée et conditions réelles de production. Les méthodes existantes de finetuning peinent encore face à des distracteurs inédits. En proposant une correction au niveau de l'état initial de la scène plutôt qu'au niveau des poids du modèle, StageCraft ouvre une voie moins coûteuse pour fiabiliser des politiques déjà déployées, un argument qui intéressera directement les intégrateurs cherchant à éviter des cycles de réentraînement à chaque changement d'environnement de production. Le travail s'inscrit dans la lignée des efforts pour combler l'écart entre capacités démontrées en laboratoire et robustesse en conditions réelles des modèles VLA, une préoccupation centrale du secteur alors que ces architectures se multiplient. Les auteurs montrent aussi que l'intervention de StageCraft s'adapte à la force de la politique sous-jacente et s'améliore avec davantage d'exemples en contexte, suggérant une piste d'amélioration continue sans réentraînement lourd. Des vidéos de démonstration sont disponibles sur le site dédié au projet.

RechercheActu
1 source
DynaWM : un modèle du monde guidé par un VLA de base pour la manipulation d'objets en mouvement
282arXiv cs.RO 

DynaWM : un modèle du monde guidé par un VLA de base pour la manipulation d'objets en mouvement

DynaWM, un nouveau modèle du monde ("world foundation model") piloté par des architectures vision-langage-action (VLA), vient d'être présenté dans un preprint publié sur arXiv début juillet 2026. Le système cible un point faible connu des modèles VLA actuels : la manipulation d'objets en mouvement. Techniquement, DynaWM combine trois briques, un encodeur d'actions basé sur Mamba-3 qui traite les séquences d'actions produites par le modèle VLA de base, un encodeur visuel V-JEPA 2.1 qui exploite l'historique d'observations multi-vues, et un encodeur d'état proprioceptif du bras robotique, le tout conditionnant un transformeur à diffusion par flow-matching qui régénère des trajectoires d'action adaptées au mouvement de l'objet. Les auteurs ont aussi construit deux jeux de données : le benchmark DynaGrasp-32, qui couvre six catégories de tâches (variation de vitesse, de trajectoire, manipulation multi-objets), et DynaGrasp-1600, soit 32 scénarios, 1 600 démonstrations et environ 1,53 million d'images. Sur des checkpoints VLA finement réglés, DynaWM améliore les taux de réussite de 7,19 à 45,31 points de pourcentage selon le modèle de base (SmolVLA, X-VLA, Pi-0, Pi-0.5) ; sur des checkpoints seulement grossièrement réglés, les gains grimpent à 26 voire 44 points. L'enjeu dépasse la simple performance chiffrée : la plupart des modèles du monde existants sont fine-tunés directement dans l'architecture VLA, ce qui dégrade souvent les capacités du modèle pré-entraîné. En gardant le VLA de base intact et en ajoutant un module de guidage séparé, DynaWM évite ce compromis, un argument qui parle directement aux équipes de recherche en robotique confrontées à la fragilité des VLA lors du fine-tuning. Pour les intégrateurs, cela touche un cas d'usage concret : le tri ou la préhension d'objets sur convoyeur, en environnement non statique, un scénario encore largement absent des démonstrations spectaculaires de préhension immobile. Le travail s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0, Pi-0.5, SmolVLA ou X-VLA, utilisés ici comme bases de comparaison, ainsi que des travaux sur les modèles du monde en robotique et sur l'encodeur visuel auto-supervisé V-JEPA de Meta. À ce stade, il s'agit d'un résultat de recherche académique évalué sur benchmark simulé et jeu de données maison, sans déploiement industriel annoncé ; la suite logique serait une validation sur bras robotiques réels et une comparaison avec d'autres approches de manipulation dynamique comme GR00T N2 ou Helix.

RechercheActu
1 source
SILO : transfert simulation-réel en boucle de simulation pour l'acheminement de câbles en plusieurs étapes
283arXiv cs.RO 

SILO : transfert simulation-réel en boucle de simulation pour l'acheminement de câbles en plusieurs étapes

Une equipe de recherche presente SILO (Simulation In the LOop), un framework de reinforcement learning sim-to-real pour le routage de cables en plusieurs etapes, une tache de manipulation d'objets deformables lineaires (cables, cordes) reputee particulierement difficile en robotique. Contrairement aux approches par imitation qui necessitent des milliers de demonstrations par type de cable, le systeme s'entraine sur des milliers de simulations paralleles sur GPU pour approximer le comportement physique des cables et generaliser a des geometries et deformations variees. Le transfert vers le reel repose sur trois briques combinees: l'execution SILO qui maintient une simulation synchronisee pendant le deploiement, des politiques RL localisees, et une estimation robuste de l'etat du cable. Sur des taches reelles de routage multi-etapes, l'approche obtient un taux de reussite superieur et divise par deux le temps de cycle par rapport aux meilleures methodes d'apprentissage existantes. Les auteurs revendiquent le premier transfert sim-to-real reussi de politiques RL pour le routage de cables multi-etapes, avec des videos disponibles sur une page dediee du projet. L'enjeu depasse le seul cas du cable: le harnais electrique et le routage de faisceaux restent parmi les taches les plus resistantes a l'automatisation dans l'assemblage electronique et automobile, precisement parce que les objets deformables lineaires echappent aux modeles rigides utilises pour la plupart des taches de pick-and-place. Qu'une politique entrainee en simulation generalise a plusieurs geometries de cables sans collecter des milliers de demonstrations par variante change la donne economique pour les integrateurs: la barriere a l'entree pour automatiser une nouvelle reference de cable ou de connecteur pourrait chuter significativement. C'est aussi une preuve que l'ecart simulation-reel, longtemps cite comme faiblesse des approches RL pour la manipulation fine, peut etre resorbe pour une classe de taches particulierement difficile a modeliser physiquement, au-dela des succes deja connus sur objets rigides ou la locomotion. La manipulation d'objets deformables lineaires est etudiee depuis des annees en robotique, les methodes precedentes s'appuyant surtout sur l'apprentissage par imitation dans des configurations etroites, limitees a un cable et une tache specifiques. Le RL sim-to-real via simulation massivement parallelisee sur GPU s'est deja impose ailleurs, notamment pour la locomotion de robots humanoides ou quadrupedes, mais restait jusqu'ici en echec sur la manipulation de cables du fait de la difficulte a simuler fidelement leur physique. Les auteurs ne precisent ni l'origine institutionnelle du projet ni de calendrier de deploiement industriel: il s'agit a ce stade d'une publication de recherche accompagnee de videos de demonstration, sans partenaire industriel annonce ni date de mise en production. La suite logique serait une validation sur davantage de types de cables et de connecteurs, ainsi qu'une integration avec des bras collaboratifs en environnement de production reel.

RecherchePaper
1 source
Manipulation aérienne : contact, couplage au milieu et géométrie de la disponibilité
284arXiv cs.RO 

Manipulation aérienne : contact, couplage au milieu et géométrie de la disponibilité

Le laboratoire ne mentionne aucune entreprise ni aucun robot commercial : il s'agit d'un article de synthèse théorique (arXiv:2607.04719v1), publié comme "nouvelle soumission" et donc non encore relu par les pairs. Sa thèse centrale : la manipulation aérienne, c'est-à-dire les robots volants qui touchent, saisissent ou déplacent des objets, ne peut pas être traitée comme de la manipulation classique simplement montée sur un drone. Un bras robotique au sol repose sur une base fixe et découplée de la tâche ; un robot volant, lui, ne reste en l'air que par un échange continu de quantité de mouvement et d'énergie avec l'air ambiant, ce qui lie intrinsèquement le maintien en vol, le déplacement, la stabilisation et l'interaction avec l'environnement. Les auteurs proposent un cadre "conscient du milieu" distinguant trois modes d'interaction : par contact, par le fluide environnant, ou les deux combinés. Ils classent des exemples biologiques (oiseaux, insectes) et robotiques existants selon une échelle de capacités, puis développent une lecture géométrique de l'actionnement où la redondance cinématique crée des mouvements internes sans effet sur la tâche visible, mais utilisables pour préparer de l'énergie, améliorer la réactivité aérodynamique ou exploiter un couplage passif avec l'air. L'enjeu dépasse la théorie pure : les drones manipulateurs conçus pour l'inspection, l'agriculture ou la logistique héritent en général de l'architecture de contrôle des bras robotiques terrestres, avec une boucle de stabilisation de vol traitée séparément de la tâche de manipulation. Cette synthèse suggère que ce découpage est structurellement limité, puisque l'air n'est pas un support neutre : il réagit à l'action du robot, et ignorer ce retour produit des systèmes moins efficaces. Cela recadre une partie de l'écart souvent constaté entre démonstrations et produits viables dans ce domaine : le problème ne serait pas seulement lié à l'actionneur ou à la perception, mais à une base théorique incomplète sur ce qu'est réellement la "base" d'un robot lorsqu'elle vole. C'est un appel aux équipes de recherche et aux intégrateurs à concevoir conjointement vol et interaction plutôt que d'empiler un bras sur un drone stabilisé indépendamment. Le texte s'inscrit dans une littérature en croissance depuis le début des années 2010, quand les premiers travaux ont couplé drones et bras rigides, suivis d'approches par système tenu, magnétique ou par succion, en parallèle d'études bio-inspirées sur les oiseaux et insectes combinant posé, préhension et modulation de poussée. Aucun acteur français ou européen n'est cité dans le résumé. Il s'agit d'une contribution conceptuelle destinée à guider la conception de futures plateformes, sans validation expérimentale ni implémentation concrète présentées à ce stade ; ces suites restent à venir dans des travaux ultérieurs.

RecherchePaper
1 source
Cortex : un cadre d'agent incarné à alignement bidirectionnel pour la manipulation à long horizon
285arXiv cs.RO 

Cortex : un cadre d'agent incarné à alignement bidirectionnel pour la manipulation à long horizon

Cortex, présenté dans un article arXiv publié début juillet 2026 (arXiv:2607.05377), est un nouveau framework d'agent incarné destiné aux tâches de manipulation robotique à long horizon. Le problème qu'il cible: les modèles Vision-Language-Action (VLA) actuels, de par leur nature markovienne, ne s'appuient que sur l'observation courante et peinent sur les séquences longues, tandis que les approches hiérarchiques à double système existantes souffrent d'un décalage entre la sémantique du planning haut niveau et la cinématique d'exécution bas niveau. Cortex introduit une interface de planification qui traduit les plans du VLM haut niveau en sous-tâches exécutables pour le VLA bas niveau, en standardisant les manipulations en 32 primitives de compétences canoniques. Les chercheurs ont ainsi pu annoter automatiquement plus de 4 000 heures de vidéos open-source et générer 30 heures de données de simulation, avec une stratégie d'échantillonnage équilibré par événements pour affiner l'entraînement sur les transitions ambiguës entre sous-tâches. Sur le plan des résultats, Cortex dépasse les baselines monolithiques de 3,1% sur le benchmark Libero-long et de 4,1% sur RoboTwin, en évaluation à la fois open-loop (VLM) et closed-loop (système complet). Plus notable pour l'industrie: le VLM généraliste de Cortex permet de réaliser en zero-shot des tâches réelles inédites à long horizon, comme des expériences de chimie en plusieurs étapes, simplement en le couplant à un VLA fine-tuné, une capacité que le fine-tuning d'un VLA seul n'atteint pas. Cela suggère qu'une architecture correctement pontée entre planification et exécution peut combler l'écart simulation-réel mieux qu'un unique modèle monolithique, un argument qui intéresse directement les intégrateurs cherchant à généraliser au-delà des tâches d'entraînement. Ce travail s'inscrit dans la lignée des architectures duales explorées par des modèles comme Pi-0, GR00T N2 ou Helix, qui tentent chacun de résoudre la même tension entre raisonnement sémantique et contrôle moteur. Cortex reste à ce stade une contribution de recherche évaluée sur benchmarks académiques et non un système déployé en production, mais son approche par primitives standardisées et annotation automatique à grande échelle pourrait influencer la prochaine génération de frameworks d'agents robotiques génécralistes.

RechercheActu
1 source
HiMe : mémoire incarnée hiérarchique pour le contrôle vision-langage-action à long terme
286arXiv cs.RO 

HiMe : mémoire incarnée hiérarchique pour le contrôle vision-langage-action à long terme

Un article publié le 7 juillet 2026 sur arXiv présente HiMe, un cadre de mémoire hiérarchique pour les modèles Vision-Language-Action (VLA), ces systèmes qui pilotent robots et bras manipulateurs en combinant vision, langage et commande motrice. Les auteurs identifient ce qu'ils appellent le paradoxe fréquence-compétence : les modèles de raisonnement les plus capables sont trop lents pour le contrôle temps réel, tandis que les modèles rapides manquent de capacité de raisonnement pour les tâches longues et non markoviennes, où l'action dépend de tout l'historique et pas seulement de l'observation immédiate. HiMe répond en découplant l'intelligence du robot en trois couches : un Executor haute fréquence pour l'exécution, un Sentry pour la mémoire de travail, et un Planner pour la stratégie long terme, le tout appuyé par une base de connaissances dynamique capable de s'ajouter, se mettre à jour et se supprimer elle même. Pour l'industrie robotique, cette architecture cible un point faible documenté des VLA actuels, à l'image de Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure : leur dépendance à l'observation instantanée, qui les fragilise sur des tâches longues ou nécessitant de se souvenir d'une consigne donnée bien plus tôt. Beaucoup de démonstrations spectaculaires de robots humanoïdes reposent sur des séquences courtes et scriptées ; HiMe s'attaque explicitement à l'écart entre ces démonstrations et des tâches réelles multi-étapes, un angle mort souvent pointé par les intégrateurs. Si la séparation entre réactivité et raisonnement tient à l'échelle, elle offrirait une piste concrète pour concilier les deux sans sacrifier l'un pour l'autre. Le travail s'inscrit dans la lignée des recherches sur la mémoire des agents robotiques, qui cherchent à dépasser les architectures VLA à plat où toute l'information transite par une seule fenêtre de contexte. Les auteurs rapportent de meilleurs taux de réussite que ces références plates sur des tâches à horizon long, ainsi qu'une capacité inédite à corriger ses propres connaissances internes selon les préférences exprimées par un humain. Publié sans affiliation industrielle mise en avant, ce travail reste à ce stade une contribution académique : reste à voir si des laboratoires ou fournisseurs de VLA commerciaux comme Physical Intelligence, Nvidia ou Figure s'en inspireront pour des robots déployés en usine ou en entrepôt.

RechercheActu
1 source
Exp2VLA : permettre la navigation de drones par modèle vision-langage-action à partir de démonstrations d'experts
287arXiv cs.RO 

Exp2VLA : permettre la navigation de drones par modèle vision-langage-action à partir de démonstrations d'experts

Des chercheurs proposent Exp2VLA, un pipeline de distillation d'expertise pour la navigation de drones pilotée par le langage, décrit dans une prépublication arXiv (2607.03146v1). Le principe consiste à capturer des comportements experts, qu'ils proviennent de l'apprentissage par renforcement, de la téléopération ou d'autres contrôleurs classiques, puis à convertir ces trajectoires en données d'entraînement pour affiner des modèles vision-langage-action (VLA) de taille compacte. L'objectif est de transférer des stratégies de contrôle existantes vers un modèle unifié capable de comprendre des commandes en langage naturel. Les auteurs ont testé leur approche dans des environnements simulés, à la fois en configuration sim-to-sim et en boucle simulation-in-the-loop, sur des scènes comportant plusieurs objets. Les modèles affinés parviennent à traiter des commandes sémantiques variées et à généraliser à des compositions de cibles jamais vues pendant l'entraînement. Aucun vol réel n'est mentionné à ce stade : les résultats reposent exclusivement sur la simulation. L'enjeu dépasse le simple exercice académique. Les modèles VLA se sont largement développés autour des bras manipulateurs et des humanoïdes, mais leur adaptation aux drones bute sur deux obstacles concrets : le coût de calcul embarqué, souvent incompatible avec les contraintes de poids et d'autonomie d'un UAV, et le manque de robustesse de nombreuses solutions dès que l'environnement se complexifie. En automatisant la conversion de contrôleurs spécialisés en un modèle unique piloté par le langage, Exp2VLA réduit la charge d'intégration manuelle que doivent habituellement assumer les équipes qui déploient de nouveaux comportements robotiques. Pour les intégrateurs et décideurs industriels travaillant sur des flottes de drones autonomes, ce type d'approche illustre une piste pour rendre les systèmes plus flexibles sans repartir d'une architecture de contrôle entièrement nouvelle à chaque nouvelle tâche. Le travail s'inscrit dans la lignée des grands modèles VLA généralistes déjà déployés sur d'autres classes de robots, à l'image de Pi-0 ou GR00T N2 pour les bras et humanoïdes. Son originalité est de cibler spécifiquement les contraintes propres aux UAV plutôt que d'adapter directement des architectures pensées pour des robots au sol. Restant à ce stade un résultat de recherche validé en simulation, la suite logique attendue serait une validation sur drone réel, condition nécessaire avant toute perspective de déploiement opérationnel.

RechercheActu
1 source
ACE-Brain-0.5 : un modèle fondation incarné unifié pour l'IA physique à base d'agents
288arXiv cs.RO 

ACE-Brain-0.5 : un modèle fondation incarné unifié pour l'IA physique à base d'agents

Voici l'article en français : Une équipe de recherche présente ACE-Brain-0.5, un modèle de fondation embarqué unifié pour l'IA physique agentique, dans un article publié sur arXiv début juillet 2026. Le système s'appuie sur un backbone unique de 8 milliards de paramètres qui assure quatre fonctions simultanées : ancrage des objets et des affordances dans la scène, raisonnement spatial en 3D et en vue égocentrique, décomposition d'instructions en sous-objectifs, génération d'actions de navigation et de manipulation, et estimation de la progression pour vérifier ou corriger l'exécution. Une cinquième fonction, l'auto-amélioration, repose sur un cadre externe qui met à jour les schémas de tâches, la mémoire spatiale et les cas de récupération d'échec à partir des données de déploiement. Le modèle s'appuie sur un prédécesseur, ACE-Brain-0, et introduit une méthode nommée SSR+ (Scaffold-Specialize-Reconcile avec une étape de Réactivation après fusion des vecteurs de tâches) pour combiner ces capacités sans qu'elles n'interfèrent entre elles. Sur quinze bancs d'essai, ACE-Brain-0.5 surpasse son prédécesseur sur 14 des 18 tests de perception spatiale et d'ancrage, tout en restant compétitif en navigation et manipulation. Cette approche illustre une tendance de fond dans la robotique humanoïde et les agents physiques : le passage de politiques bout-en-bout, souvent dépourvues de raisonnement spatial explicite, vers des architectures qui unifient perception, planification, action et auto-évaluation dans une représentation partagée. C'est un pari différent de celui des modèles VLA généralistes type Pi-0 ou GR00T N2, qui privilégient l'apprentissage direct d'une politique d'action : ici, l'accent est mis sur la boucle fermée complète, avec vérification et récupération d'erreur intégrées, un point souvent négligé dans les démonstrations spectaculaires mais peu robustes du secteur. Le papier ne précise pas de partenariat industriel ni de déploiement sur plateforme commerciale à ce stade : il s'agit d'un travail de recherche fondamentale, positionné comme une étape vers une IA physique agentique plus générale, sans calendrier de mise en production annoncé.

RechercheOpinion
1 source
Une combinaison de plongée imprimée en 3D permet à des cafards cyborg de respirer sous l'eau pendant trois heures
289Interesting Engineering 

Une combinaison de plongée imprimée en 3D permet à des cafards cyborg de respirer sous l'eau pendant trois heures

Des chercheurs de la Nanyang Technological University (NTU) à Singapour et de l'université Waseda au Japon ont mis au point une combinaison de plongée imprimée en 3D pour cafards cyborgs télécommandés, leur permettant de respirer et de se déplacer sous l'eau ou en environnement pauvre en oxygène pendant jusqu'à trois heures. Jusqu'ici, ces insectes bio-hybrides, équipés de mini-électrodes fixées sur leurs antennes pour être pilotés à distance, suffoquaient en quelques minutes dès qu'ils étaient immergés, leurs spiracles (les orifices respiratoires réparties sur leur corps) ne fonctionnant pas sous l'eau. La solution retenue est un générateur d'oxygène chimique autonome de 10x10 millimètres, une carapace en résine imprimée en 3D contenant une éponge enduite de dioxyde de manganèse qui catalyse la décomposition de peroxyde d'hydrogène liquide injecté, libérant de l'oxygène acheminé vers les spiracles thoraciques via quatre tubes en silicone souple, le tout scellé par une coque étanche souple. Lors des tests en laboratoire, les cafards équipés ont parcouru des parcours d'obstacles incluant des chambres saturées en CO2 et des tunnels entièrement inondés, atteignant 87,5 millimètres par seconde sur terre contre 78,4 millimètres par seconde sous l'eau, quasiment sans perte de vitesse, tandis que les spécimens sans combinaison se noyaient rapidement. Les travaux ont été publiés dans la revue Nature Communications. Cette avancée répond à une limite concrète des cyborgs d'insectes déjà utilisés sur le terrain : les zones sinistrées sont rarement sèches. Pluies torrentielles, canalisations éclatées et infrastructures effondrées créent des environnements semi-immergés impraticables pour des robots terrestres classiques, même miniatures. En rendant les cafards cyborgs amphibies, l'équipe élargit leur champ d'action aux décombres inondés, aux tunnels de drainage et aux ruines détrempées, des espaces confinés où les robots de recherche et sauvetage conventionnels peinent à s'insérer. Pour les acteurs de la robotique de secours, la démonstration valide surtout une approche de miniaturisation extrême du support de vie plutôt qu'une nouvelle capacité de mobilité en soi la difficulté technique portait sur la production suffisante d'oxygène sans alourdir un insecte de quelques grammes, un problème d'ingénierie transférable à d'autres micro-robots ou capteurs portés par des organismes vivants. Les cyborgs cafards ne partent pas de zéro sur le terrain : des insectes équipés de backpacks électroniques similaires ont déjà participé aux opérations de secours après le séisme de magnitude 7,7 qui a frappé le Myanmar. Cette nouvelle combinaison de plongée vient combler l'angle mort qui limitait leur usage aux zones sèches ou légèrement humides. L'équipe de recherche prévoit maintenant d'intégrer directement dans la combinaison des capteurs thermiques et des systèmes de navigation, afin de transformer ces insectes pilotés en unités de reconnaissance plus autonomes capables de localiser des victimes sans intervention humaine constante. Le projet s'inscrit dans un courant de recherche plus large sur les robots bio-hybrides, où l'on exploite la motricité et la résistance naturelles d'organismes vivants plutôt que de reproduire leur mobilité par des actionneurs mécaniques, une piste distincte de celle des robots humanoïdes ou quadrupèdes développée par ailleurs pour les mêmes missions de recherche et sauvetage.

RecherchePaper
1 source
#RoboCup2026 : phases finales de la ligue humanoïde
290Robohub 

#RoboCup2026 : phases finales de la ligue humanoïde

Le tournoi RoboCup 2026 s'est achevé ce week-end à Incheon, en Corée du Sud, avec la conclusion des phases de ligue dans les trois catégories de robots humanoïdes: small, middle et large. Chez les small, l'équipe chinoise Invic (Université de Wuhan) l'emporte devant Hamburg Bit-Bots (Universität Hamburg, Allemagne) et GeoHBots (China University of Geosciences). En middle, B-Human, projet conjoint de l'Universität Bremen et du DFKI allemand, prend la première place devant HTWK Robots (Leipzig University of Applied Sciences) et Rhoban, équipe française de l'Université de Bordeaux, qui avait auparavant éliminé HTWK en demi-finale avant de s'incliner en finale face à B-Human. Chez les large, le podium est entièrement chinois avec Tsinghua Hephaestus (Université Tsinghua) en tête, suivi de CAU Mountain&Sea (China Agricultural University) et Water (Beijing Information Science & Technology University). Cinq prix transversaux ont aussi été décernés: meilleur humanoïde personnalisé pour HERoEHS avec son ALICE 4th version, meilleur logiciel pour B-Human et son Game Controller, prix de la recherche ouverte pour Ruhrbot Devils et sa plateforme caméra IA d'analyse de jeu embarquée, meilleure innovation pour Bahia Robotics Team, et meilleur arbitrage pour Anastasia Prisacaru de Berlin United. Au-delà du classement, RoboCup reste avant tout un banc d'essai académique pour la locomotion bipède, la perception embarquée et la coordination multi-agents en conditions réelles, loin des vidéos soigneusement montées des démonstrateurs commerciaux type Figure ou Optimus. La performance des équipes universitaires allemandes et chinoises confirme la répartition habituelle des forces dans la recherche en robotique humanoïde, tandis que la percée de Rhoban jusqu'en demi-finale de la catégorie middle constitue une des rares vitrines françaises dans une discipline dominée par l'Asie de l'Est et l'Allemagne. Ces compétitions servent historiquement de laboratoire dont les algorithmes de marche, de vision et de stratégie collective irriguent ensuite la recherche académique plus large en robotique. Fondée en 1997 avec l'ambition affichée de produire une équipe de robots capable de battre les champions du monde humains de football d'ici 2050, RoboCup organise ses catégories humanoïdes selon la taille des robots, chacune imposant des contraintes matérielles et logicielles différentes. L'édition d'Incheon ne s'arrête pas aux terrains de jeu: un symposium scientifique se tient dans la foulée, réunissant chercheurs et praticiens du monde entier pour présenter les avancées en robotique et intelligence artificielle, avant la prochaine édition du tournoi.

UEL'équipe française Rhoban (Université de Bordeaux) atteint la demi-finale de la catégorie middle, une des rares vitrines françaises dans une discipline de recherche en robotique humanoïde dominée par l'Asie de l'Est et l'Allemagne.

RecherchePaper
1 source
Nouveau capteur tactile changeant de couleur donne aux robots un sens du toucher en temps réel
291Interesting Engineering 

Nouveau capteur tactile changeant de couleur donne aux robots un sens du toucher en temps réel

Un chercheur postdoctoral de Queen Mary University of London, Giacomo Sasso, a développé avec son équipe un nouveau capteur tactile pour robots capable de « voir » le toucher en temps réel grâce à un matériau mécanochromique souple et étirable qui change de couleur selon la déformation subie. Contrairement aux approches classiques qui empilent des réseaux d'électronique dense pour approcher les plus de 10 000 récepteurs du bout des doigts humains, l'équipe a déplacé l'intelligence dans le matériau lui-même : lorsqu'un objet appuie sur la surface, les contraintes mécaniques se traduisent instantanément en une carte de couleurs détaillée, observée par une simple caméra USB bas coût, sans algorithme de reconstruction lourd. Les chercheurs affirment avoir reproduit la densité des empreintes digitales à une échelle et une simplicité qu'aucune technologie existante n'atteignait jusqu'ici, un robot ayant par exemple été capable de distinguer les reliefs fins d'une pièce de monnaie posée sur le capteur. Cette approche s'attaque à un compromis persistant de la détection tactile par vision : jusqu'ici, il fallait choisir entre des systèmes haute résolution mais lents, pénalisés par des pipelines de calcul coûteux, et des systèmes rapides mais peu précis spatialement. En encodant directement la pression mécanique dans un signal optique lisible, sans étape de reconstruction, cette méthode pourrait lever ce verrou pour plusieurs applications industrielles : préhenseurs robotiques capables de manipuler des composants micro-échelle en rendant visibles d'infimes variations de force, prothèses offrant un retour tactile plus riche et intuitif, ou encore robots chirurgicaux détectant en temps réel des anomalies tissulaires (tumeurs rigides) via leur signature de pression. Reste que ces démonstrations, présentées par l'université dans un communiqué, restent à ce stade des preuves de concept en laboratoire, sans validation industrielle ni chiffres de performance (vitesse de rafraîchissement, résolution spatiale précise) rendus publics. Le développement s'inscrit dans des années de recherche sur les capteurs étirables et la détection tactile par vision, un axe où plusieurs laboratoires cherchent depuis longtemps à répliquer le sens du toucher humain sans multiplier les composants électroniques embarqués. Le co-auteur James Busfield, professeur à Queen Mary, résume la philosophie du projet : l'information est déjà contenue dans le signal lumineux, il ne s'agit plus de reconstruire le toucher mais de l'observer directement. Les prochaines étapes attendues concernent le passage à l'échelle du matériau, son intégration sur des mains robotiques ou prothétiques complètes, et des essais concrets en micro-manufacturing ou en environnement chirurgical, domaines où la précision tactile reste un obstacle majeur à l'autonomie des robots.

RecherchePaper
1 source
Restauration de l'ancrage linguistique dans les modèles VLA par recalibrage de l'attention sans entraînement
292arXiv cs.RO 

Restauration de l'ancrage linguistique dans les modèles VLA par recalibrage de l'attention sans entraînement

Voici l'article traduit et résumé : Une équipe de recherche a mis en évidence une faille critique dans les modèles Vision-Language-Action (VLA), ces systèmes qui permettent à des robots d'exécuter des tâches de manipulation à partir d'instructions en langage naturel. Le problème, baptisé "cécité linguistique", survient lorsque le robot continue d'exécuter une action visuellement plausible même quand l'instruction textuelle contredit explicitement la scène observée : le modèle privilégie alors ce qu'il voit au détriment de ce qu'on lui dit. Pour quantifier ce phénomène, les chercheurs ont créé ICBench, un benchmark diagnostique dérivé du jeu de données LIBERO, qui injecte des contradictions contrôlées entre instruction et environnement visuel. Testés sur trois architectures VLA de référence, Pi-0, Pi-0.5 et OpenVLA OFT, les modèles réussissent fréquemment leur tâche malgré des instructions logiquement impossibles, preuve d'un biais visuel marqué dans la génération d'action. Face à ce constat, l'équipe propose IGAR (Instruction-Guided Attention Recalibration), un mécanisme appliqué au moment de l'inférence, sans réentraînement ni modification architecturale, qui rééquilibre l'attention du modèle pour restaurer le poids de l'instruction linguistique. Cette découverte fragilise un postulat central du secteur robotique actuel : que les modèles VLA génèrent des actions réellement pilotées par le langage, condition indispensable pour des robots généralistes capables de suivre des consignes fiables en environnement industriel ou domestique. Un robot qui ignore silencieusement une instruction contradictoire, sans signaler d'erreur, représente un risque direct pour les intégrateurs et les décideurs B2B qui envisagent de déployer ces modèles sur des lignes de production ou en logistique, où une mauvaise interprétation peut coûter cher en sécurité ou en qualité. IGAR intéresse particulièrement car il s'agit d'un correctif applicable sans réentraînement aux modèles existants. Sur 30 tâches issues de LIBERO, IGAR réduit sensiblement les exécutions erronées face à des instructions contradictoires hors distribution, tout en préservant les performances de base sur les tâches normales. Les chercheurs ont aussi validé l'approche sur un bras robotique Franka réel, où IGAR a effectivement empêché des manipulations déclenchées par des instructions incohérentes, un test important puisqu'il dépasse la simple simulation. Ce travail s'inscrit dans une tendance plus large d'audit critique des modèles VLA, où la question du "sim-to-real" et de la robustesse aux cas limites reste largement sous-explorée face à l'engouement commercial entourant Pi-0, GR00T N2 ou Helix.

RecherchePaper
1 source
CaP-X : un cadre pour évaluer et améliorer les agents de codage pour la manipulation robotique
293arXiv cs.RO 

CaP-X : un cadre pour évaluer et améliorer les agents de codage pour la manipulation robotique

Des chercheurs publient CaP-X, un framework open-access destiné à évaluer et améliorer les agents de type "Code-as-Policy" pour la manipulation robotique, selon un article déposé sur arXiv (2603.22435v2). Le système s'appuie sur CaP-Gym, un environnement interactif où des agents pilotent des robots en générant et exécutant du code combinant des primitives de perception et de contrôle. Sur cette base, les auteurs construisent CaP-Bench, un banc d'essai qui compare 12 modèles de langage et modèles vision-langage frontier selon différents niveaux d'abstraction, d'interaction et d'ancrage perceptif. Le travail aboutit à deux propositions concrètes : CaP-Agent0, un framework ne nécessitant aucun entraînement supplémentaire, et CaP-RL, une méthode d'apprentissage par renforcement avec récompenses vérifiables, testée en simulation puis transférée sur robots réels. L'enjeu dépasse le simple exercice académique : l'approche "code comme politique de contrôle" est présentée comme un complément aux méthodes Vision-Language-Action (VLA), très gourmandes en données, qui dominent aujourd'hui la robotique humanoïde et industrielle. CaP-Bench met en évidence une faiblesse structurelle des agents actuels, leur performance chute nettement dès que les abstractions conçues par des humains sont retirées, ce qui révèle une dépendance excessive au travail d'ingénierie préalable plutôt qu'à une véritable autonomie de raisonnement. Pour les intégrateurs et décideurs industriels, ce résultat tempère l'idée que les grands modèles suffiraient seuls à piloter des bras ou des humanoïdes sans échafaudage logiciel dédié. À l'inverse, les auteurs montrent que multiplier les tours d'interaction, le retour d'exécution structuré, la différenciation visuelle et la synthèse automatique de compétences comble une grande partie de cet écart, même sur des primitives de bas niveau. Ce travail s'inscrit dans le prolongement des recherches sur le "Code-as-Policy", initiées pour donner aux modèles de langage une interface exécutable vers le contrôle robotique, en alternative aux pipelines VLA de bout en bout. En documentant précisément où les agents actuels échouent et en ouvrant l'accès à son environnement de test, CaP-X vise à devenir une plateforme de référence pour comparer objectivement les approches futures, avant un possible passage à l'échelle sur des tâches de manipulation réelles plus complexes.

RecherchePaper
1 source
Robots de livrable : navigation en foule via apprentissage des préférences sociales (SPLC)
294arXiv cs.RO 

Robots de livrable : navigation en foule via apprentissage des préférences sociales (SPLC)

Une équipe de recherche présente SPLC (Social Preference Learning for Crowd Robot Navigation), un nouvel algorithme d'apprentissage par renforcement hors ligne conçu pour faire naviguer des robots au milieu de foules de piétons sans avoir à concevoir manuellement une fonction de récompense. Publié sur arXiv le 2 juillet 2026 (arXiv:2607.01925v1), le système introduit un mécanisme de retour de préférences sociales qui génère automatiquement des données de préférence à partir de critères d'évaluation prédéfinis, en tenant compte explicitement de la dynamique complexe des piétons. Les auteurs ont testé SPLC en combinaison avec plusieurs méthodes de RL hors ligne et rapportent des gains constants par rapport aux meilleures références actuelles sur des métriques de performance standard, avant de valider l'approche en conditions réelles sur un robot TurtleBot4. Le code et des démonstrations vidéo sont disponibles sur le dépôt GitHub du projet (sklus949/SPLC). L'enjeu pratique est la conception des récompenses en RL, un goulot d'étranglement bien connu pour déployer des robots mobiles autonomes dans des environnements humains partagés, entrepôts, hôpitaux, espaces commerciaux. Écrire à la main une fonction qui capture des normes sociales floues (garder ses distances, céder le passage, anticiper une trajectoire) introduit des biais et ne généralise pas d'une foule à l'autre. En automatisant la génération de préférences plutôt que la récompense elle-même, SPLC s'attaque directement au problème du "reward hacking" et du décalage entre simulation et réel, un point sensible pour tout intégrateur qui envisage des robots de navigation autonome en zones piétonnes denses. Le passage à un test réel sur TurtleBot4, plutôt qu'une simple démonstration en simulateur, distingue ce travail de nombreuses publications qui restent cantonnées au benchmark. Ce travail s'inscrit dans une lignée de recherches sur le RL hors ligne appliqué à la navigation sociale, un axe où les laboratoires cherchent à réduire la dépendance aux interactions coûteuses en environnement réel pendant l'entraînement. Les approches concurrentes reposent généralement sur du reward shaping manuel ou sur de l'apprentissage par imitation à partir de trajectoires humaines annotées, des méthodes que les auteurs positionnent comme moins robustes face à la variabilité des comportements piétons. Les prochaines étapes annoncées ne sont pas détaillées dans le résumé, mais la mise à disposition du code laisse présager des évaluations comparatives par d'autres équipes, et potentiellement une extension à des plateformes robotiques plus complexes que le TurtleBot4.

RecherchePaper
1 source
Learning à localiser des trajectoires de référence dans l'espace image pour la navigation visuelle
295arXiv cs.RO 

Learning à localiser des trajectoires de référence dans l'espace image pour la navigation visuelle

Voici l'article traduit et résumé en français : Des chercheurs ont présenté LoTIS, un nouveau modèle de navigation visuelle pour robots capable de localiser une trajectoire de référence directement dans l'image captée par la caméra du robot, sans calibration caméra, sans données de pose et sans entraînement spécifique à chaque plateforme robotique. Plutôt que de prédire des actions liées à un robot particulier, le système prédit où les points de la trajectoire de référence apparaîtraient dans le champ de vision actuel du robot, ce qui rend le guidage transférable d'une plateforme à l'autre sans réentraînement (zero-shot). Sur des tâches de navigation classique en avant, LoTIS dépasse les méthodes de référence de 20 à 50 points de pourcentage en taux de réussite, atteignant 94 à 98% de succès sur des environnements variés, simulés comme réels. Sur des tâches plus difficiles où les approches existantes échouent, comme la marche arrière, le gain dépasse un facteur cinq. Les auteurs montrent aussi qu'une simple vidéo filmée avec un téléphone suffit à guider différents robots vers n'importe quel point de la trajectoire enregistrée. Code, démonstration et vidéos sont disponibles sur le site des auteurs. Cette avancée s'attaque directement à l'un des points de friction majeurs de la robotique mobile actuelle: la dépendance des systèmes de navigation visuelle à des données spécifiques au robot (calibration caméra, poses précises, entraînement par plateforme), qui limite fortement leur portabilité industrielle. En découplant la perception (localiser où aller dans l'image) de l'action (comment s'y déplacer physiquement), LoTIS ouvre la voie à des workflows où une trajectoire filmée une seule fois, même avec un smartphone, pourrait piloter une flotte hétérogène de robots ou d'AMR sans travail d'intégration lourd par modèle. Ce travail s'inscrit dans une lignée de recherche en navigation par imitation visuelle qui cherchait jusqu'ici à imiter des comportements complets plutôt qu'à simplement localiser une cible dans l'image, une approche jugée plus fragile aux changements de point de vue ou de caméra. La stratégie d'entraînement croisé entre trajectoires proposée par les auteurs vise justement à corriger cette fragilité. Le papier, publié sur arXiv, reste à ce stade une contribution académique; son adoption par des intégrateurs ou fabricants de robots commerciaux reste à démontrer.

RecherchePaper
1 source
Une seule démonstration suffit pour l'apprentissage par renforcement robotique en conditions réelles
296arXiv cs.RO 

Une seule démonstration suffit pour l'apprentissage par renforcement robotique en conditions réelles

Des chercheurs présentent AutoSERL, un framework d'apprentissage par renforcement (RL) pour robots qui n'a besoin que d'une seule démonstration humaine pour apprendre des tâches de manipulation complexes en conditions réelles, sans intervention humaine continue pendant l'entraînement. Le système repose sur trois mécanismes complémentaires : une fenêtre glissante d'intervention qui guide l'exploration pour éviter les minima locaux et les mouvements dangereux, un mécanisme de récupération de sécurité qui détecte les échecs et corrige la trajectoire via des points de reprise prédéfinis, et un critère d'arrêt automatique qui coupe le guidage dès que la politique apprise devient autonome. Les auteurs ont testé AutoSERL sur six tâches de manipulation à contact intensif (insertion, accrochage, tâches à charnière) réparties sur deux plateformes robotiques différentes. Le framework atteint 100% de réussite sur les tâches d'insertion et dépasse systématiquement SERL entraîné avec 20 démonstrations, l'apprentissage par imitation classique (behavior cloning) et MILES, une méthode dédiée à l'apprentissage en un coup, tout en égalant les performances de HIL-SERL qui nécessite lui une supervision humaine continue. L'intérêt pour l'industrie tient à la réduction drastique du coût de collecte de données, généralement le principal frein au déploiement de RL sur du matériel physique. La plupart des approches existantes exigent soit des dizaines de démonstrations, soit un opérateur qui intervient en permanence pendant l'entraînement, ce qui limite le passage à l'échelle en usine ou en intégration industrielle. En automatisant l'intervention à partir d'un seul exemple tout en conservant une robustesse aux variations de position des pièces, AutoSERL rapproche le RL réel de tâches d'assemblage fin, un terrain où les approches purement basées sur l'imitation ou les politiques VLA préentraînées peinent encore à garantir une fiabilité industrielle. Ce travail s'inscrit dans la lignée de SERL et HIL-SERL, frameworks de référence pour le RL avec intervention humaine sur robots physiques, en cherchant à supprimer leur principale contrainte opérationnelle. Le code et les vidéos de démonstration sont publiés par les auteurs sur un site dédié, mais le papier, déposé sur arXiv le 1er juillet 2026, reste à ce stade une contribution de recherche académique évaluée en laboratoire sur deux plateformes robotiques, sans indication de déploiement industriel ni de partenariat commercial annoncé.

RecherchePaper
1 source
Transport discrepancy : un signal fiable pour évaluer les modèles vision-langage-action
297arXiv cs.RO 

Transport discrepancy : un signal fiable pour évaluer les modèles vision-langage-action

Article n'a pas d'entreprise/robot associé (papier arXiv académique), je m'en tiens aux faits rapportés, sans inventer d'affiliation ou de déploiement. Des chercheurs ont publié une version révisée sur arXiv (identifiant 2512.01715v2) d'un papier proposant DiG (Discrepancy Gate), un module additionnel destiné aux modèles vision-langage-action (VLA) qui génèrent leurs séquences de mouvement via flow matching. Le problème visé est concret : ces modèles n'ont aujourd'hui aucun moyen interne de savoir si une prédiction d'action est fiable, alors qu'un changement de distribution des données ou une tâche longue peuvent faire dériver les représentations internes du réseau loin de la zone où la tête d'action décode correctement. Les auteurs montrent que le coût de transport (mesuré via une distance de Wasserstein tranchée, ou sliced Wasserstein) entre les features de l'encodeur et la projection d'entrée de l'expert d'action augmente précisément au moment de cette dérive. DiG exploite ce signal : il le fait passer par une porte exponentielle qui module à la fois un raffinement résiduel des features et la fonction de perte à l'entraînement. À l'inférence, cette porte active un mécanisme baptisé DiG-Refine, qui corrige itérativement les séquences d'action avant leur exécution. Testé en simulation et en conditions réelles, DiG améliore de façon constante le taux de réussite des tâches, avec les gains les plus marqués sur les scénarios de changement de distribution et les tâches à long horizon. L'enjeu dépasse le seul confort académique : les architectures VLA à flow matching, sur lesquelles s'appuient plusieurs modèles de fondation robotique actuels générant des chunks d'action continus, fonctionnent aujourd'hui en boîte noire, sans jauge de confiance embarquée. Pour un intégrateur ou un opérateur industriel, l'absence d'un tel signal signifie qu'un robot peut exécuter une action erronée sans que le système sache qu'il est en train de dériver, un problème critique dès qu'on sort du cadre démo pour aller vers un déploiement en usine ou en entrepôt. DiG répond directement au fossé entre démonstration et fiabilité réelle en offrant un mécanisme d'auto-correction sans supervision supplémentaire ni réentraînement lourd, ce qui en fait un candidat pour être greffé sur des politiques existantes plutôt qu'une refonte d'architecture. Le papier s'inscrit dans la lignée des travaux récents sur le flow matching comme méthode de génération d'actions continues, une approche de plus en plus répandue dans les politiques robotiques génératives modernes en remplacement des méthodes de diffusion classiques ou du apprentissage par imitation discret. Il ne s'agit pas ici d'un produit commercial ni d'un déploiement annoncé, mais d'une contribution méthodologique destinée à la communauté recherche, publiée en tant que "replace" d'une version antérieure du même travail. Les suites logiques attendues sont une adoption potentielle par des équipes développant des politiques VLA en production, ainsi que des comparaisons futures avec d'autres approches de détection d'incertitude pour les modèles d'action continue.

RecherchePaper
1 source
ManipArena : évaluation exhaustive en conditions réelles de la manipulation robotique généraliste orientée raisonnement
298arXiv cs.RO 

ManipArena : évaluation exhaustive en conditions réelles de la manipulation robotique généraliste orientée raisonnement

Le laboratoire à l'origine de ce papier arXiv (identifiant 2603.28545, version 2, soumission de type remplacement) présente ManipArena, un cadre d'évaluation standardisé pour la manipulation robotique en conditions réelles. Le benchmark couvre 20 tâches distinctes, s'appuie sur 10 812 trajectoires expertes et 13,5 millions d'images, pour un total d'environ 188 heures de fonctionnement robotique cumulées sur des scénarios de manipulation de table et de manipulation mobile. Le protocole combine variation de tâches définie par schéma, essais stratifiés en distribution, en décalage visuel et hors distribution sémantique, notation par crédit partiel au niveau des sous-tâches, annotations linguistiques à trois niveaux de granularité, signaux moteurs bas niveau, et environnements simulés jumeaux reconstruits à partir de scènes physiques réelles. Les chercheurs ont utilisé ce dispositif pour évaluer sept configurations de manipulation de table, couvrant à la fois des modèles vision-langage-action (VLA) et des modèles dits world-action. L'enjeu dépasse la simple création d'un nouveau jeu de tests. Les benchmarks en simulateur, bien que reproductibles et faciles à mettre à l'échelle, ne capturent pas fidèlement l'écart entre simulation et réel, ce dernier étant causé par le bruit de perception, la dynamique de contact, la latence et les erreurs de calibration. À l'inverse, les évaluations sur robots physiques existantes sont dispersées entre plateformes, scènes et règles de notation différentes, ce qui rend toute comparaison rigoureuse quasi impossible. Résultat clé de l'étude: les performances mesurées sur robot réel ne dépendent pas seulement de l'architecture du modèle, mais aussi de sa provenance, du régime de fine-tuning, de l'échantillonnage des données d'entraînement et de la granularité des annotations. Pour les intégrateurs et décideurs industriels, ce constat invite à relativiser fortement les annonces de performance basées uniquement sur des démonstrations vidéo ou des scores en simulation. Ce travail s'inscrit dans la course actuelle autour des modèles généralistes de contrôle robotique (VLA et world-action), un domaine où les affirmations de généralisation restent difficiles à vérifier faute de méthodologie commune. En proposant un référentiel reproductible avec attribution fine des échecs, ManipArena vise à devenir un outil diagnostique de référence pour mesurer les véritables limites de capacité de ces modèles, plutôt qu'un simple classement de plus.

RecherchePaper
1 source
L'œil mobile : améliore la généralisation spatiale des VLA grâce à une collecte de données hybride et dynamique
299arXiv cs.RO 

L'œil mobile : améliore la généralisation spatiale des VLA grâce à une collecte de données hybride et dynamique

Le fil d'actualité de l'IA, voici l'article traduit et synthétisé. Une équipe de recherche publie sur arXiv (référence 2607.02322v1, soumis début juillet 2026) une étude intitulée "The Moving Eye", consacrée à la généralisation spatiale des modèles Vision-Language-Action (VLA). Le protocole expérimental repose sur une configuration à deux bras robotiques : l'un exécute la tâche de manipulation, l'autre sert de caméra mobile filmant la scène sous des angles variables. Les chercheurs comparent trois stratégies de collecte de données : vue fixe (Fixed), multi-fixe avec plusieurs points de vue statiques (Multi-Fixed), et vue mobile en mouvement continu (Moving Views). Les modèles testés couvrent le spectre actuel des architectures de manipulation robotique : ACT, les modèles à diffusion (Diffusion Policy), ainsi que les VLA Pi-0 et GR00T. Résultat central : une approche hybride, combinant mouvement continu de caméra et diversité de points de vue statiques, surpasse nettement les deux autres méthodes prises isolément. Cette étude s'attaque à un problème connu mais peu quantifié dans le secteur : le "shortcut learning", où un modèle VLA apprend des corrélations superficielles (pose relative fixe entre objets, ou entre caméra et base du robot) plutôt que la géométrie spatiale réelle de la tâche. Concrètement, un modèle entraîné avec des caméras fixes peut sembler performant en test mais échouer dès qu'on change la position de la caméra ou la disposition des objets, un écart démo-réalité que les intégrateurs industriels connaissent bien. L'article démontre que multiplier les points de vue fixes ne suffit pas à corriger ce biais, contrairement à une hypothèse répandue dans le secteur : seul le mouvement de caméra combiné à la diversité des vues réduit efficacement ces corrélations parasites, et ce gain se vérifie sur toutes les architectures testées, pas seulement sur les VLA les plus récents. Cette fragilité spatiale des VLA fait l'objet d'une attention croissante depuis la montée en puissance de modèles comme Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA), présentés comme généralistes mais dont la robustesse hors distribution reste discutée. En proposant une méthode de collecte de données peu coûteuse en matériel (un simple bras robotique reconverti en caméra mobile) plutôt qu'une refonte architecturale, les auteurs ouvrent une piste concrète pour les équipes qui entraînent leurs propres politiques de manipulation, avant d'éventuels essais à plus grande échelle sur des tâches et robots variés.

RechercheActu
1 source
SE(2) Navigation Mesh
300arXiv cs.RO 

SE(2) Navigation Mesh

Des chercheurs proposent le SE(2) Navigation Mesh (SE(2) NavMesh), une nouvelle représentation cartographique pour la navigation globale des robots terrestres dans des environnements complexes à plusieurs niveaux, comme les bâtiments multi-étages ou les entrepôts encombrés. Publiée sur arXiv sous la référence 2607.01454v1, l'étude part d'un constat: les nuages de points et les cartes d'occupation volumétrique manquent de structure de surface explicite pour estimer la franchissabilité du terrain, tandis que la recherche de chemin directe sur des maillages triangulaires denses reste trop coûteuse en calcul. Les navmesh classiques, qui découpent l'espace en polygones traversables, supposent que la franchissabilité ne dépend pas de l'orientation du robot, ce qui les rend inadaptés aux robots non circulaires évoluant dans des espaces contraints. Le SE(2) NavMesh corrige ce défaut en évaluant la franchissabilité via des masques d'empreinte au sol et en construisant un graphe organisé en couches spécifiques à chaque orientation, avec une connectivité translationnelle et rotationnelle explicite. Les auteurs introduisent aussi une stratégie de recherche de chemin en deux temps, baptisée A-String Pulling-A (ASA), qui optimise hiérarchiquement la position puis le cap du robot, ainsi qu'une méthode en ligne mettant à jour incrémentalement le NavMesh à partir de flux de nuages de points pendant la reconstruction géométrique de l'environnement. En simulation, le SE(2) NavMesh capture plus de 50% de surface traversable en plus qu'un navmesh classique, et le pipeline SE(2) NavMesh + ASA surpasse systématiquement les méthodes d'échantillonnage de référence dans les espaces confinés. Des expériences réelles sur robot physique confirment la génération en temps réel et une navigation réussie dans plusieurs environnements. Cette avancée cible un angle mort persistant de la navigation robotique: la plupart des pipelines actuels traitent le robot comme un disque, une approximation valable pour des AMR circulaires mais qui échoue dès qu'un châssis allongé, asymétrique ou muni d'un bras déployé doit se faufiler entre des obstacles serrés. Pour les intégrateurs qui déploient des robots logistiques ou des plateformes mobiles à bras manipulateur dans des entrepôts, usines ou bâtiments à plusieurs niveaux, cette limite se traduit par des chemins sous-optimaux, des blocages évitables ou des marges de sécurité excessives qui réduisent l'espace exploitable. En démontrant qu'une représentation sensible à l'orientation peut être calculée et mise à jour en temps réel, y compris pendant la reconstruction de la carte, les auteurs répondent à une objection fréquente: que ce type d'approche serait trop coûteux pour tourner en embarqué. Le gain de plus de 50% en surface traversable exploitable n'est pas un détail marginal, il implique potentiellement moins de détours et une meilleure utilisation de l'espace dans des contextes où chaque mètre carré compte, comme les micro-fulfillment centers ou les couloirs étroits d'établissements de santé. Le travail s'inscrit dans la lignée des recherches sur la planification de trajectoire pour robots terrestres, longtemps tiraillées entre deux extrêmes: les cartes d'occupation, simples à construire mais pauvres en information de franchissabilité, et les maillages triangulaires denses, riches en détail mais trop lourds pour une recherche de chemin en temps réel. Les navmesh polygonaux classiques, utilisés de longue date dans le jeu vidéo puis adoptés par la robotique mobile, avaient déjà réglé le problème du coût de calcul, mais au prix de l'hypothèse simplificatrice d'une franchissabilité indépendante de l'orientation. Le SE(2) NavMesh se positionne comme une extension directe de cette famille de méthodes, en ajoutant la dimension manquante sans revenir à la complexité des maillages denses. Les auteurs valident leur approche à la fois en simulation et sur un robot physique réel, ce qui traduit une volonté de rapprocher rapidement cette technique du terrain plutôt que de la cantonner au stade théorique. Les suites attendues pour ce type de travaux incluent généralement l'intégration dans des piles logicielles de navigation existantes et des tests à plus grande échelle sur des flottes hétérogènes.

RecherchePaper
1 source