Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel

Recherche — page 13

2151 articles · page 13 sur 44

Publications scientifiques en robotique : arXiv cs.RO, ICRA, IROS, Humanoids, CoRL — nouveaux algorithmes, benchmarks et datasets.

HumanoïdesIA physiqueIndustrielFR/EU ecosystemeChine/AsieBusinessExosquelettesRegulationInfrastructureSociete/EthiqueAutre
Champs de vitesse robotiques modélisés en flux de probabilité pour la manipulation d'objets
601arXiv cs.RO RechercheOpinion

Champs de vitesse robotiques modélisés en flux de probabilité pour la manipulation d'objets

Une équipe de chercheurs a publié sur arXiv (réf. 2606.23090v2) un framework appelé Flow as Flow pour la manipulation d'objets en robotique. La méthode modélise les flux robotiques (champs de vitesse des robots) comme des flux de probabilité via une formulation de flow matching. Là où les approches précédentes représentaient les mouvements par des déplacements de keypoints épars, Flow as Flow génère des champs de vitesse denses, mieux alignés avec la nature continue du mouvement dans le temps. Sur les benchmarks standards, la méthode surpasse les baselines sur les métriques habituelles et atteint une vitesse de génération environ 33 fois supérieure. En conditions réelles, 9 méthodes ont été comparées sur 260 essais chacune et 13 tâches de manipulation distinctes: Flow as Flow affiche un taux de succès moyen supérieur à tous les systèmes testés. Ce gain de 33x à la génération a une portée concrète: dans un système robotique opérant en temps réel, la latence de planification de trajectoire conditionne directement la réactivité et la sécurité du bras. Sur le plan architectural, le travail s'inscrit dans la dynamique des modèles de fondation cross-embodiment, entraînés sur des données hétérogènes issues de plusieurs morphologies de robots. Utiliser les champs de vitesse comme représentation agnostique du corps permettrait de mutualiser des jeux de données entre humanoïdes, bras industriels et manipulateurs mobiles sans recoder les politiques de contrôle. L'approche adresse aussi un angle mort fréquent des VLA actuels: la cohérence temporelle des trajectoires générées, souvent dégradée par l'interpolation entre keypoints discrets. Le flow matching est une technique issue des modèles génératifs popularisée à partir de 2022-2023, et son import en robotique s'accélère. Dans la course aux politiques de manipulation généralisables, pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et des variantes comme OpenVLA font déjà référence. Flow as Flow ne propose pas une architecture complète rivale mais une représentation du mouvement alternative, potentiellement intégrable dans ces pipelines existants. La solidité du corpus expérimental mérite d'être soulignée: 260 essais par méthode sur 13 tâches représente une couverture inhabituelle pour une publication académique en manipulation, ce qui limite le risque de cherry-picking sur des démonstrations sélectionnées. L'étape suivante logique serait l'intégration dans des jeux de données cross-embodiment à grande échelle comme Open X-Embodiment ou DROID, pour tester la montée en généralisation sur des robots hétérogènes.

1 source
Ancrage physique des politiques génératives : diffusion guidée par l'optimisation pour le contrôle robotique
602arXiv cs.RO 

Ancrage physique des politiques génératives : diffusion guidée par l'optimisation pour le contrôle robotique

Des chercheurs ont publié le 24 juin 2026 sur arXiv (référence 2606.24208) une méthode visant à corriger un angle mort des politiques robotiques génératives : les sorties produites par les modèles de diffusion peuvent être statistiquement valides mais physiquement infaisables. En pratique, un modèle génératif de haute qualité peut planifier une saisie (grasp), un waypoint ou une trajectoire qui viole des contraintes d'atteignabilité (reachability), d'évitement de collision ou d'exécutabilité en boucle fermée, rendant le déploiement direct sur robot impossible. Les auteurs proposent un cadre d'optimisation à l'inférence qui formule le guidage diffusionnel comme un problème d'optimisation sous contraintes. La clé : remplacer la perturbation d'échantillonnage dans le processus de débruitage (backward process) par une correction optimisée, ce qui permet d'imposer des contraintes dures ou souples lors du sampling sans ré-entraîner le modèle. Évalué sur la synthèse de saisies dextères avec contraintes de reachability et d'évitement de collision, et sur la manipulation dynamique avec contraintes de suivi au niveau contrôleur, la méthode améliore le taux de succès jusqu'à 20 points de pourcentage sur la saisie dextère et 23 points de pourcentage sur la manipulation visuomotrice par rapport à la meilleure baseline testée. L'enjeu est ce que les auteurs nomment l'"embodiment gap" : une politique entraînée dans un espace de tâches générique peut produire des comportements conceptuellement transférables, mais leur exécution sur un corps physique spécifique échoue faute de contraintes cinématiques ou dynamiques respectées. Pour les intégrateurs et les OEM robotiques, cela signifie que les modèles généralistes comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) ne peuvent pas être déployés tels quels sur n'importe quel bras ou manipulateur sans couche d'adaptation. L'approche proposée ici opère uniquement en temps d'inférence, sans modification des poids du modèle, ce qui réduit drastiquement le coût d'adaptation à un nouvel embodiment et la rend potentiellement intégrable dans des pipelines existants sans refonte de l'architecture. Le travail s'inscrit dans la dynamique des politiques de diffusion en robotique, initiée notamment par Diffusion Policy (Chi et al., 2023) et prolongée par les architectures VLA de nouvelle génération. Les méthodes concurrentes de guidage par gradient (gradient guidance) et de projection constituent les baselines, et la méthode proposée les surpasse en préservant mieux la qualité des saisies tout en augmentant l'exécutabilité au niveau contrôleur. Dans un secteur où Physical Intelligence, Covariant ou 1X Technologies misent sur des politiques génératives à grande échelle pour atteindre la généralisation inter-robots, cette approche d'optimisation à l'inférence offre un levier d'adaptation pragmatique sans nécessiter de nouvelles données d'entraînement ni de fine-tuning coûteux.

RechercheActu
1 source
Le coût d'évaluation de la spécialisation des tâches dans les systèmes multi-robots évolutionnaires
603arXiv cs.RO 

Le coût d'évaluation de la spécialisation des tâches dans les systèmes multi-robots évolutionnaires

Une équipe de chercheurs publie sur arXiv (réf. 2606.24191, juin 2026) une analyse coût-bénéfice de l'optimisation évolutionnaire appliquée aux systèmes multi-robots (MRS). Le scénario de référence est le "foraging", une tâche de collecte distribuée simulée dans un environnement physique numérique. Le problème central tient à la répartition du budget d'évaluation : faire émerger des contrôleurs spécialisés par sous-tâche oblige à fragmenter les itérations de simulation, tandis qu'un contrôleur généraliste bénéficie de la totalité du budget pour s'optimiser. Les chercheurs mesurent à partir de quelle taille de flotte les spécialistes finissent par surpasser les généralistes malgré ce handicap budgétaire. Résultat principal : plus la flotte est grande, plus le budget total nécessaire pour que la spécialisation devienne avantageuse diminue, ce qui plaide pour des architectures différenciées dans les grands déploiements. Cette conclusion a une portée concrète pour les intégrateurs de solutions multi-robots en logistique, agriculture ou industrie manufacturière, où les flottes comptent couramment plusieurs dizaines voire centaines d'unités. Elle quantifie formellement un arbitrage jusqu'ici guidé par l'intuition : la division du travail robotique devient économiquement justifiée à l'échelle, et les coûts de simulation pour concevoir des agents spécialisés se réduisent à mesure que la flotte grandit. Le résultat nuance aussi un dogme dominant du swarm robotics, qui favorise l'homogénéité pour des raisons de résilience et de maintenabilité. À noter que la publication ne fournit pas encore de seuil de taille de flotte chiffré précis ni de comparaison quantitative entre architectures, réserves habituelles d'un preprint arXiv en attente de peer review. La spécialisation par évolution computationnelle dans les MRS s'appuie sur deux décennies de recherche en systèmes bio-inspirés, des travaux fondateurs de Marco Dorigo sur les essaims jusqu'aux approches modernes couplant algorithmes génétiques et apprentissage par renforcement. En parallèle, les acteurs industriels comme Exotec (AMR d'entrepôt, France) ou 6 River Systems allouent des rôles différenciés à leurs flottes par règles expertes ou RL centralisé, sans recourir à l'évolution simulée. Ce travail renforce la légitimité de l'approche évolutionnaire pour les grandes flottes hétérogènes et apporte un cadre analytique là où les ingénieurs arbitrent aujourd'hui à l'intuition. Les suites attendues incluent une validation sur robots physiques, l'extension à des architectures de tâches plus complexes que le foraging binaire, et une évaluation sur des flottes de taille industrielle réelle.

UELes intégrateurs européens de flottes multi-robots (logistique, industrie manufacturière) disposent d'un cadre analytique formel pour justifier une architecture spécialisée à grande échelle, Exotec, acteur français des AMR d'entrepôt, étant cité comme exemple industriel directement concerné.

RecherchePaper
1 source
CRAFT : une main à tendons avec compliance hybride rigide-souple
604arXiv cs.RO 

CRAFT : une main à tendons avec compliance hybride rigide-souple

Des chercheurs ont présenté CRAFT, une main anthropomorphique à transmission par tendons conçue pour la manipulation en contact riche. L'architecture repose sur un principe de conformité hybride dure-souple : des matériaux déformables sont placés aux articulations, là où se concentrent les impacts lors des contacts, tandis que les segments osseux restent rigides pour supporter les charges structurelles. Des surfaces d'articulation à contact roulant assurent des trajectoires de flexion reproductibles. Quinze moteurs, montés directement sur les doigts et actionnant des tendons, maintiennent un encombrement compact et des doigts léges. En tests structurels, CRAFT affiche une résistance mécanique et une endurance supérieures tout en conservant une répétabilité comparable aux mains existantes. En téléopération, elle gère mieux les objets fragiles et à faible friction, et couvre les 33 types de préhension de la taxonomie de Feix, référence standard du domaine. Le coût de fabrication est inférieur à 600 dollars. L'ensemble du design sera publié en open-source avec un pipeline de téléopération visuelle et une intégration simulation. Un coût inférieur à 600 dollars pour une main couvrant l'intégralité de la taxonomie de Feix représente une rupture de prix significative dans un marché où les solutions équivalentes dépassent plusieurs dizaines de milliers d'euros (la Shadow Dexterous Hand tourne autour de 100 000 dollars en configuration complète). L'insight de design est simple mais ses effets sont mesurés : distinguer les zones d'impact des zones de charge résout partiellement le compromis habituel entre conformité (résistance aux chocs, tolérance aux imprécisions de contact) et répétabilité de positionnement. Pour les intégrateurs et équipes de recherche, une plateforme open-source à ce prix ouvre la voie à des expériences de manipulation dextre reproductibles sans budgets matériels prohibitifs, condition nécessaire à la validation à grande échelle des politiques VLA (vision-language-action). Les mains à tendons sont un paradigme établi, mais leur coût a longtemps limité leur diffusion. CRAFT s'inscrit dans une dynamique récente de démocratisation matérielle, aux côtés de projets comme la LEAP Hand (Carnegie Mellon) ou la Allegro Hand. L'intégration simulation dès la publication signale une orientation vers le sim-to-real transfer et l'apprentissage par imitation, axes dominants depuis l'émergence de Pi-0 (Physical Intelligence) et des travaux OpenVLA en 2024-2025. La release est prévue sur craft-hand.github.io ; aucune timeline de déploiement industriel n'est annoncée, ce travail restant dans le registre académique. Aucun acteur français n'est directement impliqué, mais des équipes comme Enchanted Tools ou les laboratoires CNRS en robotique pourraient trouver dans CRAFT une base matérielle pertinente pour leurs propres travaux.

UEAucun acteur français ou européen directement impliqué, mais la plateforme open-source à moins de 600 $ pourrait servir de base matérielle à des équipes comme Enchanted Tools ou les laboratoires CNRS travaillant sur la manipulation dextre et le sim-to-real.

RecherchePaper
1 source
SPACE : apprentissage inter-robots vers des politiques généralistes
605arXiv cs.RO 

SPACE : apprentissage inter-robots vers des politiques généralistes

Une équipe de chercheurs a publié le 24 juin 2026 sur arXiv (arXiv:2606.24049) un article introduisant SPACE (State Prediction and Adaptive Command Execution), un cadre d'apprentissage conçu pour entraîner des politiques robotiques généralisables à partir de données hétérogènes collectées sur différents robots. Le problème central est le suivant : en behavior cloning, les actions enregistrées lors de démonstrations sont couplées à la dynamique du robot utilisé, ce qui empêche leur réutilisation directe sur d'autres plateformes. SPACE résout cela en adoptant le delta d'état cartésien comme représentation d'action universelle, indépendante du matériel. Le framework repose sur deux composants : une politique prédisant le déplacement géométrique de l'effecteur terminal (end-effector), et un Action Adapter qui convertit ces prédictions en commandes spécifiques à chaque robot. Les expériences démontrent que SPACE surpasse significativement les politiques entraînées à prédire directement des commandes de contrôle, que ce soit entre morphologies différentes ou entre unités matérielles d'une même plateforme. La robustesse est également validée face aux variations dynamiques en déploiement : changements de fréquence de contrôle, de masse des objets manipulés ou de gains de contrôleur. L'enjeu est structurant pour la robotique industrielle à grande échelle. Agréger des démonstrations issues de parcs hétérogènes sans dégradation de performance est un verrou majeur pour constituer les grands jeux de données dont la robotique généraliste a besoin, à l'image d'ImageNet pour la vision par ordinateur. SPACE découple la représentation de l'action de son exécution matérielle, ouvrant la voie à des politiques capables de fonctionner sur des flottes diversifiées sans ré-entraînement complet. Pour un intégrateur ou un COO industriel opérant des robots de plusieurs générations, la robustesse aux shifts dynamiques en production est un argument concret, pas seulement académique. Ce travail s'inscrit dans le courant dominant du robot learning, qui cherche à reproduire pour la robotique le scaling des grands modèles de langage. Des travaux comme RT-2, Octo ou pi-0 (Physical Intelligence) ont déjà exploré l'apprentissage multi-robot, mais l'alignement des espaces d'action reste un problème ouvert. SPACE apporte une réponse modulaire, sans imposer de modifications architecturales majeures à la politique principale, ce qui facilite l'intégration avec des architectures VLA existantes. Le code et la page projet sont disponibles publiquement. Il s'agit pour l'instant d'un preprint non encore soumis à peer review, et les prochaines étapes naturelles incluront des validations à plus grande échelle et sur des scènes de manipulation plus complexes.

RechercheOpinion
1 source
Modèles du monde pour la manipulation robotique
606arXiv cs.RO 

Modèles du monde pour la manipulation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.24742) un modèle généraliste de valeur pour la manipulation robotique, le WVM (World Value Model). La proposition centrale consiste à substituer les backbones VLM (Vision-Language Model) habituellement utilisés par un modèle de monde, nativement mieux adapté à la modélisation temporelle nécessaire pour évaluer la progression d'une tâche. Sur les benchmarks standards, WVM atteint les meilleures performances connues en Value-Order Correlation (VOC), la métrique de référence pour les modèles de valeur robotiques. L'équipe introduit également Suboptimal-Value-Bench, un benchmark multi-embodiment composé de 800 trajectoires sous-optimales annotées frame par frame par des humains, comblant un angle mort des évaluations existantes qui ne contenaient que des données expertes. L'enjeu est directement opérationnel pour quiconque entraîne des systèmes de manipulation à grande échelle : les données collectées en conditions réelles sont rarement uniformément expertes. Un modèle de valeur précis permet de pondérer ou filtrer ces trajectoires hétérogènes, améliorant la qualité de l'entraînement sans nettoyage manuel coûteux. WVM démontre des gains de performance sur plusieurs approches d'extraction de politique, en simulation comme en déploiement réel, ce qui renforce la thèse que l'estimation de valeur est un composant orthogonal et complémentaire au choix d'architecture de politique. La robustesse maintenue sur données sous-optimales est l'aspect le plus significatif : c'est précisément dans ce régime que les VLMs classiques décrochent, leurs préentraînements sur observations visuelles statiques ne suffisant pas à capturer les dynamiques temporelles longues. La montée en puissance des VLA comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA a rendu critique la question de la qualité des données d'entraînement à grande échelle. L'approche WVM s'inscrit dans une tendance émergente qui consiste à spécialiser les composants : un backbone temporel dédié pour l'évaluation de la valeur, distinct du modèle d'action. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans cet article purement académique. Les prochaines étapes naturelles incluent l'intégration du WVM dans des pipelines d'imitation à grande échelle ou en combinaison avec du reinforcement learning offline (IQL, CQL), et une extension à des environnements multi-tâches plus complexes.

RechercheOpinion
1 source
Au-delà du progrès monotone : apprentissage de la valeur supervisé par réessais pour l'imitation robotique
607arXiv cs.RO 

Au-delà du progrès monotone : apprentissage de la valeur supervisé par réessais pour l'imitation robotique

Des chercheurs proposent ReTVL (ReTry-Supervised Value Learning), publié sur arXiv (2606.24633) le 24 juin 2026, un cadre d'apprentissage par imitation conçu pour exploiter les démonstrations robotiques imparfaites plutôt que de les éliminer. Le constat de départ : lorsqu'un opérateur humain rate une prise, repositionne un objet ou recommence une séquence, ces instants de relance constituent une information structurée sur l'échec d'exécution et la manière d'en sortir. ReTVL identifie ces événements de "retry" comme supervision parcimonieuse sous forme de keypoints annotés, combine une calibration de progression globale avec un apprentissage par préférence par paires (pairwise preference learning) au niveau local, puis utilise le modèle de valeur résultant pour repondérer les chunks de démonstration en behavior cloning. Des tests sur des tâches de manipulation réelle montrent des estimations de valeur plus fines que les baselines à progression monotone. L'enjeu est direct pour les équipes qui constituent des datasets de téléopération : le tri manuel des démonstrations imparfaites est coûteux, et les modèles de récompense classiques, qui mesurent l'avancement global d'une tâche, ne capturent pas les dégradations locales d'exécution (prise instable, mauvais alignement, contact incertain). Ces erreurs propagées dans le policy appris dégradent silencieusement les performances. ReTVL ouvre une voie pour entraîner des politiques robustes depuis des données non curées, ce que visent des pipelines à grande échelle comme Open X-Embodiment, sans passer par un étiquetage dense ou un RLHF robotique onéreux. Ce travail s'inscrit dans un courant actif sur la qualité des données pour le contrôle robotique, aux côtés de l'apprentissage par renforcement inverse (IRL), des méthodes de préférence de type DPO adaptées au robot, et du filtrage automatique via modèles de fondation tels que Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). La distinction de ReTVL est d'exploiter la structure temporelle des retries comme signal disponible naturellement dans toute session de téléopération, sans reward engineering explicite. Il s'agit pour l'instant d'un preprint ; valider l'approche sur des architectures VLA à plus grande échelle et des datasets publics reste la prochaine étape pour confirmer la portée réelle de la méthode.

RecherchePaper
1 source
FT-WBC : apprentissage d'un contrôle corps entier tolérant aux défaillances pour la loco-manipulation de robots à pattes
608arXiv cs.RO 

FT-WBC : apprentissage d'un contrôle corps entier tolérant aux défaillances pour la loco-manipulation de robots à pattes

Des chercheurs ont publié le 24 juin 2026 sur arXiv (référence 2606.24466) un cadre de contrôle baptisé FT-WBC (Fault-Tolerant Whole-Body Control), conçu pour maintenir la stabilité et la capacité de manipulation des robots à pattes équipés d'un bras lorsqu'un ou plusieurs actionneurs tombent en panne. Le système repose sur une architecture à politiques découplées haut/bas du corps, et intègre deux modules clés : un Fault Estimator (FE), qui prédit les articulations défaillantes à partir de l'historique proprioceptif du train inférieur, et un Posture Adaptation Module (PAM), qui convertit les commandes de posture potentiellement déstabilisantes générées par la politique du bras en commandes sûres et exécutables pour le torse. Les expériences en simulation et sur robot réel montrent une amélioration significative du taux de survie et du volume d'espace de travail atteignable sous deux régimes de panne : actionneur affaibli (weakening failure) et actionneur bloqué (locked failure). Le transfert sim-to-real s'effectue en zero-shot, sans ré-entraînement. L'enjeu central de ce travail est le couplage entre stabilité locomotrice et accessibilité du bras lors d'une dégradation matérielle, un problème que les méthodes de tolérance aux pannes existantes laissaient largement non résolu, car elles traitaient la locomotion seule. Dans un déploiement industriel ou de service réel, les défaillances d'actionneurs ne sont pas des scénarios théoriques : elles surviennent sur des robots en fonctionnement prolongé, en environnements poussiéreux ou sous contraintes mécaniques répétées. Le fait que FT-WBC préserve autant que possible l'espace de travail du bras tout en synthétisant une allure compensatoire est un signal concret que la robustesse opérationnelle des manipulateurs à pattes commence à être prise en compte au niveau du contrôle, et pas seulement au niveau mécanique. Le domaine de la loco-manipulation sur pattes s'est structuré autour de plateformes comme l'ANYmal de ANYbotics équipé du bras HEBI, le Spot d'Boston Dynamics avec Spot Arm, ou encore l'Unitree B2-W. Ces systèmes ont démontré leur mobilité en terrain non structuré, mais leur robustesse aux pannes en cours de tâche reste un angle mort de la littérature. FT-WBC s'inscrit dans une tendance de recherche qui vise à rapprocher les conditions de laboratoire des conditions réelles d'exploitation, notamment pour les applications d'inspection industrielle, de manutention en entrepôt ou d'intervention en environnements à risque. L'article ne mentionne pas de partenaires industriels ni de calendrier de commercialisation : il s'agit pour l'instant d'un résultat académique, dont la validation reste limitée aux scénarios présentés dans le papier.

RecherchePaper
1 source
IA robuste pour manipuler les tissus grâce au raffinement en temps réel par simulation
609arXiv cs.RO 

IA robuste pour manipuler les tissus grâce au raffinement en temps réel par simulation

Une équipe de recherche a publié le 24 juin 2026 sur arXiv (arXiv:2606.24552) une méthode permettant à un robot de manipuler des textiles souples à partir d'une unique image RGB, sans capteur de profondeur ni données haptiques. L'approche repose sur trois composants : un simulateur d'objets déformables appelé FLASH, conçu pour équilibrer fidélité physique, stabilité numérique et vitesse de rollout ; un module real-to-sim entraîné exclusivement sur données synthétiques, qui convertit une image couleur en état de tissu compatible avec la simulation en fusionnant des features visuelles préentraînées avec des tokens canoniques apprenables ; enfin un planificateur en ligne MPPI (Model Predictive Path Integral) guidé par une politique distillée hors ligne, qui évalue des lots de trajectoires candidates en parallèle dans le simulateur et sélectionne la meilleure action à chaque pas. Les expériences sur robot réel montrent des taux de succès et une robustesse supérieurs aux méthodes de référence, bien que les chiffres précis ne soient pas communiqués dans le résumé public. Ce travail est significatif parce qu'il étend le paradigme "simulator-in-the-loop" aux objets déformables, un verrou majeur en manipulation robotique. Jusqu'ici, cette famille de méthodes était cantonnée aux objets rigides, dont l'état et les contacts restent relativement faciles à modéliser. Le textile pose un problème radicalement plus difficile : l'espace de configuration est continu et de très haute dimension, les contacts sont multiples et transitoires, et le sim-to-real gap explose dès que le simulateur ne capture pas fidèlement les plis. Le fait que la méthode ne nécessite qu'une caméra RGB standard abaisse le coût d'intégration en contexte industriel, notamment pour le pliage de vêtements, la manipulation de sacs flexibles ou les lignes de confection textile. Pour un intégrateur B2B, c'est un signal que le sim-to-real pour déformables commence à sortir du laboratoire, même si les performances annoncées restent à valider sur un spectre large de matières et de géométries. La manipulation de textiles reste l'un des problèmes ouverts les plus cités en robotique d'entrepôt depuis les travaux fondateurs de Maitin-Shepard (2010) sur le pliage de serviettes, et le champ a longtemps stagné faute de simulateurs déformables suffisamment rapides pour un usage en boucle fermée. FLASH s'inscrit dans une vague récente de simulateurs spécialisés (DiffCloth, FleX, CLOTH3D) cherchant ce compromis fidélité/vitesse. Côté concurrence, les approches dominantes pour la manipulation de textiles restent les politiques imitatives par diffusion (comme Pi-0 de Physical Intelligence) ou le transfert pur sim-to-real par domain randomization. L'originalité ici est de placer le simulateur directement dans la boucle d'inférence plutôt qu'uniquement à l'entraînement. La prochaine étape naturelle sera de tester à plus grande échelle de variabilité de tissus et d'intégrer des retours tactiles pour les cas où la vision seule est insuffisante ; l'article ne mentionne pas de partenariats industriels ni de calendrier de déploiement.

RecherchePaper
1 source
Debate2Create : la co-conception de robots par débat multi-agents
610arXiv cs.RO 

Debate2Create : la co-conception de robots par débat multi-agents

Des chercheurs ont présenté sur arXiv (2510.25850, v3) Debate2Create (D2C), un cadre multi-agent LLM qui aborde la co-conception robotique comme un débat structuré et itératif entre agents spécialisés, ancré dans un évaluateur physique. Un agent de conception gère la morphologie du robot tandis qu'un agent de contrôle propose les fonctions de récompense ; les deux s'affrontent en boucle thèse-antithèse-synthèse, supervisés par des juges LLM dédiés à des critères distincts. Testé sur cinq benchmarks de locomotion MuJoCo (Ant, Swimmer, HalfCheetah, Hopper, Walker2d), D2C obtient le meilleur score normalisé parmi toutes les baselines LLM et boîte noire évaluées, avec des gains de 3,2x sur Ant et de près de 9x sur Swimmer. Le débat itératif génère 18 à 35 % de performance supplémentaire par rapport à une génération zero-shot à budget de calcul équivalent, et les récompenses produites transfèrent aux morphologies par défaut dans 4 tâches sur 5. La co-conception robotique, qui consiste à optimiser simultanément la morphologie et la politique de contrôle d'un robot, est un problème combinatoire difficile, traditionnellement confié à des algorithmes évolutionnaires ou à des méthodes d'optimisation bayésienne coûteuses en calcul. Le résultat clé de D2C n'est pas le score absolu mais le gain systématique du débat itératif sur le zero-shot à budget équivalent : cela signale un avantage architectural réel, pas un simple effet d'échelle. Le transfert des récompenses générées aux morphologies standards dans 4 cas sur 5 propose une séparation réutilisable entre exploration morphologique et politique de contrôle, directement pertinente pour les intégrateurs travaillant sur des plateformes matérielles fixes. Ce travail s'inscrit dans un courant actif qui mobilise les LLM pour automatiser la conception de robots, aux côtés de cadres comme EvoPrompting et des pipelines LLM-to-sim explorés par les équipes de Nvidia et DeepMind. La singularité de D2C est l'ancrage dans une évaluation physique en boucle fermée pendant le débat, plutôt que dans la seule génération de code. Les benchmarks restent contraints à des topologies fixes et le transfert sim-to-real n'est pas abordé, deux limites qui situent la contribution dans le registre de la recherche fondamentale ; les prochaines étapes naturelles sont l'extension à des morphologies à topologie variable et la validation sur matériel réel.

RecherchePaper
1 source
ReST-MCTS centré sur la récompense : un cadre robuste de prise de décision pour la manipulation robotique en environnement incertain
611arXiv cs.RO 

ReST-MCTS centré sur la récompense : un cadre robuste de prise de décision pour la manipulation robotique en environnement incertain

Une équipe de chercheurs a publié sur arXiv (référence 2503.05226v2) un framework décisionnel baptisé Reward-Centered ReST-MCTS, conçu pour améliorer la robustesse des politiques de manipulation robotique en environnement incertain. Le système s'appuie sur la recherche arborescente Monte Carlo (MCTS) augmentée d'un mécanisme de centrage de récompense : les signaux intermédiaires sont décomposés en quatre canaux distincts (règles explicites, heuristiques, réseau neuronal optionnel, estimation de valeur), puis normalisés par rapport à des contextes de tâche comparables afin de biaiser ou corriger la recherche sans altérer l'évaluation terminale. Le résultat central porte sur le benchmark LIBERO-Spatial en mode stress, avec perturbations du canal d'action : 0 succès sur 10 sans le vérificateur, contre 9 sur 10 avec. En conditions propres, le modèle de base OpenVLA-OFT atteint 10/10 avec ou sans le module RC, confirmant que le gain est spécifique aux scénarios dégradés. Des tests complémentaires sur ManiSkill couvrent le bruit d'observation, les décalages de pose initiale et les défaillances de primitives motrices. Ce résultat intéresse les intégrateurs et décideurs industriels parce qu'il cible directement le "reality gap" : les politiques VLA (Vision-Language-Action) telles qu'OpenVLA-OFT se comportent correctement en laboratoire mais se dégradent sous perturbation réelle (éclairage variable, position des pièces, usure des actionneurs). RC ReST-MCTS ne se pose pas comme une politique de remplacement, mais comme un vérificateur à inférence (test-time verifier) capable de corriger les actions générées par un VLA existant sans réentraîner le modèle de base. Pour un architecte système ou un COO, cela signifie qu'il devient possible de renforcer une politique déployée contre la variance du monde réel sans déclencher un cycle complet de fine-tuning, ce qui réduit considérablement le coût opérationnel de la mise à l'échelle. La recherche arborescente Monte Carlo appliquée à la manipulation robotique souffrait jusqu'ici de récompenses éparses en fin de rollout et d'un coût computationnel élevé pour les arbres profonds. ReST-MCTS avait déjà proposé d'itérer sur ce problème via du self-improvement guidé ; RC ReST-MCTS ajoute la couche de centrage pour stabiliser le signal dans des domaines bruités. Le benchmark LIBERO, issu d'une collaboration académique inter-universités, reste un standard reconnu pour la manipulation multi-tâche, aux côtés de ManiSkill (Université du Maryland). Les concurrents directs incluent les approches de test-time compute scaling de Physical Intelligence (pi0), ainsi que les méthodes de distillation et DAgger. Les auteurs restreignent volontairement leurs affirmations à un cadre "same-backbone" et s'abstiennent de toute comparaison de supériorité sur des benchmarks généraux, posture méthodologiquement honnête mais qui limite la portée des conclusions à ce stade de la recherche.

RechercheOpinion
1 source
TACTFUL : exploration tactile pour la localisation et l'identification d'objets en environnements confinés
612arXiv cs.RO 

TACTFUL : exploration tactile pour la localisation et l'identification d'objets en environnements confinés

Des chercheurs ont publié sur arXiv (preprint 2606.24712) TACTFUL, un framework d'exploration tactile sans vision permettant à un robot multi-doigts d'explorer autonomement des espaces de travail confinés, de détecter des objets par contact physique et de les identifier via reconstruction tactile. Le système apprend une politique unique qui alterne entre exploration globale de l'espace de travail et raffinement local de surface, piloté par un calendrier de récompense dynamique. Fait remarquable : l'entraînement se fait entièrement sur du matériel réel, sans recours à la simulation. Les résultats annoncés atteignent 77% de taux de réussite avec une erreur moyenne de reconstruction de 1,5 cm, surpassant les approches de référence testées sur des objets du monde réel. L'intérêt de cette approche réside dans son fonctionnement sans aucune caméra. La grande majorité des systèmes robotiques actuels dépend de la vision (RGB-D, LiDAR, vision stéréo), ce qui les rend inopérants dans des environnements occultés ou très confinés : intérieur de machines, conduits, espaces sous carrosserie. En démontrant que la perception tactile seule peut localiser et identifier des objets, TACTFUL ouvre une voie complémentaire pour les intégrateurs travaillant en maintenance industrielle, inspection en aveugle ou chirurgie mini-invasive. L'entraînement sur matériel réel est également significatif : il évite le gap sim-to-real qui fragilise souvent les politiques apprises en simulation, un problème récurrent dans la robotique de manipulation fine. La perception tactile robotique reste un domaine de niche face à l'hégémonie de la vision par ordinateur. Des laboratoires comme MIT CSAIL, Stanford et CMU ont exploré les capteurs de pression et les peaux artificielles, mais l'exploration autonome structurée sans vision était peu documentée à cette échelle. Ce preprint s'inscrit dans une tendance vers des robots capables d'opérer sans capteurs optiques, un besoin croissant dans l'inspection industrielle et la robotique de service. À ce stade, il s'agit d'une contribution académique sans annonce de déploiement commercial. Les suites naturelles incluent l'intégration avec des mains robotiques commerciales (Allegro Hand, Shadow Hand) ou des bras humanoïdes, et des tests sur une plus grande variété d'objets pour consolider le taux de réussite de 77%, qui reste à confirmer hors conditions de laboratoire.

RecherchePaper
1 source
MILE : exosquelette mécaniquement isomorphe et main visuotactile pour collecter des données en manipulation dextérique
613arXiv cs.RO 

MILE : exosquelette mécaniquement isomorphe et main visuotactile pour collecter des données en manipulation dextérique

Des chercheurs ont publié sur arXiv (identifiant 2512.00324, quatrième révision) MILE, un système de téléopération conçu pour collecter des données d'apprentissage destinées aux mains robotiques dextères. Le dispositif se compose de deux éléments co-conçus : l'exosquelette MILE, porté par l'opérateur humain, et la main robotique MILE-Tac, son pendant mécanique. La topologie cinématique est partagée à quatre doigts, ce qui permet un transfert direct des commandes dans l'espace articulaire sans passer par une cinématique inverse (IK retargeting) classique. Le système intègre des encodeurs articulaires modulaires fabriqués sur mesure et des capteurs visuotactiles compacts placés à chaque fingertip. À chaque session de démonstration, il enregistre de façon synchronisée quatre flux visuotactiles (un par doigt), les observations visuelles de la tâche, la proprioception de la main robot et les commandes issues de l'exosquelette. Les auteurs ont évalué MILE sur un benchmark de téléopération à quatre tâches, en le comparant à des interfaces à gant et à des interfaces basées vision, puis ont conduit des expériences d'apprentissage par imitation avec et sans retour tactile. L'enjeu central est le goulot d'étranglement que représente la collecte de démonstrations pour les mains à haute dimensionnalité : plus les actionneurs sont nombreux, plus les données doivent être précises et multimodales. L'isomorphisme mécanique entre l'exosquelette et la main robot réduit les erreurs d'interprétation liées au retargeting IK, qui dégrade souvent la fidélité des démonstrations dans les systèmes existants. L'intégration native du retour visuotactile est notable : les expériences d'imitation learning montrent que les politiques entraînées avec les données tactiles surpassent celles entraînées sans, ce qui renforce l'hypothèse que le toucher est un signal discriminant pour les tâches de manipulation contact-riche, longtemps sous-exploité par rapport à la vision. Ce travail s'inscrit dans une tendance de recherche qui cherche à résoudre le sim-to-real gap non par la simulation, mais par une meilleure capture de la physique réelle via des capteurs distribués. Dans le paysage concurrentiel, plusieurs équipes travaillent sur la téléopération dextère : les systèmes à gant (type CyberGlove), la rétargetion vision-only popularisée par les approches MANO, et des solutions commerciales comme Shadow Robot ou Inspire-Robots. MILE se positionne différemment en priorisant la co-conception mécanique plutôt que l'adaptation logicielle. Il s'agit à ce stade d'un prototype de recherche académique, pas d'un produit commercialisé. Les données de benchmark détaillées, le code et une page projet sont disponibles, mais aucun partenariat industriel ni timeline de transfert technologique n'est annoncé dans le preprint.

RecherchePaper
1 source
Cadre de détection et reconnaissance des interactions humain-humain pour robots mobiles de service
614arXiv cs.RO 

Cadre de détection et reconnaissance des interactions humain-humain pour robots mobiles de service

Des chercheurs ont publié sur arXiv (référence 2602.22346) un framework de perception sociale destiné aux robots de service mobiles autonomes, comme les robots tondeuses ou les robots nettoyeurs opérant dans des espaces fréquentés par des humains. Le système repose sur une architecture en deux étapes : une première phase identifie les paires d'individus susceptibles d'interagir en s'appuyant uniquement sur des indices géométriques et de mouvement (positions relatives, trajectoires, orientations corporelles), puis une seconde phase classe le type d'interaction à l'aide d'un réseau relationnel (relation network). L'approche a été évaluée sur le dataset JRDB, benchmark de référence pour la perception sociale en robotique, ainsi que sur le Collective Activity Dataset (CAD) et, en évaluation zero-shot, sur un jeu de données collecté directement par une tondeuse autonome en conditions réelles. L'enjeu est concret pour les intégrateurs de robots de service : détecter qu'un groupe de personnes interagit entre elles, qu'il s'agisse d'une discussion, d'un attroupement ou d'une interaction dynamique, permet au robot de planifier une trajectoire socialement acceptable sans interrompre ni gêner ces échanges. Les approches existantes reposent souvent sur des modèles de reconnaissance d'activité de groupe qui mobilisent des réseaux d'analyse visuelle coûteux en calcul, inadaptés aux plateformes embarquées à ressources limitées. Ce framework démontre que des indices géométriques simples suffisent à obtenir des performances compétitives tout en réduisant significativement la taille du modèle et le coût computationnel. Ce résultat remet en question l'hypothèse largement répandue selon laquelle l'analyse visuelle par apparence serait indispensable pour ce type de tâche de perception sociale. Ce travail s'inscrit dans le champ de la navigation socialement consciente (socially aware navigation), où des frameworks comme SARL, CrowdNav ou ORCA constituent les références historiques. Le dataset JRDB, produit par Stanford, reste le principal benchmark pour ce type de tâche en environnement robotique réel. Le code est publié en open source, ce qui facilitera son intégration dans des pipelines ROS existants. La limite notable est que l'évaluation porte sur des interactions coarse-grained, c'est-à-dire des catégories comportementales larges plutôt que des gestes fins, ce qui suffit pour la navigation mais exclut les applications nécessitant une compréhension sociale plus granulaire. La prochaine étape naturelle serait une validation à plus grande échelle sur des plateformes réelles déployées en environnements semi-publics, comme des aéroports, des centres commerciaux ou des entrepôts à occupation mixte.

RecherchePaper
1 source
MinInter : minimiser l'interpolation de trajectoire lors de l'augmentation de données pour l'apprentissage par imitation
615arXiv cs.RO 

MinInter : minimiser l'interpolation de trajectoire lors de l'augmentation de données pour l'apprentissage par imitation

Une équipe de chercheurs a publié en juin 2026 sur arXiv (arXiv:2606.24078) une méthode baptisée MinInter (Minimizing Interpolation), destinée à améliorer la qualité des données synthétiques générées lors de l'apprentissage par imitation pour la manipulation robotique. Le principe est ciblé : lorsqu'un pipeline d'augmentation de données recompose des démonstrations d'experts à partir de configurations initiales variées, il doit typiquement intercaler des segments d'interpolation entre les morceaux de trajectoire, segments qui ne correspondent à aucun comportement expert et dégradent la qualité des données générées. MinInter résout ce problème en sélectionnant, pour chaque configuration initiale échantillonnée, la démonstration source qui nécessite le moins d'interpolation pour former une trajectoire complète. Sur le benchmark MimicGen, la méthode a été évaluée sur 12 tâches de manipulation couvrant 26 variantes, et améliore systématiquement à la fois les taux de succès de génération de données et les taux de succès des politiques apprises, avec les gains les plus importants sur les tâches dites contact-rich (en contact physique intensif), long-horizon (longues séquences d'actions) et high-variance (configurations initiales très dispersées). L'intérêt principal de MinInter réside dans sa capacité à améliorer la qualité des données sans modifier l'architecture du pipeline d'augmentation existant : la méthode est compatible avec les frameworks actuels et agit uniquement sur la stratégie de sélection de trajectoire. C'est un levier pratique pour les laboratoires qui cherchent à réduire le coût humain de la collecte de démonstrations tout en maintenant la qualité des politiques apprises. Les résultats sur les tâches contact-rich sont particulièrement notables, car ce type de tâche est historiquement difficile à traiter par augmentation synthétique, les dynamiques de contact étant sensibles aux discontinuités introduites par les segments d'interpolation. La surperformance face à SkillGen, un framework récent et plus complexe, questionne l'utilité d'approches sophistiquées quand une heuristique de sélection bien ciblée suffit. Le contexte est celui de la montée en puissance de l'apprentissage par imitation (IL) comme alternative au reinforcement learning pour la robotique de manipulation, notamment avec des méthodes comme BC (Behavioral Cloning), ACT ou Diffusion Policy. MimicGen, le benchmark utilisé, est devenu une référence du domaine pour comparer les méthodes d'augmentation de trajectoire. MinInter s'inscrit dans la même lignée que SkillGen (2024), mais avec une philosophie de minimalisme algorithmique. La prochaine étape logique serait de valider ces gains sur du matériel réel, où les dynamiques de contact et la variabilité du monde physique dépassent largement ce que les simulateurs capturent, et où le sim-to-real gap reste la principale incertitude non résolue.

UELes laboratoires européens travaillant sur l'apprentissage par imitation (INRIA, CEA-List, universités techniques) peuvent intégrer directement MinInter dans leurs pipelines d'augmentation MimicGen sans modifier leur architecture existante.

RecherchePaper
1 source
RTFF : politique de mise à plat de tissu aléatoire vers cible avec manipulateur bi-bras
616arXiv cs.RO 

RTFF : politique de mise à plat de tissu aléatoire vers cible avec manipulateur bi-bras

Des chercheurs ont publié sur arXiv (réf. 2510.00814v2) une méthode robotique pour aplatir automatiquement un tissu froissé et le repositionner dans une pose cible arbitraire définie par l'utilisateur, à l'aide d'un manipulateur bi-bras. La tâche, baptisée RTFF (Random-to-Target Fabric Flattening), va au-delà du simple froissage-défroissage : le système doit simultanément éliminer les faux plis et aligner le tissu sur une configuration précise, deux objectifs structurellement antagonistes puisque tout aplatissement déplace la pose, et tout réalignement tend à réintroduire des plis. L'approche repose sur l'ancrage de l'état courant et de l'état cible du tissu à un même maillage de référence (template mesh), ce qui permet une évaluation directe au niveau des sommets (vertex-level) sans recalage préalable. Sur cette représentation, les auteurs ont développé une politique hybride combinant imitation learning et visual servoing (IL-VS), avec un composant clé baptisé MACT (Mesh Action Chunking Transformer) : ce transformeur exploite la structure du maillage pour réaliser un alignement grossier conditionné par l'objectif à partir d'un petit nombre de démonstrations, avant qu'un étage de visual servoing assure la convergence précise vers la cible. Les expériences sont menées sur un vrai système bi-bras à téléopération, avec généralisation à des poses cibles, des types de tissus et des échelles non vus pendant l'entraînement. Ce résultat est notable pour la manipulation d'objets déformables (DOM), un sous-domaine où le sim-to-real gap reste structurellement élevé en raison de la variabilité infinie des états du tissu et des occlusions causées par les plis. L'architecture MACT est intéressante car elle extrait de l'information structurée (maillage) plutôt que des images brutes, ce qui réduit l'ambiguïté de représentation typique des approches vision-seule. Le fait que la politique généralise à des tissus non vus à partir d'un ensemble compact de démonstrations suggère une efficacité de données supérieure aux pipelines RL purs, souvent gourmands en interactions simulées. Pour les intégrateurs industriels ciblant la manipulation textile (confection, logistique, blanchisserie), c'est un signal que les approches hybrides IL+VS méritent attention ; la limite reste la validation sur un seul système de téléopération en laboratoire, sans métriques de cycle time ni de robustesse sur longue durée. La manipulation de textiles en robotique est un problème ouvert depuis plusieurs décennies, historiquement traité par des méthodes analytiques, de la vision par ordinateur classique, ou plus récemment par du reinforcement learning en simulation. Des travaux récents comme pi0 de Physical Intelligence et les approches VLA (Vision-Language-Action) ont renouvelé l'intérêt pour les politiques généralisables sur objets déformables, mais sans cibler spécifiquement le repositionnement joint. Du côté des acteurs industriels, des startups comme Apptronik, 1X ou Kepler explorent la manipulation de tissus dans des contextes de logistique ou d'assistance, mais restent sur des tâches de saisie-dépose. Aucun acteur européen ou français n'est mentionné dans ce travail académique. La prochaine étape naturelle serait l'intégration dans un pipeline plus autonome avec perception RGB-D sans marqueurs, et des tests de robustesse sur des cycles répétés en environnement non contrôlé.

RecherchePaper
1 source
SlipSense : détection du glissement en temps réel pour robots à pattes par capteurs multimodaux
617arXiv cs.RO 

SlipSense : détection du glissement en temps réel pour robots à pattes par capteurs multimodaux

Des chercheurs ont publié SlipSense, un système de détection de glissement en ligne pour robots à pattes, présenté le 24 juin 2026 sur arXiv (2606.24350). Le cadre repose sur un pied sensorisé léger et personnalisé monté sur un quadrupède Unitree Go1, couplé à un modèle LSTM qui infère les forces de réaction au sol en temps réel. Le système détecte les glissements en phase initiale -- avant toute instabilité irréversible -- avec un déplacement moyen de 24,1 ± 6,4 mm, pour une précision globale de 85,9 %. Comparé à la baseline cinématique standard (vitesse du pied estimée par odométrie d'état), SlipSense offre une résolution de détection 3,3 fois plus fine et une amélioration relative de 24 % en précision. Les tests ont été réalisés sur terrains glissants en mode aveugle, c'est-à-dire sans caméra ni information extéroceptive. L'intérêt opérationnel est clair : les méthodes proprioceptives classiques ratent les micro-glissements précoces parce qu'elles mesurent des effets cinématiques qui n'apparaissent qu'une fois le glissement déjà engagé. SlipSense anticipe ce seuil en exploitant directement les forces d'interaction sol-pied, ce qui ouvre la voie à une adaptation de démarche en temps réel -- ajustement des contraintes du contrôleur, estimation du coefficient de friction local, modification de la posture avant la chute. Pour les intégrateurs qui déploient des quadrupèdes sur sols industriels humides ou extérieurs enneigés, c'est un signal précurseur exploitable là où les encodeurs seuls échouent. Le Unitree Go1 est l'un des quadrupèdes les plus accessibles du marché, ce qui confère à cette publication une portée pratique au-delà du laboratoire. Les approches concurrentes en détection de glissement s'appuient majoritairement sur des IMU, des modèles de contact analytiques ou des réseaux entraînés sur simulation -- le sim-to-real restant un obstacle connu. SlipSense fait le pari opposé : capteur physique dédié et entraînement sur données réelles. Les auteurs positionnent explicitement ces travaux comme fondation pour des contrôleurs adaptatifs force-aware à venir, avec comme prochaine étape naturelle l'estimation en ligne de la friction et l'intégration dans une boucle de commande locomotion complète.

RecherchePaper
1 source
PDS Joint : une articulation à double spirale paramétrique pour mains dextériques
618arXiv cs.RO 

PDS Joint : une articulation à double spirale paramétrique pour mains dextériques

Des chercheurs ont publié sur arXiv (référence 2606.24377) la conception d'une articulation souple dite PDS (Parametric Double-Spiral), destinée aux mains robotiques dextères. L'articulation repose sur deux gabarits de spirales imbriquées, Archimédienne et logarithmique, qui permettent de façonner de manière indépendante la rigidité directionnelle selon trois modes de déformation : flexion/extension, abduction/adduction et pronation/supination. Un paramètre d'asymétrie ajustable contrôle la distribution de rigidité pour équilibrer stabilité de préhension et résistance à l'hyperextension. Le joint embarque également une proprioception inductive et un pipeline de calibration par apprentissage : un réseau MLP, entraîné à partir du suivi de marqueurs ArUco, réduit l'erreur d'estimation angulaire de 41,6 % par rapport aux méthodes classiques d'interpolation de courbes, en particulier sur le mouvement d'abduction/adduction, le plus difficile à instrumenter. La main open-source intégrant ces articulations a été validée sur neuf objets du quotidien et des interactions en contact direct avec des humains. Cette contribution s'attaque à un verrou bien identifié de la robotique de manipulation : la rigidité de la main doit être à la fois adaptable selon la direction pour saisir sans casser, et mesurable en temps réel pour fermer la boucle de commande. Les articulations rigides classiques ne permettent pas cette compliance directionnelle ; les solutions souples existantes peinent à combiner grande amplitude de mouvement, rigidité anisotrope calibrée et proprioception fiable. La réduction de 41,6 % de l'erreur via MLP est un résultat concret qui valide l'approche apprentissage pour la calibration de capteurs inductifs non linéaires sous grande déformation, un problème récurrent dans les mains à câbles ou tendons. La recherche sur les mains dextères a connu une accélération notable depuis 2023, tirée par la demande en manipulation fine pour les robots humanoïdes (Unitree, Figure, Agility) et les manipulateurs fixes. Des mains de référence comme la Shadow Dexterous Hand (Shadow Robot) ou la LEAP Hand (Carnegie Mellon) imposent la barre sur le nombre de degrés de liberté, mais leur proprioception reste souvent externe ou peu précise sous déformation. L'approche PDS, paramétrique et open-source, se positionne comme brique de recherche reproductible plutôt que produit commercial. Les prochaines étapes probables sont l'intégration dans un pipeline de contrôle par imitation ou par VLA (Vision-Language-Action), où la qualité de la proprioception articulaire conditionne directement les performances en manipulation contact-riche.

RecherchePaper
1 source
PanoVine : contrôle visuomoteur corps entier pour robot souple à croissance végétale
619arXiv cs.RO 

PanoVine : contrôle visuomoteur corps entier pour robot souple à croissance végétale

Une équipe de chercheurs a publié sur arXiv (preprint arXiv:2506.22923, juin 2026) un système baptisé PanoVine, premier robot « vigne » autonome doté d'un contrôle visuomoteur corps entier. Le principe : un robot souple à croissance continue, de la famille des vine robots, est équipé de 19 caméras distribuées sur toute la longueur de son corps. Ces capteurs fournissent un retour d'information panoramique sur l'état interne du robot et sur son environnement immédiat. Une politique visuomotrice bout-en-bout, entraînée à partir de démonstrations humaines, pilote le robot en boucle fermée sans recourir à un modèle cinématique explicite. Les capacités démontrées en laboratoire couvrent la navigation dans des structures ramifiées, l'escalade de pentes, la traversée de terrains sans appui, l'atteinte précise d'objets et le franchissement d'espaces confinés. L'intérêt technique est direct : les vine robots souffrent structurellement d'hystérésis, d'interactions avec leur câble d'alimentation et de déformations imprévisibles, ce qui rend les approches de planification classique peu efficaces. En substituant un pipeline data-driven à la modélisation explicite, PanoVine contourne ce mur de complexité. C'est un exemple concret de sim-to-real évité par l'apprentissage depuis des démonstrations réelles, une voie que plusieurs équipes en robotique molle explorent mais que peu ont validée sur un système à géométrie variable aussi difficile à instrumenter. Pour les intégrateurs travaillant sur l'inspection de canalisations, la chirurgie mini-invasive ou la recherche en environnements effondrés, cela ouvre une voie vers des contrôleurs déployables sans calibration géométrique fine. Les vine robots sont un champ de recherche actif depuis les travaux fondateurs de l'équipe de Allison Okamura à Stanford (Soft Robotics 2017-2019), et plusieurs groupes en Europe et aux États-Unis développent des variantes pour l'exploration souterraine ou médicale. PanoVine se distingue par l'échelle du réseau de capteurs embarqués et par l'autonomie complète de la boucle de contrôle. Il s'agit à ce stade d'une preuve de concept académique, sans déploiement industriel ni partenaire annoncé. Les prochaines étapes attendues concernent la robustesse hors distribution et la généralisation à des environnements non vus lors de l'entraînement.

RecherchePaper
1 source
NoContactNoWorries : estimation du contact par vision et proprioception pour la manipulation dextérique en main
620arXiv cs.RO 

NoContactNoWorries : estimation du contact par vision et proprioception pour la manipulation dextérique en main

Une équipe de chercheurs présente NoContactNoWorries, un cadre multimodal basé sur des transformers qui fusionne la vision RGB-D et la proprioception du robot pour estimer des états de contact binaires pendant la manipulation en main. Publié en prépublication sur arXiv (référence 2506.24450), le système entraîne un unique modèle de prédiction de contact sur plusieurs objets distincts et valide l'approche à la fois en simulation et sur un robot physique. Le signal de contact inféré sert d'entrée pseudo-tactile pour des agents d'apprentissage par renforcement chargés de la réorientation d'objets tenus en main, avec généralisation démontrée sur des objets non vus durant l'entraînement. L'intérêt pour les intégrateurs robotiques est direct : les capteurs tactiles dédiés, qu'il s'agisse de solutions de type GelSight, DIGIT ou de nappes piézorésistives, se heurtent à trois obstacles récurrents en environnement industriel, à savoir le coût unitaire élevé, la fragilité mécanique et la complexité d'intégration sur des mains multi-doigts. NoContactNoWorries contourne ces contraintes en exploitant uniquement des caméras RGB-D et les données proprioceptives déjà disponibles sur la grande majorité des bras et mains robotiques commerciaux. La limitation reste substantielle : la détection est purement binaire (contact ou absence de contact), sans estimation de force ni de distribution de pression, ce qui restreint l'applicabilité aux tâches nécessitant un retour haptique fin, comme l'assemblage de composants fragiles ou la manipulation de textiles. L'approche s'inscrit dans une tendance plus large de la manipulation dextre cherchant à éliminer les capteurs spécialisés au profit de modalités perceptuelles génériques, dans la continuité des travaux sur les politiques visuomotrices à grande échelle (VLA). Le domaine du toucher artificiel reste actif, avec des acteurs comme Contactile (Australie), Touchlab (Écosse) ou les équipes du MIT CSAIL qui développent des capteurs embarqués haute résolution. À ce stade, NoContactNoWorries est un résultat académique en prépublication, non encore soumis à révision par les pairs, et les auteurs n'annoncent aucun calendrier de transfert industriel.

RecherchePaper
1 source
RE4 : imitation des interactions avec les objets, sensible aux transformations, via des modes de manipulation
621arXiv cs.RO 

RE4 : imitation des interactions avec les objets, sensible aux transformations, via des modes de manipulation

Une équipe de chercheurs a soumis le 24 juin 2026 sur arXiv (référence 2606.24403) RE4, un cadre d'apprentissage par imitation pour la manipulation d'objets en robotique. L'approche articule quatre étapes modulaires : estimation légère de la pose de l'objet cible par auto-supervision sur les données de démonstration disponibles, récupération d'une démonstration compatible avec le mode de manipulation identifié, transformation géométrique de cette démonstration pour correspondre à la configuration courante de la scène, puis replanification locale reliant l'état initial au point de récupération tout en respectant les contraintes de mode, avant de dérouler la séquence transformée. Le système a été évalué sur deux benchmarks de référence de la communauté : Push-T (en modalité image et état pur) et Robomimic. Un protocole adversarial spécifique a également été construit pour cibler les zones de données rares du Push-T en mode image, afin d'éprouver la robustesse de l'approche en dehors de la distribution d'entraînement. Ce travail s'attaque à une tension centrale de l'imitation learning : les méthodes de bout en bout basées sur la diffusion, comme Diffusion Policy, ou sur les flux normalisant atteignent de bonnes performances, mais sacrifient toute interprétabilité, ce qui complique le diagnostic et la validation en contexte industriel. RE4 démontre qu'il est possible de maintenir des performances compétitives en s'appuyant sur des briques théoriques issues de la manipulation planifiée, notamment la notion de mode de manipulation, qui encode des contraintes de contact et de transition de trajectoire. La robustesse observée en régime de données rares est un signal pertinent pour les intégrateurs industriels : les jeux de démonstrations terrain dépassent rarement quelques dizaines d'exemples par tâche, rendant la densité de données un critère de sélection concret. L'apprentissage par imitation pour la manipulation robotique a connu depuis 2022 une accélération portée par ACT, Diffusion Policy puis Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA, architectures qui ont montré une généralisation impressionnante au prix d'une opacité croissante. RE4 s'inscrit dans un courant concurrent qui défend des approches hybrides combinant connaissance géométrique et représentations centrées objet, dans la lignée de PerAct ou RVT. Il convient de souligner qu'il s'agit d'un preprint académique sans validation sur robot physique publiée à ce stade : les résultats sont entièrement simulés ou en environnement de benchmark logiciel. Les prolongements naturels incluent une validation hardware et une extension à des tâches de manipulation multi-étapes, qui constitueront le vrai test de transférabilité de l'approche.

RecherchePaper
1 source
Attribution de tâches multiples à bundle variable avec estimation sélective des coûts pour les systèmes multi-agents
622arXiv cs.RO 

Attribution de tâches multiples à bundle variable avec estimation sélective des coûts pour les systèmes multi-agents

Une équipe de chercheurs a publié le 24 juin 2026 sur arXiv (arXiv:2606.24462) un framework distribué pour l'allocation réactive de tâches dans les systèmes multi-robots. L'approche repose sur des enchères combinatoires à deux niveaux de fidélité : chaque robot explore localement l'espace des bundles de tâches via un arbre de recherche guidé par une heuristique légère (distance euclidienne), puis applique une planification de chemin haute-fidélité uniquement aux candidats les plus prometteurs, selon une stratégie best-first. Les offres raffinées sont ensuite soumises à un coordinateur central qui résout un problème de set packing pour garantir la faisabilité globale et maximiser l'utilité collective. Des simulations dans plusieurs environnements confirment que le framework améliore les performances par rapport aux enchères combinatoires conventionnelles, avec des tailles de bundles variables et sans exposer l'état interne des agents. L'obstacle que ce travail attaque est bien connu dans les flottes de robots mobiles autonomes (AMR) : les enchères combinatoires garantissent des allocations efficaces, mais la génération exhaustive de bundles croît exponentiellement avec le nombre de tâches et d'agents, rendant la méthode inutilisable en temps réel dès que la planification de chemin précise est nécessaire pour valider les coûts. Le découplage en deux étapes - exploration rapide bas-fidélité, raffinement sélectif haute-fidélité - permet de conserver les garanties théoriques tout en restant tractable pour des réallocations dynamiques en cours d'opération. Pour les intégrateurs de flottes industrielles, cela ouvre une voie concrète vers des systèmes capables de gérer des arrivées de tâches imprévues sans replanification globale, et sans exposer les modèles de coût propriétaires des agents - un point de confidentialité non négligeable dans des environnements multi-opérateurs. L'allocation multi-robot de tâches est un problème de recherche opérationnelle actif depuis les années 2000, avec des références comme le CBBA (Consensus-Based Bundle Algorithm) ou les approches de marché distribué. La complexité combinatoire reste le principal frein à la commercialisation d'un ordonnancement véritablement dynamique pour les flottes d'entrepôt, secteur où des acteurs comme Exotec (France), 6 River Systems ou Locus Robotics opèrent avec des systèmes souvent limités en réactivité. Ce papier reste toutefois au stade simulation : aucune validation sur robots physiques n'est rapportée, laissant le gap sim-to-real non résolu. Les suites naturelles incluraient des tests sur flottes réelles, la gestion des pannes d'agents en cours d'exécution, et l'extension à des environnements partiellement observables.

UEExotec (France), acteur majeur des flottes AMR d'entrepôt, est citée comme bénéficiaire potentiel de ce framework pour la réallocation dynamique de tâches, mais l'absence de validation sur robots physiques limite l'impact concret à court terme.

RecherchePaper
1 source
Apprentissage topologique en ligne pour la commande de formation par déplacement
623arXiv cs.RO 

Apprentissage topologique en ligne pour la commande de formation par déplacement

Une équipe de recherche a publié sur arXiv (arXiv:2606.23901, juin 2026) un nouveau cadre de contrôle de formation multi-robots baptisé TOLD, pour Topological Online Learning for Displacement-based. La contribution centrale est une adaptation en temps réel des poids d'interaction entre agents, c'est-à-dire la topologie du graphe de communication, plutôt que de réguler uniquement les commandes individuelles de chaque robot. Deux variantes sont proposées : OGF (Online Gradient Flow), à poids non contraints, et OExpGF (Online Exponential Gradient Flow), à poids convexes non négatifs. Les simulations portent sur douze robots soumis à des perturbations intermittentes et montrent une réduction médiane de l'erreur cumulée de distorsion de formation (Root Mean Distortion Error) comprise entre 1,2 % et 33,14 % lorsque TOLD est combiné à des contrôleurs nodaux existants. Les expériences matérielles ont été conduites sur des nano-quadrotors Crazyflie 2.0 (Bitcraze), avec des réductions de distorsion médiane de 62 % pour OGF et 31,4 % pour OExpGF par rapport à un consensus à poids fixes. L'intérêt de TOLD réside dans le déplacement du point d'intervention : là où les approches robustes classiques agissent sur les entrées individuelles de chaque agent sans toucher à la structure du réseau, TOLD modifie dynamiquement les liaisons d'interaction pour minimiser directement la distorsion de formation. Pour un ingénieur systèmes ou un intégrateur de flottes AMR ou de drones, cela signifie potentiellement une meilleure résilience face aux pannes de communication ou aux perturbations environnementales sans nécessiter de reconfigurer l'architecture de contrôle. Sur le plan théorique, OExpGF garantit la convergence asymptotique pour des agents à intégrateur simple sur graphes orientés, propriété formellement établie dans l'article, ce qui lui confère une solidité analytique supérieure à OGF, lequel n'assure que la bornitude de l'erreur. Il convient de contextualiser les résultats : les expériences matérielles s'appuient sur les Crazyflie 2.0, des plateformes open-source de 27 grammes conçues pour la recherche académique, loin des conditions industrielles. L'article est une prépublication arXiv, non encore évaluée par les pairs. Le domaine du contrôle de formation par consensus est très actif, avec des contributions récentes sur les contrôleurs robustes nodaux, les approches par apprentissage distribué et les méthodes basées sur la théorie spectrale des graphes. TOLD se positionne dans un espace encore peu exploré, l'adaptation topologique en ligne, dont la transférabilité vers des flottes de robots terrestres ou des drones industriels (UAV inspection, logistique entrepôt) reste à démontrer dans des environnements moins contrôlés.

UELes résultats pourraient intéresser les laboratoires européens de robotique en essaim (LAAS-CNRS, ETH Zurich), mais aucun acteur français ou européen n'est directement impliqué ; la plateforme Crazyflie de Bitcraze (Suède) est le seul lien indirect avec l'UE.

RecherchePaper
1 source
ProteusVPR : reconnaissance visuelle de lieux multi-scènes pour la perception maritime et l'inspection de cabines
624arXiv cs.RO 

ProteusVPR : reconnaissance visuelle de lieux multi-scènes pour la perception maritime et l'inspection de cabines

Des chercheurs ont déposé le 24 juin 2026 sur arXiv (2606.24234) ProteusVPR, un système de reconnaissance visuelle de lieu (VPR, Visual Place Recognition) conçu pour les robots d'inspection en milieu maritime. Le problème de fond : à bord d'un navire, un robot doit naviguer entre deux environnements visuellement antagonistes, les ponts extérieurs aux textures rares et aux variations d'éclairage sévères, et les cabines intérieures aux structures répétitives générant de fortes ambiguïtés. ProteusVPR répond avec une architecture à deux étapes : une première phase de récupération d'images via n'importe quel backbone VPR standard, suivie d'un réseau d'estimation géométrico-visuelle qui fusionne l'image récupérée avec deux trames temporellement précédentes, intégrant des descripteurs géométriques, un système de coordonnées affines locales et un encodage de l'azimut caméra. Les auteurs introduisent également le dataset XHZ, jeu de données panoramiques 8K collecté sur un navire en opération, couvrant des structures multi-niveaux de cabines, des zones de transition pont-intérieur et une séparation stricte requête-base de données. Sur ce benchmark, ProteusVPR réduit l'erreur de localisation moyenne de plus de 60 % par rapport aux backbones classiques testés. Ce résultat pèse parce que les méthodes VPR actuelles, conçues pour l'urbain ou l'indoor, échouent systématiquement à généraliser sur des scènes aussi hétérogènes au sein d'un même parcours. En inspection navale autonome, une localisation dégradée invalide un cycle d'audit entier ou génère de fausses alertes sur l'état de la coque ou des espaces confinés. La modularité de ProteusVPR est son argument commercial le plus fort : son deuxième étage s'intègre au-dessus de tout pipeline VPR existant, ce qui réduit le coût d'adoption pour les équipes qui disposent déjà d'une infrastructure de localisation visuelle. La VPR est un problème actif depuis vingt ans, de NetVLAD aux approches transformers récentes, mais son application maritime reste marginale, la plupart des systèmes embarqués s'appuyant sur LiDAR ou GNSS, peu fiables sous pont. Des acteurs comme SeaRobotics, Voyis ou Greensea Systems couvrent l'inspection de coque et sous-marine, mais le créneau ponts-cabines demeure peu industrialisé. L'équipe ne mentionne ni partenaire industriel ni calendrier de déploiement : ProteusVPR reste pour l'heure une contribution académique (preprint arXiv), sans produit embarqué démontré en conditions réelles.

RecherchePaper
1 source
Dynamique, stabilité et efficacité énergétique d'une roue sans jante récupératrice avec jambes à ressort-embrayage
625arXiv cs.RO 

Dynamique, stabilité et efficacité énergétique d'une roue sans jante récupératrice avec jambes à ressort-embrayage

Des chercheurs présentent sur arXiv (2606.22073) une roue à jantes à récupération d'énergie équipée de pattes à ressort-embrayage. Le principe : un embrayage verrouillable capture l'énergie élastique générée lors du contact du pied avec le sol et la réinjecte au cycle de marche suivant. Les simulations montrent une réduction du Coût de Transport (CoT) de 16,13 % par rapport à une roue viscoélastique de référence à pattes télescopiques ressort-amortisseur, et de plus de 50 % face à une roue rigide classique. Un prototype testé sur plan incliné atteint la marche passive sur une pente de 1°, avec un CoT d'environ 0,02, soit une valeur remarquablement basse pour un mécanisme de ce type. La stabilité locale des démarches périodiques est confirmée sur l'ensemble des configurations de pente et de rigidité testées. L'enjeu est concret pour la conception de robots bipèdes et de prothèses. Le CoT est l'indicateur de référence en locomotion robotique, rapportant l'énergie consommée à la masse et à la distance ; un CoT de 0,02 est proche des meilleurs marcheurs passifs biologiques, et très inférieur aux humanoïdes actifs actuels qui affichent typiquement des valeurs entre 1 et 3. Le mécanisme propose une récupération d'énergie purement mécanique, sans actionneur électrique, ce qui le rend pertinent pour des applications à faible consommation : exosquelettes, prothèses de membre inférieur ou robots d'exploration longue durée. Il illustre aussi comment l'intelligence mécanique passive peut compenser l'inefficacité des systèmes électriques à récupérer les pics d'énergie d'impact. La roue à jantes est un modèle canonique de la marche dynamique passive, introduit par McGeer en 1990 et depuis largement étudié pour modéliser la biomécanique bipède. L'idée de recycler l'énergie d'impact via des tendons artificiels (analogues au tendon d'Achille humain) est explorée depuis plusieurs années dans la littérature de la locomotion robotique. Ce travail se distingue par l'ajout d'un embrayage verrouillable qui contrôle précisément le moment de libération de l'énergie stockée. Il convient toutefois de souligner que les résultats expérimentaux portent sur un prototype passif simple, non sur un robot actif complet : l'extrapolation à un bipède actif reste à démontrer. La prochaine étape logique serait d'intégrer ce mécanisme dans un marcheur bipède actif ou un genou prothétique afin d'évaluer les gains en conditions de locomotion variées.

RecherchePaper
1 source
De la correction locale à la généralisation : améliorer les politiques neuro-symboliques avec MEMO
626arXiv cs.RO 

De la correction locale à la généralisation : améliorer les politiques neuro-symboliques avec MEMO

Des chercheurs de Virginia Tech ont publié MEMO (Memory Enhanced Manipulation), un système visant à lever le verrou fondamental des politiques neuro-symboliques en manipulation robotique. Ces architectures utilisent des modèles de vision et de langage (VLM) pour décomposer des tâches complexes en sous-tâches sémantiques, exécutées via des "skills" : primitives de mouvement, fonctions codées ou fragments de trajectoire. La contrainte est structurelle : si la bibliothèque de skills ne couvre pas la situation courante, la politique échoue quelle que soit la qualité du raisonnement de haut niveau. MEMO contourne cette limite en exploitant les corrections en langage naturel des opérateurs humains ("non, va plus haut") : le système collecte, regroupe et reformule ces retours à travers plusieurs utilisateurs et tâches pour synthétiser des templates de skills généralisables, stockés dans un skillbook à récupération augmentée (RAG) consulté à l'exécution pour générer de nouveaux skills à la volée. L'intérêt opérationnel est concret : MEMO déplace le coût d'amélioration depuis les ingénieurs (codage manuel de nouveaux skills) vers les opérateurs terrain, dont les retours naturels deviennent données structurées réutilisables. Les expériences rapportées dans la publication démontrent une généralisation à des tâches inédites là où les baselines existantes échouent, ce qui valide l'hypothèse centrale : l'abstraction des corrections locales produit une guidance plus robuste que le simple rappel du texte exact. Avantage pratique pour les équipes de déploiement : le système n'exige pas de réentraînement du modèle de base, ce qui réduit significativement le coût d'adaptation. Ce travail s'inscrit dans la compétition entre approches neuro-symboliques et approches VLA end-to-end (Vision-Language-Action) comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui apprennent des politiques denses sans décomposition symbolique explicite. Les architectures symboliques conservent des avantages en interprétabilité et modularité, mais pâtissaient précisément de cette rigidité du skill-set post-déploiement ; MEMO tente de combler cet écart sans sacrifier la lisibilité du raisonnement. La publication arXiv (2603.04560) ne mentionne aucun partenaire industriel ni calendrier de commercialisation, positionnant clairement ce travail à un stade TRL expérimental, avec la démonstration consultable sur le site du laboratoire Collab de Virginia Tech.

RecherchePaper
1 source
Optimisation riemannienne décentralisée sur graphe de poses pour le SLAM multi-robots basé objets
627arXiv cs.RO 

Optimisation riemannienne décentralisée sur graphe de poses pour le SLAM multi-robots basé objets

Des chercheurs publient sur arXiv (réf. 2606.24489) un cadre d'optimisation entièrement décentralisé pour le SLAM multi-robots basé sur des objets. Le PGO (Pose Graph Optimization) est le composant d'estimation d'état central des flottes robotiques en réseau : chaque agent doit estimer simultanément sa propre trajectoire et les poses d'objets persistants observés par plusieurs robots. L'algorithme proposé travaille sur la variété SE(d) via l'optimisation riemannienne, couplé à un mécanisme de consensus pour découpler les estimations conjointes. Il intègre également un schéma Newton approché distribué exploitant des informations de second ordre locales afin d'améliorer la convergence sous budgets de communication limités. Les évaluations couvrent des benchmarks publics, des simulations à grande échelle et des expériences multi-robots réelles, avec des gains annoncés en précision, temps d'exécution et passage à l'échelle. Le verrou adressé est directement pertinent en déploiement industriel : les solutions décentralisées existantes supposent que le graphe de communication coïncide avec la topologie physique d'interaction des robots, une hypothèse irréaliste lorsque la communication est intermittente, éparse ou variable dans le temps. En découplant ces deux topologies, le framework devient applicable aux entrepôts avec AMR, aux flottes de drones ou aux convois de véhicules autonomes. L'apport théorique -- convergence prouvée vers des points stationnaires riemanniens de premier ordre et analyse du nombre de conditionnement local justifiant l'avantage du second ordre sur la descente de gradient pure -- distingue ce travail des approches heuristiques. La réduction du nombre d'itérations et de la charge de communication sans perte de précision est le bénéfice opérationnel central, même si la distance entre preuves formelles et performances terrain reste un écart classique dans le domaine. Le SLAM multi-robots décentralisé est un champ actif depuis une décennie, avec des contributions majeures comme SE-Sync (Rosen et al., Brown University), KIMERA-Multi (MIT SPARK Lab) ou DOOR-SLAM. Cette méthode s'inscrit dans leur continuité en ajoutant la gestion explicite des objets partagés entre agents et la robustesse aux pannes de communication. Ce préprint arXiv n'a pas encore été évalué par les pairs et ne correspond à aucun produit ni déploiement commercial annoncé : c'est une contribution algorithmique pure. Les suites naturelles seraient une soumission à ICRA 2027 ou IROS, et des tests de validation sur des flottes denses en environnement réel non contrôlé. Aucun acteur français ou européen n'est mentionné dans les travaux.

RecherchePaper
1 source
ObsGraph : représentation hiérarchique des observations pour le raisonnement incarné et l'exploration
628arXiv cs.RO 

ObsGraph : représentation hiérarchique des observations pour le raisonnement incarné et l'exploration

Des chercheurs ont soumis le 24 juin 2026 sur arXiv (identifiant 2606.24068) un système baptisé ObsGraph, une représentation hiérarchique de scène centrée sur l'observation, destinée aux agents robotiques déployés dans des environnements complexes et inconnus. L'architecture repose sur trois couches emboîtées : les pièces (rooms), qui fournissent des ancres sémantiques grossières à l'échelle d'une zone ; les vues (views), qui préservent la co-visibilité contextuelle des objets dans un même champ ; et les objets (objects), qui stockent les détails fins nécessaires à l'exécution des tâches. Sur cette représentation, ObsGraph exécute une récupération d'information hiérarchique contrainte par un budget computationnel, du plus grossier au plus précis, puis utilise les résultats obtenus pour structurer dynamiquement la stratégie d'exploration : activation de l'exploration au niveau pièce, raffinement de vue, ou exploration de frontière (frontier exploration). La contribution centrale est le couplage serré entre représentation, récupération et exploration adaptative, là où la majorité des approches existantes traitent ces trois composantes de manière découplée. En pratique, ce que l'agent a déjà observé détermine directement où il cherche ensuite, réduisant l'exploration redondante. Les expériences sur des benchmarks d'embodied reasoning et d'exploration montrent des améliorations en taux de réussite et en efficacité, mais les auteurs ne publient pas de chiffres précis dans le résumé de la pré-publication, ce qui limite l'évaluation indépendante à ce stade. Pour un intégrateur ou un COO industriel, ce type de système pointe vers des agents capables de naviguer dans un entrepôt ou un atelier non cartographié avec un budget d'exploration réduit, un point critique pour les déploiements en environnements non structurés. Ce travail s'inscrit dans la dynamique plus large de l'embodied AI, où l'enjeu est de faire raisonner des agents sur des scènes inédites sans carte préexistante. Les approches concurrentes incluent les semantic maps, les topological graphs, et les modèles VLA (Vision-Language-Action) qui intègrent raisonnement et contrôle moteur dans un même réseau de neurones. ObsGraph se positionne comme une couche mémoire et représentation complémentaire à ces modèles d'action, et non comme un système de contrôle moteur à part entière. Il s'agit pour l'instant d'un preprint arXiv sans déploiement réel ni partenariat industriel annoncé ; la prochaine étape logique serait une intégration avec des frameworks robotiques comme ROS 2 ou des systèmes VLA déjà validés en conditions réelles, afin de mesurer le gain effectif au-delà des benchmarks académiques.

RecherchePaper
1 source
La puce 6 mW du MIT permet aux mini-drones de voir et cartographier leur environnement en temps réel
629Interesting Engineering 

La puce 6 mW du MIT permet aux mini-drones de voir et cartographier leur environnement en temps réel

Des chercheurs du MIT ont présenté à l'IEEE VLSI Symposium un système-sur-puce baptisé Gleanmer, capable de construire des cartes 3D détaillées de l'environnement en temps réel avec une consommation d'environ 6 milliwatts. La puce cible les plateformes à très faible autonomie énergétique : micro-drones, robots embarqués, et potentiellement casques de réalité augmentée légers. Ses applications directes incluent la navigation en milieux confinés, systèmes de ventilation industriels, entrepôts, tunnels, où l'évitement d'obstacles est critique et où embarquer un GPU classique est hors de question. L'équipe, conduite par Vivienne Sze (professeure de génie électrique et informatique au MIT) et les co-premiers auteurs Peter Zhi Xuan Li et Zih-Sing Fu, a couplé le silicium à un algorithme de cartographie maison nommé GMMap. Plutôt que de recourir aux représentations voxel classiques (des millions de petits cubes), GMMap modélise l'espace avec des ellipsoïdes gaussiens flexibles qui encodent les surfaces courbes et les espaces ouverts en consommant nettement moins de mémoire. L'algorithme traite chaque image de profondeur en un seul passage et peut fusionner les gaussiennes redondantes, celles générées quand le robot observe le même objet sous plusieurs angles, sans avoir à relire les données brutes. Résultat : seuls quelques pixels doivent résider en mémoire à tout instant, et la majeure partie des données actives tient dans la SRAM on-chip rapide, évitant les accès coûteux à une mémoire externe. Ce niveau de frugalité est significatif pour le secteur. Gleanmer consomme environ 2,5 % de l'énergie exigée par la meilleure puce de cartographie existante selon les benchmarks publiés par l'équipe, et réduit la consommation de la planification de trajectoire sans collision à environ 20 % de la référence habituelle. Pour les intégrateurs qui travaillent sur des plateformes à budget énergétique serré (nano-drones de 50 g, robots d'inspection en tube, wearables industriels), la différence entre 250 mW et 6 mW n'est pas marginale : elle conditionne la durée de mission et le dimensionnement de la batterie. La puce a également démontré sa capacité à reconstruire des obstacles et espaces libres en direct à partir du flux vidéo d'une caméra iPhone, ce qui ouvre une voie vers des prototypes rapides sans matériel dédié. Le MIT n'est pas seul sur ce terrain. Intel Labs, Qualcomm et plusieurs startups spécialisées en edge AI (Syntiant, Perceive) travaillent à réduire l'empreinte des pipelines de perception embarquée. Mais l'angle co-design algorithme-hardware du groupe de Vivienne Sze, déjà connu pour des travaux similaires sur les accélérateurs de réseaux de neurones, distingue Gleanmer d'une approche purement matérielle. Les chercheurs envisagent de rapprocher davantage les ressources de calcul des capteurs pour gagner encore en efficacité lors des prochaines itérations, et explorent si les représentations gaussiennes pourraient aussi accélérer le traitement de plans techniques et de schémas complexes, au-delà du seul domaine robotique. Aucun calendrier de commercialisation ni partenaire industriel n'ont été annoncés à ce stade.

RecherchePaper
1 source
Une nouvelle puce pourrait aider les petits robots à traverser des environnements complexes
630MIT News Robotics 

Une nouvelle puce pourrait aider les petits robots à traverser des environnements complexes

Des chercheurs du MIT ont conçu un système-sur-puce baptisé Gleanmer, capable de générer des cartes 3D en temps réel à partir d'un flux de caméra de profondeur, avec une consommation d'environ 6 milliwatts, soit l'équivalent d'une LED. Cette performance s'obtient grâce à une co-conception algorithme-matériel : l'équipe, menée par la professeure Vivienne Sze (EECS/RLE) et le professeur Sertac Karaman (aéronautique, directeur du LIDS), a couplé leur algorithme de cartographie GMMap à un accélérateur matériel dédié. Les co-premiers auteurs Zih-Sing Fu et Peter Zhi Xuan Li ont présenté ces travaux à l'IEEE Very Large-Scale Integrated Circuits Symposium. L'application cible annoncée : de petits UAVs à batterie limitée, comme ceux qui pourraient inspecter des conduits HVAC industriels pour détecter des fuites de gaz en naviguant dans des espaces confinés avec évitement d'obstacles. La différence technique réside dans la représentation géométrique. Là où les approches classiques modélisent l'espace en voxels, des cubes 3D qui demandent de charger et retraiter chaque image de profondeur plusieurs fois, Gleanmer utilise des gaussiennes, des ellipsoïdes dont la taille, la forme et l'orientation s'adaptent librement à la géométrie des objets. Un seul ellipsoïde allongé peut remplacer des dizaines de voxels pour représenter une surface courbe, ce qui réduit drastiquement l'empreinte mémoire. L'innovation clé est une technique de génération de gaussiennes en un seul passage sur l'image de profondeur : une fois traitée, l'image est effacée et n'a pas besoin d'être stockée. Résultat : des cartes denses incluant obstacles et espace libre, suffisantes pour planifier un chemin sans collision, générées sans le GPU ni la mémoire vive que requièrent habituellement les pipelines de cartographie dense. Pour un intégrateur robotique, cela signifie qu'il devient envisageable d'embarquer de la navigation autonome sur des plateformes où la contrainte énergétique était jusqu'ici rédhibitoire. Ce travail s'inscrit dans un effort plus large de miniaturisation des capacités de cartographie et de localisation simultanées (SLAM). Les systèmes embarqués actuels capables de cartographie 3D dense en temps réel, qu'il s'agisse de solutions comme Intel RealSense couplées à des SBC, ou des implémentations GPU embarquées type Nvidia Jetson, consomment plusieurs watts à quelques dizaines de watts, plusieurs ordres de grandeur au-dessus des 6 mW de Gleanmer. Les auteurs mentionnent aussi un second débouché : les casques de réalité augmentée légers, pour des applications médicales ou de maintenance industrielle, où l'autonomie de la batterie conditionne l'usage prolongé. Le composant n'est pour l'instant qu'un prototype de recherche présenté en symposium ; aucun partenariat industriel ni calendrier de productisation n'a été annoncé. Les prochaines étapes naturelles seraient une validation sur plateforme réelle en vol, et une intégration dans une chaîne SLAM complète incluant localisation, pas seulement cartographie.

RecherchePaper
1 source
Robot de cuisine à trois bras découpe du saumon cru avec une précision tactile de 95%
631Interesting Engineering 

Robot de cuisine à trois bras découpe du saumon cru avec une précision tactile de 95%

Des chercheurs de l'Université norvégienne de sciences et de technologie (NTNU) ont développé Sashimi-Bot, un système à trois bras robotisés capable de préparer du sashimi de saumon avec une intervention humaine minimale. Le premier bras stabilise et positionne le filet, le second pilote un couteau de cuisine, le troisième manipule des baguettes pour déposer les tranches sur un plateau de service. Pour apprendre au robot à repositionner le poisson, qui se déforme constamment lors de la manipulation, l'équipe a utilisé le deep reinforcement learning en environnement simulé, puis transféré le modèle directement sur le robot physique sans entraînement supplémentaire sur du saumon réel. La détection du contact lame-planche a été confiée à un capteur tactile GelSight, une surface en gel souple couplée à une caméra interne mesurant les variations de pression. Entraîné sur 12 000 échantillons issus de 157 mouvements de coupe, ce module atteint 95 % de précision pour la détection du contact et 99 % lors des tests de précision. En conditions réelles, le système a produit 34 tranches de 6 à 16 mm d'épaisseur : les 6 tranches ayant adhéré à la lame ont toutes été récupérées, 26 des 28 tranches restées sur la planche ont rejoint le plateau sans incident, et 2 pièces très fines ont glissé des baguettes. Les résultats ont été publiés dans la revue npj Robotics. Ce travail est significatif parce que le poisson cru sert ici de proxy pour une catégorie entière de matériaux mous et déformables, angle mort historique de la robotique industrielle. Les lignes de conditionnement alimentaire existantes traitent massivement des produits rigides et confient encore aux opérateurs humains le découpage à la demande ou la présentation de plats frais préparés. Le transfert sim-to-real réussi sans ré-entraînement sur de vrais filets suggère que les moteurs physiques de simulation des matériaux mous ont atteint une fidélité suffisante pour réduire le sim-to-real gap qui freinait ces approches jusqu'ici. Pour un intégrateur ou un responsable opérationnel dans l'alimentaire, c'est un signal que la manipulation de protéines crues commence à sortir du laboratoire, même si les 2 échecs sur tranches très fines rappellent que le système n'est pas encore dimensionné pour une cadence industrielle. La robotique alimentaire bute depuis longtemps sur la combinaison texture variable, hygiène stricte et diversité des produits. Des acteurs comme Miso Robotics (cuisine rapide, États-Unis), Kawasaki (manipulation de viandes en abattoir) ou Stäubli (bras pour environnements alimentaires humides) ont progressé sur des tâches plus standardisées ; ce travail du NTNU ouvre une voie vers des découpes à la demande sur produits frais. En France, des entreprises comme Pollen Robotics ou Enchanted Tools, qui développent des robots polyvalents à manipulation douce, sont directement concernées par ces avancées en perception tactile et en transfert sim-to-real. La publication dans npj Robotics, et non une annonce commerciale, signale clairement que ce système reste en phase de recherche : les prochaines étapes porteront probablement sur la vitesse de cycle et la généralisation à d'autres espèces ou types de découpe.

UELes travaux du NTNU sur la perception tactile GelSight et le transfert sim-to-real pour matériaux mous intéressent directement des acteurs français comme Pollen Robotics et Enchanted Tools, qui développent des robots à manipulation douce.

RecherchePaper
1 source
Robot Talk Épisode 161 : les systèmes haptiques collaboratifs, avec Allison Okamura
632Robohub 

Robot Talk Épisode 161 : les systèmes haptiques collaboratifs, avec Allison Okamura

Allison Okamura, professeure Richard W. Weiland Engineering à l'Université Stanford et directrice adjointe du Wu Tsai Stanford Neurosciences Institute, était l'invitée du 161e épisode du podcast Robot Talk, animé par Claire. L'échange portait sur les systèmes robotiques haptiques collaboratifs, un domaine qui vise à doter les robots et les interfaces de téléopération d'un retour de force et de toucher fidèle. Okamura dirige au Stanford Robotics Center des travaux couvrant la téléopération chirurgicale, la réalité virtuelle avec retour tactile, la robotique molle et la rééducation physique. L'haptique reste l'un des verrous les plus sous-estimés de la robotique industrielle et médicale : sans retour de force calibré, un bras chirurgical téléopéré ou un robot collaboratif ne peut pas distinguer une manipulation délicate d'un geste destructeur. Les recherches d'Okamura adressent directement ce déficit en couplant modèles neuromécaniques issus du Wu Tsai Institute et actionneurs souples, ouvrant la voie à des systèmes qui transmettent texture, rigidité et glissement en temps réel. Pour les intégrateurs B2B, les avancées dans ce domaine conditionnent l'adoption des robots dans la chirurgie mini-invasive, l'assemblage de précision et la rééducation. Stanford occupe une position centrale dans la recherche haptique mondiale, aux côtés du MIT CSAIL, de Shadow Robot (UK) et d'entreprises comme Immersion Corporation ou HaptX pour la partie commerciale. En France, des acteurs comme Haption (Laval) développent des bras à retour d'effort pour la simulation industrielle et médicale. Le podcast Robot Talk ne fournit pas de détails sur des résultats expérimentaux spécifiques ni sur des déploiements concrets issus de cet épisode, ce qui limite l'évaluation de l'état réel des travaux présentés.

UEHaption (Laval, France) est cité comme acteur européen pertinent dans la haptique industrielle et médicale, mais l'article ne rapporte aucun résultat expérimental ni déploiement concret issu de cet épisode.

RecherchePaper
1 source
Raisonnement robuste sur l'état d'assemblage par reconnaissance d'actions pour la collaboration homme-robot
633arXiv cs.RO 

Raisonnement robuste sur l'état d'assemblage par reconnaissance d'actions pour la collaboration homme-robot

Une étude publiée sur arXiv (identifiant 2606.20150) en juin 2026 évalue de manière systématique cinq méthodes de suivi d'état d'assemblage à partir de la reconnaissance d'actions humaines (HAR), dans le cadre de la collaboration homme-robot (HRC). Les chercheurs ont testé des approches à base de règles logiques, de modèles de Markov cachés (HMM) et de réseaux de neurones (NN) sur deux jeux de données aux caractéristiques différentes. Les tests combinent des entrées simulées avec différents niveaux de bruit et des entrées réalistes issues d'un modèle HAR opérationnel. L'objectif est de déterminer quelle méthode permet de suivre fidèlement l'état d'une tâche d'assemblage coopérative, étape par étape, à partir de la seule reconnaissance des gestes humains. Les résultats contredisent l'hypothèse dominante selon laquelle les approches par réseaux de neurones surpassent systématiquement les méthodes classiques. Les NN et HMM affichent de bonnes performances sur des tâches à faible variabilité, mais se révèlent fragiles face à des séquences atypiques ou bruitées. Les méthodes logiques, bien que moins sophistiquées, se montrent plus robustes dans les scénarios à haute variabilité. Par ailleurs, la modélisation de la durée attendue des actions s'avère critique pour les tâches comportant des actions répétées, notamment lorsqu'aucun capteur complémentaire ne fournit de signal de confirmation. Ce constat a des implications directes pour les intégrateurs industriels qui déploient des cellules HRC sur des lignes d'assemblage réelles : choisir un modèle d'inférence d'état inadapté au profil de la tâche peut entraîner des erreurs de synchronisation robot-opérateur difficiles à diagnostiquer. Ce travail s'inscrit dans un domaine de recherche en pleine effervescence, porté par l'essor des robots collaboratifs (cobots) dans les environnements manufacturiers. Des acteurs comme Universal Robots, FANUC ou encore des laboratoires européens tels que ceux du LAAS-CNRS et de Fraunhofer travaillent sur des pipelines HAR similaires pour des applications d'assistance à l'assemblage. La difficulté centrale, le "demo-to-reality gap" entre conditions de laboratoire et déploiement en usine, reste entière. Cette étude ne propose pas de solution universelle mais établit une carte comparative utile, à condition que les praticiens caractérisent d'abord la variabilité réelle de leur tâche avant de sélectionner une architecture de suivi d'état.

UELe LAAS-CNRS et Fraunhofer sont explicitement cités comme acteurs travaillant sur des pipelines HAR similaires, et les conclusions comparatives offrent une grille de décision directement utilisable par les intégrateurs européens qui déploient des cellules cobot sur des lignes d'assemblage réelles.

RecherchePaper
1 source
Gaussian Splatting latent pour le suivi d'occupation panoptique 4D
634arXiv cs.RO 

Gaussian Splatting latent pour le suivi d'occupation panoptique 4D

Des chercheurs de l'Université de Fribourg-en-Brisgau (Allemagne) ont publié LaGS (Latent Gaussian Splatting), une méthode de suivi panoptique d'occupation en 4D référencée arXiv:2602.23172. L'objectif : capturer simultanément la géométrie volumétrique 3D d'une scène dynamique et les associations temporelles entre instances sur des séquences multi-caméras. La méthode modélise les caractéristiques 3D sous forme d'un ensemble épars de Gaussiennes porteuses de features, soit des points-clés volumétriques dynamiques qui agrègent les informations multi-vues via une pondération spatiale continue, avant d'être projetées dans une grille de voxels pour décodage. Une représentation hiérarchique combine des super-points grossiers pour le contexte global et des flux haute résolution pour les détails fins. Sur les benchmarks Occ3D nuScenes et Waymo Open Dataset, références standards pour la perception 3D en conduite autonome, LaGS atteint des performances état de l'art sur la tâche 4D-POT. Code et modèles sont publiés en open source. L'enjeu est précis : les systèmes existants tranchaient entre deux compromis peu satisfaisants. Les méthodes de suivi par boîtes englobantes offrent une association temporelle d'instances mais perdent la géométrie fine. Les approches d'occupation 3D dense restituent la forme des objets sans raisonnement explicite au niveau instance ni association temporelle fiable. LaGS comble ce gap en introduisant des champs récepteurs adaptatifs dépendants des données et des interactions spatiales longue portée, deux limitations connues des opérateurs voxels locaux denses. Pour un intégrateur développant un pipeline de planification de trajectoire ou de prédiction de mouvement pour véhicule autonome ou robot mobile, disposer d'une représentation unifiée panoptique-temporelle réduit le nombre de modules et les sources de désynchronisation. La méthode s'inscrit dans la vague des approches Gaussian Splatting initiée par les travaux 3DGS de Kerbl et al. en 2023, aujourd'hui détournés de la reconstruction de scènes statiques vers la perception dynamique. L'Université de Fribourg-en-Brisgau, acteur européen reconnu en robotique et vision par ordinateur, positionne LaGS face aux méthodes concurrentes basées sur les réseaux BEV, les grilles voxels récurrentes ou les approches NeRF temporelles. La publication en version 2 (révision post-soumission initiale de février 2026) avec code ouvert facilite la reproduction. Les prochaines étapes naturelles incluent l'intégration dans des pipelines embarqués et l'évaluation sur des jeux de données intérieurs pour la robotique mobile en entrepôt.

UEL'Université de Fribourg-en-Brisgau (UE) publie LaGS en open source avec code et modèles, offrant aux équipes européennes de robotique mobile et de véhicule autonome une base reproductible pour unifier suivi d'instances et occupation 3D dense dans leurs pipelines de perception.

RecherchePaper
1 source
Cerveau lent, planificateur rapide : navigation urbaine résiliente à la latence avec VLM
635arXiv cs.RO 

Cerveau lent, planificateur rapide : navigation urbaine résiliente à la latence avec VLM

Des chercheurs ont publié en juin 2026 sur arXiv (arXiv:2506.20458) une architecture hybride pour améliorer la navigation piétonne de robots mobiles en milieu urbain, intitulée "Slow Brain, Fast Planner". Le problème central est ce qu'ils nomment le "trajectory scoring gap" : même lorsqu'une bonne trajectoire existe dans l'ensemble des candidats générés par le planificateur, sa fonction de score choisit souvent une option sous-optimale, poussant le robot sur la pelouse, vers des piétons, ou dans la mauvaise direction. Pour y remédier, les auteurs proposent une interface VLM-Planificateur où un modèle de langage et de vision (VLM) sélectionne le meilleur candidat parmi les propositions du planificateur, avec une latence de 1 à 3 secondes, incompatible avec une boucle de contrôle à 5-20 Hz. La solution est une couche de fusion sans entraînement supplémentaire (training-free), basée sur la similarité géométrique avec décroissance exponentielle, qui convertit la sélection "périmée" du VLM en score temps réel. Sur environ 2 000 scénarios réels difficiles (intersections, croisements piétons), l'approche réduit l'erreur de déplacement moyen (ADE) de 30 % par rapport au meilleur choix du planificateur seul, et maintient un taux de succès supérieur à 80 % en simulation avec des délais allant jusqu'à 5 secondes. Ce résultat intéresse directement les intégrateurs de robots de livraison ou de surveillance extérieure, car il montre qu'un VLM généraliste peut corriger les erreurs de compréhension de scène d'un planificateur local sans nécessiter une refonte en architecture VLA (Vision-Language-Action) bout-en-bout, dont l'entraînement reste coûteux et rigide. La fusion géométrique à décroissance exponentielle contourne deux obstacles classiques du déploiement terrain : la dépendance réseau et le sim-to-real gap. Prudence toutefois sur les chiffres : les 2 000 scénarios "difficiles" ont été sélectionnés par les auteurs sur un campus académique, loin d'un environnement commercial dense. La navigation piétonne extérieure est un segment sous pression, notamment pour le dernier kilomètre, avec des acteurs comme Kiwibot, Starship Technologies et Cartken qui butent sur les intersections non signalisées et la densité piétonne. L'approche "deux vitesses" (fast pour le contrôle, slow pour la planification sémantique) suit une tendance portée par des laboratoires comme Berkeley et des entreprises comme Physical Intelligence (Pi-0). En France, des acteurs comme Enchanted Tools et les spin-offs CEA explorent des architectures comparables pour la navigation indoor. Les prochaines étapes naturelles pour cette équipe sont la validation en environnement urbain dense et l'intégration de VLMs embarqués à faible latence (LLaVA, Phi-3 Vision) pour réduire la dépendance réseau en conditions terrain.

UELes équipes R&D d'Enchanted Tools et des spin-offs du CEA explorant la navigation indoor pourraient intégrer directement cette fusion géométrique sans réentraînement pour améliorer leurs planificateurs locaux existants.

RechercheOpinion
1 source
Mouvement primitif en robotique : une étude approfondie
636arXiv cs.RO 

Mouvement primitif en robotique : une étude approfondie

Publiée sur arXiv sous l'identifiant 2601.02379v2, une revue encyclopédique sur les movement primitives en robotique recense et compare l'ensemble des cadres théoriques développés ces trente dernières années pour représenter les trajectoires de contrôle de robots à partir de démonstrations humaines. Ces primitives de mouvement, blocs élémentaires de motion analogues aux phonèmes du langage, permettent à un système autonome de décomposer un geste complexe en segments réutilisables et recombinables. Les approches couvertes incluent les Dynamic Movement Primitives (DMP), formulés comme des systèmes dynamiques de type amortisseur-ressort, les Probabilistic Movement Primitives (ProMP) couplant statistiquement plusieurs démonstrations, et les extensions neuronales adaptées aux espaces d'état de haute dimension. La revue présente ces frameworks en ordre chronologique, évalue leurs forces et faiblesses, et identifie des applications concrètes : saisie d'objets, mouvements balistiques, enchaînements de tâches en manipulation robotique. Pour les praticiens (intégrateurs, équipes R&D en manipulation, COO industriels), cette synthèse positionne les primitives de mouvement comme une couche intermédiaire critique entre démonstration brute et politique généraliste de bout en bout. Elles permettent le transfert de compétences motrices sans rejeu complet des données d'entraînement et restent interprétables, contrairement aux architectures VLA (Vision-Language-Action) comme π0 de Physical Intelligence ou OpenVLA. La revue souligne en particulier des défis non résolus que ces dernières n'ont pas encore surmontés à l'échelle industrielle : segmentation automatique des démonstrations, passage à l'échelle en environnements non structurés, et couplage de contraintes en temps réel. Les primitives de mouvement ont émergé au début des années 2000 avec les travaux d'Auke Ijspeert, Jun Nakanishi et Stefan Schaal sur les DMP, puis étendues par Paraschos et al. avec les ProMP en 2013. Le champ s'est depuis fragmenté en nombreuses variantes sans synthèse unifiée. Face aux approches purement neuronales (ACT, Diffusion Policy) popularisées par les groupes de Sergey Levine et Chelsea Finn, les primitives se repositionnent comme solution modulaire et interprétable. Les auteurs identifient leur intégration dans des architectures de type foundation model pour la robotique comme prochaine étape structurante, un axe qui mobilise des acteurs aux États-Unis (Boston Dynamics AI Institute, CMU) comme en Europe (DLR, LAAS-CNRS).

UELAAS-CNRS est explicitement identifié comme un acteur européen clé sur l'intégration des primitives de mouvement dans les architectures foundation model pour la robotique, ce qui positionne la recherche française au cœur d'un axe stratégique face aux approches VLA purement neuronales.

RecherchePaper
1 source
TaCauchy : un framework FEM extensible pour la simulation tactile basée sur la vision
637arXiv cs.RO 

TaCauchy : un framework FEM extensible pour la simulation tactile basée sur la vision

Une équipe de chercheurs a publié TaCauchy, un cadre de simulation par éléments finis (FEM) conçu pour les capteurs tactiles à vision, intégré directement dans Isaac Sim, la plateforme de simulation GPU d'NVIDIA. Basé sur le solveur UIPC (Unified Incremental Potential Contact), TaCauchy calcule des tenseurs de contrainte de Cauchy à partir de lois constitutives hyperélastiques, puis projette ces contraintes sur les surfaces de contact pour obtenir les forces de traction et les distributions de pression. Il prend en charge trois capteurs courants, GelSight Mini, DIGIT et 9DTact, via une interface modulaire permettant une intégration rapide par simple configuration. Sur le plan des performances, le framework atteint 33,40 FPS en environnement unique et 555 FPS de débit agrégé sur 60 environnements parallèles, avec un overhead d'extraction des contraintes inférieur à 1 ms. La validation physique montre un SSIM supérieur à 0,93 sur une plage de forces allant de 1,26 N à 4,73 N. L'enjeu principal est le fossé sim-to-real qui pénalise l'entraînement par renforcement des politiques de manipulation tactile. Les approches existantes recourent généralement à des estimations empiriques des champs de contraintes, ce qui introduit des biais difficiles à corriger une fois déployé sur robot réel. TaCauchy propose à la place une vérité terrain mécanique dérivée des premiers principes physiques, ce qui représente un changement de paradigme pour les ingénieurs qui cherchent à entraîner des politiques de préhension fine sans collecter massivement de données réelles. Le débit de 555 FPS en parallèle rend cette précision physique compatible avec les pipelines d'apprentissage par renforcement à grande échelle. Les capteurs tactiles à vision de type GelSight ont émergé comme une alternative économique aux capteurs de force-couple classiques, mais leur simulation restait un goulot d'étranglement dans les environnements GPU-parallèles comme Isaac Lab ou Orbit. TaCauchy s'inscrit dans une dynamique plus large de "physiques différentiables" qui cherchent à remplacer les proxies heuristiques par des modèles rigoureux directement différenciables. Du côté concurrentiel, des travaux comme Taxim ou DigiTac ont proposé des approches optiques ou basées sur des réseaux de neurones pour la simulation GelSight, mais sans calcul de champ de contraintes FEM intégré à un environnement GPU. La prochaine étape probable pour TaCauchy sera l'intégration avec des politiques de type diffusion ou VLA (Vision-Language-Action) pour des tâches d'assemblage ou de manipulation déformable.

RecherchePaper
1 source
Simuler la locomotion robotique dans le sable : la théorie des forces résistives dans un moteur physique open source
638arXiv cs.RO 

Simuler la locomotion robotique dans le sable : la théorie des forces résistives dans un moteur physique open source

Des chercheurs ont intégré la théorie de la force résistive tridimensionnelle (3D RFT) dans le moteur de simulation physique MuJoCo, comblant un angle mort persistant des outils de robotique open-source. La 3D RFT permet d'approximer les forces de réaction du sol lors de la locomotion en milieu granulaire (sable, gravier fin) sans simuler l'interaction avec chaque grain individuellement, ce qui constitue l'approche classique par éléments discrets (DEM), prohibitive en temps de calcul. Les auteurs ont validé leur implémentation sur un robot hexapode à 12 degrés de liberté évoluant en bac à sable : la simulation prédit la distance parcourue et l'enfoncement des pattes à moins de 20 % des valeurs mesurées expérimentalement, avec des tendances cohérentes selon la forme de l'effecteur, la vitesse de déplacement et la charge appliquée. Les travaux sont publiés sur arXiv (2606.19504) et le code est rendu disponible en open source. L'impact pratique est significatif pour les équipes qui développent des robots mobiles destinés à évoluer hors piste. Jusqu'ici, simuler fiablement la locomotion sur sol meuble imposait soit des moteurs DEM spécialisés (CHRONO, LIGGGHTS) avec des temps de calcul rédhibitoires pour l'apprentissage par renforcement, soit des approximations ad hoc peu transférables. Intégrer la RFT directement dans MuJoCo, l'environnement de référence pour l'entraînement de politiques de locomotion, ouvre une voie crédible vers le sim-to-real sur substrats granulaires. La précision de 20 % est honnête pour une approximation analytique et constitue une base exploitable pour l'optimisation de design ou le pré-entraînement de contrôleurs, même si elle reste insuffisante pour garantir un transfert direct sans recalibration. La RFT granulaire a été initialement développée dans les laboratoires de Daniel Goldman (Georgia Tech) pour étudier la locomotion animale dans le sable, avant d'être étendue aux systèmes robotiques. MuJoCo, racheté par DeepMind en 2021 et passé open-source la même année, est aujourd'hui le moteur dominant pour l'entraînement de politiques de locomotion humanoïde et quadrupède chez Figure, Boston Dynamics ou Unitree. Les débouchés concrets de ce travail concernent les rovers planétaires (JPL, ESA), les robots agricoles évoluant en sol labouré, et les plateformes de recherche et sauvetage en milieu sableux. La prochaine étape logique sera l'extension aux substrats hétérogènes et l'intégration dans des pipelines d'apprentissage par renforcement standard pour valider le gain sim-to-real à l'échelle.

RecherchePaper
1 source
Bien partir pour bien arriver : exécution asynchrone par sélection du bruit initial
639arXiv cs.RO 

Bien partir pour bien arriver : exécution asynchrone par sélection du bruit initial

Des chercheurs ont publié sur arXiv (2606.19774) une méthode baptisée PAINT, destinée à éliminer les discontinuités de mouvement dans les robots contrôlés par des politiques basées sur le flow matching. Le problème ciblé est l'exécution asynchrone dans le cadre de l'action chunking : pendant qu'un robot exécute une séquence d'actions prédéfinie (le "chunk" courant), la politique génère le chunk suivant ; si cette génération prend trop de temps, les deux séquences se raccordent mal, créant des à-coups visibles. PAINT résout ce problème non pas en corrigeant la trajectoire de génération en cours, mais en sélectionnant le bruit initial optimal avant que la génération commence, requalifiant ainsi le problème de guidage de trajectoire en problème de sélection de bruit. La méthode utilise une inversion d'Euler backward pour identifier ce bruit de départ, puis applique une règle de "repainting" pour construire le chunk final cohérent avec le préfixe déjà exécuté. Aucun gradient, aucun réentraînement ni modification de la politique existante ne sont requis. Les auteurs rapportent des améliorations sur 12 benchmarks simulés et 6 tâches de manipulation réelles, couvrant des bras simples, des systèmes bimanaux et des robots humanoïdes. L'enjeu pour les équipes robotique est concret : une méthode training-free s'applique directement à n'importe quelle politique flow-based déjà entraînée, sans coût de réentraînement. Pour les déploiements industriels, où l'action chunking est prisé précisément parce qu'il améliore la cohérence temporelle des mouvements, les discontinuités aux frontières de chunks sont un frein réel à la cadence de production. PAINT adresse ce goulot sans toucher à l'architecture ni aux poids du modèle. La validation sur des embodiments variés, du bras simple à l'humanoïde, renforce la généralité revendiquée, même si les 12 benchmarks simulés restent des conditions contrôlées dont la portée terrain reste à confirmer sur des lignes de production réelles. L'action chunking a été popularisé par ACT (Zhao et al., 2023) et le Diffusion Policy (Chi et al., 2023), avant d'être adopté dans des modèles VLA plus récents comme π0 (Physical Intelligence) ou GR00T N2 (NVIDIA). Les méthodes concurrentes pour gérer la latence asynchrone s'appuient sur un guidage ou recadrage de la trajectoire de génération, approches qui nécessitent des gradients ou des modifications du modèle. PAINT se positionne comme une alternative légère dans cet espace. Aucun partenariat industriel ni calendrier de déploiement n'est annoncé ; la publication reste au stade de la recherche académique, avec un site de démonstration accessible.

RecherchePaper
1 source
WorkBenchMark : un benchmark d'assemblage basé sur LEGO avec une approche assemblage-par-désassemblage pour la Smart Manufacturing League
640arXiv cs.RO 

WorkBenchMark : un benchmark d'assemblage basé sur LEGO avec une approche assemblage-par-désassemblage pour la Smart Manufacturing League

Des chercheurs ont publié WorkBenchMark, un benchmark d'assemblage robotique basé sur des briques LEGO Duplo, conçu dans le cadre de la RoboCup Smart Manufacturing League. Il comprend 400 tâches réparties en quatre niveaux de complexité croissante, couvrant la manipulation de pièces, leur positionnement et leur emboîtement sous contraintes physiques. L'équipe propose également une solution de référence baptisée "Assembly-by-Disassembly" : plutôt que d'apprendre directement l'assemblage, le système utilise la désassemblage pour inférer les étapes inverses, couplé à une perception en vocabulaire ouvert. Le benchmark, l'environnement de simulation et l'implémentation de référence seront publiés en open source. Ce qui retient l'attention est le résultat de l'évaluation comparative : le pipeline à base de planification symbolique surpasse une approche moderne de type VLA (Vision-Language-Action) sur l'ensemble des quatre niveaux de difficulté. C'est un signal notable pour le secteur, car les VLA sont actuellement présentées comme la voie principale vers la manipulation généraliste. L'assemblage est précisément le type de tâche qui met en défaut les approches bout-en-bout : il nécessite à la fois une précision de manipulation millimétrique et un raisonnement symbolique sur des séquences d'étapes interdépendantes, une combinaison que les modèles end-to-end ne résolvent pas encore de façon fiable à grande échelle. WorkBenchMark s'inscrit dans la tradition des benchmarks robotiques standardisés, similaire à ce que YCB ou NIST Assembly ont représenté pour la préhension et l'assemblage industriel. La RoboCup Smart Manufacturing League, qui en est le cadre compétitif, cible explicitement les cas d'usage de manufacture intelligente. Face aux approches concurrentes comme pi0 de Physical Intelligence ou les pipelines VLA de Google DeepMind, ce travail soutient l'hypothèse que la planification hybride reste compétitive pour les tâches structurées, et offre à la communauté un terrain d'évaluation reproductible pour en débattre.

UELe benchmark open-source pourrait bénéficier aux laboratoires de recherche européens actifs en manipulation robotique industrielle, mais aucun acteur FR/EU n'est directement impliqué.

RecherchePaper
1 source
Tri-Info : prédiction d'échec généralisable et interprétable pour les modèles VLA par la théorie de l'information
641arXiv cs.RO 

Tri-Info : prédiction d'échec généralisable et interprétable pour les modèles VLA par la théorie de l'information

Une équipe de chercheurs a publié en juin 2026, via arXiv (arXiv:2606.19998), une méthode appelée Tri-Info (Triple Information-theoretic signals) pour détecter automatiquement les défaillances des modèles VLA (Vision-Language-Action) avant qu'ils ne causent des dommages irréversibles dans des environnements physiques. Testée sur six modèles VLA distincts et trois environnements de benchmark, Tri-Info atteint 83 % de précision sur des tâches en conditions réelles, là où les détecteurs existants s'effondrent au niveau du hasard. La méthode repose sur trois signaux dérivés de la théorie de l'information : la diversité des actions générées par le modèle, leur cohérence temporelle, et leur couplage aux transitions d'état observées dans l'environnement. Cruciale pour les déploiements industriels, Tri-Info ne nécessite aucun réentraînement pour fonctionner sur de nouvelles architectures ou dans de nouveaux environnements, y compris lors du passage simulation-vers-réel (sim-to-real). Ce résultat est directement pertinent pour les intégrateurs qui déploient des robots manipulateurs ou humanoïdes pilotés par des VLA comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). L'opacité de ces modèles constitue un risque opérationnel concret : un VLA peut échouer silencieusement, entraînant une collision, une chute d'objet ou l'interruption d'un cycle de production. Tri-Info ajoute une couche de supervision interprétable capable de distinguer trois classes de défaillances (manque de diversité, incohérence temporelle, découplage état-action), ce qui facilite le diagnostic post-incident. Sa transférabilité sans réentraînement est stratégiquement importante : elle permet d'intégrer la détection sur des systèmes déjà déployés sans modifier le pipeline existant. Ce travail s'inscrit dans une course à l'industrialisation des VLA accélérée depuis fin 2024 avec les sorties de Pi-0 et d'OpenVLA, et les travaux de Google DeepMind sur RT-2 et ses successeurs. Le sim-to-real gap reste l'un des principaux freins à leur généralisation, la plupart des systèmes de détection entraînés en simulation perdant leur efficacité en conditions réelles. Tri-Info est à ce stade un preprint non encore revu par les pairs, et ses performances n'ont pas été reproduites de manière indépendante. Si elles se confirment, la méthode pourrait s'imposer comme une brique de sécurité standard dans les pipelines de déploiement robotique fondés sur des VLA.

RechercheOpinion
1 source
Estimation d'état proprioceptive invariante pour robots humanoïdes sur sol non inertiel
642arXiv cs.RO 

Estimation d'état proprioceptive invariante pour robots humanoïdes sur sol non inertiel

Des chercheurs proposent sur arXiv (2606.19512) un filtre de Kalman étendu invariant (InEKF) pour estimer en temps réel l'état d'un robot humanoïde se déplaçant sur un sol en mouvement, sans aucun capteur externe. L'approche exploite uniquement les IMU montées aux pieds et la cinématique du robot pour estimer la position et la vitesse de la base dans le référentiel d'un sol non-inertiel, qu'il tangue, oscille ou pivote. Testée sur le robot Digit d'Agility Robotics en station debout avec tangage et oscillation latérale, puis en marche sur un sol en rotation uni-axiale, la méthode affiche une accélération de 96 % du taux de convergence et une réduction de 80 % des erreurs de position face aux InEKF classiques. En déplacement, l'erreur moyenne reste inférieure à 9 cm pour une erreur initiale pouvant atteindre 1 mètre. L'intérêt est immédiat pour tout déploiement hors sol fixe : bateaux, véhicules logistiques, quais portuaires, plateformes vibrantes d'usine. Reposer entièrement sur la proprioception embarquée supprime la dépendance aux systèmes de localisation externe (LIDAR, caméras, motion capture) souvent absents ou peu fiables dans ces contextes. L'analyse formelle d'observabilité démontre les conditions sous lesquelles position et vitesse relatives demeurent estimables malgré l'accélération du sol, ce qui dépasse le simple résultat empirique. Les expériences ont été conduites en conditions physiques réelles plutôt qu'en simulation seule, ce qui renforce la validité des métriques, même si les scénarios restent relativement contrôlés (mono-axial, uni-directionnel). Digit est développé par Agility Robotics, spin-off de l'Oregon State University rachetée par Amazon, qui déploie l'humanoïde dans des entrepôts logistiques. La méthode InEKF pour humanoïdes s'inscrit dans un corpus académique centré sur les groupes de Lie appliqués à l'estimation en robotique de terrain. Dans la course commerciale, Tesla (Optimus), Figure (Figure 03), Boston Dynamics (Atlas) et Unitree (H1, G1) investissent massivement dans la locomotion en milieux variés, mais le sol non-inertiel demeure un angle mort des pipelines de contrôle actuels. Ce preprint est vraisemblablement soumis à IROS 2026 ou ICRA 2027 et ne représente pas encore une capacité déployée en production.

RecherchePaper
1 source
Étude comparative sur l'agilité, l'efficacité et l'absorption des chocs des robots bipèdes à orteils actifs
643arXiv cs.RO 

Étude comparative sur l'agilité, l'efficacité et l'absorption des chocs des robots bipèdes à orteils actifs

Des chercheurs ont publié sur arXiv en juin 2026 (2606.19699) une étude comparative portant sur un robot bipède à 14 degrés de liberté (DOF) équipé d'orteils actifs, conçus pour reproduire les caractéristiques humaines de légèreté, fort couple et robustesse. Pour évaluer objectivement l'apport des orteils, l'équipe a développé un environnement de simulation haute fidélité modélisant avec précision les actionneurs réels à transmissions couplées et la consommation électrique effective. Une fonction de récompense minimale en apprentissage par renforcement (RL) a été appliquée de manière identique aux deux configurations -- avec et sans orteils actifs -- pour garantir une comparaison équitable. À une vitesse de marche de 1,33 m/s, la configuration avec orteils réduit le coût de transport (CoT) de 17,5 % et la force de réaction au sol (GRF) lors de l'attaque du talon de 5,0 %. Sur les tests d'agilité, la déviation moyenne par rapport à la trajectoire cible chute de 25,0 % et la déviation maximale de 34,0 %. Ces résultats, bien qu'issus uniquement de simulation, apportent une validation quantitative rigoureuse là où la littérature précédente se contentait souvent de démonstrations qualitatives. La réduction du CoT est directement pertinente pour les déploiements industriels, où l'autonomie énergétique conditionne la durée des cycles opérationnels. La diminution du GRF au talon suggère par ailleurs une meilleure durabilité mécanique à long terme, un paramètre critique pour les intégrateurs industriels qui dimensionnent la maintenance préventive. La progression sur les métriques d'agilité confirme une hypothèse souvent avancée mais rarement chiffrée : les orteils contribuent significativement au contrôle dynamique en virage et sur trajectoires complexes, au-delà de la simple marche en ligne droite. Le débat sur l'utilité des orteils dans la robotique humanoïde est ancien. La majorité des plateformes commerciales actuelles -- Figure 02/03, Optimus Gen 2 ou Atlas de Boston Dynamics -- optent pour des pieds plats ou semi-rigides, privilégiant la simplicité mécanique et la robustesse. Des travaux antérieurs sur des robots comme ASIMO ou Cassie avaient exploré des pieds articulés sans aboutir à un consensus sur le gain réel. Cette étude repositionne la question en proposant un cadre d'évaluation reproductible et des métriques comparables. La prochaine étape critique sera la validation sim-to-real : les gains simulés tiennent rarement à l'identique sur hardware, notamment en raison du jeu mécanique et des effets de compliance non modélisés. Aucun déploiement physique ni partenaire industriel n'est annoncé à ce stade.

RecherchePaper
1 source
VFILC : extrapolations de fréquence précises en apprentissage par imitation via ILC à fréquence d'échantillonnage
644arXiv cs.RO 

VFILC : extrapolations de fréquence précises en apprentissage par imitation via ILC à fréquence d'échantillonnage

Des chercheurs présentent dans un preprint arXiv (2606.20056) VFILC, une méthode d'apprentissage par imitation pour robots qui résout le problème de l'extrapolation en fréquence de mouvement. Les approches classiques à base de réseaux de neurones pour les mouvements à vitesse variable se limitaient à interpoler dans la plage d'entraînement ou produisaient des trajectoires imprévisibles au-delà. VFILC combine VFIL (Variable-Frequency Imitation Learning), qui couple la fréquence d'échantillonnage du modèle à la fréquence de mouvement souhaitée, avec une commande par apprentissage itératif (ILC) dotée d'un terme feedforward et d'un terme feedback correcteur. Sur trois tâches de manipulation, les résultats montrent une réduction des erreurs de fréquence de 81 % sur une tâche d'essuyage et de 50 % sur une tâche de secouage, comparé à VFIL seul, lorsque le robot opère au double de la vitesse moyenne présente dans les données d'entraînement. Sur une tâche de malaxage riche en contacts, où la friction complexe perturbe le mouvement même en régime interpolé, VFILC améliore la précision de 27 % par rapport à VFIL seul. L'enjeu est la programmabilité par démonstration à des allures variables, cas courant en robotique manufacturière : adapter la cadence d'une tâche apprise sans recollecter de nouvelles démonstrations. Le fait que le composant ILC feedback corrige les erreurs de fréquence sans déstabiliser le comportement global est significatif pour les tâches à contact (essuyage, assemblage par insertion), où la dynamique réelle diverge du modèle nominal. Les réductions annoncées sont concrètes, mais les auteurs ne précisent pas le contexte de charge ni la durée des cycles, ce qui limite la comparabilité directe avec d'autres benchmarks de manipulation publiés. L'apprentissage par imitation est une approche de plus en plus adoptée pour programmer les robots manipulateurs sans modèle explicite, popularisée par des méthodes comme ACT (Action Chunking with Transformers, Stanford) ou Diffusion Policy. La gestion des vitesses variables y reste un angle mort : la plupart des méthodes supposent une fréquence de contrôle fixe. VFIL avait ouvert la voie en couplant fréquence d'échantillonnage et fréquence de mouvement, mais souffrait de son architecture en boucle ouverte. VFILC apporte la boucle de correction manquante via l'ILC, technique bien établie en contrôle industriel (presses, robots de soudage à répétition). La prochaine étape logique serait l'intégration dans des pipelines VLA (Vision-Language-Action) pour adapter dynamiquement la cadence sur commande en langage naturel, une direction que Physical Intelligence, CMU et ETH Zurich explorent activement.

RecherchePaper
1 source
Une démonstration vaut mille trajectoires : augmentation vue-action pour les politiques visuomotrices
645arXiv cs.RO 

Une démonstration vaut mille trajectoires : augmentation vue-action pour les politiques visuomotrices

Une équipe de chercheurs a publié en juin 2026 (arXiv:2606.19586) un cadre d'augmentation de données baptisé Action-View Augmentation, conçu pour améliorer la robustesse des politiques visuomotrices dans les tâches de manipulation robotique. Le système repose sur un préhenseur parallèle portable équipé d'une unique caméra fisheye montée en configuration eye-in-hand, capable de capturer des démonstrations réelles en milieu non contrôlé. À partir d'une seule démonstration humaine, le framework génère automatiquement des séquences d'images fisheye visuellement réalistes ainsi que des trajectoires d'actions physiquement cohérentes. Pour reconstruire et éditer la scène 3D en y introduisant des objets inédits, les auteurs ont développé une nouvelle formulation de Gaussian Splatting adaptée aux champs de vision larges des optiques fisheye. Une optimisation de trajectoire produit ensuite des chemins fluides, sans collision et compatibles avec le rendu de nouvelles vues caméra. Les expériences menées en simulation et en environnement réel montrent une amélioration du taux de succès sur plusieurs tâches de manipulation, aussi bien dans des scènes identiques qu'en présence d'obstacles requérant un évitement de collision. L'enjeu central est la fragilité des politiques visuomotrices actuelles face aux observations hors-distribution : une légère variation de configuration initiale ou un obstacle imprévu suffit à provoquer un échec d'exécution catastrophique. Collecter suffisamment de données pour couvrir ces variations est coûteux et chronophage, ce qui constitue l'un des principaux freins à l'industrialisation de la manipulation robotique. Le titre du papier résume l'ambition : multiplier artificiellement la valeur d'une seule démonstration réelle pour entraîner des politiques plus robustes. L'adaptation du Gaussian Splatting aux optiques fisheye, jusqu'ici peu traitée dans la littérature robotique, élargit le champ d'application à des setups matériels légers et peu coûteux. Ce type d'approche répond directement au problème du sim-to-real gap en générant des données synthétiques ancrées dans une scène réelle reconstruite, plutôt qu'en simulateurs déconnectés du terrain. Ce travail s'inscrit dans la dynamique des politiques de manipulation end-to-end, où des systèmes comme pi-0 de Physical Intelligence ou les architectures à diffusion (Diffusion Policy, ACT) ont prouvé que l'imitation de démonstrations humaines peut générer des comportements complexes, mais restent gourmands en données. Le Gaussian Splatting, popularisé à partir de 2023, s'est progressivement imposé en robotique grâce à sa capacité à synthétiser des vues nouvelles de haute qualité à partir de captures réelles. L'approche eye-in-hand à caméra fisheye se distingue des setups multi-capteurs fixes, réduisant le matériel embarqué à un seul composant. Aucun déploiement industriel n'est annoncé à ce stade : il s'agit exclusivement d'un résultat académique, sans partenariat industriel déclaré ni timeline commerciale. Les prochaines étapes naturelles concerneraient l'évaluation à plus grande échelle et l'intégration dans des pipelines de fine-tuning pour des politiques de type VLA (Vision-Language-Action).

RecherchePaper
1 source
CoMo : apprendre le mouvement latent continu depuis des vidéos internet pour un apprentissage robotique à grande échelle
646arXiv cs.RO 

CoMo : apprendre le mouvement latent continu depuis des vidéos internet pour un apprentissage robotique à grande échelle

Des chercheurs ont publié sur arXiv (référence 2505.17006, version 3) une méthode baptisée CoMo, pour "Continuous Motion", conçue pour extraire automatiquement des représentations continues du mouvement à partir de vidéos issues d'Internet, et les réutiliser comme étiquettes d'action pour entraîner des politiques robotiques. CoMo repose sur deux mécanismes distincts : une différence temporelle précoce (Td) appliquée en amont de l'encodeur pour rendre plus difficile l'apprentissage par raccourcis visuels (les modèles ont tendance à coder l'arrière-plan statique plutôt que le mouvement lui-même), et un apprentissage contrastif temporel (Tcl) qui construit des paires positives avec un décalage temporel réduit vers le futur, et des paires négatives en inversant la direction du temps. Le résultat est un espace latent continu, entraîné sur des vidéos à grande échelle, capable de générer des pseudo-étiquettes d'action pour des vidéos jamais vues en phase d'inférence. Des expériences en simulation et en conditions réelles montrent des gains de performance par rapport aux approches discrètes, aussi bien avec des architectures diffusion que autorégressives. L'enjeu industriel est direct : l'un des goulots d'étranglement du robot learning est la rareté des démonstrations téléopérées, coûteuses à collecter. Si une méthode peut extraire un signal d'action utilisable depuis des vidéos YouTube ou des caméras industrielles non étiquetées, elle réduit mécaniquement le coût de constitution des datasets. La contribution principale de CoMo face aux méthodes discrètes par quantification vectorielle (VQ) est de supprimer la perte d'information liée à la projection dans un codebook de petite taille, et surtout de combler le fossé de distribution entre un espace discret de tokens visuels et un espace d'actions continues à valeurs réelles, fossé qui pénalise l'apprentissage conjoint d'une politique unifiée. La généralisation zéro-shot annoncée est la prétention la plus forte : elle signifie que CoMo pourrait étiqueter des vidéos de nouveaux environnements ou tâches sans ré-entraînement, ce qui reste à valider sur des benchmarks standardisés ; l'abstract ne cite pas de métriques numériques précises. Ce travail s'inscrit dans un axe de recherche très actif depuis 2023, qui cherche à exploiter Internet comme source de supervision pour les robots, aux côtés de méthodes comme RT-2 de Google DeepMind, Pi-0 de Physical Intelligence, ou encore les travaux sur les VLA (Vision-Language-Action models) d'UC Berkeley et du MIT. Les approches discrètes concurrentes (type GROOT ou méthodes VQ-VAE appliquées à la vidéo) souffrent précisément des limitations que CoMo prétend résoudre. La prochaine étape naturelle serait une validation sur des benchmarks robotiques communautaires comme RLBench, LIBERO ou BridgeData V2, et un test à l'échelle de données réellement "internet-scale" pour confirmer si la généralisation zéro-shot tient face à la diversité des distributions visuelles du monde réel.

RecherchePaper
1 source
VOiLA : planification en ligne vectorisée avec modèle de diffusion pour agents POMDP
647arXiv cs.RO 

VOiLA : planification en ligne vectorisée avec modèle de diffusion pour agents POMDP

Des chercheurs ont soumis sur arXiv (réf. 2606.19729) VOiLA, un framework de planification robotique qui apprend des modèles POMDP génériques via diffusion conditionnelle pour planifier sous incertitude partielle, sans nécessiter de modèles physiques codés manuellement. Les diffusion samplers sont distillés en générateurs feedforward compacts intégrés au planificateur VOPP, exploitant la parallélisation GPU pour réduire le coût d'échantillonnage de près de mille fois. Sur trois benchmarks standards, VOiLA atteint des performances égales ou supérieures à Recurrent Soft Actor Critic (RSAC) avec moins de 10 % de ses données d'entraînement. Sur robot physique, les modèles appris exclusivement en simulation permettent de réussir 10 tâches sur 10 en conditions réelles. Le résultat le plus saillant est ce taux de succès sim-to-real de 100 % : les modèles, entraînés sans aucune donnée réelle, fonctionnent en conditions physiques sans dégradation, validant directement la robustesse du transfert simulation-réalité. La frugalité en données est tout aussi notable : surpasser RSAC avec moins d'un dixième de ses données d'entraînement suggère que la structure imposée par les modèles de diffusion compense efficacement le manque de supervision. La généralisation à des configurations d'environnement inédites, documentée sur benchmarks, renforce la crédibilité de l'approche pour des déploiements industriels à conditions variables, là où les agents RL classiques montrent souvent leurs limites. La planification POMDP est un cadre théorique solide pour les agents en environnement partiellement observable, mais son adoption pratique a longtemps été freinée par la difficulté de construire des modèles fidèles. Les approches model-based comme DreamerV3 ou RSSM apprennent ces modèles sans intégrer de planification en ligne explicite calculable en temps réel. VOiLA comble ce fossé en combinant l'expressivité de la diffusion et la rapidité de la distillation pour rendre le POMDP tractable sur GPU, face à des concurrents directs comme RSAC, les planificateurs Monte Carlo Tree Search et les frameworks VLA. Aucun acteur français ou européen n'est impliqué dans ce travail, bien que des laboratoires comme l'INRIA ou le LAAS-CNRS pourraient directement exploiter ces résultats ; aucun partenariat industriel ni timeline de déploiement n'est annoncé dans ce preprint.

RecherchePaper
1 source
One-to-Two Acting : un cadre pour étendre les actions d'un agent mono-bras à deux bras
648arXiv cs.RO 

One-to-Two Acting : un cadre pour étendre les actions d'un agent mono-bras à deux bras

Des chercheurs ont publié le 24 juin 2026 sur arXiv (2606.19897) ExS2D, un framework hiérarchique permettant à un robot bras unique d'exécuter des tâches bimanuelle sans aucune démonstration en configuration deux bras. Le système décompose d'abord des instructions textuelles en sous-tâches structurées, en capturant explicitement les dépendances temporelles entre elles. Un module de grounding traduit ensuite chaque sous-tâche en actions exécutables via une cartographie guidée par l'observation. Enfin, un coordinateur basé sur un grand modèle de langage multimodal (MLLM) orchestre l'allocation des actions entre les deux bras et planifie les trajectoires sans collision. En simulation, ExS2D réduit le nombre moyen d'étapes d'exécution de 54,4 % tout en maintenant un taux de succès comparable au baseline mono-bras. Des expériences sur robot réel portant sur quatre tâches distinctes confirment la fiabilité du système, entraîné uniquement sur quelques échantillons mono-bras en régime few-shot. L'enjeu principal ici est le coût de collecte des données bimanuelles, qui constitue l'un des principaux freins à la manipulation duale en robotique industrielle et service. Les systèmes comme ALOHA ou les plateformes de télé-opération bimanuelle nécessitent des configurations spécialisées et des opérateurs formés, rendant le passage à l'échelle difficile. ExS2D contourne ce goulot d'étranglement en réutilisant des démonstrations mono-bras existantes, potentiellement déjà disponibles dans les parcs robotiques en production. La réduction de 54,4 % des étapes d'exécution représente un gain de débit concret pour des lignes d'assemblage ou de tri, bien que les conditions expérimentales exactes (vitesse, complexité des objets, variabilité de la scène) ne soient pas détaillées dans l'abstract, ce qui invite à nuancer cette métrique avant toute extrapolation industrielle. La manipulation bimanuelle attire des investissements croissants de la part d'acteurs comme Figure AI (Figure 03), Physical Intelligence (pi0) ou Apptronik, tous confrontés au même problème de données. La tendance actuelle est d'utiliser des VLA (Vision-Language-Action models) entraînés sur de vastes corpus de démonstrations humaines, mais la collecte bimanuelle reste coûteuse même pour ces acteurs. ExS2D s'inscrit dans une direction complémentaire, celle du transfer learning structural depuis des données mono-bras, une approche qui pourrait intéresser les intégrateurs travaillant sur des cellules robotiques existantes en mono-bras. Il s'agit pour l'instant d'un travail académique sans déploiement commercial annoncé ; la prochaine étape logique serait une validation sur des tâches industrielles plus complexes et avec une plus grande variabilité d'objets.

RecherchePaper
1 source
ImageWAM : les modèles action-monde ont-ils vraiment besoin de génération vidéo, ou seulement d'édition d'images ?
649arXiv cs.RO 

ImageWAM : les modèles action-monde ont-ils vraiment besoin de génération vidéo, ou seulement d'édition d'images ?

Une équipe de chercheurs publie ImageWAM sur arXiv le 19 juin 2026 (arXiv:2606.19531), un cadre WAM (World Action Model) qui substitue la génération vidéo par l'édition d'images pour prédire les actions robotiques. L'argument central : les WAMs vidéo génèrent des tokens denses sur plusieurs trames futures, consomment de la capacité sur des détails sans rapport avec l'action, et propagent des erreurs lors des prédictions à longue portée. ImageWAM réoriente des modèles d'édition d'image préentraînés pour modéliser uniquement la transformation visuelle entre état courant et état cible. À l'inférence, le système ne décode pas la frame cible : il conditionne un expert d'action par flow-matching sur les caches KV produits pendant le débruitage de l'image éditée. Résultats mesurés : FLOPs réduits à 1/6 et latence à 1/4 par rapport aux WAMs vidéo, avec des performances supérieures aux baselines VLA standard et aux WAMs concurrents, sur simulateur comme en conditions réelles, sans préentraînement additionnel de la politique. Pour la communauté robotique, le résultat questionne une hypothèse fondamentale : la génération vidéo serait indispensable pour que le modèle "comprenne" le monde et déduise des actions pertinentes. ImageWAM montre que l'édition d'image constitue un prior mieux calibré, car elle cible les différences visuelles liées à l'action plutôt que la reconstruction temporelle complète d'une séquence. Les analyses d'attention confirment que les caches se focalisent sur les régions de changement pertinentes pour la tâche, pas sur le fond statique. Pour un intégrateur industriel, l'implication est directe : cycles d'inférence plus rapides et potentiellement matériel embarqué moins coûteux, sans sacrifice de performance selon les expériences rapportées. Les WAMs s'inscrivent dans la continuité des VLAs (Visual Language Action models), qui combinent perception visuelle, langage naturel et contrôle moteur dans un pipeline unifié. Des modèles comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) misent sur des représentations visuelles denses pour généraliser les comportements robotiques entre tâches. ImageWAM se positionne comme une alternative frugale, réutilisant des capacités d'édition d'image préentraînées sans nécessiter de préentraînement vidéo de grande échelle. Le papier reste pour l'instant dans le domaine expérimental : aucun déploiement industriel ni partenaire terrain n'est mentionné. Les prochaines étapes naturelles seraient une validation sur des plateformes humanoïdes ou de manipulation industrielle, précisément les environnements où la latence d'inférence constitue un critère de qualification déterminant.

RechercheOpinion
1 source
Co-VLA : modélisation structurée des actions intégrant la coordination pour systèmes VLA bi-bras
650arXiv cs.RO 

Co-VLA : modélisation structurée des actions intégrant la coordination pour systèmes VLA bi-bras

Des chercheurs ont publié Co-VLA (arXiv:2606.20285), un framework de manipulation bimanurale qui intègre des priors structurels explicites dans les modèles VLA (Vision-Language-Action). L'architecture remplace la tête d'action monolithique habituelle par un Structured Action Expert (SAE) couplé à un Latent-Aware Controller (LAC) opérant au niveau des commandes articulaires. Le SAE décompose la représentation latente en une composante partagée encodant l'intent de coordination au niveau de la tâche, et des résidus par bras capturant les ajustements d'exécution propres à chaque effecteur. Les résultats expérimentaux, en simulation et sur banc réel, montrent un gain de 27 points de taux de succès sur les tâches à coordination serrée, un doublement des performances hors-distribution (de 13 % à 27 %), et une réduction du temps d'exécution allant jusqu'à 25 % face aux baselines monolithiques. L'enjeu central est de rendre fiable et interprétable la coordination bimanurale dans des scénarios industriellement contraints : assemblage à force symétrique, manipulation d'objets déformables, chaînes de montage à deux bras. Les VLA actuels comme Pi-0 ou GR00T N2 montrent que la coordination émergente fonctionne sur des tâches simples, mais échoue à garantir la stabilité quand les contraintes d'exécution sont critiques. Co-VLA répond à cette limite sans requérir de contrôle en force ni en impédance : le LAC module en temps réel la synchronisation, l'asymétrie et les contraintes de sécurité tout en restant compatible avec les pipelines de contrôle standard, ce qui abaisse la barrière d'intégration pour les équipementiers. Le doublement des performances OOD est l'indicateur le plus stratégique, suggérant que la structure explicite améliore la robustesse hors-distribution, un critère décisif pour les déploiements industriels réels. Le domaine des VLA pour la manipulation s'est accéléré depuis 2023, porté par des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA, qui ont repoussé les limites de la généralisation en manipulation mono et bimanurale. Co-VLA s'inscrit dans une tendance qui réintroduit de la structure explicite dans l'apprentissage end-to-end, une tension classique entre approches connexionnistes et symboliques qui refait surface à l'ère des grands modèles de fondation. Aucun partenaire industriel ni timeline de commercialisation n'est mentionné dans l'abstract : il s'agit d'un preprint de recherche académique, sans robot identifié ni déploiement annoncé à ce stade.

RechercheOpinion
1 source