Aller au contenu principal

Dossier Manipulation robotique

1298 articles

La manipulation robotique : pinces dextres, peau électronique, grasping, benchmarks de tâches fines, le goulot d'étranglement principal des humanoïdes.

1arXiv cs.RO RecherchePaper

TOPS : remodeler la source et le transport du flux pour la manipulation robotique multitâche

TOPS (Task-Oriented Priors and Schedules), publié sur arXiv par une équipe de recherche, propose d'adapter deux composantes des politiques robotiques à base de flow matching sans toucher à l'architecture du réseau: la distribution source du bruit et le calendrier d'interpolation vers les actions expertes. Les politiques actuelles de manipulation multi-tâches conditionnées par le langage partagent en général un prior gaussien unique et un chemin de transport linéaire commun à toutes les tâches. TOPS construit à la place des sources multimodales propres à chaque tâche, issues de séquences d'actions expertes « inversées », ce qui permet à l'instruction en langage naturel de choisir le point de départ de la génération. Guidé par l'écart de covariance entre source et cible, le calendrier ralentit la transition vers les actions expertes au début du débruitage, puis l'accélère plus tard dans les directions qui demandent une expansion. Sous un modèle d'extrémité gaussien, les auteurs montrent que cet ajustement abaisse une borne supérieure du risque de prédiction de vitesse. Sur LIBERO-10, avec une seule étape d'intégration, le taux de succès passe de 53,44 % à 69,67 % face au Flow Matching standard à dix étapes, pour un temps d'inférence réduit à environ un sixième. En conditions réelles, l'ouverture du tiroir supérieur passe de 20 % à 80 % de réussite. Pour les équipes qui déploient des politiques VLA (vision-langage-action), l'intérêt est double: la méthode améliore la fiabilité et divise le coût d'inférence, deux contraintes centrales pour des robots qui doivent tourner en temps réel sur du matériel embarqué. Elle suggère aussi qu'une part des échecs des politiques généralistes vient moins de la capacité du réseau que du choix du point de départ et de la trajectoire de génération, un levier peu coûteux puisqu'il ne demande aucun changement d'architecture. Les gains ont été mesurés sur LIBERO, LIBERO-Plus (perturbations) et CALVIN (changement d'environnement), avec une meilleure efficacité en données, et ils se transfèrent à la politique à grande échelle π0.5 dans les quatre configurations testées. Il faut toutefois rester prudent: ce sont des benchmarks de simulation, le comparatif avec un FM à dix étapes met en regard des budgets de calcul différents, et le test réel, impressionnant en relatif (20 % à 80 %), porte sur une tâche isolée dont le nombre d'essais n'est pas précisé dans le résumé. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la montée en puissance des politiques génératives à base de flow matching, popularisées par la famille π0 de Physical Intelligence, qui ont remplacé en partie la diffusion pour la commande d'actions. Les benchmarks LIBERO et CALVIN sont devenus des références pour comparer les politiques multi-tâches, au prix d'une saturation progressive qui pousse vers des variantes plus exigeantes comme LIBERO-Plus. TOPS rejoint un courant qui cherche à améliorer ces politiques par des priors et des schedules mieux adaptés plutôt que par davantage de paramètres ou de données. La suite logique serait une validation sur davantage de tâches réelles, des plateformes variées et des modèles plus récents, ainsi qu'une évaluation de la robustesse quand la tâche demandée sort de la distribution d'entraînement.

UEPas d\'impact direct sur la France/UE

1 source
2arXiv cs.RO 

GAWM : un modèle latent compact du monde et de l'action pour la manipulation robotique multitâche

Des chercheurs présentent GAWM (Geometry-Aware World Model), un modèle monde-action (WAM) compact pour la manipulation robotique multitâche, décrit dans un article arXiv de type letter. Le système prédit les observations futures dans l'espace latent d'un encodeur DINOv3 gelé. Les caractéristiques de chaque caméra sont compressées en un petit nombre de tokens. Un prédicteur léger, conditionné par la tâche et non par les actions, anticipe ces tokens à deux horizons futurs. Sa supervision repose sur les caractéristiques denses par patch des images futures, ce qui l'oblige à encoder la disposition spatiale de la scène. Un décodeur d'actions régresse ensuite directement un « chunk » d'actions à partir des tokens courants et prédits. Avec moins de 100 millions de paramètres et sans préentraînement robotique ni vidéo, GAWM dépasse des WAM à plusieurs milliards de paramètres sur RoboTwin 2.0. Il fait jeu égal avec des VLA (modèles vision-langage-action) de taille comparable sur LIBERO. Sur un robot bimanuel, il obtient une erreur de prédiction d'actions plus faible sur des démonstrations tenues à l'écart qu'un VLA milliardaire affiné, avec une latence d'inférence nettement réduite. Le code est publié sur GitHub. L'enjeu est celui du coût de la politique robotique. La plupart des WAM s'appuient sur des backbones vision-langage ou de génération vidéo à plusieurs milliards de paramètres, ce qui pèse sur l'entraînement et surtout sur la latence d'inférence, un point critique pour le contrôle en boucle fermée sur du matériel embarqué. GAWM suggère qu'une prédiction du futur utile à la politique n'exige pas de générer des pixels ni d'hériter d'un gros préentraînement : un espace de caractéristiques gelé et riche en géométrie peut suffire. Les ablations indiquent que le modèle monde latent apporte l'essentiel de son gain quand les données ou le temps d'entraînement sont limités, un scénario courant chez les intégrateurs qui n'ont que quelques dizaines de démonstrations par tâche. Une réserve s'impose : les benchmarks RoboTwin 2.0 et LIBERO sont en grande partie simulés, et la validation réelle se limite à une erreur d'action hors ligne sur un robot bimanuel, pas à un taux de réussite de tâches en conditions réelles. L'écart entre erreur de prédiction et succès effectif reste donc à démontrer. Ce travail s'inscrit dans la montée des WAM, qui injectent la prédiction d'observations futures dans l'apprentissage de politiques, en réaction à des VLA purement réactifs. Le courant dominant, porté par des modèles fondés sur des backbones vidéo ou VLM massifs, a fait de l'échelle la voie par défaut. GAWM propose le contrepoint inverse, en cohérence avec l'intérêt croissant pour les politiques légères exécutables sur GPU embarqué. Les prochaines étapes à surveiller sont des évaluations en conditions réelles avec taux de succès, des comparaisons directes de latence en millisecondes face aux VLA de référence, et la capacité de l'approche à tenir sur des tâches longues ou à manipulation fine, que les benchmarks actuels couvrent mal.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
3arXiv cs.RO 

Apprentissage de la loco-manipulation robotique multiphase par optimisation de politique conditionnée par la phase

Des chercheurs proposent une méthode d'apprentissage par renforcement qui permet d'entraîner une seule politique pour des tâches de loco-manipulation à plusieurs phases, par exemple s'accroupir, saisir un objet puis se déplacer, sans recourir aux données de mouvement humain. Ils étendent l'algorithme PPO (Proximal Policy Optimization) avec trois éléments: un critique conditionné par la phase, des fonctions de récompense activées phase par phase, et un curriculum de réinitialisation multi-phase qui guide l'exploration. L'architecture de contrôle est hiérarchique et découplée: la dynamique d'équilibre de bas niveau est séparée de l'exécution des phases de haut niveau. Les compétences multi-étapes ont été démontrées sur matériel, sur le humanoïde Unitree G1 et sur un robot quadrupède Spot de Boston Dynamics équipé d'un bras manipulateur. Des ablations valident les choix de conception. Le résumé de l'article ne fournit ni taux de réussite, ni temps de cycle, ni durée d'entraînement, ni détail des tâches testées. L'intérêt tient à la contrainte que ce travail cherche à lever. Aujourd'hui, les tâches longues de whole-body loco-manipulation reposent souvent sur la capture ou le retargeting de mouvements humains, ce qui lie la méthode à des plateformes humanoïdes et impose un lourd travail de traitement des données. Une politique entraînée uniquement par interaction avec l'environnement, tout en exploitant la structure connue de la tâche, réduit cette dépendance et vise la portabilité entre morphologies très différentes, un humanoïde bipède et un quadrupède à bras. Pour les intégrateurs, c'est un signal en faveur d'approches où l'ingénieur encode la séquence de la tâche plutôt que de collecter des démonstrations. Il faut toutefois rester prudent: il s'agit d'un preprint, sans métriques chiffrées dans le résumé, et la fiabilité en conditions industrielles, hors laboratoire, reste à démontrer. Ce travail s'inscrit dans deux courants. D'un côté, l'imitation de mouvements humains et les modèles VLA (vision-langage-action) dominent la course humanoïde. De l'autre, le RL en simulation avec transfert vers le réel, très utilisé sur la locomotion, peine à passer à l'échelle sur des tâches longues, à cause de récompenses éparses et d'une exploration difficile. Le choix du G1, plateforme accessible et répandue en recherche, et de Spot, standard du quadrupède avec bras, facilite la reproduction par d'autres laboratoires. Les suites probables sont des comparaisons avec les approches fondées sur le mouvement humain, des tâches plus longues et un passage à des environnements moins contrôlés. Aucun pilote industriel ni calendrier n'est annoncé.

RecherchePaper
1 source
4arXiv cs.RO 

CARD : ancrage sur les contacts pour le retargeting en manipulation dextérique

Des chercheurs proposent CARD (Contact-Anchored Retargeting for Dexterous Manipulation), un cadre logiciel qui transfère des démonstrations humaines vers des mains robotiques en conservant les forces de contact visées, et pas seulement la cinématique des doigts. Le système fonctionne sans simulateur ni modèle d'objet. Il unifie trois sources de données, la vidéo, la capture de mouvement et les gants tactiles, via une représentation commune main-contact, et produit des cibles de force explicites en plus des trajectoires articulaires. Pour rejouer ces forces en boucle ouverte sur du matériel réel, les auteurs ajoutent un contrôleur de suivi tactile. Pour la vidéo, qui ne contient aucune mesure tactile, ils introduisent Vid-HACO, un modèle d'estimation des contacts à partir d'images, présenté comme l'état de l'art. Sur les données vidéo, gants, capture de mouvement et le jeu GRAB, CARD maintient le contact sur 43 à 78 % des images où un contact existe. Les méthodes purement cinématiques tombent sous 10 %, et les méthodes qui exploitent un modèle d'objet atteignent 22,5 %. Intégrée à un retargeting basé sur la physique, la formulation fait passer le taux de réussite strict de 12 % à 32 % sur GRAB. L'enjeu est la qualité des données d'entraînement pour la manipulation dextre. La téléopération, l'enseignement cinesthésique et les exosquelettes obligent l'opérateur à agir à travers le corps du robot, ce qui bride son habileté et plafonne la qualité des démonstrations collectées. Le retargeting depuis des mains nues lève ce goulot, mais les approches actuelles perdent l'information qui décide de la réussite d'une saisie ou d'une insertion, à savoir l'intensité et la localisation des appuis. Si ces résultats se confirment, la vidéo humaine, abondante et peu coûteuse, deviendrait une source exploitable pour des politiques de type VLA (vision-langage-action) sur mains à plusieurs doigts. Les intégrateurs y gagneraient une voie de collecte moins dépendante de parcs de téléopération. Les chiffres appellent toutefois de la prudence. Un contact maintenu sur 43 à 78 % des images reste loin d'une fiabilité industrielle. Un taux de réussite strict de 32 % sur un benchmark académique, même multiplié par plus de deux, ne dit rien d'une cadence de production. La validation matérielle repose sur un rejeu en boucle ouverte de démonstrations, et non sur une politique apprise tournant en autonomie. Ce travail s'inscrit dans la course aux données pour mains dextres, où cohabitent la téléopération à grande échelle, les gants instrumentés et l'apprentissage depuis la vidéo humaine, que poursuivent notamment les équipes humanoïdes et les laboratoires académiques. Le point de départ de CARD est que la plupart des méthodes de retargeting, cinématiques ou guidées par les objets, ignorent la dynamique de contact réelle. Il s'agit d'une prépublication arXiv, sans relecture par les pairs, sans produit ni calendrier de déploiement annoncés, et sans acteur industriel identifié. La suite logique serait de brancher CARD sur l'entraînement de politiques en boucle fermée, de tester des mains et des capteurs tactiles plus variés, et de mesurer la robustesse de Vid-HACO sur des vidéos non contrôlées.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
RynnVLA-Latent : passage à l'échelle des modèles fondation de manipulation robotique grâce à des actions latentes ancrées en 3D
5arXiv cs.RO 

RynnVLA-Latent : passage à l'échelle des modèles fondation de manipulation robotique grâce à des actions latentes ancrées en 3D

RynnVLA-Latent est un cadre de pré-entraînement de politiques robotiques de type VLA (vision-langage-action) qui contourne la rareté des démonstrations annotées en actions. Son noyau, RynnLAM, apprend des « actions latentes » continues et ancrées en 3D à partir de simples transitions visuelles, sans exiger les commandes natives d'un robot. Il combine trois ingrédients: la prédiction résiduelle de caractéristiques futures, une supervision par flux 3D compensé du mouvement de caméra, et un découplage explicite du mouvement de caméra. Appliqué à 30,1 K heures de vidéos humaines, robotiques et simulées, RynnLAM produit 745,52 millions de descripteurs d'actions latentes. Le modèle RynnVLA-Latent, de 4 milliards de paramètres, apprend ensuite à prédire des blocs d'actions latentes à partir des observations et du langage par flow matching, puis adapte son backbone et son « action expert » aux actions propres à chaque robot. Les auteurs rapportent 98,8 % de réussite sur LIBERO, 84,7 % sur LIBERO-Plus sans adaptation spécifique au benchmark, 51,9 % en moyenne sur cinq pistes de VLABench et 88,6 % sur le benchmark bimanuel RoboTwin 2.0. Sur six tâches réelles, avec mains dextres et manipulateurs mobiles à pince, il obtient les meilleurs taux parmi les méthodes comparées. L'enjeu est le goulot d'étranglement de la donnée. Les VLA se heurtent à deux limites: le faible volume de téléopération annotée, et l'incompatibilité des espaces de contrôle d'une morphologie à l'autre. Extraire une supervision utilisable de vidéos hétérogènes, dont des vidéos humaines abondantes, indique une voie d'extension qui ne dépend plus de la collecte robotique native. Pour un intégrateur, cela laisse entrevoir une réutilisation de corpus existants et un transfert plus simple entre plateformes. Il faut toutefois rester prudent: LIBERO est proche de la saturation à 98,8 %, ce qui le rend peu discriminant, et les benchmarks simulés ne mesurent pas la fiabilité en production. Les six tâches réelles sont peu nombreuses, la comparaison se limite aux méthodes choisies par les auteurs, et les taux de succès bruts ne disent rien des temps de cycle, de la robustesse sur la durée ni de la reprise sur erreur. Il s'agit d'un résultat de recherche, pas d'un produit livré ni d'un déploiement. Ces travaux s'inscrivent dans la lignée des modèles d'actions latentes appris sans étiquettes d'action, comme LAPA ou la famille Genie, et face aux VLA généralistes tels que Pi-0, OpenVLA ou GR00T, qui reposent encore surtout sur des données annotées avec actions. La spécificité ici tient à l'ancrage 3D et à la compensation du mouvement de caméra, censés isoler le mouvement pertinent pour le contrôle plutôt que les simples changements d'apparence. Le préfixe Rynn évoque la famille RynnVLA, dont les antécédents ne sont pas détaillés dans le résumé. La suite logique serait une validation sur davantage de tâches réelles, des tests inter-morphologies plus larges et des courbes de passage à l'échelle publiées. Aucun calendrier de pilote ni partenaire industriel n'est mentionné.

IA physiquePaper
1 source
UniManip : manipulation robotique en monde ouvert grâce à des graphes opérationnels à base d'agents
6arXiv cs.RO 

UniManip : manipulation robotique en monde ouvert grâce à des graphes opérationnels à base d'agents

UniManip est un cadre de manipulation robotique présenté sur arXiv (février 2026, version 2 révisée) par une équipe académique, avec une page de projet open source. Son noyau est un « Agentic Operational Graph » (AOG), un graphe qui orchestre les tâches, suit l'état du monde, vérifie l'exécution et déclenche la récupération en cas d'échec. Une couche « Agentique » de haut niveau planifie, tandis qu'une couche « Scène » maintient un graphe de scène centré sur les objets, construit à partir de perceptions non structurées. Ce graphe fournit des affordances géométriques, des paramètres d'interaction tenant compte des contacts et des trajectoires sans collision, générées par un planificateur local orienté sécurité. Une mémoire structurée sert à diagnostiquer les erreurs et à relancer l'action. Les auteurs annoncent le meilleur résultat publié sur le benchmark LIBERO-Pro. En conditions réelles, le système généraliserait en zéro-shot à plusieurs tâches, plusieurs embodiments et plusieurs mains dextres. Il devancerait de 22,5 points de taux de réussite les meilleurs modèles VLA (Vision-Language-Action) et de 25,0 points les approches hiérarchiques de référence. L'intérêt tient à la position de l'approche dans un débat central de la robotique généraliste. Les VLA de bout en bout manquent souvent de précision sur les tâches à long horizon, alors que les planificateurs hiérarchiques classiques se montrent trop rigides sémantiquement dès que l'environnement sort du cadre prévu. UniManip suggère qu'une architecture explicite et inspectable, avec vérification et reprise sur erreur intégrées, peut combler l'écart sans réentraîner un modèle massif. Pour les intégrateurs, cela compte : une logique traçable et auditable est plus facile à certifier et à déboguer qu'une politique neuronale opaque. L'indépendance vis-à-vis du robot et de la main est aussi un argument de déploiement. Il faut toutefois rester prudent : les écarts de 22,5 et 25 points sont rapportés par les auteurs eux-mêmes, sans que le résumé précise le nombre d'essais, la nature des tâches ni les VLA comparés. Il s'agit d'un travail de recherche, pas d'un produit livré, et aucun déploiement industriel n'est mentionné. Le travail s'inscrit dans la tendance des systèmes « agentiques » qui combinent modèles de fondation et modules géométriques classiques, en réaction aux limites de la généralisation des VLA, ce qu'illustre la création de LIBERO-Pro, variante plus exigeante de LIBERO pour tester la robustesse. Il se positionne face aux VLA généralistes comme Pi-0 ou GR00T, et face aux pipelines de planification hiérarchique fondés sur des LLM. La suite logique, pour valider l'approche, passerait par des évaluations indépendantes, des tests sur des cadences et des durées proches de la production, et la publication du code et des données. Aucun calendrier de pilote n'a été annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
RoKON : commande prédictive efficace et adaptative pilotée par les données pour la manipulation robotique
7arXiv cs.RO 

RoKON : commande prédictive efficace et adaptative pilotée par les données pour la manipulation robotique

RoKON est une méthode de commande prédictive pilotée par les données (DeePC, pour data-enabled prédictive control), décrite dans un préprint arXiv, qui vise à rendre cette approche utilisable en temps réel en robotique de manipulation. Le DeePC remplace le modèle dynamique explicite par des trajectoires d'entrées et de sorties mesurées, tout en gardant une formulation de commande optimale lisible. Les auteurs s'appuient sur un prédicteur non linéaire à noyaux gaussiens et proposent trois apports. Le premier est une méthode de Gauss-Newton amortie, qui exploite la structure de moindres carrés du problème pour tenir les contraintes de temps réel. Le deuxième est une gestion hybride du tampon de données, qui garde les données hors ligne pertinentes et y ajoute les données en ligne les plus informatives, afin que le prédicteur suive l'évolution de la dynamique. Le troisième est une validation sur MuJoCo, avec un bras Franka Research 3 qui pousse un bloc sur une surface dont les coefficients de friction changent sans être connus du contrôleur. L'intérêt est surtout méthodologique. Le DeePC restait jusqu'ici coûteux en calcul et fragile dès que la dynamique dérivait, ce qui l'écartait des boucles de manipulation rapides. Une variante adaptative et peu gourmande rapproche une commande transparente, sans réseau de neurones à entraîner, des tâches de contact où la friction varie, un cas typique de ce qui fait échouer les modèles figés. Pour un intégrateur, la promesse est de moins dépendre d'une identification de modèle longue pour chaque cellule. Il faut toutefois rester prudent : le résumé ne donne ni temps de calcul, ni erreur de suivi, ni comparaison chiffrée avec une commande prédictive classique, et tout reste en simulation, sans essai sur un robot réel. Ces travaux s'inscrivent dans la lignée du DeePC introduit autour de 2019 pour les systèmes linéaires, puis étendu aux noyaux pour les systèmes non linéaires. Ils s'opposent à deux familles dominantes : la commande prédictive à modèle appris et les politiques de bout en bout, dont les modèles vision-langage-action (VLA) type Pi-0 ou GR00T, plus généralistes mais moins interprétables. La suite logique est un transfert sur matériel, avec bruit de capteurs, latences et contacts réels, seule étape qui dira si l'efficacité annoncée tient hors de MuJoCo.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ContactBench 1.0 : un banc d'essai pour la manipulation robotique quotidienne riche en contacts
8arXiv cs.RO 

ContactBench 1.0 : un banc d'essai pour la manipulation robotique quotidienne riche en contacts

ContactBench 1.0, présenté sur arXiv (2610.24512v2) par une équipe académique, est un banc d'essai ouvert destiné à évaluer la manipulation robotique riche en contacts, c'est-à-dire les tâches du quotidien où le robot doit insérer, pousser, glisser, visser ou réagir à des forces. À partir d'observations de la manipulation humaine, les auteurs définissent huit compétences élémentaires, qu'ils déclinent en 36 tâches de référence et plus de 40 objets. Ces derniers reproduisent la géométrie et le comportement de contact utiles à chaque tâche. Ils s'impriment sur des imprimantes 3D grand public et chacun a un modèle de simulation jumeau. Des variations contrôlées, dans le monde réel comme en simulation, permettent de mesurer la généralisation. Les auteurs ont testé des méthodes représentatives d'apprentissage de politiques, uniquement visuelles ou visuo-tactiles, sur six tâches seulement. Le code et les ressources seront publiés en open source sur le site du projet. Le résultat est plutôt sobre. Les politiques uniquement visuelles peinent à percevoir les événements de contact ou à y réagir. Les politiques visuo-tactiles, censées combler cette lacune, n'améliorent pas sensiblement les performances. Cela tempère l'idée répandue selon laquelle ajouter un capteur tactile à une politique apprise suffirait à résoudre la manipulation fine. Pour un intégrateur ou un responsable industriel, c'est un rappel que les démonstrations spectaculaires de VLA (modèles vision-langage-action) ne disent presque rien de la robustesse sur des tâches d'assemblage ou de contact, où l'écart entre démo et déploiement reste large. L'intérêt pratique est aussi méthodologique : des tâches et des pièces reproductibles permettraient enfin de comparer des systèmes entre laboratoires, ce qui manque aujourd'hui. Le résumé ne donne cependant ni taux de réussite chiffrés, ni noms des méthodes testées, et six tâches sur 36 constituent une évaluation initiale limitée. Ce travail s'inscrit dans une tendance : la montée en puissance de bancs d'essai standardisés pour la manipulation, après des références comme les benchmarks de simulation (RLBench, LIBERO) qui privilégient surtout des tâches de saisie et de placement, peu exigeantes en contact. La difficulté de reproduire les expériences d'un laboratoire à l'autre, notamment pour les capteurs tactiles, a freiné les comparaisons rigoureuses. Les acteurs industriels qui misent sur la dextérité, des développeurs de mains tactiles aux fabricants d'humanoïdes, n'ont pas publié de métriques comparables, et ce benchmark pourrait servir de terrain neutre. Il s'agit ici de la version 2 d'une prépublication, donc d'un travail non encore validé par les pairs. La prochaine étape est la publication effective des ressources, puis l'évaluation d'un plus grand nombre de politiques sur l'ensemble des 36 tâches.

RecherchePaper
1 source
FORCA : un agent de code sensible à la force pour la manipulation robotique riche en contacts
9arXiv cs.RO 

FORCA : un agent de code sensible à la force pour la manipulation robotique riche en contacts

FORCA, un agent de code décrit dans l'article arXiv 2610.31841, prend en entrée des observations visuelles et les mesures du capteur force/couple (F/T) monté au poignet du robot, puis écrit des programmes Python pour sonder le contact et produire des mouvements réactifs à la force. Entre deux exécutions, l'agent examine les enregistrements de force en parallèle des résultats visuels, diagnostique la cause de l'échec et révise à la fois la trajectoire et la logique de retour d'effort. Le système ne requiert ni démonstrations, ni entraînement spécifique à la tâche, ni simulation. Les auteurs l'ont testé sur cinq tâches avec un robot réel, couvrant trois formes de manipulation riche en contact : l'amélioration de la précision (notamment de saisie), l'adaptation à des changements de propriétés d'objet ou de surface, et la régulation du contact face à des variations de surface ou à un objet en mouvement. Face à une variante de l'agent limitée à la vision, FORCA améliore la précision de saisie et le taux de réussite, et réduit les pertes de contact lors d'essais d'essuyage et d'épluchage. Le résumé ne donne ni chiffres de gain, ni modèle de langage utilisé, ni modèle de robot. L'intérêt tient à la voie suivie : au lieu d'entraîner une politique VLA (vision-langage-action) sur des démonstrations téléopérées, coûteuses à collecter, la logique de contrôle est générée comme du code lisible, puis corrigée par essais successifs. Pour un intégrateur, cela rend le comportement inspectable et modifiable, et laisse espérer une mise en service plus rapide sur des tâches de contact (essuyage, épluchage, insertion) que les modèles purement visuels traitent mal, faute de perception de la force. La comparaison avec la variante vision seule suggère que le capteur F/T apporte un gain réel, mais elle ne prouve rien sur la fiabilité industrielle. Cinq tâches de laboratoire, sans taux publiés dans le résumé, sans temps de cycle ni nombre d'itérations de raffinement nécessaires, laissent ouverte la question de la robustesse, de la sécurité des essais physiques menés par un agent, et du coût de ces boucles d'essai-erreur sur du matériel réel. Ce travail s'inscrit dans la montée des agents de code pour la robotique, qui traduisent le langage en programmes, et dans l'effort pour doter les modèles fondation d'une perception tactile et de force, que les VLA actuels exploitent peu. Il rejoint les approches de politiques apprises comme Pi-0 ou GR00T, qui misent sur les données, avec un compromis différent : moins de données, mais plus d'ingénierie de la boucle de diagnostic. Il s'agit d'un préprint en première version (v1), non évalué par les pairs. Les suites naturelles seraient une validation sur davantage de plateformes et de tâches, des comparaisons directes avec des politiques apprises, et l'ouverture du code.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
MAST-VLA : adaptation conditionnée par compétence avec a priori d'affordance de trajectoire pour la manipulation robotique multi-compétences
10arXiv cs.RO 

MAST-VLA : adaptation conditionnée par compétence avec a priori d'affordance de trajectoire pour la manipulation robotique multi-compétences

MAST-VLA, proposé dans un preprint arXiv (2610.32312), est un cadre de politique vision-langage-action (VLA) destiné à la manipulation robotique multi-compétences. Il s'attaque à une faiblesse des VLA généralistes actuels, qui modélisent mal deux aspects d'une même consigne : quelle compétence élémentaire exécuter (saisir, pousser, ouvrir, etc.) et où, comment entrer en contact avec l'objet et le déplacer. Le système repose sur deux mécanismes. Dans le LLM qui sert de colonne vertébrale, des adaptateurs LoRA-MoE (mélange d'experts à faible rang) conditionnés par la compétence utilisent des « skill-query tokens » et des biais de routage pour spécialiser chaque expert. En parallèle, une carte d'affordance prédite, c'est-à-dire une carte de chaleur des zones d'interaction pertinentes, est convertie en prior spatial au niveau des patchs d'image, qui alimente la tête d'action. Sur le benchmark CALVIN ABC→D, qui teste l'enchaînement de tâches longues dans une scène jamais vue à l'entraînement, MAST-VLA atteint une longueur moyenne de 4,65 tâches sur des séquences de cinq sous-tâches, un résultat présenté comme l'état de l'art. Des essais sur robot réel sont aussi mentionnés. L'intérêt tient à la méthode plus qu'au score. Les VLA généralistes plafonnent souvent sur les séquences longues, où l'erreur d'une étape se propage aux suivantes. Séparer explicitement le « quoi » (la compétence) du « où » (l'affordance) est une piste crédible pour gagner en robustesse sans multiplier les données. L'usage de LoRA-MoE est aussi pragmatique : on spécialise des sous-réseaux légers au lieu de réentraîner un modèle entier, ce qui intéresse les intégrateurs qui adaptent un modèle de base à de nouveaux gestes. Il faut toutefois rester prudent. CALVIN est un benchmark simulé, et une moyenne de 4,65 sur 5 approche la saturation, ce qui limite sa valeur discriminante. Le résumé ne donne ni nombre de tâches réelles, ni taux de réussite, ni type de robot, et les mots « validé sous bruit de perception et de contrôle » ne remplacent pas des chiffres. L'écart entre démonstration et déploiement reste donc entier. Ce travail s'inscrit dans la course aux politiques VLA ouvertes et généralistes, avec des références comme Pi-0 de Physical Intelligence, OpenVLA, GR00T de NVIDIA ou Helix de Figure, qui privilégient en général l'échelle des données et des modèles. MAST-VLA suit une autre voie, plus structurée, qui injecte des priors de compétence et de géométrie dans l'architecture. Plusieurs travaux récents sur CALVIN suivent des idées proches, avec des affordances ou des trajectoires intermédiaires. Le preprint n'a pas encore été relu par des pairs, et le résumé n'annonce ni code ni poids publiés. La suite à surveiller est donc la publication de ces éléments, des tests sur des benchmarks plus exigeants (LIBERO, SimplerEnv) et des résultats réels chiffrés avant de juger sa portée industrielle.

RecherchePaper
1 source
De l'raisonnement à l'action : évaluation des modèles d'IA de pointe sur les tâches de manipulation robotique LIBERO-10
11arXiv cs.RO 

De l'raisonnement à l'action : évaluation des modèles d'IA de pointe sur les tâches de manipulation robotique LIBERO-10

Une équipe de chercheurs publie sur arXiv un cadre unifié de manipulation robotique en boucle fermée, destiné à évaluer des modèles d'IA généralistes sur le benchmark LIBERO-10, sans entraînement spécifique à la tâche. Les modèles pilotent le robot à partir d'observations visuelles, de la proprioception (l'état interne des articulations) et d'appels d'outils structurés, en spécifiant surtout des poses cibles de l'effecteur terminal et des commandes de pince. Aucun réglage fin ni compétence de manipulation préentraînée n'intervient. Six modèles sont testés : GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna, Claude Opus 5, Claude Opus 5.5 et Gemini-4 Argon, chacun à trois niveaux d'effort de raisonnement. Cela représente 18 configurations et 1 800 épisodes d'évaluation. GPT-6 Astra obtient le meilleur taux de réussite, 44 %, devant Gemini-4 Argon à 43 %. Les auteurs publient leur cadre d'évaluation et leurs résultats. Ce travail compte parce que la question d'un modèle généraliste capable de manipuler sans données robotiques dédiées n'avait pas de mesure standardisée. Un score maximal de 44 % montre que le raisonnement visuel et la planification ne se traduisent pas encore en actions physiques fiables. Pour un intégrateur ou un COO industriel, un taux d'échec de plus de la moitié des épisodes reste incompatible avec une exploitation en production. Le gain apporté par un effort de raisonnement accru est réel mais inégal selon les modèles, et il se paie en coût d'inférence, donc en latence et en budget, deux paramètres critiques pour des temps de cycle industriels. Les modèles réussissent plutôt bien les tâches de placement d'objets, mais échouent sur les arrangements spatiaux précis et les interactions multi-étapes. Ce profil de faiblesses suggère que l'écart se joue sur la perception fine de la géométrie et le contrôle, pas sur la planification de haut niveau. À noter : LIBERO-10 est un benchmark en simulation, et l'écart sim-to-real n'est pas traité ici. Ces résultats s'inscrivent dans la course entre deux approches. D'un côté, les modèles vision-langage-action (VLA) spécialisés, entraînés sur des démonstrations robotiques, comme Pi-0, Helix ou GR00T N2, dont les performances sur LIBERO sont généralement élevées après réglage fin. De l'autre, l'usage direct de modèles de frontière comme « cerveau » généraliste, appelant des outils. Le rapport sert de référence pour cette seconde voie, et la publication du code facilite la reproduction et la comparaison. Les suites probables sont des tests sur d'autres benchmarks, des essais sur robots réels et des architectures hybrides, où un modèle généraliste planifie et un contrôleur spécialisé exécute. Aucun déploiement industriel n'est annoncé : il s'agit d'un rapport de recherche (v1, non évalué par les pairs).

RecherchePaper
1 source
Maniformer lance une plateforme participative qui rémunère des personnes pour filmer des tâches du quotidien destinées aux robots
12Pandaily 

Maniformer lance une plateforme participative qui rémunère des personnes pour filmer des tâches du quotidien destinées aux robots

Maniformer, entreprise shanghaienne spécialisée dans les données d'entraînement pour l'IA physique, a ouvert le 23 septembre à Shanghai une plateforme de crowdsourcing qui rémunère des particuliers pour filmer des tâches quotidiennes destinées à l'apprentissage des robots, selon Leiphone. Sous le slogan « tout le monde peut être enseignant », l'entreprise la présente comme la première plateforme de crowdsourcing multi-catégories de données physiques de haute qualité. Elle repose sur deux couches. La première est l'infrastructure : les dispositifs de capture MEgo, une application mobile et le MEgo Engine pour le post-traitement. Le MEgo View est un casque dont les caméras couvrent plus de 300 degrés, tandis que le MEgo Gripper reconstruit le mouvement avec une précision millimétrique, avec un capteur tactile 3D en option. La seconde couche est un réseau de sites de travail réels et de collecteurs. Après inscription sous leur vrai nom et réception d'un équipement, les utilisateurs choisissent une mission, l'enregistrent, passent un contrôle qualité puis sont payés, avec des retraits annoncés sous deux minutes et la fiscalité gérée par la plateforme. Le catalogue compte 22 catégories, plus de 5 000 types de tâches et plus de 50 000 scènes réelles. Lors d'un test fermé du 15 août au 15 septembre, près de 20 000 utilisateurs se sont inscrits, et 16 bêta-testeurs ont reçu le titre de « robot trainer ». Pour les roboticiens et les décideurs industriels, l'enjeu est le goulot d'étranglement des données. Le PDG Yao Maoqing affirme que ce qui empêche les robots d'entrer dans les usines, les commerces et les foyers n'est ni l'algorithme ni le matériel, mais le manque de données massives de mouvement humain réel. C'est une thèse largement partagée par les équipes qui développent des modèles VLA (vision-langage-action), dont la performance dépend de la diversité des scènes bien plus que de la quantité de démonstrations collectées en laboratoire. Un modèle de crowdsourcing rémunéré, fondé sur des capteurs portés par l'humain plutôt que sur des robots téléopérés, réduit fortement le coût marginal de la donnée. Plusieurs réserves s'imposent toutefois : les chiffres d'inscrits ne disent rien du volume de données réellement validées, la qualité d'une collecte distribuée entre des milliers d'amateurs reste à démontrer, et le transfert de gestes humains vers des morphologies de robots variées demeure un problème de recherche ouvert. L'affirmation d'une présence dans 40 villes est, à ce stade, une déclaration de l'entreprise. Maniformer accompagne le lancement d'un plan de subventions de 100 millions de RMB, détaillé par son vice-président commercial Zhang Zhifu : 50 millions pour les tâches, 20 millions pour les équipements, 30 millions pour un réseau de services physiques dans 40 villes et 2 millions pour l'assurance des personnes et du matériel. Un système de progression en cinq niveaux, de M1 à M5, doit soutenir l'objectif de 1 million d'utilisateurs actifs quotidiens et 1 million de robot trainers d'ici deux ans, un cap très ambitieux au regard des 20 000 inscrits du test. L'entreprise prépare avec l'Académie chinoise des technologies de l'information et de la communication un rapport sur les données d'IA incarnée issues du crowdsourcing, a constitué une alliance de données de scènes avec 12 membres initiaux et a publié une initiative de sécurité des données couvrant les règles de collecte et la protection de bout en bout. Elle évolue dans un secteur où la collecte de données devient un marché à part entière, entre téléopération, capture égocentrique et simulation. Les prochains jalons à surveiller sont la publication du rapport, la taille réelle du jeu de données et les premiers modèles entraînés sur ce corpus.

Chine/AsieActu
1 source
RoboAug : d'une seule annotation à des centaines de scènes grâce à l'augmentation de données par contraste de régions pour la manipulation robotique
13arXiv cs.RO 

RoboAug : d'une seule annotation à des centaines de scènes grâce à l'augmentation de données par contraste de régions pour la manipulation robotique

RoboAug est un cadre d'augmentation de données génératif pour l'apprentissage robotique, décrit dans un article arXiv (2602.14032, version 2). Son principe tient en une contrainte minimale : une seule image annotée de bounding boxes suffit pour construire le jeu de données. À partir de cette supervision réduite, le système s'appuie sur des modèles génératifs préentraînés pour produire des variations sémantiques précises de la scène. Il y ajoute une perte contrastive par région (région-contrastive loss), utilisable en plug-and-play, qui oriente l'attention de la politique vers les zones utiles à la tâche. Les auteurs ont testé la méthode sur trois plateformes physiques : le bras UR-5e d'Universal Robots, une plateforme AgileX et le robot humanoïde Tian Gong 2.0. Selon eux, RoboAug dépasse systématiquement les méthodes d'augmentation de l'état de l'art face à trois types de décalages : l'arrière-plan, les objets distracteurs et l'éclairage. Le résumé ne donne ni taux de réussite, ni nombre de tâches, ni nombre de démonstrations. Le titre évoque « des centaines de scènes » générées depuis une annotation, sans plus de détail dans le texte disponible. L'enjeu est la généralisation d'une politique d'imitation ou d'une politique vision-langage-action (VLA) à des environnements jamais vus, l'un des principaux freins au passage de la démonstration au déploiement. Deux voies dominent aujourd'hui. La première est le préentraînement à grande échelle, coûteux en collecte de données et en temps. La seconde est l'augmentation sémantique, qui suppose une détection d'objets sans faille en amont, hypothèse fragile en conditions réelles. RoboAug cherche à contourner ces deux obstacles, ce qui, si les résultats tiennent, ferait baisser le coût de préparation d'un nouveau site pour un intégrateur : une image annotée plutôt qu'une campagne de captures. Les validations sur trois robots de natures différentes, dont un humanoïde, sont un point positif. Quelques réserves s'imposent toutefois. Le résumé ne précise ni les tâches, ni la taille des échantillons d'essais, ni les baselines comparées. Les gains ne sont pas chiffrés, et la robustesse face à des changements de géométrie ou de pose des objets n'est pas évoquée. Il s'agit d'un résultat de laboratoire, non d'un déploiement industriel. Ce travail s'inscrit dans une lignée de méthodes qui utilisent des modèles de diffusion ou d'édition d'images pour multiplier les observations d'entraînement : ROSIE, GenAug ou, plus récemment, des pipelines qui s'appuient sur la segmentation pour isoler l'objet manipulé. Leur point faible commun est la dépendance à un détecteur fiable, que RoboAug dit relâcher. La concurrence passe aussi par les gros modèles fondation (Pi-0, GR00T, Helix), qui misent sur l'échelle des données plutôt que sur l'augmentation ciblée. L'usage de Tian Gong 2.0, plateforme humanoïde chinoise, confirme l'activité des laboratoires asiatiques sur ce sujet. La publication d'une page de projet (x-roboaug.github.io) devrait permettre d'examiner vidéos et protocoles. Les prochaines étapes à surveiller sont la publication de chiffres détaillés, le code ouvert et des tests sur des tâches plus longues ou plus dextres.

UEUniversal Robots (Danemark) équipe de nombreuses lignes européennes avec son bras UR-5e, et si RoboAug tient ses promesses, une seule image annotée suffirait aux intégrateurs européens pour adapter leurs politiques d'apprentissage à un nouveau site, ce qui réduirait le coût de déploiement, même si ce résultat de laboratoire n'est pas encore validé en conditions industrielles.

RecherchePaper
1 source
IronMan : apprentissage vidéo-action sous contrainte d'information pour la manipulation robotique
14arXiv cs.RO 

IronMan : apprentissage vidéo-action sous contrainte d'information pour la manipulation robotique

Des chercheurs publient sur arXiv (2610.07961) IronMan, un cadre d'apprentissage vidéo-action pour la manipulation robotique, dont le nom signifie Information-constRained videO-actioN learning for robot MANipulation. Il s'inscrit dans la famille des Video Action Models (VAM), qui associent la modélisation de la dynamique visuelle à la génération d'actions. IronMan s'appuie sur le principe du goulot d'information (information bottleneck). Un module sensible à la dynamique condense des caractéristiques vidéo bruitées et enchevêtrées, calculées à un seul pas de diffusion, en représentations compactes du monde. Ces représentations suppriment l'information visuelle non pertinente et conservent les indices de dynamique utiles à l'action. Les auteurs annoncent 99,0 % de réussite sur LIBERO et 79,4 % sur RoboTwin en configuration clean2clean, au-dessus de toutes les références évaluées. Hors distribution, sur LIBERO-Plus, le taux atteint 79,1 %, soit 10,4 points de pourcentage de plus que la meilleure référence. Des expériences en conditions réelles et une inférence présentée comme efficace complètent le tableau. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel. L'enjeu tient à un point faible connu des VAM : une représentation vidéo n'est pas naturellement adaptée à la génération d'actions. Exposer la politique à trop de détails visuels (textures, arrière-plans, éclairage) dégrade sa généralisation. IronMan défend l'idée inverse de la tendance à enrichir toujours davantage les représentations : contraindre l'information serait plus rentable que l'étendre. Le résultat le plus parlant est la robustesse hors distribution. C'est là que se joue l'écart entre démonstration et réalité, car un robot en atelier rencontre des changements de scène, de caméra ou de luminosité que les benchmarks propres ne couvrent pas. Pour les intégrateurs, un tel levier pourrait réduire le coût de réadaptation d'une politique à chaque nouveau site. Deux réserves s'imposent. Un score de 99 % sur LIBERO indique surtout que ce benchmark est quasi saturé. Les 79,4 % sur RoboTwin laissent une marge d'échec importante. Les résultats en conditions réelles sont résumés sans détail dans le résumé de l'article (tâches, nombre d'essais, robots), ce qui limite leur portée. Ce travail prolonge deux courants. Les politiques vision-langage-action (VLA) de type Pi-0 ou GR00T reposent sur des modèles vision-langage pré-entraînés. Les modèles vidéo génératifs servent désormais de prior de dynamique pour l'action. Les premiers manquent de compréhension physique explicite. Les seconds, coûteux en calcul et sensibles aux détails superflus, se heurtent au problème que IronMan cherche à corriger. Le recours à des caractéristiques à un seul pas vise à préserver la vitesse d'inférence, critère décisif pour un contrôle en boucle fermée. La suite dépendra de la reproduction des résultats par d'autres équipes, de l'ouverture du code et des tests sur des plateformes variées, y compris dans des environnements industriels réels. Aucune échéance de déploiement n'est annoncée.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
HexaGripper : une pince à actionneur unique, déployée par treuil, pour la collecte autonome de colis par drone
15arXiv cs.RO 

HexaGripper : une pince à actionneur unique, déployée par treuil, pour la collecte autonome de colis par drone

Des chercheurs publient HexaGripper, une pince à six plaques actionnée par un seul moteur et déployée au bout d'un treuil, conçue pour la collecte autonome de colis cuboïdes par drone. Le dispositif associe un alignement par vision, une mesure de distance, un déploiement par treuil et une commande à états, ce qui permet au drone de saisir le colis sans se poser et sans rester au contact de la surface de prise. Le mécanisme synchronise la fermeture des six plaques et offre une large zone de capture, tolérante aux défauts de positionnement. Les essais en statique donnent 100 % de réussite (15 essais sur 15) sur trois géométries de colis. Dans le test de zone de capture, la prise a réussi aux 28 positions testées, jusqu'à 150 mm de décalage radial. En vol extérieur, de bout en bout, le taux de réussite tombe à 80 % (4 essais sur 5). L'article est un préprint arXiv, au format « letter ». Pour la logistique par drone, le verrou est rarement le vol. C'est le transfert du colis, qui exige encore un chargement manuel, un atterrissage ou une infrastructure au sol dédiée. Un préhenseur mécaniquement synchronisé, avec un seul actionneur, répond à un besoin concret : réduire le poids embarqué, le nombre de pannes possibles et la précision exigée de la part du système de guidage. Le point d'attention est l'écart entre le banc et le terrain. Les 100 % et les 28 positions sur 28 concernent des conditions contrôlées. Le résultat extérieur repose sur seulement cinq essais, ce qui rend le 80 % statistiquement peu informatif : un seul échec de plus ferait passer le taux à 60 %. L'article ne précise pas, dans son résumé, la masse des colis, le vent toléré ni la durée du cycle de collecte. Ces données seront décisives pour juger une exploitation commerciale. Il s'agit d'une démonstration de faisabilité en laboratoire, pas d'un produit livré ni d'un déploiement réel. Ce travail s'inscrit dans la recherche sur la manipulation aérienne et la livraison sans atterrissage. Les approches existantes reposent sur des treuils avec crochets, des pinces à plusieurs actionneurs, des stations de dépose au sol ou des atterrissages en bout de trajet, chacune avec ses compromis entre complexité, temps de cycle et besoin d'infrastructure. HexaGripper se positionne sur la simplicité mécanique et la tolérance au désalignement. Le résumé ne cite ni partenaire industriel, ni pilote, ni calendrier. Les prochaines étapes logiques seraient des essais en conditions de vent, avec des colis de masses variées, sur des séries d'essais bien plus longues, ainsi qu'une comparaison chiffrée avec les solutions concurrentes.

RecherchePaper
1 source
MIM-VLA : apprentissage de représentations d'interaction physique à partir du retour moteur de la pince
16arXiv cs.RO 

MIM-VLA : apprentissage de représentations d'interaction physique à partir du retour moteur de la pince

MIM-VLA est un preprint (arXiv 2610.08425, v1) qui ajoute à une politique vision-langage-action (VLA) une représentation de la réponse physique au contact, tirée uniquement du moteur de la pince. Un Motor Interaction Module (MIM) encode le courant, la position, la vitesse et la validité du signal du gripper récents sous la forme d'un « token d'interaction » de 128 dimensions. Le module est préentraîné sur des étiquettes de contact et de phase d'interaction relues par des humains. Il conditionne ensuite uniquement la voie d'action de la pince de SmolVLA, le petit VLA open source de Hugging Face. Les actions du bras et l'interface en contrôle de position restent inchangées. Le même token alimente MEM, un VLM « sélecteur » qui compare des interactions candidates et produit des choix accompagnés d'explications. Trois tests réels sont décrits : comparer la résistance d'objets visuellement différents, distinguer un objet réel de sa réplique par sondage actif, et saisir délicatement des objets fragiles, y compris des instances jamais vues. Sur 13 paires d'objets, MIM-VLA choisit l'objet le plus résistant dans 75,0 % des essais, contre 48,8 % pour SmolVLA, soit un niveau proche du hasard. L'intérêt est pratique. Les VLA actuels décident surtout à partir de l'image et de l'état du robot, et ne « sentent » pas ce qui se passe après le contact. Les approches tactiles classiques demandent des capteurs supplémentaires, comme des matrices tactiles ou des capteurs force-couple, qui alourdissent la pince, le coût et la maintenance. Ici, les auteurs affirment n'utiliser que le retour moteur déjà disponible, sans estimation de force calibrée ni contrôle direct du courant. Pour un intégrateur, cela rend la piste réaliste sur des pinces existantes, notamment pour manipuler des objets fragiles ou contrôler la qualité par palpation. Les limites sont claires. Il s'agit d'un résultat de laboratoire, sans nombre d'essais détaillé dans le résumé. Les tâches sont choisies par les auteurs, et 75 % de réussite signifie encore une erreur sur quatre, loin d'un niveau industriel. Ce travail s'inscrit dans la poussée vers des VLA « physiquement ancrés » face à la limite de la vision seule. La concurrence passe par les capteurs tactiles dédiés, les capteurs force-couple et les grands modèles généralistes de type Pi-0, qui restent essentiellement visuels. La proposition MIM-VLA est plus légère, mais sa validité hors du couple pince-SmolVLA testé reste à démontrer. La suite logique serait de valider sur d'autres pinces et d'autres VLA, avec des comparaisons directes face à des capteurs tactiles.

RecherchePaper
1 source
Apprentissage de la manipulation robotique à force régulée avec une pince tactile à contrôle de force à faible coût
17arXiv cs.RO 

Apprentissage de la manipulation robotique à force régulée avec une pince tactile à contrôle de force à faible coût

Des chercheurs présentent TF-Gripper, une pince parallèle à force contrôlée dont le coût avoisine 150 dollars. Elle intègre un retour tactile et couvre une plage de force effective de 0,45 à 45 N. Elle se monte sur différents bras robotiques. Les auteurs l'associent à un dispositif de téléopération qui enregistre les forces de préhension appliquées par un opérateur humain. Ils proposent aussi RETAF (REactive Tactile Adaptation of Force), un cadre logiciel qui sépare le contrôle de la force de serrage de la prédiction de pose de l'effecteur. RETAF régule la force à haute fréquence à partir d'images de poignet et du retour tactile. Une politique de base prédit, elle, la pose de l'effecteur et l'ordre d'ouverture ou de fermeture. Les expériences portent sur six tâches réelles. Le contrôle direct de la force y améliore la stabilité de la prise et la performance globale par rapport au contrôle en position. Selon les auteurs, RETAF surpasse systématiquement les références testées et s'intègre à plusieurs politiques de base. Le travail est publié sur arXiv (version 2), avec une page de projet associée. Il s'agit d'un résultat de laboratoire, sans déploiement industriel ni produit commercialisé. L'enjeu tient à un angle mort de l'apprentissage par imitation et des modèles vision-langage-action (VLA). La plupart des pinces du marché sont soit chères, soit limitées par une force minimale trop élevée. Elles sont donc inadaptées aux objets fragiles du quotidien, comme les chips, qui se brisent si la force n'est pas modulée. Une pince à 150 dollars capable de descendre sous 0,5 N abaisse nettement le coût d'entrée pour les laboratoires qui étudient la manipulation sensible à la force. Pour les intégrateurs, le résultat suggère que le contrôle en force doit tourner sur une boucle rapide et dédiée. Les politiques génériques à basse fréquence peuvent être entraînées sur des données de force, mais les auteurs reconnaissent que leur fiabilité reste difficile à obtenir, car la tâche est réactive et dépend du contact. Il faut toutefois rester prudent. Six tâches en laboratoire ne disent rien de la durabilité de la pince, de la dérive des capteurs tactiles ni de la répétabilité en cadence industrielle. Le résumé ne donne pas non plus les taux de réussite chiffrés. Ce travail s'inscrit dans le déplacement de la recherche en manipulation, de la seule géométrie vers le contact. Les pinces tactiles et les mains dextres sont aujourd'hui souvent coûteuses ou propriétaires. Les politiques de type Pi-0 ou les VLA actuels se concentrent surtout sur la pose de l'effecteur et sur un état binaire de la pince. La séparation entre politique de base et régulation de force de RETAF est modulaire, ce qui la rend compatible avec ces architectures. Les auteurs affichent l'ambition de faire passer à l'échelle l'apprentissage de politiques à force contrôlée. Pour cela, il faudrait des jeux de données de force plus larges, collectés avec leur dispositif de téléopération, et des validations sur des objets plus variés. Aucun calendrier de commercialisation n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Plus facile à dire qu'à faire : comprendre l'écart entre intention et comportement dans le jailbreak des robots pilotés par LLM
18arXiv cs.RO 

Plus facile à dire qu'à faire : comprendre l'écart entre intention et comportement dans le jailbreak des robots pilotés par LLM

Des chercheurs de l'université du Zhejiang (projet « ZJU SHINE ») publient la cinquième version d'un article posé sur arXiv (2412.16633) consacré aux attaques de type « jailbreak » contre les robots pilotés par grands modèles de langage (LLM). Dans ces architectures, le LLM sert de planificateur et traduit une instruction en langage naturel en appels de politiques exécutables, comme grasp(), moveto() ou opengripper(). Les auteurs observent que les jailbreaks existants, qui produisent des politiques d'apparence malveillante (« intent jailbreaks »), échouent souvent à provoquer une action physique réellement nuisible (« behavior jailbreaks »). Les causes sont propres à la robotique : erreurs de logique, API de contrôle hallucinées, mauvais ordonnancement des politiques, contraintes matérielles et cinématiques ignorées. Pour combler cet écart, l'équipe présente POEF (POlicy EFfective Jailbreak), un cadre automatisé de red teaming. Il utilise les gradients des couches cachées d'un LLM non aligné pour guider l'optimisation des prompts, puis un évaluateur multi-agents vérifie la faisabilité des politiques générées. Testé sur des robots commerciaux (humanoïde Unitree G1, bras Franka) et en simulation, POEF atteint 80 % de succès en behavior jailbreak et se transfère entre différents LLM. Deux stratégies de défense sont également proposées. Le résultat déplace la question de la sécurité des robots à LLM. Jusqu'ici, beaucoup d'évaluations comptaient un succès dès que le modèle produisait un plan dangereux sur le papier, ce qui surestimait le risque réel. Le « gap » mesuré ici montre que la robustesse physique (API réelles, ordre des actions, limites cinématiques) agit comme une protection involontaire, mais fragile : un attaquant qui en tient compte atteint 80 % de réussite. Pour les intégrateurs et responsables de déploiement, la leçon est qu'un filtrage du texte en entrée ne suffit pas. Il faut aussi valider les politiques au niveau de l'exécution, par exemple avec des vérifications de faisabilité, des limites de force et de vitesse, et des listes blanches d'API. Le transfert entre LLM suggère en outre qu'un changement de fournisseur de modèle ne règle pas le problème. Une réserve s'impose : les tests portent sur un nombre restreint de plateformes et de scénarios, et ne couvrent pas les architectures VLA de bout en bout (type Pi-0 ou Helix), qui n'utilisent pas ce schéma de planification par API. Ces travaux s'inscrivent dans une série de recherches sur les jailbreaks de robots, qui ont montré que des LLM embarqués pouvaient être poussés à générer des plans dangereux, sans toujours démontrer leur exécution. POEF fait passer l'évaluation de l'intention à l'effet physique mesuré. Le calendrier du secteur rend l'enjeu concret : les humanoïdes à planificateur LLM, de Unitree à Figure ou Tesla, avancent vers des pilotes industriels, et les auteurs jugent urgent de renforcer les contre-mesures avant tout déploiement à grande échelle. Aucun acteur européen n'est cité, mais les exigences du règlement européen sur l'IA et des normes de sécurité machine pourraient faire de ce type de red teaming un passage obligé. Les prochaines étapes probables sont des tests sur davantage de plateformes et sur les VLA, ainsi qu'une évaluation indépendante des deux défenses proposées.

UECe type de red teaming pourrait devenir un passage obligé pour la conformité des robots à LLM au règlement européen sur l'IA et aux normes de sécurité machine, mais aucun acteur européen n'est impliqué.

RechercheOpinion
1 source
Filtrage de sécurité multi-liens pour les politiques VLA autour d'obstacles mobiles
19arXiv cs.RO 

Filtrage de sécurité multi-liens pour les politiques VLA autour d'obstacles mobiles

Une politique vision-langage-action (VLA) peut mener à bien une tâche de manipulation tout en renversant des objets sans rapport avec elle, si bien que le taux de réussite seul ne dit rien de la sécurité en environnement encombré. Une équipe publiant sur arXiv propose un « bouclier » sans entraînement, qui s'ajoute à une politique VLA préentraînée sans la réentraîner. Il protège le gripper, le poignet et l'avant-bras avec cinq ellipsoïdes, et filtre chaque mouvement commandé par un seul programme de barrière, face à un ellipsoïde d'exclusion ajusté à partir d'une image RGB-D au reset. Un flux optique épars déplace ensuite le centre de cet ellipsoïde avec le danger, sans nouvelle détection ni nouvel ajustement. Sur six conditions simulées de mouvement du danger, la collision passe de 65,62 % à 27,27 % et le « safe-success » (tâche accomplie sans collision) de 29,35 % à 50,43 %. Sur matériel embarqué hétérogène, la barrière à cinq ellipsoïdes tourne sur CPU en 2,2 ms au 99e centile. L'élagage du préfixe vision-langage et la réduction des étapes de flow matching ramènent chaque appel à la politique π0.5 de 343 à 177,3 ms sur GPU intégré. Sur un bras physique SO-101, quatre tâches : le bras a touché le danger dans 3 épisodes protégés sur 16, contre 11 sur 16 sans bouclier. L'intérêt tient à ce que ce travail s'attaque à un angle mort de l'évaluation des VLA : les benchmarks mesurent la complétion de tâche, pas les dégâts collatéraux, et un taux de réussite élevé peut masquer un comportement inacceptable dans un atelier ou une cuisine réels. Le résultat montre aussi qu'une couche de sécurité peut s'ajouter à un modèle figé, ce qui évite de reprendre un entraînement coûteux, et qu'elle tient dans le budget de calcul d'un système embarqué. Les ablations indiquent que protéger uniquement l'effecteur final est insuffisant, et que le suivi du danger récupère l'essentiel de la protection perdue quand son estimation reste figée au reset. Pour un intégrateur, c'est un argument concret en faveur de filtres de sécurité modulaires plutôt que d'une sécurité « apprise » dans la politique. Il faut toutefois relativiser. Une collision résiduelle de 27 % en simulation reste élevée pour un déploiement industriel, et l'essai réel ne porte que sur 16 épisodes par condition, un échantillon trop mince pour une conclusion statistique ferme. Le danger y est modélisé par un seul ellipsoïde, ce qui limite la portée face à des obstacles multiples ou déformables. Ces résultats s'inscrivent dans la lignée des fonctions de barrière de contrôle (CBF) appliquées à la manipulation, désormais greffées sur des politiques génératives comme π0.5 de Physical Intelligence. Le SO-101, bras open source à bas coût issu de l'écosystème LeRobot de Hugging Face, rend l'approche reproductible par de petites équipes. La suite logique serait une validation sur des bras industriels et des obstacles multiples, sans calendrier annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
TACTIC : comprendre les encodeurs tactiles et le conditionnement pour les politiques de manipulation robotique en contact riche
20arXiv cs.RO 

TACTIC : comprendre les encodeurs tactiles et le conditionnement pour les politiques de manipulation robotique en contact riche

Une équipe de recherche en robotique publie une étude comparative à grande échelle sur les encodeurs tactiles utilisés dans les politiques de manipulation robotique riches en contacts, dans un article intitulé « TACTIC: Understanding Tactile Encoders and Conditioning for Contact-rich Robot Manipulation Policies », mis en ligne sur arXiv sous la référence 2609.30969v1. Les auteurs comparent plusieurs architectures d'encodeurs tactiles fondées sur des capteurs tactiles à vision (des capteurs qui traduisent la déformation au contact en image, permettant de réutiliser directement les encodeurs de vision par ordinateur existants), ainsi que différentes stratégies de fusion entre signal visuel et signal tactile. Pour garantir une comparaison rigoureuse, tous les modèles sont entraînés et évalués avec le même pipeline et le même protocole expérimental, sur plus de 2000 essais réels effectués sur robot, couvrant plusieurs tâches de manipulation impliquant un contact physique important avec l'environnement. Le résultat principal contredit l'idée d'une solution universelle : il n'existe pas de représentation ni de stratégie de fusion optimale de manière générale pour encoder conjointement l'information tactile et visuelle, le meilleur choix d'architecture et de schéma de fusion dépendant fortement de la tâche à accomplir. Pour les intégrateurs et les équipes qui développent des politiques de manipulation fondées sur des modèles vision-langage-action ou de l'apprentissage par imitation, ce constat signifie qu'aucune recette standard ne peut être copiée d'un projet à l'autre : le choix de l'encodeur tactile doit être réévalué selon l'application, qu'il s'agisse d'insertion de précision, de manipulation d'objets déformables ou de préhension en aveugle. L'étude rappelle aussi un point méthodologique pour le secteur : les comparaisons menées uniquement en simulation, fréquentes dans la littérature, ne se transposent pas nécessairement au monde réel, où des évaluations à grande échelle restent nécessaires pour obtenir des statistiques fiables. Ce travail s'inscrit dans un contexte où les capteurs tactiles à vision se sont largement diffusés en recherche robotique, justement parce qu'ils permettent de réutiliser des encodeurs de vision déjà matures, ce qui a entraîné une prolifération d'architectures, de jeux de données d'entraînement et de protocoles d'évaluation différents d'un laboratoire à l'autre, rendant les résultats difficiles à comparer. En proposant un protocole commun et une base de plus de 2000 essais réels, les auteurs visent à établir un point de référence partagé pour le domaine, dans la lignée des efforts récents autour des politiques généralistes de manipulation qui cherchent à combiner vision, langage et désormais toucher. L'article ne mentionne ni calendrier de déploiement ni partenaire industriel : il s'agit d'une contribution de recherche destinée à orienter les choix de conception futurs, pas d'un produit prêt à déployer.

RecherchePaper
1 source
Imp-ACT : contrôle d'impédance adaptatif et segmentation d'action par transformers pour la manipulation en contact
21arXiv cs.RO 

Imp-ACT : contrôle d'impédance adaptatif et segmentation d'action par transformers pour la manipulation en contact

Des chercheurs présentent Imp-ACT, une méthode de contrôle robotique pour la manipulation en contact riche, décrite dans une prépublication arXiv (2609.31225v1, non encore relue par les pairs). Le principe consiste à intégrer la modulation de rigidité cartésienne directement dans la phase de collecte de démonstrations par téléopération, plutôt que de fixer cette rigidité au niveau du contrôleur comme le font la plupart des politiques vision-action actuelles. Un contrôleur d'impédance auto-ajustable adapte la rigidité selon la direction instantanée du mouvement tout en conservant de la souplesse dans les directions orthogonales, sans sélection manuelle ni reconstruction de cible hors ligne. Cette rigidité adaptée est enregistrée en même temps que les observations visuelles, proprioceptives et de force, puis utilisée pour entraîner une architecture Action Chunking with Transformer (ACT) qui prédit conjointement la pose de l'effecteur, l'action du gripper et la rigidité directionnelle. Sur deux tâches test, essuyage de surface et insertion de fiche, Imp-ACT égale ou dépasse le taux de réussite de deux références à rigidité fixe (basse et haute), tout en réduisant les forces de contact : la vibration des forces de contact chute d'environ 29 fois par rapport à la référence souple et 180 fois par rapport à la référence rigide lors de l'essuyage, et les forces orthogonales à l'axe d'insertion baissent de 43% par rapport à la meilleure référence à rigidité fixe lors de l'insertion. L'enjeu dépasse la simple démonstration académique : la plupart des politiques d'apprentissage par imitation actuelles séparent l'apprentissage du mouvement de la gestion de la compliance, laissant les intégrateurs choisir manuellement un compromis rigide/souple selon la tâche, un réglage coûteux et rarement optimal pour l'ensemble d'une opération de contact. En montrant qu'une politique unique peut apprendre à moduler sa rigidité en fonction de la direction, à partir de simples démonstrations téléopérées, Imp-ACT suggère une voie pour automatiser ce réglage dans des tâches industrielles sensibles comme l'assemblage, le câblage ou le nettoyage de surfaces, où un excès de rigidité génère des forces dommageables et un excès de souplesse compromet la précision. Le travail s'appuie sur l'architecture ACT, déjà répandue dans l'apprentissage par imitation robotique, et se distingue des politiques généralistes de type VLA en se concentrant spécifiquement sur le sous-problème du contrôle de compliance plutôt que sur la généralisation multi-tâches. Il s'agit à ce stade d'une évaluation de laboratoire sur deux tâches ciblées, sans annonce de déploiement industriel ni de partenariat commercial.

RecherchePaper
1 source
Pince à granulaire renforcée par support pour la préhension par apprentissage par renforcement avec des manipulateurs continuum
22arXiv cs.RO 

Pince à granulaire renforcée par support pour la préhension par apprentissage par renforcement avec des manipulateurs continuum

Un article publié le 25 septembre 2026 sur arXiv sous la référence 2609.29093 décrit un gripper à jamming granulaire renforcé par une structure de support, conçu spécifiquement pour les manipulateurs continuum, ces bras robotiques souples capables de se faufiler dans des espaces confinés. Le dispositif reste compliant tant que le jamming, durcissement obtenu par mise sous vide d'une membrane remplie de particules, n'est pas activé, puis transmet directement les efforts jusqu'à l'extrémité du bras une fois durci. Les auteurs ont testé matériaux de membrane, types de particules, taux de remplissage et structures de support internes, puis cartographié les limites de préhension selon le décalage de contact et la forme des objets. Ils ont assemblé un système complet associant manipulateur continuum, gripper, retour visuel, actionnement par câbles et contrôle pneumatique, puis déployé sur ce système réel un contrôleur d'atteinte entraîné par apprentissage par renforcement en simulation randomisée, pour une tâche de saisie et relâchement d'objets. Aucun chiffre de charge utile, de degrés de liberté ou de cadence n'est communiqué : c'est une démonstration de faisabilité en laboratoire, non un produit. L'enjeu dépasse l'exercice académique. Les manipulateurs continuum intéressent l'inspection en espace confiné et la chirurgie mini-invasive, mais leur souplesse génère hystérésis et déformations dépendantes de la charge qui compromettent le contact fiable avec des pinces rigides classiques. En rendant le gripper lui-même adaptatif, souple avant serrage puis rigide après, les auteurs déplacent une partie de la difficulté de modélisation et de contrôle de position vers la mécanique. C'est une illustration du principe d'intelligence incarnée : la structure physique compense les imperfections du positionnement plutôt que d'exiger un apprentissage capable de combler entièrement l'écart simulation-réel, une piste pour rendre les bras continuum exploitables sans précision submillimétrique. Les pinces à jamming granulaire ne sont pas nouvelles : popularisées au début des années 2010 par des travaux universitaires américains puis commercialisées sous le nom Versaball par Empire Robotics, elles sont connues pour saisir des objets de formes irrégulières sans planification fine. La nouveauté tient à l'adaptation de ce principe, via une structure de support interne, à l'extrémité d'un manipulateur continuum, couplée à un contrôle appris par renforcement plutôt que programmé. Soumis comme nouvel article arXiv, le travail n'a pas encore été relu par les pairs, ne cite aucune entreprise partenaire et ne fixe aucun calendrier de transfert produit.

RecherchePaper
1 source
Portes dérobées dans la manipulation robotique industrielle par apprentissage : une étude de sécurité empirique
23arXiv cs.RO 

Portes dérobées dans la manipulation robotique industrielle par apprentissage : une étude de sécurité empirique

Des chercheurs publient une étude de sécurité empirique sur les attaques par porte dérobée (backdoor) visant les modèles d'apprentissage utilisés pour piloter des bras robotiques industriels, dans un article déposé sur arXiv sous la référence 2609.26868. Les auteurs testent des modèles visuomoteurs et de type Vision-Language-Action (VLA), où les prédictions du réseau se traduisent directement en mouvements physiques, sur deux bras robotiques industriels commerciaux réels, un FANUC et un xArm. L'objectif est de vérifier si une porte dérobée insérée dans le modèle peut déclencher, via un signal déclencheur (trigger) spécifique, des comportements de manipulation sémantiquement incorrects tout en restant indétectable pendant l'exécution normale des tâches, un robot compromis se comportant alors comme un robot sain jusqu'à l'activation du trigger. Face à cette menace, l'équipe développe un pipeline de défense en ligne capable de détecter et neutraliser les déclencheurs en temps réel pendant l'exécution, qu'elle compare à une défense hors ligne fondée sur un réaffinage (fine-tuning) du modèle. Elle mesure aussi la latence de calcul et la surcharge d'exécution introduites par ce pipeline, pour juger de sa compatibilité avec des cadences de production industrielles à haut débit. Le résultat compte parce que les modèles VLA gagnent du terrain dans la manipulation industrielle précisément parce qu'ils transforment une perception en action physique sans étape de vérification intermédiaire, ce qui rend toute vulnérabilité cachée directement conséquente sur le terrain plutôt que confinée à un score de classification. Les attaques par porte dérobée sont bien documentées sur des modèles d'IA classiques, mais leur transposition à des systèmes robotiques réels, physiques, reste peu explorée, alors que l'intégration de ces modèles s'accélère chez les intégrateurs. Pour un décideur industriel, l'étude signale que l'évaluation d'un système de contrôle appris ne peut plus se limiter à la précision ou au temps de cycle : la robustesse face à une manipulation adverse du modèle devient un critère de déploiement à part entière, au même titre qu'un pipeline de supervision runtime. Le travail s'inscrit dans la continuité des recherches sur les backdoors en apprentissage automatique, largement étudiées pour la vision par ordinateur et le traitement du langage, que les auteurs étendent ici au couplage modèle-actionneur sur du matériel commercial réel plutôt que simulé. Il s'agit d'une étude préliminaire, exploratoire, et non d'un produit ou d'un déploiement commercial : aucun partenaire industriel, aucun calendrier de pilote ni chiffrage de coût n'est mentionné. Les auteurs annoncent vouloir approfondir la comparaison entre défense en ligne et hors ligne, en particulier sur l'arbitrage entre efficacité de détection et surcoût de latence acceptable en environnement de production.

RechercheActu
1 source
RoboMP-DINOv2 : des prompts, pas des filtres, pour une manipulation robotique robuste
24arXiv cs.RO 

RoboMP-DINOv2 : des prompts, pas des filtres, pour une manipulation robotique robuste

Des chercheurs ont publié le 23 septembre 2026 sur arXiv (2609.25506) « RoboMP-DINOv2 : Prompts, Not Filters for Robust Robot Manipulation », une méthode d'encodage visuel pour les politiques de manipulation robotique. RoboMP-DINOv2 traite les masques de segmentation comme des prompts spatiaux injectés dans le traitement, plutôt que comme des filtres supprimant l'arrière-plan : le modèle extrait des features denses via DINOv2 sur l'observation complète, ajoute des embeddings spécifiques à la région aux emplacements masqués, puis contextualise conjointement tokens promptes et non promptes pour prédire l'action. Une variante, RoboMP-DINOv2-MCR, ajoute une randomisation de couleur des régions masquées pour renforcer la robustesse à l'apparence. Sur sept environnements de manipulation simulés, le modèle atteint 60,7% de réussite sous décalages spatiaux et 59,7% sous encombrement de scène, contre 50,7% et 41,0% pour une Diffusion Policy basée sur DINOv2. Face à des couleurs d'objets inédites, la variante MCR atteint 72,5% de réussite contre 35,1% pour le meilleur concurrent entraîné avec randomisation de couleur. Le code est publié en open source sur GitHub. Ces résultats répondent à un problème concret pour qui déploie des politiques de manipulation hors laboratoire : les encodeurs de vision généralistes ne sont pas conçus pour le contrôle visuomoteur, tandis que les approches object-centric classiques, qui masquent tout sauf l'objet cible, suppriment le contexte de scène parfois nécessaire à l'action. En montrant qu'un encodeur full-scene guidé par prompts spatiaux surpasse à la fois un backbone générique et les filtres par segmentation sur position, encombrement et couleur, l'étude nuance l'idée reçue selon laquelle la robustesse visuelle passe par l'exclusion d'information. Pour les intégrateurs qui construisent des piles de perception au-dessus de politiques VLA, c'est un signal que le choix de l'encodeur visuel pèse autant que l'architecture de la politique elle-même. Ces gains restent toutefois mesurés uniquement en simulation, sans validation sur robot physique ni comparaison directe à des VLA à grande échelle comme GR00T N2 ou Pi-0. Le travail s'inscrit dans la lignée des politiques de manipulation par imitation construites sur des backbones de vision pré-entraînés, DINOv2 de Meta étant devenu un choix courant en recherche robotique, et prend la Diffusion Policy comme référence de comparaison directe. Il se positionne entre deux familles d'approches existantes, les encodeurs génériques non spécialisés pour le contrôle et les méthodes object-centric à filtrage dur par masque de segmentation. Le code est disponible sur le dépôt GitHub han20192019/RoboMP_DINOv2, ouvrant la voie à des tests sur robot réel et à une intégration dans des piles de politiques plus larges, sans calendrier ni partenaire industriel annoncés pour cette suite.

RecherchePaper
1 source
ForceTwin : jumeaux numériques physiques pour la manipulation robotique à partir d'interactions humaines instrumentées
25arXiv cs.RO 

ForceTwin : jumeaux numériques physiques pour la manipulation robotique à partir d'interactions humaines instrumentées

Des chercheurs ont publié le 21 septembre 2026 sur arXiv (référence 2609.21751) un système baptisé ForceTwin, conçu pour créer des jumeaux numériques d'objets articulés, portes, tiroirs, mécanismes à ressort, intégrant leurs propriétés physiques réelles plutôt que de simples données visuelles. La méthode repose sur une pince instrumentée à capteur de force, manipulée par un humain, qui enregistre simultanément positions et forces d'interaction. Ces données permettent d'estimer l'articulation de l'objet et ses paramètres dynamiques : inertie, friction de Coulomb, amortissement visqueux, plus un résidu neuronal structuré capturant les forces de mécanisme dépendantes de l'état, comme un ressort ou un ferme-porte. ForceTwin réduit de près de moitié l'erreur d'estimation des paramètres inertiels par rapport à une méthode s'appuyant sur un modèle vision-langage (VLM) comme a priori. Intégré comme modèle dynamique feedforward dans un contrôle en impédance, le système a été testé sur un robot quadrupède Spot (Boston Dynamics) et un bras Franka FR3 (Franka Robotics, Allemagne), atteignant 87% de réussite sur neuf paires objet-robot, contre 60% pour l'approche VLM et 57% pour un jumeau purement cinématique. Les jumeaux identifiés ont ensuite servi à entraîner des politiques de franchissement de porte en corps entier, déployées en conditions réelles. Cette approche cible un angle mort des pipelines actuels de jumeaux numériques, qui se contentent souvent d'inférer la géométrie et d'assigner des paramètres physiques statiques à partir d'a priori visuels ou textuels, une méthode pouvant produire des estimations physiquement incohérentes : deux portes visuellement identiques peuvent demander un effort de manipulation très différent, une nuance invisible pour un modèle vision-langage mais critique pour un robot devant réellement pousser, tirer ou tourner un mécanisme. Pour les intégrateurs et les équipes R&D en manipulation robotique, l'écart de performance observé, particulièrement marqué sur les objets à mécanisme fort où les deux méthodes de référence calent, indique que la modélisation physique fine reste un verrou plus contraignant que la perception ou la planification pour la manipulation d'objets articulés en environnement réel. Cela nuance l'idée selon laquelle les modèles vision-langage-action suffiraient à généraliser la manipulation sans modèle physique explicite du mécanisme manipulé. ForceTwin s'inscrit dans la lignée des travaux sur les jumeaux numériques articulés en robotique, où la difficulté centrale est de capturer la dynamique sans instrumenter lourdement chaque objet du monde réel. Le système se positionne explicitement contre deux références répandues dans la littérature et les pipelines industriels de simulation : l'estimation par a priori vision-langage et les jumeaux purement cinématiques. La validation a été menée sur du matériel commercial existant, Spot et Franka FR3, plutôt que sur des plateformes propriétaires fermées, ce qui facilite une reproductibilité potentielle par d'autres laboratoires. La suite annoncée porte sur le déploiement de politiques de franchissement de porte en corps entier, une tâche souvent citée comme test de référence pour la mobilité et la manipulation combinées chez les robots humanoïdes et quadrupèdes équipés de bras.

UELe bras robotique Franka FR3 utilisé pour valider le système est produit par l'entreprise allemande Franka Robotics, seul lien concret de cette recherche avec l'écosystème européen.

RecherchePaper
1 source
Empaquetage dense automatique d'objets irréguliers adapté à la pince
26arXiv cs.RO 

Empaquetage dense automatique d'objets irréguliers adapté à la pince

Publiée le 21 septembre 2026 sur arXiv (2609.22062v1), l'étude « Gripper-Aware Automatic Dense Packing of Irregular Objects » présente un pipeline en boucle fermée pour l'emballage dense automatique d'objets irréguliers, testé sur un bras Franka Emika Panda. L'optimiseur modélise l'objet et la pince comme un seul corps composite en arbres de sphères, et recherche la meilleure pose sur cinq degrés de liberté via un algorithme CMA-ES exécuté sur GPU, la hauteur de dépose étant déduite du relief mesuré du conteneur. Une descente surveillée par capteur de force s'arrête au premier contact, puis une poussée de consolidation referme le jeu latéral résiduel, le conteneur étant reperçu entre chaque dépose pour éviter toute dérive accumulée. Validé sur des objets imprimés en 3D aux formes plates, courbes et concaves ainsi que sur un sous-ensemble d'objets YCB, le système est évalué par une étude d'ablation mesurant l'apport de chaque composant sur la réussite, la densité atteinte et le coût de calcul. Le résultat comble un angle mort classique du packing robotique : les travaux antérieurs traitent souvent l'objet comme un corps rigide isolé, réduisent la pince à un simple test de faisabilité après coup, et ignorent les erreurs de perception et de contact qui s'accumulent en conditions réelles. En intégrant le gripper dès l'optimisation et en fermant la boucle par retour de force, les auteurs réduisent l'écart entre démonstration simulée et exécution réelle, un enjeu central pour tout intégrateur logistique visant l'automatisation du remplissage dense de bacs avec des objets non standardisés. Le benchmark contre une méthode de minimisation de heightmap, représentative des approches antérieures, offre un point de comparaison quantifié plutôt qu'une simple annonce marketing. Le travail s'inscrit dans la recherche en manipulation robotique pour la logistique d'entrepôt, où le remplissage dense reste largement non résolu malgré des années de travaux en simulation. À la différence des pipelines qui traitent la pince comme un simple filtre de faisabilité ajouté en fin de chaîne, cette contribution se distingue par sa validation matérielle complète sur un Franka Emika Panda, plateforme académique de référence. Il s'agit d'un preprint arXiv non encore revu par les pairs, sans industrialisation, partenariat ni calendrier de déploiement annoncés à ce stade. Les extensions naturelles porteraient sur une plus grande diversité d'objets, des cadences de production plus élevées et des grippers industriels multi-doigts, au-delà du bras Panda utilisé pour cette preuve de concept.

UELe système est valide sur un bras Franka Emika, fabricant européen de robotique, mais aucun déploiement, partenariat ou impact réglementaire n'est annonce en France ou en UE.

RecherchePaper
1 source
Conception de pinces souples par graphes : optimisation multi-objectifs qualité-diversité
27arXiv cs.RO 

Conception de pinces souples par graphes : optimisation multi-objectifs qualité-diversité

Une équipe de recherche en robotique propose une nouvelle méthode de conception pour les préhenseurs souples (soft grippers), détaillée dans un article publié sur arXiv le 18 septembre 2026 (arXiv:2609.20087v1). L'approche repose sur deux éléments combinés : un espace de conception représenté sous forme de graphe, capable de décrire des structures et mécanismes en mécanique des milieux continus, et un algorithme génétique multi-objectif dit de "quality-diversity", conçu pour maintenir une variété de solutions tout au long du processus d'optimisation plutôt que de converger vers un seul design optimal. Les chercheurs ont testé leur méthode en faisant varier le nombre et la nature des scénarios de préhension utilisés pendant l'optimisation, afin d'observer si l'exposition à des tâches diversifiées permet aux préhenseurs générés de généraliser à des objets et conditions de contact inédits. Résultat rapporté : les designs optimisés sur un ensemble suffisamment diversifié de cas de préhension font émerger une capacité de généralisation, avec une robustesse supérieure sur des scénarios nouveaux comparée à des préhenseurs conçus pour une tâche unique. Ce travail s'attaque à un problème central pour l'industrialisation de la robotique souple : la difficulté à produire des préhenseurs qui ne soient pas simplement performants sur le cas d'usage pour lequel ils ont été calibrés, mais réutilisables sur une gamme large d'objets, un enjeu direct pour l'automatisation agricole, la manipulation en laboratoire ou les applications domestiques. Si les résultats se confirment à plus grande échelle, cela suggère une voie méthodologique pour concevoir des organes terminaux plus polyvalents sans multiplier les designs sur mesure, un point clé pour les intégrateurs qui cherchent à réduire les coûts d'ingénierie liés au changement de tâche. Le papier s'inscrit dans la lignée des recherches sur la robotique souple, où la compliance mécanique intrinsèque des matériaux facilite la préhension d'objets variés mais complique la conception rationnelle, faute de modèles simples pour un espace de solutions en mécanique des milieux continus jugé très vaste. En structurant cet espace via des graphes et en pilotant l'optimisation par la diversité plutôt que par la seule performance, les auteurs positionnent leur méthode comme une alternative aux approches de conception spécifiques à une tâche, ouvrant la voie à des travaux futurs sur la validation physique de ces préhenseurs générés algorithmiquement.

RecherchePaper
1 source
GraphPoint : graphes d'entités sémantiques et trajectoires de points pour la manipulation robotique compositionnelle
28arXiv cs.RO 

GraphPoint : graphes d'entités sémantiques et trajectoires de points pour la manipulation robotique compositionnelle

Un article déposé sur arXiv (référence 2609.18358) début septembre 2026 présente GraphPoint, une méthode de manipulation robotique associée à un nouveau benchmark baptisé CoMani. Le travail part d'un constat répandu en robotique : les politiques de manipulation entraînées par apprentissage peinent à généraliser au-delà de leurs démonstrations, même quand une nouvelle instruction combine des objets et des comportements déjà vus séparément. Les auteurs expliquent que lorsque langage et scène visuelle sont trop fortement corrélés pendant l'entraînement, la politique finit par mémoriser un mapping visuo-moteur fixe au lieu de réellement suivre l'instruction donnée. CoMani propose des scènes initiales appariées et des variations contrôlées portant sur un seul facteur sémantique à la fois, afin de forcer les modèles évalués à s'appuyer sur le langage plutôt que sur des raccourcis visuels. Deux niveaux de généralisation compositionnelle sont testés : à l'intérieur d'une sous-tâche, en recombinant entités, types d'action et modificateurs déjà connus, et entre sous-tâches, en réutilisant des comportements appris dans des tâches longues et inédites. GraphPoint, la méthode proposée, relie des graphes d'entités sémantiques à un contrôle géométrique en prédisant la trajectoire future du point de préhension du gripper, convertie ensuite en commandes moteur via la géométrie du robot ; le gripper et les objets sont organisés par rôles sémantiques et leurs interactions conditionnées par le type et le modificateur d'action demandés, tandis qu'une estimation de progression guide les transitions entre étapes. L'enjeu dépasse la seule démonstration technique : il touche directement le problème de l'écart entre performance affichée sur des tâches déjà vues et robustesse réelle en usage, un point sensible pour tout intégrateur évaluant une politique vision-langage-action avant déploiement industriel. En isolant précisément si un modèle suit l'instruction ou reconnaît simplement une scène mémorisée, CoMani offre aux équipes de recherche un outil de diagnostic plus rigoureux que les démonstrations vidéo sélectionnées qui dominent souvent la communication du secteur autour des capacités de généralisation. Le papier s'inscrit dans la vague récente de benchmarks cherchant à mesurer la généralisation compositionnelle des politiques de manipulation plutôt que leur seule réussite sur des tâches figées. Les auteurs indiquent que le code sera publié en accès libre sous le nom GraphPoint, sans préciser de calendrier ni d'institution porteuse. Aucun partenariat industriel, déploiement réel ou chiffre de performance chiffré au-delà des résultats d'ablation sur CoMani n'est mentionné à ce stade, ce qui situe cette publication au stade de la recherche amont plutôt que du produit commercialisable.

RecherchePaper
1 source
DropVLA : une attaque par porte dérobée au niveau des actions sur les modèles vision-langage-action
29arXiv cs.RO 

DropVLA : une attaque par porte dérobée au niveau des actions sur les modèles vision-langage-action

Des chercheurs présentent DropVLA, une attaque de type backdoor visant les modèles Vision-Language-Action (VLA), ces systèmes qui traduisent perception multimodale et instructions en langage naturel en commandes robotiques exécutables. Contrairement aux attaques précédentes qui perturbaient la tâche entière, DropVLA cible une action précise : forcer un primitive réutilisable (par exemple open_gripper) à s'exécuter à un instant choisi par l'attaquant, en n'empoisonnant qu'une fraction infime des données d'entraînement. Testée sur OpenVLA-7B avec la suite d'évaluation LIBERO, une contamination purement visuelle atteint un taux de réussite de l'attaque (ASR) de 98,67 à 99,83% avec seulement 0,31% d'épisodes empoisonnés, tout en conservant 98,50 à 99,17% de performance sur les tâches normales. L'action ciblée se déclenche en moins de 25 pas de contrôle à 500 Hz, soit 0,05 seconde. Les déclencheurs textuels seuls s'avèrent instables à faible budget d'empoisonnement (0,72% d'ASR) et leur combinaison avec le visuel n'apporte aucun gain constant. Les auteurs valident aussi la faisabilité en environnement physique sur un bras Franka à 7 degrés de liberté (DoF) piloté par pi0-fast, malgré la dérive du déclencheur dans le plan image due au mouvement relatif de la caméra. Ce résultat est significatif pour l'industrie robotique car il expose une vulnérabilité de sécurité critique dans une classe de modèles de plus en plus déployée comme couche de contrôle générique pour des bras manipulateurs et humanoïdes. Que le backdoor reste indétectable sur les métriques de performance nominale tout en atteignant une fiabilité proche de 100% avec une contamination minime remet en question la confiance accordée aux pipelines d'entraînement VLA, notamment quand les données proviennent de sources tierces ou de démonstrations crowdsourcées. Pour les intégrateurs et décideurs B2B qui envisagent de déployer des VLA sur des tâches physiques sensibles (préhension, assemblage, environnements partagés avec des humains), cela souligne l'urgence d'audits de la chaîne de données et de mécanismes de détection de déclencheurs avant mise en production, un sujet jusqu'ici largement éclipsé par les annonces de performance de modèles comme Pi-0, GR00T N2 ou Helix. Ce travail s'inscrit dans une littérature émergente sur les attaques adverses ciblant les modèles fondation robotiques, qui jusqu'ici se concentrait sur des attaques non ciblées ou un détournement au niveau de la tâche globale plutôt que sur le contrôle fin d'actions individuelles. La méthode s'appuie sur un schéma de réétiquetage cohérent par fenêtre temporelle, adapté au fine-tuning par blocs d'actions (chunked fine-tuning), dans un cadre réaliste où l'attaquant n'a qu'un accès limité à l'empoisonnement des données et traite le pipeline comme une boîte noire. Le backdoor résiste à des variations modérées du déclencheur et se transfère entre suites d'évaluation (96,27% et 99,09% d'ASR), renforçant l'idée qu'il exploite une faiblesse structurelle plutôt qu'un artefact spécifique au benchmark. Les auteurs ne mentionnent pas de contre-mesure déployée à ce stade, laissant la détection et la défense contre ce type d'attaque comme prochaine étape ouverte pour la communauté.

UECette vulnérabilité concerne directement les intégrateurs européens qui envisagent de déployer des VLA en environnement industriel ou partage avec des humains, dans un contexte ou l'AI Act impose des exigences de robustesse pour les systèmes a haut risque.

RechercheActu
1 source
De la locomotion à la manipulation : la préhension arrive dans la robotique magnétique
30arXiv cs.RO 

De la locomotion à la manipulation : la préhension arrive dans la robotique magnétique

Des chercheurs publient sur arXiv (2609.12883v1) le Gripper MagBot, un manipulateur parallèle à 6 degrés de liberté doté d'une pince à 1 degré de liberté, conçu pour les systèmes de lévitation magnétique (MagLev) utilisés en fabrication à haut mix et faible volume. Le dispositif couple mécaniquement trois « movers » (chariots magnétiques) circulant sur le plateau MagLev, avec deux configurations possibles, un mode par défaut et un mode single-track, selon le compromis entre stabilité et encombrement. Il peut être déposé et récupéré de façon autonome via une station d'accueil, pour reconfigurer une ligne sans intervention manuelle. Les auteurs démontrent des séquences de préhension et dépose en simulation et sur un prototype réel, piloté par un contrôleur de cinématique inverse maison. Fichiers CAO, instructions de montage, liste de composants et vidéos sont publiés en libre accès. Ce travail comble un angle mort des systèmes MagLev, aujourd'hui cantonnés au transport de pièces sur des lignes reconfigurables, sans capacité de manipulation embarquée : saisir ou orienter une pièce impose encore d'ajouter un bras robotique industriel dédié, coûteux et contraire à la flexibilité recherchée. En intégrant la préhension directement sur les movers, sans équipement fixe supplémentaire, l'approche promet de réduire le coût matériel et d'accélérer la reconfiguration des cellules, un argument pour les intégrateurs cherchant à limiter les arrêts entre séries. Il s'agit cependant d'un prototype low-cost démontré en laboratoire, pas d'un produit commercialisé ni déployé en usine ; les cadences et la robustesse restent loin de celles attendues sur une ligne réelle. Les plateaux MagLev équipent déjà des lignes d'assemblage électronique, pharmaceutique ou d'emballage pour leur capacité à faire circuler de nombreux chariots indépendants sans convoyeur mécanique dédié, mais leur usage restait limité au déplacement, la manipulation fine étant confiée à des équipements tiers. En publiant l'intégralité de la conception en accès libre, les auteurs visent une brique reproductible par d'autres laboratoires et intégrateurs plutôt qu'une preuve de concept fermée. L'abstract ne précise ni l'institution porteuse ni de calendrier de déploiement industriel ; la validation sur des cadences et charges utiles représentatives d'un environnement de production reste la suite logique.

RecherchePaper
1 source
FolDeX : un benchmark en conditions réelles pour la manipulation robotique longue durée d'objets déformables
31arXiv cs.RO 

FolDeX : un benchmark en conditions réelles pour la manipulation robotique longue durée d'objets déformables

FolDeX, benchmark présenté dans un article arXiv publié le 10 septembre 2026, évalue la manipulation robotique longue durée d'objets déformables à partir de données collectées exclusivement sur robots réels, avec le pliage de vêtements comme tâche principale. Le jeu de données compte plus de 2000 heures d'expérience physique, plus de 20 tâches et plus de 10 types de robots différents. Il s'organise autour de quatre axes : réutilisation des interventions humaines et des récupérations effectuées en déploiement, transfert de données entre tâches (du rigide au déformable, entre catégories de vêtements), réutilisation entre scènes avec éclairage, arrière-plan et agencement variables, et transfert entre plateformes robotiques. Une plateforme d'évaluation publique, hébergée sur ai.midea.com/#/fold-challenge par le groupe chinois Midea, permet de soumettre des politiques externes selon un protocole standardisé, avec objets tenus à l'écart de l'entraînement et initialisations contrôlées. Le projet cible l'écart bien connu entre simulation et monde réel dans l'IA incarnée : les modèles vision-langage-action et monde-action qui réussissent en simulation se dégradent souvent sur robot physique, en particulier sur des séquences longues et bimanuelles exigeant un suivi continu de l'état de l'objet. Les benchmarks existants couvrent surtout des tâches courtes sur objets rigides, laissant un vide pour juger la fiabilité réelle des politiques généralistes à grande échelle. En imposant un protocole externe avec objets et initialisations non divulgués à l'avance, FolDeX limite le risque de démonstrations sélectionnées, fréquentes dans les annonces du secteur humanoïde, et donne aux intégrateurs un moyen concret de vérifier si la manipulation fine tient hors des vidéos contrôlées. FolDeX s'inscrit dans la course actuelle à l'IA incarnée généraliste, aux côtés d'approches comme Figure 03 et Helix chez Figure AI, Optimus Gen 3 chez Tesla, la famille Pi-0 chez Physical Intelligence ou GR00T N2 chez Nvidia. Contrairement à ces annonces produits, il s'agit d'un outil de recherche ouvert, non d'un robot ou d'un modèle commercial livré. Son hébergement par Midea, groupe chinois de l'électroménager également actionnaire majoritaire de l'allemand Kuka dans la robotique industrielle, traduit l'intérêt croissant des fabricants asiatiques pour la manipulation d'objets souples, un enjeu clé pour le textile ou la logistique. La plateforme est déjà accessible pour des soumissions externes, sans calendrier de résultats ni classement encore communiqué.

UELe fabricant allemand Kuka, actionnaire majoritaire détenu par Midea, est indirectement associe a cette initiative qui pourrait intéresser les intégrateurs européens de robotique industrielle pour le textile et la logistique.

RecherchePaper
1 source
Les capteurs de pression peuvent améliorer la précision de préhension des robots
32Robotics Business Review 

Les capteurs de pression peuvent améliorer la précision de préhension des robots

Dans la robotique industrielle, l'échec d'une prise ne vient presque jamais d'un manque de force mécanique mais d'une méconnaissance de ce qui se passe réellement au contact entre les doigts et l'objet. XELA Robotics illustre cette approche avec son gripper UMI équipé de capteurs uSkin, capables de restituer une visualisation en temps réel des données tactiles. Concrètement, ces capteurs de pression ne mesurent pas une force globale mais une contrainte mécanique distribuée au niveau de l'interface de contact, via des films piézorésistifs, des couches capacitives ou des structures microfluidiques intégrées dans des coussinets de doigts souples. Cette distinction compte en pratique : à courant moteur et déplacement de doigt identiques, un gripper obtient des répartitions de pression très différentes selon qu'il saisit une pièce métallique rigide, qui concentre la charge sur quelques points, ou un carton fragile, qui peut s'affaisser de façon asymétrique bien avant qu'un changement significatif n'apparaisse dans le retour de couple moteur. Ce signal de pression est capté dès les premières millisecondes du contact, dans des applications comme le bin picking, le kitting ou la manipulation de pièces mixtes. Pour les intégrateurs et décideurs industriels, l'enjeu est de taille : ce signal précoce permet à la commande de basculer du contrôle de mouvement vers le contrôle d'interaction avec moins de dépassement et un meilleur timing, ce qui réduit les échecs de prise sans nécessiter une architecture de capteurs lourde. L'article distingue clairement trois familles de capteurs souvent confondues. Le capteur force-couple au poignet donne une mesure globale mais ne peut pas détecter qu'un doigt glisse pendant qu'un autre est en surcharge, la moyenne au poignet restant stable. Les capteurs tactiles offrent une résolution spatiale plus riche, avec parfois de véritables cartes de contact, mais au prix d'une complexité et d'un coût plus élevés et d'un traitement de données plus dense. Les capteurs de pression se positionnent entre ces deux extrêmes : assez locaux pour détecter une charge inégale sur un coussinet, assez simples pour s'intégrer dans des grippers industriels réels sans saturer le système de commande. Dans la plupart des déploiements, la pression ne remplace donc pas la force ni le tactile, elle stabilise la couche intermédiaire où se prennent la majorité des décisions de préhension. Le placement des capteurs à l'intérieur du gripper n'est pas un détail mécanique mais définit le problème de contrôle à résoudre. Intégrés dans des coussinets en élastomère, ils offrent une mesure de contact directe mais avec un filtrage mécanique dû à la déformation de la couche souple avant la réaction du capteur, une configuration privilégiée pour une manipulation délicate. Placés derrière une surface de contact rigide avec une fine interface souple, ils gagnent en durabilité et en résistance à l'usure, au prix d'une sensibilité réduite à la microtexture et à l'amorce de glissement, un compromis particulièrement discuté pour les applications de pick-and-place à haute cadence.

IndustrielPaper
1 source
Vider les bacs jusqu'au bout : une approche hybride hiérarchique à auto-apprentissage des points de préhension pour le bin-picking industriel
33arXiv cs.RO 

Vider les bacs jusqu'au bout : une approche hybride hiérarchique à auto-apprentissage des points de préhension pour le bin-picking industriel

Des chercheurs décrivent, dans un article arXiv (2608.28175v1), une méthode hybride hiérarchique a quatre niveaux pour le bin-picking industriel, visant le vidage complet d'un bac de pièces sans intervention humaine. Le système associe un pipeline model-based, qui sert de colonne vertébrale robuste, a un "exploration agent" model-free charge de résoudre les blocages quand les prises prédéfinies sont occultées ou que la perception échoue, et de découvrir de nouveaux points de préhension. Un module d'auto-apprentissage en ligne exploite le retour de course de la pince (gripper-stroke feedback) et des intervalles de Wilson score pour classer automatiquement les candidats de prise, sans réglage manuel préalable. Teste sur trois pièces automobiles, le système fait passer le taux de vidage complet du bac de 50,9% pour la baseline model-based seule a 100% sur l'ensemble des expériences, tout en surpassant une baseline purement model-free en taux de réussite de prise. Le problème cible est classique et couteux en usine: les méthodes model-based, précises, se bloquent des qu'une prise attendue est cachée ou mal perçue, et demandent un réglage manuel long des points de préhension a chaque nouvelle référence, tandis que les approches model-free, flexibles des la sortie de boite, manquent de la fiabilité et de la répétabilité exigées en production. En combinant les deux logiques plutôt qu'en les traitant séparément, comme le faisaient les travaux antérieurs, l'approche vise a réduire la commission manuelle et a atteindre un vidage total et répétable des bacs, une étape présentée comme significative vers une opération industrielle autonome. Pour les intégrateurs, le saut de 50,9% a 100% sur des pièces automobiles est notable, mais reste a confirmer sur un eventail plus large de géométries et de volumes, la validation actuelle se limitant a trois références de test. Le bin-picking demeure l'un des défis récurrents de la robotique industrielle, car il melange perception en environnement encombre, planification de prise et gestion de cas limites que les données d'entrainement ne couvrent jamais complètement; le secteur automobile, avec ses pièces métalliques variées et ses cadences élevées, en est un banc d'essai habituel. L'article, classe comme nouvelle publication arXiv, ne mentionne ni industriel partenaire ni calendrier de déploiement commercial: il s'agit a ce stade d'une contribution de recherche non revue par les pairs, positionnée face aux méthodes model-based et model-free existantes plutôt que face a des produits commerciaux nommes. Les suites logiques, non détaillées dans le résume, porteraient sur l'extension a davantage de types de pièces et sur des essais en conditions de production réelles.

RecherchePaper
1 source
Comment Locus s'attaque à la préhension, l'un des plus grands défis de la robotique
34Robotics Business Review 

Comment Locus s'attaque à la préhension, l'un des plus grands défis de la robotique

Locus Robotics, spécialiste des robots mobiles autonomes (AMR) crédité de plus de 6 milliards de picks réalisés en entrepôt, s'attaque désormais à la préhension robotique. L'entreprise était entrée sur ce marché en mars 2025 avec Array, un manipulateur mobile équipé d'un bras de picking guidé par vision et d'une ventouse standard. Plus d'un an après, Locus a racheté Nexera Robotics, société basée à Vancouver connue pour sa technologie de préhension NeuraGrasp, des pinces souples capables de saisir aussi bien de petits contenants que des sacs en polybag poreux ou des articles en tissu. Selon Roy Belak, ancien PDG de Nexera et désormais vice-président senior en charge de la préhension robotique chez Locus, NeuraGrasp en était déjà à sa sixième génération de produit au moment de la rencontre entre les deux entreprises, lors du salon MODEX en 2025. Locus avait alors déjà largement avancé le développement d'Array, mais l'architecture existante, alimentation pneumatique et électrique notamment, s'est révélée compatible avec l'intégration de la technologie Nexera. Belak n'a pas communiqué de calendrier précis, mais anticipe que la prochaine présentation publique d'Array intégrera NeuraGrasp. Cette acquisition illustre un enjeu central pour l'industrie de la logistique automatisée: la préhension universelle reste le principal goulot d'étranglement du picking robotisé, bien plus que la navigation ou la localisation, déjà largement maîtrisées par les AMR. D'après Belak, la ventouse seule couvre 60 à 70% des cas d'usage en entrepôt, mais échoue sur les 30 à 40% restants, articles déformables, poreux ou irréguliers, qui nécessitent une approche hybride combinant succion et pince. Pour les intégrateurs et décideurs B2B, ce mouvement confirme une tendance de fond du secteur: la préhension pinch gagne du terrain face à la succion pure pour atteindre des taux de couverture élevés sur des catalogues de SKU hétérogènes. Il s'agit toutefois pour l'instant d'une annonce de feuille de route et non d'un déploiement massif: Array circule encore chez les premiers clients avec sa ventouse d'origine, et les données d'usage nécessaires pour optimiser NeuraGrasp à grande échelle restent à collecter. Le rapprochement s'inscrit dans la course plus large à la manipulation robotique généraliste en entrepôt, où plusieurs acteurs développent des grippers universels ou des bras dotés de modèles vision-langage-action pour élargir la couverture SKU au-delà de la ventouse classique. Nexera apportait des années de R&D sur ses effecteurs souples mais cherchait un partenaire capable d'industrialiser et déployer sa technologie à grande échelle, un besoin auquel répond directement le réseau client de Locus, où une longue liste d'entreprises attend déjà l'accès à Array. Belak décrit une fenêtre d'opportunité étroite: un an de retard supplémentaire dans l'acquisition aurait rendu l'intégration technique beaucoup plus difficile compte tenu de l'avancement du développement d'Array. Les prochaines étapes attendues sont l'intégration effective de NeuraGrasp dans les unités Array déployées, la remontée de données terrain permettant d'affiner les algorithmes de préhension, puis une diffusion progressive de la technologie combinée auprès des clients existants et futurs de Locus.

IndustrielActu
1 source
Détection multimodale relaxation-consciente pour pince souple pilotée par structure-perception-apprentissage
35arXiv cs.RO 

Détection multimodale relaxation-consciente pour pince souple pilotée par structure-perception-apprentissage

Un article publié sur arXiv (arXiv:2608.26622v1, août 2026) présente une pince robotique souple à raideur variable qui combine caméra et thermographie infrarouge embarquées pour suivre en temps réel sa déformation et le champ de température au point de contact. Ces mesures alimentent un modèle d'apprentissage informé par la physique, qui reconstruit et compense la décroissance de force due à la relaxation viscoélastique des polymères pendant la tenue d'un objet. Lors d'un test de préhension et maintien de 280 secondes à force contrôlée, le système conserve la force cible avec une erreur absolue moyenne de 0,066 newton, contre des résultats inférieurs de 80% pour une pince à ouverture fixe et de 95% pour une méthode fondée sur la seule mesure instantanée. L'enjeu est concret pour les intégrateurs qui manipulent des objets fragiles ou irréguliers : la compliance des matériaux souples assure un contact sûr, mais leur viscoélasticité fait chuter la force de serrage au fil du temps, un défaut connu qui limite la fiabilité des pinces souples au-delà de quelques secondes de préhension. En associant perception optique et thermique continue à une compensation par apprentissage, l'étude illustre une co-conception mécanisme-IA où le matériel fixe les interactions possibles et le logiciel absorbe l'incertitude résiduelle, sans recourir à des capteurs de force dédiés et coûteux. Il s'agit néanmoins d'un résultat de laboratoire validé sur une seule tâche, et non d'une pince commercialisée. La démarche s'inspire de la préhension humaine, qui associe régulation de raideur selon la phase de saisie et retour sensoriel continu, un mécanisme que la robotique souple cherche à reproduire pour dépasser les limites des pinces rigides classiques. La relaxation de contrainte des matériaux viscoélastiques reste un frein connu à l'adoption des grippers souples en logistique et en manipulation fine, où les approches existantes se limitent le plus souvent à une ouverture fixe ou à une mesure de force instantanée, les deux baselines dépassées ici. L'article ne mentionne aucune affiliation industrielle ni calendrier de transfert produit : il s'agit d'une contribution de recherche fondamentale, sans pilote ni déploiement annoncé à ce stade.

RecherchePaper
1 source
Koala Gripper : concevoir ensemble pinces robotiques et dispositifs de capture de données pour l'apprentissage de la manipulation dextérique
36arXiv cs.RO 

Koala Gripper : concevoir ensemble pinces robotiques et dispositifs de capture de données pour l'apprentissage de la manipulation dextérique

Le RAI Institute (Robotics and AI Institute, ex-Boston Dynamics AI Institute) a publié en août 2026 sur arXiv (2608.20546) un article présentant Koala Gripper, un dispositif portatif de capture de données conçu conjointement avec sa pince robotique correspondante, selon un cadre de co-conception inédit. Le système intègre un mécanisme de liaison doigt/gâchette optimisé en force à masse réfléchie directionnelle, un pouce double monolithique inédit et une ergonomie centrée sur l'utilisateur. Les doigts actionnés sont rétro-entraînables, avec une masse effective de quelques dizaines de grammes seulement. Les auteurs rapportent des prises sûres sur une large variété d'objets, un usage d'outils nécessitant de la force et une singulation précise, validés par un pipeline complet de collecte de données et d'exécution de politiques par apprentissage par démonstration, documenté sur koalagripper.rai-inst.com. L'enjeu dépasse le simple design mécanique. La plupart des dispositifs portatifs actuels, dans la lignée du concept UMI (Universal Manipulation Interface), reproduisent la géométrie des pinces robotiques ciblées au détriment du confort du démonstrateur humain, ce qui dégrade la qualité des démonstrations collectées. En optimisant simultanément le geste humain et l'exécution robotique, Koala Gripper vise des jeux de données plus propres pour entraîner des politiques de manipulation dextre, un facteur limitant alors que les modèles vision-langage-action comme Pi-0 ou GR00T N2 dépendent directement du volume et de la qualité des démonstrations. Il s'agit néanmoins d'un preprint de recherche, sans chiffre de déploiement, de prix ni de calendrier industriel communiqué. Le RAI Institute, fondé par l'ancien patron de Boston Dynamics Marc Raibert, s'est jusqu'ici concentré sur la recherche fondamentale plutôt que sur des produits commerciaux, contrairement à des concurrents comme Physical Intelligence, NVIDIA avec GR00T, Figure avec Helix ou Toyota Research Institute, tous engagés dans une course à la collecte de données de démonstration à grande échelle pour leurs modèles de manipulation. Ce travail prolonge la vague d'interfaces de téléopération portatives apparue ces dernières années pour réduire le coût de collecte face à la téléopération robotique complète. Aucun partenariat industriel n'est mentionné dans l'article ; la suite annoncée par les auteurs consiste à étendre le pipeline d'apprentissage par démonstration à davantage de tâches, avec la documentation technique disponible sur le site du projet.

RecherchePaper
1 source
GOAG : un planificateur de préhension génératif et agnostique à l'objet pour la manipulation robotique dextérique
37arXiv cs.RO 

GOAG : un planificateur de préhension génératif et agnostique à l'objet pour la manipulation robotique dextérique

CEA-List, laboratoire public français rattache au CEA Tech, publie sur arXiv (2608.19759) GOAG, un planificateur génératif de prises pour mains robotiques multi-doigts, conçu pour se généraliser a de nouveaux objets sans données d'entrainement spécifiques. Le modèle apprend uniquement la distribution des points de contact propres a une pince donnée, en exploitant le fait que pince et objet partagent la même géométrie de surface au point de contact; les caractéristiques de l'objet ne sont intégrées qu'au moment de l'inférence. Teste sur le protocole standard MultiDex, en simulation et en conditions réelles avec plusieurs pinces issues de la littérature, GOAG atteint un taux de réussite moyen de 86,93%, un niveau comparable aux meilleures méthodes entraînées spécifiquement sur ce jeu de données, avec une génération de prises nettement plus rapide. Code source et vidéos de démonstration sont publies sur cea-list.github.io/goagweb. Cette approche cible directement le principal frein a l'industrialisation de la manipulation dexterale: la plupart des planificateurs appris échouent des qu'ils rencontrent un objet absent de leur jeu d'entrainement, imposant un cycle de collecte de données couteux a chaque nouvelle référence. En découplant l'apprentissage du gripper de celui des objets, GOAG promet aux intégrateurs logistiques et industriels une adaptation plus rapide a de nouveaux produits, sans ré-entrainement systématique. Les chiffres avances, 86,93% de réussite et une vitesse de génération supérieure, restent toutefois ceux d'un benchmark académique contrôle et d'un preprint non encore évalué par les pairs: la généralisation a des objets totalement inédits en environnement de production reste a démontrer a plus grande échelle. Ce travail s'inscrit dans la recherche en planification de prise par apprentissage profond, un domaine largement domine par des méthodes entraînées objet par objet, des pinces parallèles simples aux mains anthropomorphes a haut nombre de degrés de liberté. En choisissant de généraliser via la géométrie du gripper plutôt que via des jeux de données d'objets toujours plus vastes, CEA-List se positionne sur un axe distinct de celui des groupes misant sur des modèles vision-langage-action entraines a grande échelle. Aucun pilote industriel ni calendrier de transfert technologique n'est annonce dans l'article; la suite logique consiste a valider l'approche sur un plus large éventail de pinces dexterales et d'objets non vus, avec une intégration possible dans des plateformes robotiques existantes.

UECEA-List, laboratoire public francais rattache au CEA Tech, publie une methode de planification de prise robotique dexterale dont le code ouvert pourrait interesser les integrateurs industriels europeens en logistique et manufacturing.

FR/EU ecosystemePaper
1 source
SoftVTBench : un jeu de données et un benchmark visuo-tactiles pour la manipulation d'objets déformables
38arXiv cs.RO 

SoftVTBench : un jeu de données et un benchmark visuo-tactiles pour la manipulation d'objets déformables

SoftVTBench, jeu de données visuo-tactile pour la manipulation d'objets déformables, a été publié le 20 août 2026 sur arXiv (2608.18701). Il réunit 4 000 démonstrations expertes sur plus de 50 objets, dont des objets déformables volumétriques et leurs jumeaux rigides visuellement identiques. À 20 Hz, chaque épisode synchronise RGB multi-vues, capteurs tactiles RGB, suivi de marqueurs sur les deux doigts du gripper, proprioception, instructions en langage naturel, actions de préhension, et des états de référence par éléments finis (FEM) réservés à l'évaluation. Le benchmark associé introduit le Deformation-aware Success Rate (DSR), qui ne valide un essai que si la tâche réussit sans dépasser une tolérance de déformation calibrée par objet. Sur Diffusion Policy, π0.5 et FastWAM, les 12 configurations testées comptent toutes des succès classiques qui violent en réalité cette tolérance, dans 0,7% à 24% des cas. Sous changement de distribution, les versions avec toucher font mieux en réussite (six comparaisons sur six) et en DSR (cinq sur six), un avantage plus incertain en distribution. Le message clé pour l'industrie: un taux de réussite binaire masque des comportements physiquement problématiques, glissement ou compression excessive, un enjeu direct pour les intégrateurs manipulant des produits fragiles (agroalimentaire, textile, emballage, médical). Plus notable, ajouter des capteurs tactiles n'améliore pas automatiquement la manipulation: le gain n'est net que sous changement de distribution, signe que la fusion visuo-tactile reste un problème d'ingénierie non résolu plutôt qu'un simple avantage matériel. Cela nuance le discours courant sur les architectures vision-langage-action, où le toucher est souvent présenté comme un bonus de robustesse automatique. L'absence de jeux de données associant observations exploitables par une politique et vérité terrain physique indépendante était jusque-là le principal obstacle à une évaluation fine de l'interaction, la plupart des benchmarks existants se limitant à un succès binaire de tâche. SoftVTBench se positionne comme ressource commune pour étudier non seulement si une politique réussit, mais comment elle interagit physiquement avec un objet mou et quand le toucher améliore réellement cette interaction. Il s'agit d'une publication de recherche, sans annonce de déploiement industriel ni partenariat constructeur, et sans acteur français ou européen identifié dans cette étude.

RecherchePaper
1 source
MANIGUARD : référentiel et jeu de données pour l'évaluation et l'amélioration de la sécurité de la manipulation robotique
39arXiv cs.RO 

MANIGUARD : référentiel et jeu de données pour l'évaluation et l'amélioration de la sécurité de la manipulation robotique

Une équipe de recherche présente en août 2026 ManiGuard, un cadre pour évaluer et améliorer la sécurité des politiques de manipulation robotique fondées sur des modèles de fondation. Le benchmark associé, ManiGuard-Bench, couvre six familles de tâches domestiques à fort contact physique, organisées en 200 tâches de base testées en configuration standard et sous quatre perturbations hors distribution, soit 1000 scénarios verrouillés où la sécurité est contrôlée par des moniteurs à automates fondés sur la logique LTLf et des prédicats physiques, en simulation et sur un bras Franka réel. Le pipeline associé fournit 8000 démonstrations annotées pour la sécurité. Sur plus de 23000 épisodes testés avec des politiques VLA en zero-shot et affinées, 6 à 21% des épisodes pourtant réussis violent la spécification de sécurité, et l'affinage porte le taux de complétion sûre de quasi nul à 7,5-29,8%, avec 21 à 42% des épisodes engagés toujours en infraction. Ce travail est une publication de recherche, pas une annonce produit, mais son constat central interpelle : le succès d'une tâche et sa sécurité restent deux mesures distinctes, alors que l'évaluation des politiques VLA (vision-language-action) actuelles, du type Pi-0, GR00T N2 ou Helix, repose surtout sur des taux de réussite bruts. Pour les intégrateurs qui envisagent de déployer ces politiques en environnement domestique ou industriel à fort contact, le message est direct : même après affinage sur des données dédiées, deux des six familles de tâches restent quasi toujours dangereuses, et augmenter le volume de démonstrations ne comble pas cet écart. ManiGuard s'inscrit dans une montée en puissance rapide des politiques de manipulation fondées sur des modèles de fondation, dont les progrès en taux de réussite ont devancé les outils d'évaluation de leur sécurité, jusqu'ici basés sur des classifieurs appris ou des juges LLM que les auteurs jugent insuffisamment rigoureux. Le benchmark s'en distingue en ancrant ses contrôles dans la logique temporelle formelle et des prédicats physiques, vérifiés en simulation comme sur un bras Franka réel. Aucun acteur français ou européen, tel Wandercraft, Pollen Robotics ou Enchanted Tools, ne figure parmi les politiques testées. Les 8000 démonstrations et le benchmark sont publiés, ouvrant la voie à des campagnes d'affinage sécuritaire par d'autres laboratoires, sans calendrier de déploiement industriel annoncé à ce stade.

UEAucun acteur français ou européen n'est impliqué ni testé, mais le benchmark ouvert est directement utilisable par les intégrateurs européens pour évaluer la sécurité de leurs politiques VLA avant déploiement, un enjeu pertinent au regard des exigences de sécurité de l'AI Act.

RecherchePaper
1 source
CompCPZ : préserver l'intention multimodale dans la manipulation robotique guidée par le langage
40arXiv cs.RO 

CompCPZ : préserver l'intention multimodale dans la manipulation robotique guidée par le langage

Une équipe de recherche publie CompCPZ (arXiv:2608.17717v1, août 2026), qui corrige un défaut structurel des robots pilotés par instructions en langage naturel. Le problème identifié : un robot à qui l'on demande de "poser la tasse près de l'assiette rouge ou de l'assiette bleue" peut se diriger vers le point médian entre les deux, un geste géométriquement plausible qui ne satisfait en réalité aucune des deux options demandées. Cette erreur silencieuse vient du fait que les représentations utilisées par les politiques conditionnées par le langage fusionnent les instructions disjonctives ("ou") en un seul ensemble connexe, effaçant les modes d'action distincts. CompCPZ est une couche algébrique "sound" greffée sur des systèmes d'apprentissage existants : elle recompose, le long de l'arbre syntaxique de la phrase, des enveloppes de type "constrained polynomial zonotope" par primitive d'action, avec une couverture conforme sans hypothèse de distribution et un temps de calcul infra-milliseconde. Sur un banc de manipulation de table en boucle fermée sous ManiSkill3, elle bat des références à ensembles convexes, des décodeurs multi-pics et un modèle vision-langage-action zero-shot, avec 1 900 victoires sur 1 918 comparaisons appariées (p << 10^-30), et transfère sans réglage supplémentaire à des essais réels planaires sur un quadrupède Unitree Go2 suivi par capture de mouvement. Ce résultat intéresse directement les équipes qui déploient des modèles vision-langage-action en usine ou en entrepôt : il met en évidence un mode d'échec discret, invisible aux métriques de réussite géométrique classiques, qui peut laisser croire à tort qu'une consigne ambiguë a été correctement exécutée. Pour les intégrateurs et décideurs robotique, cela déplace le critère de fiabilité : un système de compréhension du langage ne doit plus être jugé seulement sur l'atteinte d'une cible décodée, mais sur la préservation de la structure logique complète de l'intention exprimée, un enjeu concret face aux consignes disjonctives courantes en entrepôt ou en usine ("prends la pièce A ou B"). Le travail souligne aussi un écart entre les démonstrations réussies des VLA et leur robustesse réelle face à l'ambiguïté linguistique. Cette recherche s'inscrit dans la lignée des travaux sur l'ancrage compositionnel du langage et répond à une limite connue des politiques VLA de bout en bout, généralement évaluées sur des benchmarks qui ne testent pas l'ambiguïté. En se comparant explicitement à des décodeurs multi-modaux existants et à un VLA zero-shot, l'équipe positionne CompCPZ comme une couche de sécurité formelle à ajouter par-dessus des modèles existants plutôt que comme un nouveau modèle concurrent. Le transfert réussi vers un robot réel, même limité à un cas planaire sur quadrupède, ouvre une piste au-delà des seuls bras manipulateurs, mais la validation reste pour l'instant circonscrite à des essais de laboratoire sous capture de mouvement, loin d'un déploiement industriel à grande échelle.

RecherchePaper
1 source
Attention à partir de l'action, pour l'action : goulots d'étranglement visuels émergents pour l'apprentissage de politiques
41arXiv cs.RO 

Attention à partir de l'action, pour l'action : goulots d'étranglement visuels émergents pour l'apprentissage de politiques

Des chercheurs publient sur arXiv (arXiv:2608.13422v1, mi-août 2026) Seeker, une méthode d'apprentissage de politiques visuomotrices pour la manipulation robotique. Le système s'appuie sur DINOv3, un extracteur de features visuelles figé, et apprend à générer des régions d'intérêt (ROI) évolutives dans le temps à partir du seul signal d'action, sans étiquette externe comme le regard, la classe d'objet ou une annotation d'affordance. Cette ROI sert de filtre spatial pour trois usages : recadrage RGB, augmentation d'arrière-plan guidée par masque, et filtrage de nuages de points. Testé en simulation et sur robots réels, Seeker porte le taux de succès moyen en conditions connues de 48,3% (meilleure baseline) à 76,7%, et le taux de succès sous variations d'éclairage et de décor de 20% à 60%. Le résultat vise un goulot d'étranglement connu de l'apprentissage par imitation visuomotrice : une politique reste imprécise quand l'indice visuel utile s'éloigne du gripper ou se déplace pendant la tâche, un cas que les recadrages fixes centrés sur l'effecteur terminal ne capturent pas. Pour les intégrateurs qui déploient des politiques vision-language-action à la manière de Pi-0, GR00T ou Helix, la robustesse aux changements de lumière et de fond est précisément ce qui sépare une démonstration de laboratoire d'un déploiement industriel fiable. Seeker montre qu'on peut gagner en efficacité de données et en résistance aux perturbations visuelles sans coût d'annotation supplémentaire, ce qui contredit l'idée reçue que la robustesse exige davantage de labels ou de données brutes. Seeker se positionne face à deux approches existantes : les interfaces ROI à base de labels externes, coûteuses à annoter, et les recadrages dits "action-derived" sans label, qui détectent un événement lié au gripper pour centrer une fenêtre fixe sur l'effecteur terminal projeté, une heuristique rigide dès que l'évidence visuelle utile se déplace. En repartant des features gelées de DINOv3 et en apprenant une requête itérative conditionnée par la tâche et l'état du robot, Seeker automatise cette sélection spatiale. Le travail reste au stade de preprint de recherche, sans annonce de produit ni de partenariat industriel à ce jour, mais s'inscrit dans la course plus large à des politiques VLA à la fois frugales en données et robustes aux variations d'environnement, un enjeu central pour les laboratoires travaillant sur la manipulation robotique généraliste.

RecherchePaper
1 source
MANGO-Grasp : champs de Mahalanobis sur gaussiennes 3D orientées géométrie pour la préhension dextérique inter-incarnations
42arXiv cs.RO 

MANGO-Grasp : champs de Mahalanobis sur gaussiennes 3D orientées géométrie pour la préhension dextérique inter-incarnations

Des chercheurs publient MANGO-Grasp, une nouvelle méthode de préhension dextre "cross-embodiment", c'est-à-dire capable de fonctionner sur des mains robotiques multi-doigts très différentes sans réglage spécifique à chacune. Le système représente les objets sous forme de primitives gaussiennes 3D orientées selon la géométrie locale de la surface (des sortes de petites plaques alignées avec des normales sortantes), tandis que chaque main robotique est décrite par des points clés de surface encodés dans un descripteur "morpho-kinématique" combinant forme et articulation. L'innovation centrale est l'usage de champs de Mahalanobis entre ces points clés et les primitives d'objet : ils servent à la fois de cible d'apprentissage et de guide d'optimisation au moment de la préhension, en montant fortement le long de la normale à la surface mais restant plats dans le plan tangent, ce qui colle à la physique réelle du contact. Sur les benchmarks CMAP et MultiGripperGrasp, MANGO-Grasp dépasse la meilleure méthode concurrente entraînée sur la même main de jusqu'à 8,24 points de pourcentage en simulation, et transfère en zéro-shot vers une main jamais vue (SharpaWave) avec un gain de 16,57 points sur le meilleur baseline zero-shot, pour un taux de réussite de 86 % en conditions réelles. Ce résultat s'inscrit dans un enjeu clé pour les intégrateurs de robotique dextre : la généralisation d'une politique de préhension à de nouveaux effecteurs sans reprendre tout l'entraînement, un frein majeur au déploiement commercial de mains robotiques variées. Le fait qu'une seule formulation d'optimisation, avec les mêmes hyperparamètres, fonctionne sur toutes les morphologies testées suggère que le goulot d'étranglement historique (représentations d'objets trop pauvres en géométrie locale, descripteurs de main incomplets) peut être résolu sans architecture ad hoc par robot, un argument utile face au scepticisme habituel sur l'écart démo/réalité en manipulation robotique. Le papier (arXiv:2608.02014v1) se positionne face aux méthodes "interaction-centric" existantes, jugées insuffisantes sur la représentation fine de la géométrie de surface et l'encodage combiné de la morphologie et de la cinématique des mains. Le code et les matériaux complémentaires sont annoncés pour publication ultérieure sur la page du projet, mais ne sont pas encore disponibles à ce stade : il s'agit d'un preprint, pas encore d'une solution intégrée ou commercialisée.

RecherchePaper
1 source
FIRMGrasp : une marge de risque tenant compte du frottement pour une synthèse de prise robuste
43arXiv cs.RO 

FIRMGrasp : une marge de risque tenant compte du frottement pour une synthèse de prise robuste

Une équipe de recherche présente FIRMGrasp, une nouvelle famille de métriques de qualité de préhension robotique fondée sur la mesure de risque CVaR (Conditional Value-at-Risk), dans un article publié le 25 juillet sur arXiv. Contrairement aux métriques classiques comme l'epsilon de Ferrari-Canny, qui supposent un coefficient de friction unique et déterministe, FIRMGrasp évalue la marge de force-closure au point le plus défavorable de la distribution de friction, produisant une marge ajustée au risque notée epsilon^(bêta). Les chercheurs démontrent sa monotonie selon le niveau de confiance bêta, sa différentiabilité par rapport aux paramètres de préhension, et un certificat probabiliste garantissant la fermeture de force avec une probabilité au moins égale à bêta. Sur un jeu de 1599 préhensions testées avec des mains robotiques LEAP Hand et Allegro Hand, 53% des prises jugées fiables par la métrique Ferrari-Canny perdent en réalité leur fermeture de force dans les conditions de friction défavorables. Ce résultat est significatif pour l'industrie de la préhension robotique car il expose une faille méthodologique répandue dans l'évaluation des grippers et mains articulées : les métriques standards surestiment systématiquement la robustesse des prises face à l'incertitude réelle des surfaces de contact. Concrètement, epsilon^(bêta) prédit mieux les échecs observés que la métrique nominale, avec des probabilités de discrimination de 0,63 et 0,78 contre 0,53 et 0,67 pour distinguer respectivement les échecs de secousse (shake) et de prise (pick) réussis. Dans des essais de levage simulés avec gravité activée et un coefficient de friction dégradé à 0,2, les prises validées par epsilon^(bêta) atteignent un taux de réussite de 70% sous traction latérale, contre seulement 25% pour les prises validées uniquement par la marge classique. Pour les intégrateurs et concepteurs de systèmes de préhension, cela suggère qu'intégrer une marge de risque friction-dépendante dès la phase de planification de prise réduirait sensiblement les échecs en conditions réelles, où la friction des surfaces varie selon l'usure, l'humidité ou les matériaux manipulés. Le travail s'inscrit dans la lignée des recherches sur la synthèse de préhension robuste, un domaine où les métriques analytiques historiques comme celle de Ferrari-Canny font référence depuis des décennies mais peinent à capturer l'incertitude physique réelle. Les auteurs comparent leur approche à des méthodes différentiables récentes, positionnant FIRMGrasp comme une alternative directement intégrable dans des pipelines d'optimisation de préhension existants, sans changement matériel requis.

RecherchePaper
1 source
AXIS : un moteur de données communautaire évolutif pour la manipulation robotique à grande échelle
44arXiv cs.RO 

AXIS : un moteur de données communautaire évolutif pour la manipulation robotique à grande échelle

Des chercheurs ont présenté AXIS, un moteur de données communautaire et évolutif pour l'apprentissage de la manipulation robotique, décrit dans un article déposé sur arXiv le 24 juillet 2026. Le système permet de collecter des démonstrations à grande échelle via téléopération directement dans le navigateur, sans matériel spécialisé ni opérateurs centralisés, et génère puis valide automatiquement de nouvelles tâches de manipulation. Un pipeline automatisé filtre la qualité des trajectoires, les lisse et applique des augmentations visuelles et physiques pour produire des données prêtes à l'entraînement. Le jeu de données AXIS compte actuellement 207 tâches diverses et plus de 50 000 trajectoires, organisées en "task snapshots" évalués selon un protocole strict à données retenues (held-out). Ce travail cible un goulot d'étranglement bien identifié du secteur : la difficulté à faire grandir les jeux de démonstrations utilisés pour entraîner les politiques vision-langage-action (VLA), jusqu'ici souvent limités par du matériel dédié ou des catalogues de tâches figés. Les auteurs montrent que le pré-entraînement continu sur AXIS améliore le taux de réussite global du modèle π0.5 de 5,8 points, et dépasse de 37,3 points un modèle pré-entraîné sur RoboCasa365, avec des gains qui s'accentuent à mesure que le volume de données augmente. Les progrès les plus nets apparaissent sous perturbations de disposition, de bruit capteur et de point de vue caméra, un signal utile pour les intégrateurs cherchant des politiques robustes hors laboratoire plutôt que de simples démonstrations réussies en conditions idéales. Le projet s'inscrit dans une tendance émergente consistant à traiter la collecte de données robotiques comme un problème d'échelle communautaire, à l'image de ce que le crowdsourcing a permis pour les grands modèles de langage. Il se positionne explicitement face à RoboCasa365, utilisé comme référence de comparaison, et s'appuie sur des politiques VLA existantes telles que π0.5 pour évaluer l'apport réel des données AXIS. Il s'agit à ce stade d'un article de recherche déposé en preprint, dont les résultats n'ont pas encore été validés par relecture par les pairs ni reproduits par des équipes tierces.

RecherchePaper
1 source
RoboInter1.5 : une suite de représentations intermédiaires holistiques pour la modélisation du monde incarné et la manipulation robotique
45arXiv cs.RO 

RoboInter1.5 : une suite de représentations intermédiaires holistiques pour la modélisation du monde incarné et la manipulation robotique

Les chercheurs à l'origine du projet RoboInter publient RoboInter1.5, une suite de données et de modèles conçue pour standardiser les représentations intermédiaires utilisées dans la robotique manipulatrice, selon un article déposé sur arXiv (arXiv:2607.18709v1) le 24 juillet 2026. Ce travail prolonge une version antérieure, RoboInter1.0. Le cœur du système, RoboInter-Data, rassemble plus de 230 000 épisodes de manipulation répartis sur 571 scènes, chacun annoté image par image selon plus de dix types de représentations intermédiaires : sous-tâches, compétences élémentaires, ancrage des objets et du gripper, segmentation, cartes d'affordance, poses de préhension, points de contact et trajectoires de mouvement. Sur cette base, RoboInter-VQA introduit des tâches de question-réponse spatiales et temporelles pour évaluer et entraîner un modèle vision-langage dédié, RoboInter-VLM. RoboInter-VLA étudie ensuite comment ces représentations améliorent l'exécution d'actions, via trois approches distinctes : implicite, explicite, et modulaire en plan-puis-exécution. Enfin, RoboInter-World exploite ces mêmes annotations comme signaux de conditionnement pour prédire l'évolution future d'un environnement. L'enjeu dépasse la simple publication d'un jeu de données. Les modèles vision-langage-action (VLA) actuels, qu'il s'agisse de Pi-0, de GR00T N2 ou de Helix, souffrent d'un manque de données annotées finement et généralisables au-delà d'un robot ou d'un environnement précis, ce qui freine leur passage à l'échelle industrielle. En proposant une structure unifiée de représentations intermédiaires plutôt qu'un simple signal interprétable en sortie de modèle, RoboInter1.5 vise à combler l'écart entre démonstration en laboratoire et déploiement réel : ces annotations serviraient à la fois à contraindre les espaces d'action de bas niveau et à limiter les dérives des simulateurs physiques en monde ouvert, deux points de friction identifiés dans la course actuelle à l'IA embarquée pour la robotique. Le projet s'inscrit dans une tendance de recherche qui cherche à mutualiser les coûts de collecte de données robotiques, historiquement chers et spécifiques à chaque plateforme matérielle. En documentant explicitement l'ensemble des sous-composants (Data, VQA, VLM, VLA, World) et en publiant des benchmarks associés, les auteurs positionnent RoboInter1.5 comme une infrastructure de référence potentielle plutôt qu'un modèle isolé, ouvrant la voie à des comparaisons systématiques avec d'autres approches de représentations intermédiaires pour la manipulation.

RecherchePaper
1 source
Structure continûment stable par déformation plastique
46arXiv cs.RO 

Structure continûment stable par déformation plastique

Des chercheurs présentent une nouvelle structure de préhenseur souple baptisée CSSPD (continuously stable structure through plastic deformation), décrite dans une prépublication arXiv (2607.15659). Le dispositif exploite la déformation plastique pour maintenir une configuration stable sans apport d'énergie continu, contrairement aux préhenseurs pneumatiques classiques. L'équipe y intègre un coussinet bioinspiré, calqué sur des pattes animales, qui améliore la stabilité et permet une saisie rapide pilotée par capteurs. La structure repose sur une couche métallique en kirigami, optimisée mathématiquement pour équilibrer souplesse et rigidité. Les essais montrent une force de maintien passive allant jusqu'à 16 newtons sans aucune alimentation, une performance comparable à celle d'un actionnement pneumatique à 0,3 MPa. Couplé à une assistance pneumatique, le préhenseur reste stable sous des accélérations pulsées atteignant 400 m/s². Il peut aussi se percher passivement sur une branche d'arbre pendant une durée prolongée, sans consommation électrique. L'enjeu dépasse la simple démonstration de laboratoire. Les robots souples séduisent par leur compliance et leur capacité d'adaptation, mais cette souplesse se paie généralement en stabilité: sous accélération ou perturbation externe, un préhenseur souple classique risque de lâcher sa prise, un problème critique pour toute application dynamique ou mobile. En obtenant une tenue mécanique comparable à l'actionnement pneumatique sans consommer d'énergie en continu, cette approche pourrait réduire la dépendance des grippers souples à des systèmes d'air comprimé embarqués, un frein connu pour les plateformes mobiles ou aériennes. La capacité de perchage passif ouvre notamment des perspectives pour des robots volants ou grimpants devant économiser leur énergie entre deux tâches. Le travail s'inscrit dans un courant de recherche en robotique souple cherchant à résoudre le compromis historique entre adaptabilité et rigidité, généralement traité par actionnement pneumatique ou électroactif énergivore. En misant sur la déformation plastique et une structure kirigami plutôt que sur des matériaux actifs, les auteurs proposent une alternative low-tech et low-power. S'agissant d'une prépublication, aucune date d'intégration industrielle n'est annoncée; les prochaines étapes concerneront vraisemblablement la validation sur des plateformes robotiques mobiles réelles au-delà des essais en laboratoire.

RecherchePaper
1 source
VTAP : combiner détection au bout des doigts et paume active visuo-tactile pour la manipulation dextérique en main
47arXiv cs.RO 

VTAP : combiner détection au bout des doigts et paume active visuo-tactile pour la manipulation dextérique en main

Une équipe de recherche présente le VTAP, un gripper robotique à trois doigts doté d'une paume visuo-tactile active combinée à des doigts compliants et reconfigurables équipés de capteurs tactiles matriciels. La paume actionnée associe localisation visuelle longue portée et retour tactile riche en contacts, ce qui étend nettement les capacités de manipulation par rapport aux pinces classiques. Pour piloter cette structure à trois doigts, différente de la main humaine, les chercheurs proposent un cadre de retargeting téléopérationnel par étapes, conditionné par gestes, traduisant les mouvements de la main d'un opérateur vers le gripper. Les expériences couvrent plusieurs tâches exigeantes : saisie réactive d'objets du jeu YCB et d'objets fragiles, réorientation en main d'une seringue avec actionnement du piston, séparation d'objets agglomérés jusqu'à 3 mm de diamètre, et insertion de type peg-in-hole guidée par vision et tact. Le papier est publié sur arXiv (2607.15448) avec une page projet dédiée. Cette démonstration intéresse directement les équipes de R&D en manipulation dextre, car elle contredit l'hypothèse selon laquelle une manipulation fine exige des mains anthropomorphiques à haut nombre de degrés de liberté. En combinant seulement trois doigts compliants et une paume active multimodale, l'équipe montre qu'une synergie structurée doigts-paume peut suffire pour des tâches de précision comme la manipulation d'objets millimétriques ou l'insertion guidée. Pour les industriels, l'architecture proposée sert surtout de référence pratique pour la conception de grippers et la collecte de données riches en contacts, un enjeu central pour entraîner des politiques de manipulation par apprentissage, qui manquent aujourd'hui de jeux de données tactiles à grande échelle. Ce travail s'inscrit dans la continuité des recherches sur les capteurs tactiles matriciels et la fusion vision-tact, un axe exploré par des laboratoires travaillant sur des mains tactiles ainsi que par des fabricants de mains anthropomorphiques à haut DOF comme Shadow Robot ou les mains humanoïdes de Tesla et Figure. Contrairement à ces approches privilégiant le nombre d'articulations, le VTAP mise sur la coordination doigts-paume et la perception multimodale plutôt que sur la complexité mécanique. Le projet ne mentionne pour l'instant aucun partenariat industriel ni calendrier de transfert commercial : il s'agit d'une preuve de concept en laboratoire destinée à informer la conception future de préhenseurs dextres et la collecte de données pour l'apprentissage robotique.

RecherchePaper
1 source
Robot industriel d'évaluation de dextérité : une plateforme matérielle et logicielle pour le benchmarking de la manipulation dextre industrielle
48arXiv cs.RO 

Robot industriel d'évaluation de dextérité : une plateforme matérielle et logicielle pour le benchmarking de la manipulation dextre industrielle

La revue arXiv a publié ce 14 juillet un article intitulé "Industrial Dexterity Benchmark: A Hardware-Software Benchmarking Platform for Industrial Dexterous Manipulation" (référence 2607.14021v1), qui propose un nouveau cadre de test pour l'automatisation industrielle fine. Les auteurs introduisent trois éléments : une série de plateaux de test baptisés Industrial Dexterity Benchmark (IDB), conçus pour reproduire trois scénarios concrets, le câblage de datacenters, les harnais de câbles automobiles et l'assemblage de boîtes de vitesses ; un framework d'apprentissage par imitation nommé DAG-ROS ; et une politique de contrôle basée sur la diffusion, AG-iDP3, qui fusionne images RGB, nuages de points, positions articulaires et données de force au poignet. Les tests se concentrent sur une tâche précise, le nettoyage d'un câble unique sur le plateau datacenter, évaluée sur 48 essais par configuration. La meilleure configuration, une Diffusion Policy multimodale combinant plusieurs caméras RGB via un encodeur R3M, atteint 78% de réussite combinée sur la prise et l'insertion, contre 36% pour la version à caméra unique. Chaque configuration n'a nécessité qu'environ 100 démonstrations téléopérées par phase de tâche. Ce résultat intéresse directement les intégrateurs industriels parce qu'il touche un point resté largement non résolu malgré des décennies de recherche en robotique : le câblage, l'insertion de connecteurs et l'assemblage de précision continuent de dépendre du travail manuel. L'écart de performance entre la version mono-caméra et la version multi-vues suggère que la robustesse des politiques apprises tient autant à la richesse des capteurs qu'à l'algorithme lui-même, un point utile pour quiconque évalue des solutions VLA ou d'apprentissage par imitation pour des lignes à haute disponibilité. Reste que l'échantillon de validation demeure limité, une seule tâche testée sur 48 essais par configuration, ce qui invite à la prudence avant d'extrapoler ces chiffres à d'autres cas d'usage. Ce travail s'inscrit dans une transition plus large observée dans la recherche en robotique industrielle, celle du passage des pipelines modulaires classiques, perception puis planification puis contrôle codés séparément, vers des architectures de bout en bout entraînées par imitation. Les benchmarks IDB visent à combler un manque identifié par les auteurs : l'absence de plateformes standardisées pour comparer objectivement les méthodes de manipulation dextre en environnement industriel. Aucun calendrier de déploiement commercial n'est mentionné à ce stade, l'article reste un travail de recherche publié en prépublication, sans partenariat industriel ni date de mise en production annoncés.

RecherchePaper
1 source
DECO : transformateur de diffusion multimodal découplé pour la manipulation dextre bimanuelle avec adaptateur tactile enfichable
49arXiv cs.RO 

DECO : transformateur de diffusion multimodal découplé pour la manipulation dextre bimanuelle avec adaptateur tactile enfichable

DECO (Decoupled multimodal Diffusion transformer for bimanual dExterous manipulatiOn) est un nouveau modèle de politique robotique présenté dans un papier arXiv (2602.05513v3) qui sépare explicitement le traitement de la vision, de la proprioception et du tactile via des voies de conditionnement dédiées, plutôt que de fusionner ces signaux en amont comme le font la plupart des architectures existantes. Un adaptateur tactile léger permet d'injecter le signal de toucher de façon paramétrique-efficace, sans réentraîner l'ensemble du réseau. Les auteurs publient aussi DECO-50, un jeu de données de 50 heures et plus de 5 millions de frames, collecté par téléopération sur de vrais robots à deux bras équipés de capteurs tactiles. Sur plus de 2 000 essais réels (pas de simulation), DECO atteint un taux de réussite moyen de 72,25%, soit 21 points de mieux que la meilleure référence testée. L'ajout de l'adaptateur tactile apporte 10,25 points de réussite supplémentaires en moyenne, et jusqu'à 20 points sur les tâches à contact riche, tout en ne réajustant que moins de 10% des paramètres du modèle. Ce résultat compte parce qu'il s'attaque à un point de friction connu des politiques de manipulation bimanuelle: la fusion multimodale brute dégrade souvent les performances quand un des signaux (typiquement le tactile) est bruité ou absent, et le réentraînement complet pour intégrer un nouveau capteur reste coûteux. Découpler les modalités et rendre l'ajout de signaux modulaire via un adaptateur va dans le sens d'une approche plus industrialisable pour les intégrateurs qui veulent équiper des mains ou pinces existantes de tactile sans repartir d'un modèle de zéro. Le volume d'essais réels (2 000+) et le jeu de données ouvert de 50 heures renforcent aussi la crédibilité par rapport aux annonces qui ne reposent que sur quelques démonstrations sélectionnées. Le travail s'inscrit dans la vague des transformeurs de diffusion appliqués aux politiques robotiques (diffusion policy), une famille d'approches également explorée par des modèles vision-langage-action comme Pi-0 ou GR00T N2, mais ici recentrée spécifiquement sur la dextérité bimanuelle et l'intégration tactile plutôt que sur la généralisation multi-tâches à grande échelle. La publication conjointe du dataset DECO-50 laisse présager des comparaisons à venir avec d'autres politiques entraînées sur les mêmes données, un terrain encore rare dans la manipulation dextre où chaque laboratoire collecte ses propres démonstrations.

IA physiqueOpinion
1 source
L'efficacité du fine-tuning LoRA pour les modèles vision-langage-action dans la manipulation robotique industrielle
50arXiv cs.RO 

L'efficacité du fine-tuning LoRA pour les modèles vision-langage-action dans la manipulation robotique industrielle

Une équipe de recherche publie une étude systématique sur l'adaptation à faible rang (LoRA) appliquée à π0, un modèle Vision-Language-Action (VLA) à correspondance de flux, testé sur quatre tâches d'assemblage de précision avec un bras robotique UR5e. Les chercheurs ont balayé des rangs LoRA de 8 à 256, plusieurs stratégies d'allocation des paramètres, et testé le gel sélectif de composants du modèle. Résultat principal : aucune différence statistiquement significative de performance entre le fine-tuning complet (FFT), qui exige des GPU de datacenter, et certaines configurations LoRA. Les performances plafonnent dès un rang de 32, avec une allocation uniforme des paramètres entraînables entre le backbone vision-langage (VLM) et l'expert d'action qui suffit à égaler le FFT. Geler le VLM ou limiter le LoRA au seul encodeur visuel dégrade nettement les résultats. Avec cette configuration optimale (rang 32, encodeur visuel entièrement ajustable), la mémoire VRAM statique de pointe chute de 36,2 à 10,8 Gio, hors mémoire d'activation, sans perte de performance mesurable. Pour l'industrie robotique, ce résultat a une portée pratique directe : il abaisse fortement la barrière matérielle pour spécialiser un modèle VLA préentraîné à un cas d'usage industriel précis, sans avoir besoin d'un cluster GPU dédié à l'entraînement complet. C'est un signal utile pour les intégrateurs et PME qui veulent déployer des politiques de manipulation fine sans les moyens des grands laboratoires. L'étude apporte aussi un contrepoint méthodologique à l'hypothèse selon laquelle seul un réentraînement complet permettrait de combler le "gap d'incarnation" entre un modèle généraliste et un robot physique donné : ici, un ajustement ciblé mais bien réparti sur les couches sémantiques et visuelles suffit. π0 est le modèle VLA développé par Physical Intelligence, l'un des laboratoires de référence sur les politiques de manipulation par apprentissage à grande échelle, aux côtés d'acteurs comme NVIDIA (GR00T N2) ou Figure AI. Cette publication, un preprint arXiv, s'inscrit dans une tendance plus large de recherche sur l'efficacité des VLA plutôt que sur leur seule capacité brute. Aucun acteur français ou européen n'apparaît dans ce travail, mais ses conclusions concernent directement les intégrateurs européens qui évaluent l'adoption de VLA préentraînés sur du matériel limité.

UEAucun acteur français ou européen n'est impliqué dans cette étude, mais ses conclusions offrent une piste concrète pour les intégrateurs et PME européens qui veulent spécialiser des modèles VLA sur du matériel limité sans cluster GPU dédié.

RechercheActu
1 source