Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Algèbre compositionnelle pour extrapoler les décalages robotiques mixtes sans réglage fin combiné
RecherchearXiv cs.RO 

Algèbre compositionnelle pour extrapoler les décalages robotiques mixtes sans réglage fin combiné

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article publié sur arXiv (2609.13651) présente Compositional Shift Algebra (CSA), une méthode pour adapter les politiques de contrôle robotique quand plusieurs éléments changent simultanément (caméra, interface de commande, dynamique physique), plutôt que de réentraîner un modèle pour chaque combinaison ou de choisir quel module mettre à jour. CSA apprend séparément des opérateurs de décalage pour l'observation, la politique et la dynamique à partir de sondes à réinitialisation exacte, puis les compose pour extrapoler vers des combinaisons inédites sans réentraînement mixte. Sur la tâche StackCube du benchmark de simulation ManiSkill, la variante "residual CSA" atteint un taux de succès de 1.0 sur 10 seeds, égalant un oracle connaissant la combinaison exacte, et dépasse d'environ 67 points les meilleures références (adaptation à un facteur, zero-shot, moyenne de paramètres). Sur une seconde tâche, PickCube, CSA composé atteint aussi 1.0 contre 0.33 sans composition, et un contrôleur visuel plus contraint, sans accès privilégié aux poses du cube ni aux indicateurs de préhension, conserve 0.95 contre 0.00.

Pour l'industrie robotique, ce travail cible un problème concret: les déploiements réels changent rarement un seul paramètre à la fois, et le coût de réentraîner un modèle pour chaque nouvelle combinaison de capteur, d'actionneur ou d'environnement freine la généralisation des politiques, y compris celles issues de modèles vision-langage-action comme Pi-0 ou GR00T. En montrant qu'une composition d'opérateurs appris séparément approche les performances d'un oracle sans données mixtes, CSA propose une piste pour réduire ce coût d'adaptation, ce qui concernerait directement les intégrateurs gérant des flottes hétérogènes de robots et de capteurs.

Ce résultat reste toutefois validé uniquement en simulation, sur les tâches ManiSkill StackCube et PickCube, sans démonstration sur robot physique ni chiffres de déploiement industriel. Il se positionne face aux méthodes classiques de finetuning complet ou de sélection du module à mettre à jour, qu'il cherche à remplacer par une décomposition algébrique plus économe; d'autres tâches testées (PushCube, insertion PegInsertion) montrent des gains de 33 à 67 points selon les configurations. Les auteurs rapportent également une méthode appelée Intervention-Gated Adaptation utilisée comme contrôle négatif. Aucun calendrier de test sur robot réel n'est mentionné dans l'article.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

Repenser le modèle monde-action pour la manipulation robotique compositionnelle et en contexte
1arXiv cs.RO 

Repenser le modèle monde-action pour la manipulation robotique compositionnelle et en contexte

Des chercheurs proposent ViGAR (Visual Goal-conditioned Action Reasoning), un cadre hiérarchique pour la manipulation robotique compositionnelle à long horizon, détaillé dans un preprint arXiv (2610.02368). Il sépare la tâche en deux modules. Un planificateur de sous-buts visuels prédit, à partir de l'observation courante et de l'instruction globale, une image du sous-but de la prochaine sous-tâche. Un exécuteur de sous-buts génère ensuite conjointement les trajectoires visuelles futures et les actions, conditionnées par ce sous-but. Les deux composants partagent la même représentation de world model pré-entraîné. Sur le benchmark simulé RoboTwin Clean2Random, ViGAR atteint 82,00 % de réussite en configuration Clean et 67,02 % en configuration Random. Cela représente 12,86 points de pourcentage de mieux que la meilleure référence, en moyenne. Les auteurs ajoutent des essais sur robot réel : cinq tâches compositionnelles et deux tâches d'apprentissage en contexte. Le résumé ne précise ni la plateforme matérielle, ni le nombre d'essais, ni les modèles de référence. Ce travail s'attaque à une limite connue des world-action models (WAM), qui prédisent à la fois de courts futurs visuels et des actions, mais sans raisonnement explicite au niveau des sous-tâches. Pour un intégrateur, la plupart des tâches utiles, comme l'assemblage, le tri ou le conditionnement, enchaînent plusieurs gestes coordonnés, et c'est sur cet enchaînement que les politiques de bout en bout échouent le plus souvent. Introduire un sous-but visuel explicite rend le plan lisible et inspectable, ce qui compte pour le diagnostic en production. L'apprentissage en contexte va dans le même sens. Une image du but global fournie comme contexte suffit à induire des décompositions et des comportements différents, sans mise à jour des paramètres. Cela réduirait le coût de reconfiguration d'une cellule robotisée. Les résultats restent à relativiser : le score Random de 67 % montre qu'une perte de performance subsiste face à la variabilité de l'environnement, et les tests réels sont peu nombreux. Ce travail s'inscrit dans la montée des politiques vision-langage-action (VLA) et des world models comme base de la manipulation généraliste. Il se place face à des approches qui produisent des actions seules, comme Pi-0, ou des modèles qui prédisent des futurs vidéo sans hiérarchie. Le benchmark RoboTwin, de manipulation bimanuelle avec randomisation de l'environnement, sert de plus en plus de test de robustesse. C'est un résultat académique, sans produit ni déploiement annoncé. Les prochaines étapes à surveiller sont la validation sur des horizons plus longs et des plateformes variées, la publication du code et des poids, et le coût de calcul d'une prédiction visuelle à chaque sous-tâche, que le résumé ne chiffre pas.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
GraphPoint : graphes d'entités sémantiques et trajectoires de points pour la manipulation robotique compositionnelle
2arXiv cs.RO 

GraphPoint : graphes d'entités sémantiques et trajectoires de points pour la manipulation robotique compositionnelle

Un article déposé sur arXiv (référence 2609.18358) début septembre 2026 présente GraphPoint, une méthode de manipulation robotique associée à un nouveau benchmark baptisé CoMani. Le travail part d'un constat répandu en robotique : les politiques de manipulation entraînées par apprentissage peinent à généraliser au-delà de leurs démonstrations, même quand une nouvelle instruction combine des objets et des comportements déjà vus séparément. Les auteurs expliquent que lorsque langage et scène visuelle sont trop fortement corrélés pendant l'entraînement, la politique finit par mémoriser un mapping visuo-moteur fixe au lieu de réellement suivre l'instruction donnée. CoMani propose des scènes initiales appariées et des variations contrôlées portant sur un seul facteur sémantique à la fois, afin de forcer les modèles évalués à s'appuyer sur le langage plutôt que sur des raccourcis visuels. Deux niveaux de généralisation compositionnelle sont testés : à l'intérieur d'une sous-tâche, en recombinant entités, types d'action et modificateurs déjà connus, et entre sous-tâches, en réutilisant des comportements appris dans des tâches longues et inédites. GraphPoint, la méthode proposée, relie des graphes d'entités sémantiques à un contrôle géométrique en prédisant la trajectoire future du point de préhension du gripper, convertie ensuite en commandes moteur via la géométrie du robot ; le gripper et les objets sont organisés par rôles sémantiques et leurs interactions conditionnées par le type et le modificateur d'action demandés, tandis qu'une estimation de progression guide les transitions entre étapes. L'enjeu dépasse la seule démonstration technique : il touche directement le problème de l'écart entre performance affichée sur des tâches déjà vues et robustesse réelle en usage, un point sensible pour tout intégrateur évaluant une politique vision-langage-action avant déploiement industriel. En isolant précisément si un modèle suit l'instruction ou reconnaît simplement une scène mémorisée, CoMani offre aux équipes de recherche un outil de diagnostic plus rigoureux que les démonstrations vidéo sélectionnées qui dominent souvent la communication du secteur autour des capacités de généralisation. Le papier s'inscrit dans la vague récente de benchmarks cherchant à mesurer la généralisation compositionnelle des politiques de manipulation plutôt que leur seule réussite sur des tâches figées. Les auteurs indiquent que le code sera publié en accès libre sous le nom GraphPoint, sans préciser de calendrier ni d'institution porteuse. Aucun partenariat industriel, déploiement réel ou chiffre de performance chiffré au-delà des résultats d'ablation sur CoMani n'est mentionné à ce stade, ce qui situe cette publication au stade de la recherche amont plutôt que du produit commercialisable.

RecherchePaper
1 source
RoboBRIDGE : un cadre modulaire pour connecter des politiques à des agents robotiques fiables en conditions réelles
3arXiv cs.RO 

RoboBRIDGE : un cadre modulaire pour connecter des politiques à des agents robotiques fiables en conditions réelles

Des chercheurs proposent RoboBRIDGE, un framework modulaire destiné à transformer un modèle Vision-Language-Action (VLA) pré-entraîné en agent robotique réellement déployable. L'architecture ajoute une couche d'orchestration composée de cinq modules coordonnés : un Monitor qui détecte rapidement les échecs et déclenche une récupération hiérarchique avant qu'ils ne s'aggravent, un Perceptor qui met à jour la compréhension de la scène de façon asynchrone, un Planner qui replanifie dès que l'environnement s'écarte du plan initial, un Controller qui découpe la manipulation en primitives invariantes au domaine via des adaptateurs LoRA dédiés, et une interface robot générique. Le système a été testé sur les benchmarks LIBERO et RoboCasa ainsi que sur des cas réels couvrant plusieurs plateformes robotiques et plusieurs modèles VLA de référence, où il surpasse systématiquement les politiques autonomes et les déploiements VLA augmentés existants. L'enjeu dépasse la simple performance sur benchmark. Les modèles VLA sont aujourd'hui de bons prédicteurs d'action isolés, mais leur mise en production révèle des lacunes structurelles : aucune récupération après échec, exécution incohérente sur des tâches longues, et fragilité dès que les observations, les tâches ou l'embodiment changent. RoboBRIDGE s'attaque directement à l'écart classique entre démonstration et réalité opérationnelle qui freine l'adoption des VLA en robotique industrielle. Le message central des auteurs est net : la fiabilité d'un agent robotique ne vient pas de la seule montée en échelle du prédicteur d'action, mais d'une orchestration structurée autour de lui, un argument qui pèse dans le débat sur la voie à suivre pour la robotique fondée sur les modèles de fondation. Jusqu'ici, les solutions existantes traitaient ces limites séparément, via un réentraînement complet du modèle ou des modules spécifiques à un environnement donné, deux approches coûteuses et peu généralisables. RoboBRIDGE se positionne comme une alternative générique compatible avec des composants VLA du commerce, sans réentraînement lourd. Le papier, publié sur arXiv, reste au stade de la recherche académique ; aucun partenaire industriel ni calendrier de déploiement commercial n'est mentionné à ce stade.

RechercheActu
1 source
Les politiques robotiques compactes exigent des représentations visuelles fines
4arXiv cs.RO 

Les politiques robotiques compactes exigent des représentations visuelles fines

Des chercheurs proposent CoRP (Compressed Representation Policy), une politique de manipulation multi-tâches volontairement compacte: 48,9 millions de paramètres, sans modèle vision-langage ni prior génératif vidéo. Elle sépare un extracteur de représentation d'un générateur d'actions par flow matching. Elle atteint 97,0 % de réussite sur LIBERO et 75,78 % (Clean) et 73,36 % (Randomized) sur RoboTwin 2.0, soit des scores comparables à ceux de systèmes 40,9 à 163,6 fois plus gros. Il s'agit de résultats de benchmarks en simulation, publiés sous forme de préprint arXiv, sans déploiement réel annoncé. Les auteurs fixent ensuite le générateur d'actions et font varier une seule propriété de l'extracteur à la fois. Un ViT-S/14 initialisé aléatoirement tombe à 78,1 % sur LIBERO, un ResNet-34 pré-entraîné sur ImageNet à 74,5 %, et geler l'encodeur coûte 19,8 points. Rééchantillonner chaque vue à 48 tokens bat le passage de tous les tokens de patchs (97,0 % contre 83,2 %). Le résultat remet en cause une lecture courante du secteur: les gains des VLA (vision-language-action) viendraient surtout de l'échelle ou des priors génératifs. Faute de comparaisons contrôlées, les publications mélangent architecture, taille et pré-entraînement, et ne permettent pas d'isoler ce qui compte. Ici, la représentation visuelle serait le facteur dominant: pré-entraînée, adaptée à la tâche et compressée. Pour un intégrateur ou un décideur, la portée est pratique: une politique de moins de 50 M de paramètres peut tourner sur du matériel embarqué modeste, avec une latence et un coût d'inférence bien plus faibles que des modèles de plusieurs milliards de paramètres. Deux résultats nuancent toutefois cette idée. Un goulot d'information variationnel est pire qu'un budget dur de tokens: il fait chuter LIBERO-Goal de 95,8 % à 33,0 %, car il supprime la sélection de tokens dépendante de l'instruction. Le langage n'aide que si l'observation laisse le but ambigu (LIBERO-Goal passe de 9,2 % à 95,8 %), alors que sur RoboTwin 2.0 sa suppression améliore légèrement le succès. Ce travail s'inscrit dans la course aux grands VLA (Pi-0, GR00T, Helix, entre autres), qui misent sur des backbones vision-langage massifs ou des priors vidéo. CoRP défend la voie inverse, celle de la politique frugale, et ajoute un argument d'ablation à un débat encore ouvert. Les limites sont claires: LIBERO est déjà proche de la saturation, RoboTwin 2.0 reste simulé, et rien ne dit que ces conclusions tiennent sur des tâches longues, du matériel varié ou des environnements industriels non structurés. La suite logique est une validation sur robots réels et la comparaison avec des modèles de grande taille dans les mêmes conditions. Une page projet est disponible à l'adresse corp-policy.github.io.

UEUne politique de manipulation de moins de 50 M de paramètres, validée uniquement en simulation, pourrait à terme permettre aux intégrateurs européens de robots industriels (KUKA, ABB, Universal Robots, Festo) d'embarquer l'IA sur du matériel modeste avec un coût d'inférence réduit, mais sans déploiement réel annoncé l'impact reste prospectif.

RecherchePaper
1 source