Aller au contenu principal
RoboIRS : orientation des représentations internes à l'inférence pour les politiques robotiques généralistesIllustration générée par IA
RecherchearXiv cs.RO 

RoboIRS : orientation des représentations internes à l'inférence pour les politiques robotiques généralistes

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de chercheurs publie RoboIRS, une méthode de pilotage des représentations internes appliquée à l'inférence. Elle vise les politiques robotiques généralistes de type vision-langage-action (VLA) et les modèles monde-action (WAM). L'équipe collecte des déroulés réussis et échoués, puis entraîne des classifieurs linéaires pour repérer les emplacements du réseau liés au résultat. Elle en déduit, pour chaque tâche, une direction de pilotage injectée dans les activations, sans mise à jour des poids. Sur 15 tâches simulées avec une politique π0.5 gelée, le taux de succès moyen passe de 44,4 % à 66,2 %. La méthode dépasse d'autres interventions à l'inférence, pour un surcoût de calcul que les auteurs qualifient de faible sans le chiffrer dans le résumé. Ils ajoutent une validation en manipulation réelle avec le même π0.5. Ils l'appliquent aussi à Cosmos Policy, un WAM, dont le taux moyen passe de 35,4 % à 55,4 %.

Les VLA se dégradent souvent dès que la tâche s'écarte de la distribution d'entraînement, alors qu'ils conservent une partie de leur capacité. Ces résultats suggèrent qu'une part de cette compétence reste présente dans les représentations internes et peut être réactivée sans fine-tuning. Pour un intégrateur, cela évite de collecter de nouvelles démonstrations et de réentraîner le modèle à chaque variation de site ou de pièce. Le gain, environ 20 points sur les deux familles de modèles, est net. Il faut toutefois le lire avec prudence. Un taux de 66 % ou de 55 % reste loin d'un seuil de production. La direction de pilotage est propre à chaque tâche et exige des rollouts étiquetés succès ou échec, donc une supervision de résultat. Le résumé ne donne pas de chiffres pour les essais réels. Il s'agit enfin d'un preprint, dont les résultats n'ont pas été évalués par des pairs.

π0.5 est la politique généraliste de Physical Intelligence. Elle côtoie Helix de Figure et la famille GR00T de NVIDIA parmi les références du secteur. L'adaptation à de nouvelles conditions passe aujourd'hui surtout par le fine-tuning, l'apprentissage par renforcement ou l'accumulation de données. RoboIRS transpose à la robotique l'idée de « steering » d'activations, déjà explorée sur les grands modèles de langage. La suite logique serait de la tester sur davantage de plateformes et de tâches longues, et de mesurer le surcoût de latence dans des conditions de déploiement. Aucun pilote industriel ni calendrier n'est annoncé. Un site de projet accompagne la publication.

À lire aussi

STAR : orienter les représentations d'action pendant l'inférence
Illustration générée par IA
1arXiv cs.RO 

STAR : orienter les représentations d'action pendant l'inférence

STAR (STeering Action Representations) est une méthode d'inférence proposée par une équipe du laboratoire PKU-VaLuE de l'université de Pékin, dont le code est publié sur GitHub. Elle s'applique à des modèles vision-langage-action (VLA), c'est-à-dire des réseaux qui convertissent une instruction en langage naturel et des observations visuelles en actions robotiques. Les auteurs ont d'abord sondé ces modèles et constaté que les représentations situées près de la sortie d'action conservent mal l'ancrage visuel pertinent pour la tâche, un « déficit d'ancrage des couches tardives ».

RecherchePaper
1 source
Orienter les politiques génératives de robots avec des préférences lexicographiques
Illustration générée par IA
2arXiv cs.RO 

Orienter les politiques génératives de robots avec des préférences lexicographiques

Des chercheurs présentent, dans un article publié sur arXiv (2609.15014v1), une méthode pour piloter, au moment de l'inférence et sans modifier leurs poids, des politiques robotiques génératives préentraînées basées sur des modèles de diffusion ou de flow matching, afin qu'elles respectent des préférences de déploiement classées par ordre de priorité lexicographique, par exemple des contraintes de faisabilité liées au robot avant des préférences propres à l'utilisateur. La méthode modifie l'échantillonneur de deux façons: un guidage par barrière dynamique empêche les mises à jour de priorité inférieure de dégrader les coûts de priorité supérieure, et une sélection en cascade filtre les échantillons candidats niveau par niveau.

RecherchePaper
1 source
KeyGen : représentations centrées sur l'objet à points clés non supervisés pour généraliser des politiques par catégorie
Illustration générée par IA
3arXiv cs.RO 

KeyGen : représentations centrées sur l'objet à points clés non supervisés pour généraliser des politiques par catégorie

Le laboratoire à l'origine de KeyGen a publié fin septembre 2026 sur arXiv (référence 2609.28818) un framework d'apprentissage de représentations 3D pour la manipulation robotique. La méthode apprend, sans supervision, des points-clés sémantiques 3D canonicalisés à partir de nuages de points, qui servent de représentation structurée et centrée sur l'objet. Une politique visuomotrice par diffusion se conditionne sur ces points-clés et sur la géométrie de l'objet pour prédire des trajectoires de manipulation complètes, en maintenant une correspondance géométrique cohérente entre différentes instances d'un même type d'objet.

RecherchePaper
1 source
Les politiques robotiques compactes exigent des représentations visuelles fines
Illustration générée par IA
4arXiv cs.RO 

Les politiques robotiques compactes exigent des représentations visuelles fines

Des chercheurs proposent CoRP (Compressed Representation Policy), une politique de manipulation multi-tâches volontairement compacte: 48,9 millions de paramètres, sans modèle vision-langage ni prior génératif vidéo. Elle sépare un extracteur de représentation d'un générateur d'actions par flow matching. Elle atteint 97,0 % de réussite sur LIBERO et 75,78 % (Clean) et 73,36 % (Randomized) sur RoboTwin 2.0, soit des scores comparables à ceux de systèmes 40,9 à 163,6 fois plus gros. Il s'agit de résultats de benchmarks en simulation, publiés sous forme de préprint arXiv, sans déploiement réel annoncé. Les auteurs fixent ensuite le générateur d'actions et font varier une seule propriété de l'extracteur à la fois.

UEUne politique de manipulation de moins de 50 M de paramètres, validée uniquement en simulation, pourrait à terme permettre aux intégrateurs européens de robots industriels (KUKA, ABB, Universal Robots, Festo) d'embarquer l'IA sur du matériel modeste avec un coût d'inférence réduit, mais sans déploiement réel annoncé l'impact reste prospectif.

RecherchePaper
1 source