Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
CLIFT : transformer Gemini Robotics On-Device en spécialistes humanoïdes via un réglage fin itératif en boucle fermée non invasif
RecherchearXiv cs.RO 

CLIFT : transformer Gemini Robotics On-Device en spécialistes humanoïdes via un réglage fin itératif en boucle fermée non invasif

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs viennent de publier une étude (arXiv:2607.29172v1) testant les limites de Gemini Robotics On-Device (GROD), le modèle fondation robotique de Google DeepMind, dans son mode d'accès le plus restreint : l'API de fine-tuning supervisé managé, où l'utilisateur envoie des données d'entraînement et récupère une politique ajustée sans jamais toucher aux poids, aux gradients ni aux mécanismes internes du modèle. Sur un humanoïde réel confronté à des tâches de manipulation agiles et riches en contacts, les auteurs montrent qu'un simple fine-tuning supervisé via cette API surpasse nettement un VLA open-weight de référence entraîné sur les mêmes démonstrations, mais reste en deçà du niveau de fiabilité attendu en déploiement. Pour combler cet écart, l'équipe introduit CLIFT (Closed-Loop Iterative Fine-Tuning), une méthode qui transforme les signaux de récompense observés au moment du déploiement en données d'entraînement compatibles avec l'API, permettant une amélioration en boucle fermée sans accès aux poids, gradients, vraisemblances ni fonctions de perte. Résultat annoncé : un taux de succès quasi parfait après seulement deux cycles de ce "flywheel".

L'enjeu dépasse le cas GROD. Les fournisseurs de modèles fondation robotiques les plus performants suivent le même chemin que les grands labos de LLM : garder les poids fermés et ne proposer qu'une API de fine-tuning. Cela prive les intégrateurs et équipes robotique de l'apprentissage par renforcement classique, pourtant jugé nécessaire pour les tâches de contact fin où l'écart entre sortie de politique et comportement réel reste large. CLIFT propose une voie pour retrouver une partie de ce bénéfice sans que le fournisseur du modèle n'ouvre sa boîte noire, ce qui intéresse directement les acteurs qui devront un jour adapter des modèles propriétaires à leurs propres robots et environnements de production.

Le travail s'inscrit dans la lignée de Gemini Robotics, la famille de modèles annoncée par Google DeepMind en 2025, et fait écho aux pratiques déjà en place chez OpenAI ou Anthropic pour le fine-tuning managé des LLM. Il se positionne en creux face aux modèles ouverts comme Pi-0 ou GR00T, qui autorisent un réglage plus profond mais restent en retrait de GROD en performance brute selon cette étude, ouvrant la question de la généralisation de CLIFT à d'autres embodiments et tâches.

Dans nos dossiers

NVIDIA GR00TGemini RoboticsarXiv cs.RO

À lire aussi

Transformer des modèles vidéo en politiques robotiques généralistes
1arXiv cs.RO 

Transformer des modèles vidéo en politiques robotiques généralistes

Des chercheurs du MIT CSAIL ont publié fin mai 2026 un preprint (arXiv:2605.27817) présentant VERA, pour Video-to-Embodied Robot Action Model, une architecture qui transforme des modèles vidéo génératifs en politiques robotiques généralisables. L'idée centrale est de découpler deux composants qui, dans les approches récentes, sont souvent entraînés conjointement : un planificateur vidéo, qui prédit des séquences d'images représentant la complétion d'une tâche, et un modèle de dynamique inverse (IDM, Inverse Dynamics Model) spécifique à l'effecteur, qui traduit ces images en commandes motrices concrètes. L'IDM est conçu à partir du Jacobien cinématique du robot, ce qui le rend à la fois efficient en données et extensible aux espaces d'action de haute dimension. L'équipe démontre VERA sur deux configurations : manipulation zero-shot d'un bras Panda 7-DOF et réorientation de cube en dextérité avec une main Allegro à 16 degrés de liberté, sur des benchmarks simulés et réels. Ce découplage constitue une alternative architecturale directe aux fondations robotiques qui co-entraînent prédiction d'observations et prédiction d'actions sur des données étiquetées (action-labeled), comme le proposent Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. L'avantage opérationnel est concret : le planificateur vidéo reste agnostique à l'effecteur et peut être partagé entre plusieurs robots en changeant uniquement l'IDM associé, sans réentraîner le backbone vidéo. L'IDM peut lui-même être entraîné sur des données de self-play facilement disponibles, ce qui réduit la dépendance aux démonstrations humaines coûteuses. Les résultats zero-shot sur des tâches de manipulation réelle renforcent la thèse que le gap sim-to-real peut être atténué par une modélisation géométrique rigoureuse de l'effecteur. La course aux VLA (Vision-Language-Action models) et aux politiques cross-embodiment est aujourd'hui dominée par des laboratoires bien capitalisés : Physical Intelligence avec Pi-0 et Pi-0.5, NVIDIA avec GR00T N2, Figure AI avec Helix, et 1X Technologies. VERA positionne le MIT CSAIL dans ce paysage avec une approche plus modulaire que les architectures monolithiques en vogue. Il s'agit pour l'instant d'un preprint de recherche, sans déploiement industriel annoncé ni partenariat hardware mentionné. Les résultats sont disponibles sur vera.csail.mit.edu, et la prochaine étape naturelle serait une évaluation sur des effecteurs plus variés ou des environnements non structurés pour valider la généralisation à plus grande échelle.

RechercheOpinion
1 source
GE-Sim 2.0 : une feuille de route vers des simulateurs vidéo en boucle fermée pour la manipulation robotique
2arXiv cs.RO 

GE-Sim 2.0 : une feuille de route vers des simulateurs vidéo en boucle fermée pour la manipulation robotique

Une équipe de recherche a publié sur arXiv (arXiv:2605.27491) GE-Sim 2.0, un simulateur vidéo en boucle fermée conçu pour l'entraînement et l'évaluation de politiques de manipulation robotique. Le système, Genie Envisioner World Simulator 2.0, prolonge l'architecture de génération vidéo conditionnée par l'action de son prédécesseur et a été ré-entraîné sur des milliers d'heures de données robotiques réelles couvrant la télé-opération, les interactions contact-rich et le déploiement de politiques embarquées. Trois nouveaux modules ferment la boucle simulation-apprentissage : un "state expert" qui décode l'état proprioceptif depuis les latents vidéo pour alimenter les politiques VLA (Vision-Language-Action) en prédiction de trajectoire ; un "world judge" qui évalue automatiquement les rollouts générés face aux instructions de tâche, produisant des signaux de réussite vérifiables sans inspection manuelle ; et un framework d'accélération capable de générer un rollout de 25 frames en 2,3 secondes sur un seul GPU H100, avec jusqu'à 4x de frame skipping à l'inférence pour les scénarios longue-portée. Avec seulement 2 milliards de paramètres, le modèle domine le classement public WorldArena, devançant à la fois des world models robotiques dédiés et des générateurs vidéo généralistes en source fermée. L'enjeu central est le sim-to-real gap, la difficulté chronique à transférer des politiques entraînées en simulation vers des robots réels. GE-Sim 2.0 tente d'y répondre sur deux fronts : en générant des données synthétiques crédibles sur lesquelles entraîner des politiques VLA, avec des gains mesurables en conditions réelles selon les auteurs, et en automatisant l'évaluation des rollouts via le world judge, un goulot d'étranglement qui nécessitait jusqu'ici infrastructure physique ou inspection humaine. Pour les équipes travaillant à l'échelle sur des politiques de manipulation, l'équation coût-délai d'itération pourrait évoluer sensiblement. La performance au benchmark WorldArena avec 2B paramètres seulement suggère une efficacité paramétrique notable, même si les benchmarks de simulation ne garantissent pas directement des performances terrain. GE-Sim 2.0 s'inscrit dans la continuité directe de Genie Envisioner, framework de génération vidéo conditionné par l'action publié par la même équipe. Le marché des world models pour la robotique s'est densifié rapidement, avec notamment UniSim et des travaux issus de Google DeepMind, IRASim, ainsi que les simulateurs développés par Physical Intelligence autour de pi_zero. Dans l'espace VLA, Lerobot (Hugging Face) et plusieurs groupes académiques de MIT et Stanford investissent des directions parallèles. Ce résultat reste une pré-publication arXiv sans révision par les pairs ; les "gains mesurables en conditions réelles" annoncés ne sont pas quantifiés précisément dans l'abstract, ce qui limite l'interprétation des performances de transfert. La prochaine étape logique serait une validation externe sur des benchmarks physiques standardisés.

RechercheOpinion
1 source
H2INT : un Transformer d'interactions humain-humain et humain-robot pour naviguer en foule dense et incertaine
3arXiv cs.RO 

H2INT : un Transformer d'interactions humain-humain et humain-robot pour naviguer en foule dense et incertaine

Une équipe de recherche publie sur arXiv (référence 2609.05300v1, prépublication de septembre 2026) un nouveau cadre d'apprentissage par renforcement baptisé H2INT, pour Human-Human & Human-Robot Interaction Transformer, destiné à la navigation de robots dans des foules denses et imprévisibles. Le système repose sur un Transformer à portes en deux étapes qui encode progressivement les relations humain-humain puis humain-robot, couplé à une politique récurrente chargée de capturer leur évolution temporelle. Un curriculum d'entraînement réduit graduellement la réactivité simulée des piétons afin de complexifier peu à peu les scénarios d'interaction. Point clé de la méthode : la réactivité des piétons au robot influence la dynamique de la foule dès que le robot est visible, mais n'est jamais fournie en entrée à la politique, qui doit donc en déduire les conséquences à partir des seules positions relatives centrées sur le robot. Les expériences, menées en simulation sur plusieurs niveaux de densité de foule et de réactivité, montrent des gains de sécurité et de robustesse par rapport à des méthodes de référence, ainsi qu'un transfert vers des configurations de flux de foule structurellement différentes sans réentraînement. Un déploiement sur robot réel confirme que la politique apprise fonctionne avec des observations limitées. L'enjeu dépasse l'exercice académique : la plupart des politiques de navigation sociale entraînées par apprentissage traitent le mouvement des piétons comme indépendant du robot, ou supposent une réciprocité uniforme entre individus, ce qui ignore une source majeure d'incertitude dans les environnements réels. En modélisant explicitement comment la présence du robot modifie le comportement humain, sans imposer cette information comme donnée d'entrée artificielle, H2INT s'attaque directement à un angle mort connu des robots mobiles autonomes appelés à opérer en entrepôt, hôpital, aéroport ou espace commercial. La capacité démontrée à généraliser sans réentraînement à des topologies de foule inédites est l'élément le plus pertinent pour les intégrateurs, car elle réduit le coût de recalibrage à chaque nouveau site de déploiement, un frein habituel à la commercialisation de la navigation sociale robotisée. Ce travail s'inscrit dans la lignée des recherches en navigation sociale par apprentissage par renforcement, un champ où les limites des hypothèses de réciprocité simplifiée sont documentées depuis plusieurs années. L'abstract ne précise ni les auteurs, ni le laboratoire, ni le matériel robotique utilisé pour la validation réelle, ce qui invite à la prudence tant que ces détails et une évaluation indépendante ne sont pas disponibles. Aucune date de publication en conférence ni de feuille de route de déploiement industriel n'est mentionnée à ce stade.

RecherchePaper
1 source
REVOLVE : un cadre automatisé en boucle fermée pour faire évoluer la manipulation robotique avec une intervention humaine minimale
4arXiv cs.RO 

REVOLVE : un cadre automatisé en boucle fermée pour faire évoluer la manipulation robotique avec une intervention humaine minimale

Publié en septembre 2026 sur arXiv (2609.14633v1), REVOLVE (Robot Evolving via Orchestrated Loops, Verification, and Experience) est un framework logiciel qui automatise en boucle fermée l'entraînement de politiques de manipulation robotique. Il combine ARC (Automated Reset and Collection), qui réinitialise seul l'environnement et corrige les échecs de la politique, et DLE (Dual-Loop Evolution), qui réinjecte en continu les données d'échec dans l'entraînement et affine, via une mémoire externe des erreurs, le jugement de l'agent superviseur. Sur quatre tâches de manipulation réelles, après cinq itérations, REVOLVE relève de 18,5% le taux de réussite moyen des politiques et de 8,5% la précision de jugement de l'agent, tout en réduisant l'effort humain de 94,4% en collecte de données et de 95,1% en tests de déploiement. L'enjeu dépasse la prouesse technique : dans la quasi-totalité des déploiements de robots manipulateurs, remettre en état l'environnement et collecter des données correctives après un échec restent des tâches manuelles qui freinent le passage à l'échelle des politiques apprises par imitation ou par renforcement. En automatisant détection d'échec, réinitialisation physique et intégration continue de l'expérience, REVOLVE s'attaque au goulot d'étranglement qui sépare les démonstrations de laboratoire d'un déploiement industriel autonome. Pour les intégrateurs et équipes robotique en entreprise, l'intérêt est un modèle qui s'améliore pendant son exploitation plutôt qu'un système figé après l'entraînement, un argument qui pèse dans le débat sur la capacité réelle des politiques vision-language-action hors des vidéos de démonstration soigneusement sélectionnées. Cette proposition s'inscrit dans une limite connue de la recherche en manipulation robotique : les politiques data-driven progressent en exécution et en généralisation, mais restent dépendantes d'une supervision humaine constante pour corriger les erreurs et remettre les objets en place après chaque essai raté. REVOLVE se présente comme une plateforme logicielle unifiée regroupant collecte, entraînement, déploiement et apprentissage continu dans un seul flux, en alternative aux pipelines où ces étapes restent cloisonnées et dépendantes d'opérateurs. Classé «new» sur arXiv, ce travail reste une contribution de recherche, non un produit commercialisé ni un déploiement industriel confirmé, et l'article ne précise ni la nature des quatre tâches testées ni l'identité des laboratoires impliqués.

RecherchePaper
1 source