Aller au contenu principal
IA physiqueThe Robot Report 

Comment Rhoda AI exploite des données vidéo pour créer des modèles d'IA généralistes pour les robots

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Rhoda AI, basée à Palo Alto (Californie), est sortie plus tôt cette année de 18 mois de mode furtif avec une série A de 450 millions de dollars. La startup travaille avec des clients de l'automobile, de l'industrie manufacturière, de la logistique et du e-commerce pour déployer son modèle « direct vidéo action » (DVA), récemment étendu par une version « mobile DVA » qui regroupe manipulation et mobilité dans une seule politique de contrôle. Le principe décrit par son cofondateur et CEO, Jagdeep Singh, tient en une boucle fermée : le modèle ingère un historique d'images vidéo, de tokens d'action et de tokens de langage, prédit en vidéo ce que la scène deviendra dans les 500 millisecondes environ à venir, puis un second module, le convertisseur d'actions, traduit cette vidéo prédite en commandes robot. Le robot exécute ce segment d'une demi-seconde, une nouvelle observation est faite, et le cycle recommence. Le modèle est préentraîné sur l'équivalent de « centaines d'années » de vidéos issues d'internet, pas seulement des scènes de manipulation humaine. Il reçoit ensuite 10 à 20 heures d'entraînement spécifique à la tâche, que Singh compare à la formation d'un nouvel opérateur sur une ligne d'assemblage.

L'enjeu est de contourner le principal goulot d'étranglement de l'IA physique : l'absence d'un jeu de données à l'échelle d'internet pour le monde physique, là où les LLM ont pu absorber la quasi-totalité du texte disponible. L'approche dominante, la téléopération pour collecter des démonstrations, a produit des démos de laboratoire (plier un T-shirt, préparer un café) rarement assez robustes pour passer en production. Singh va jusqu'à affirmer que le nombre de robots de manipulation autonomes résolvant de vrais problèmes aujourd'hui est « effectivement zéro », une formule volontairement provocatrice et invérifiable. Rhoda soutient aussi que les modèles vision-langage-action (VLA), l'architecture dominante, peinent face à la variabilité du réel. Sa thèse repose sur un résultat contre-intuitif : les modèles les plus performants seraient ceux entraînés sur les corpus les plus larges, y compris des vidéos sans rapport évident avec la manipulation (vagues, arbres dans le vent, sport), plutôt que sur des vidéos égocentriques soigneusement filtrées. Si cela se confirmait en production, cela déplacerait la valeur de la collecte coûteuse de données robotiques vers l'exploitation de vidéo existante, avec un coût d'adaptation par site de l'ordre de quelques heures plutôt que de semaines. Cette capacité de généralisation serait aussi censée s'étendre à différentes morphologies de robots, un point crucial pour les intégrateurs qui veulent éviter de se lier à un matériel unique.

Ces affirmations restent toutefois celles de l'entreprise : aucun chiffre de taux de réussite, de temps de cycle, de payload ou de volume de déploiement n'est publié, et les clients ne sont pas nommés. On reste donc à ce stade entre annonce technique et premiers déploiements non documentés, sans preuve publique d'exploitation à l'échelle. Rhoda arrive sur un terrain où la logique « modèle fondation pour la robotique » est déjà occupée par Physical Intelligence (Pi-0), Nvidia (GR00T), Figure (Helix) ou Google DeepMind, tous centrés sur des VLA, tandis que d'autres acteurs, dont les approches de « world models » vidéo, explorent des pistes proches de la prédiction visuelle. Le pari de Rhoda, qui consiste à faire de la prédiction vidéo le coeur de la politique de contrôle, sera validé ou non par les premiers déploiements clients dans l'automobile et la logistique, et par la capacité de l'entreprise à publier des métriques de fiabilité en conditions réelles, notamment sur la latence d'inférence que suppose une boucle de prédiction toutes les demi-secondes.

À lire aussi

Dépasser le raccourci vision-action : entraînement par interface latente pour des modèles fondation robotiques généralisables
Illustration générée par IA
1arXiv cs.RO 

Dépasser le raccourci vision-action : entraînement par interface latente pour des modèles fondation robotiques généralisables

Un preprint arXiv publié en septembre 2026 (arXiv:2609.12641) présente Latent Interface Training (LIT), méthode en deux étapes pour corriger un biais fréquent des modèles robotiques vision-langage-action. La première étape entraîne l'expert d'action à produire des séquences de gestes à partir du langage, de l'état du robot et de la pose terminale SE(3) de l'effecteur, sans image, pour ancrer l'objectif dans l'espace plutôt que dans le pixel. La seconde étape ajoute une interface latente, unique canal de conditionnement visuel du modèle, entraînée à reconstruire cette même pose terminale. Appliqué à quatre architectures, Pi0.5, MolmoAct2, FAST-WAM et ImageWAM, LIT améliore le taux de réussite de 3,87 à 10,70 points sur le benchmark simulé LIBERO-Plus, et de 13,30 à 16,70 points en conditions réelles sur trois tâches testées avec caméra, éclairage et distracteurs modifiés. Ce biais, dit raccourci vision-action, survient quand un modèle entraîné par imitation s'appuie sur des indices visuels fortuits corrélés aux actions démontrées plutôt que sur la logique spatiale réelle de la tâche, ce qui explique en partie l'écart entre les démonstrations en laboratoire de modèles comme Pi-0, GR00T N2 ou Helix et leurs performances une fois la caméra, l'éclairage ou le décor changés. Agnostique au framework, LIT s'applique sans refonte à quatre architectures distinctes, offrant une piste de correction générique pour les intégrateurs qui déploient ces modèles hors des conditions de collecte des données d'entraînement. Le fait que les gains réels dépassent les gains simulés confirme aussi que des benchmarks comme LIBERO tendent à sous-estimer la fragilité de ces politiques face aux changements de scène. Le travail s'inscrit dans la vague des modèles de fondation robotiques préentraînés à grande échelle, aux côtés de la lignée Pi-0/Pi0.5 chez Physical Intelligence, de GR00T N2 chez NVIDIA ou de Helix chez Figure AI, tous confrontés au même problème de généralisation hors distribution une fois sortis du laboratoire. LIT se présente comme une correction méthodologique applicable par-dessus des architectures existantes, dont MolmoAct2, plutôt que comme un nouveau modèle autonome. Il s'agit pour l'instant d'un preprint non revu par les pairs, validé sur un seul benchmark simulé et trois tâches réelles, sans calendrier de déploiement industriel annoncé à ce stade.

IA physiqueActu
1 source
IA généralisable par ancrage de représentation et alignement langage-action pour les modèles VLA
Illustration générée par IA
2arXiv cs.RO 

IA généralisable par ancrage de représentation et alignement langage-action pour les modèles VLA

Le laboratoire à l'origine de ce travail publie Anchor-Align, une méthode de finetuning pour les politiques vision-langage-action (VLA), décrite dans un article arXiv (2607.13429, juillet 2026, projet en ligne sur anchoralignvla.github.io). Le problème ciblé est concret : quand un modèle vision-langage préentraîné est affiné sur des démonstrations robotiques par clonage comportemental (behavior cloning), il perd progressivement les représentations qui lui permettaient de généraliser visuellement et sémantiquement. Le co-entraînement sur des données web texte-image, remède habituel, ne corrige pas le vrai défaut : les pertes de langage et d'action portent sur des observations différentes, ce qui laisse un désalignement langage-action invisible aux benchmarks de manipulation classiques. Anchor-Align ajoute deux objectifs d'entraînement, l'un qui distille les représentations couche par couche d'une copie figée du VLM d'origine, l'autre qui convertit chaque action cible en étiquette discrète de direction de mouvement pour entraîner conjointement langage et action sur la même observation robotique. Sur un bras robotique physique xArm7, avec deux architectures VLA largement utilisées, les taux de réussite passent de 28% à 54% pour l'une et de 37% à 60% pour l'autre. L'enjeu dépasse la seule courbe de performance : c'est une remise en cause d'un présupposé du secteur des VLA, celui du "plus de données de co-entraînement suffit" pour éviter l'oubli catastrophique. En montrant qu'il existe un désalignement structurel que les benchmarks de manipulation standards ne détectent pas, les auteurs pointent un angle mort méthodologique qui concerne tous les laboratoires construisant des politiques de type RT-2, OpenVLA, Pi-0 ou GR00T. Pour les équipes qui finetunent des VLA pour des tâches industrielles, le message est que préserver les représentations préentraînées et apprendre correctement l'action ne sont pas des objectifs contradictoires, contrairement à l'hypothèse implicite du compromis généralisation-performance. Il faut toutefois noter que la majorité des gains rapportés (LIBERO-PRO, LIBERO-Plus, CALVIN) proviennent de simulation, avec seulement deux architectures testées en conditions réelles sur un unique bras robotique, ce qui limite la portée immédiate pour un déploiement industriel à grande échelle. Le contexte est celui d'une course intense autour des modèles VLA depuis l'émergence de RT-2 puis des systèmes open source comme OpenVLA, où le clonage comportemental sur démonstrations téléopérées est devenu la recette standard malgré ses limites connues de généralisation. Anchor-Align se positionne comme une brique méthodologique plutôt qu'un produit ou un robot, sans annonce de partenariat industriel ni de calendrier de déploiement pour l'instant. La suite logique serait une validation sur davantage d'architectures et de plateformes physiques, ainsi qu'une comparaison directe avec les techniques de co-entraînement existantes utilisées par les acteurs commerciaux du secteur, pour voir si le gain se maintient à l'échelle des flottes industrielles réelles.

IA physiqueActu
1 source
Generalist lève 400 millions de dollars pour développer ses modèles d'IA généralistes
Illustration générée par IA
3The Robot Report 

Generalist lève 400 millions de dollars pour développer ses modèles d'IA généralistes

Generalist AI Inc. a annoncé une levée de fonds de 400 millions de dollars, portant son financement total à plus de 500 millions depuis sa création en 2024. Le tour a été mené par Radical Ventures, avec de nouveaux entrants incluant 8VC, Union Square Ventures, Hanabi Capital et Norwest, auxquels s'ajoutent les investisseurs historiques NVentures (NVIDIA), Boldstart Ventures, Spark Capital et Bezos Expeditions. Parmi les investisseurs individuels figurent Fei-Fei Li, Eric Yuan (PDG de Zoom), Bin Lin et Naval Ravikant. Basée à San Mateo, en Californie, la startup développe des modèles fondamentaux destinés à des robots généralistes, capables d'opérer sur différentes architectures matérielles. En novembre 2025, elle avait lancé GEN-0, présenté comme le premier modèle à appliquer les lois de mise à l'échelle (scaling laws) à la robotique physique. En avril 2026, elle a publié GEN-1, avec des métriques communiquées par la société elle-même: taux de succès moyen de 99 % sur des tâches où les modèles précédents atteignaient 64 %, vitesse d'exécution environ trois fois supérieure sur des manipulations dextères, et seulement une heure de données robotiques nécessaires par compétence apprise. Ces chiffres, s'ils se confirment en conditions industrielles réelles, représenteraient un changement structurel pour la commercialisation de la robotique généraliste. Le principal verrou du secteur reste logiciel: la plupart des intégrateurs investissent encore des semaines de collecte de données pour chaque nouvelle tâche. Un modèle nécessitant une heure de données par compétence transformerait radicalement l'économie du déploiement. Cela dit, les métriques publiées proviennent exclusivement des communications internes de Generalist AI, sans validation indépendante ni précision sur les conditions de benchmark ou la nature des tâches testées. Le concept de "data flywheel", selon lequel les déploiements chez des clients industriels génèrent les données qui alimentent le modèle suivant, est éprouvé dans le logiciel; sa transposition à la robotique physique, avec ses contraintes de sécurité et de variabilité du monde réel, reste à démontrer à l'échelle. Generalist AI a été fondée en 2024 par Pete Florence (CEO), Andy Zeng (Chief Scientist) et Andrew Barry (CTO), trois chercheurs issus des milieux académiques et industriels de la robotique. La startup s'inscrit dans un marché en forte compétition: Physical Intelligence avec son modèle Pi-0, Figure AI avec le Figure 03, Boston Dynamics, Apptronik et 1X Technologies ciblent tous le même segment des modèles d'IA généralistes pour robots physiques. En Europe, Enchanted Tools et Wandercraft progressent sur des verticales plus ciblées. Avec cette levée, Generalist AI prévoit d'accélérer le développement de modèles de nouvelle génération, d'étendre son infrastructure d'entraînement et de renforcer son moteur de collecte de données physiques. La prochaine étape observable sera la documentation de déploiements industriels concrets chez des clients identifiés, seul critère qui permettra de distinguer les performances en laboratoire de la viabilité commerciale annoncée.

UELa montée en puissance de Generalist AI accentue la pression concurrentielle sur les acteurs européens comme Enchanted Tools et Wandercraft, dont les verticales ciblées et les capacités de financement ne sont pas comparables aux 500 M$ levés par cette startup américaine en moins de deux ans.

💬 500 millions en deux ans, c'est du sérieux. Ce qui m'intéresse vraiment, c'est pas le chèque, c'est cette histoire d'une heure de données par compétence apprise (contre des semaines pour les intégrateurs actuels). Si ça tient en conditions industrielles, tu changes complètement l'économie du déploiement robotique, mais tous les chiffres sortent de chez eux sans validation externe, donc faut voir les premiers clients réels avant de s'emballer.

IA physiqueOpinion
1 source
General Intuition lève 320 millions de dollars pour entraîner des robots avec des données de jeux vidéo
Illustration générée par IA
4The Robot Report 

General Intuition lève 320 millions de dollars pour entraîner des robots avec des données de jeux vidéo

General Intuition US Inc. a annoncé cette semaine une levée de fonds de 320 millions de dollars en Série A, portant sa valorisation à 2,3 milliards de dollars et son financement total à 454 millions, après un premier tour de 134 millions en octobre 2025. Le round est mené par General Catalyst et inclut Jeff Bezos, fondateur d'Amazon, et Eric Schmidt, ex-PDG de Google. L'entreprise new-yorkaise, fondée en 2015 par Pim de Witte, développe deux familles de modèles : des action models, qui décident quelle action entreprendre, et des world models, qui prédisent les conséquences de ces actions dans des environnements virtuels ou physiques. La particularité de son approche est la source des données d'entraînement : non pas des vidéos de manipulation robotique ou des simulations synthétiques, mais des milliards de clips de gameplay issus de Medal, une plateforme de partage de moments gaming que de Witte a également cofondée. Ces vidéos sont accompagnées de labels d'action embarqués, qui enregistrent précisément quelle touche le joueur appuie et à quel instant, offrant une supervision dense sur la relation perception-décision-action. L'intérêt de cette approche pour l'IA physique tient à une hypothèse centrale : les modèles entraînés sur du texte décrivent la réalité, ils ne la modélisent pas. Le jeu vidéo, lui, capture un humain qui perçoit un environnement tridimensionnel, anticipe des dynamiques et agit en conséquence, dans des milliers de configurations différentes. Si l'hypothèse tient à l'échelle, cela représenterait un raccourci significatif pour le sim-to-real gap qui plombe la généralisation des politiques robotiques : plutôt que de collecter des téléopérations coûteuses ou de concevoir des environnements simulés ad hoc, General Intuition récupère de la diversité environnementale pour presque rien. La question non résolue reste la transférabilité effective de ces représentations vers des corps physiques avec des dynamiques mécaniques réelles, un point que la société n'a pas encore documenté publiquement avec des benchmarks tiers. General Intuition évolue dans un espace de plus en plus encombré. Des acteurs comme DeepMind avec RT-2 et ses successeurs, Physical Intelligence (pi) avec Pi-0, ou encore Covariant avec RFM-1 misent également sur des fondations visuelles générales pour l'apprentissage de politiques robotiques. La différence revendiquée est l'échelle et la labellisation des données gaming, un corpus que la concurrence ne possède pas. L'entreprise prévoit de rendre son API accessible publiquement à l'été 2026 et d'utiliser le financement pour augmenter sa capacité de calcul et entraîner la prochaine version de son modèle de préentraînement. Aucune annonce de partenariat industriel ou de déploiement sur plateforme robotique physique n'a été communiquée à ce stade : il s'agit d'une phase de précommercialisation axée infrastructure et modèle.

IA physiqueOpinion
1 source