Aller au contenu principal

IA physique

50 sur 597 articles

Modèles vision-langage-action (VLA) et IA physique : NVIDIA GR00T, Figure Helix, Physical Intelligence π0, Gemini Robotics, OpenVLA, world models Cosmos/Genie.

1The Robot Report IA physiqueOpinion

Comment éviter le piège de la téléopération dans le développement de la robotique

Flexion, société développant une plateforme d'apprentissage par renforcement et de transfert simulation-vers-réel pour robots humanoïdes, publie une analyse critique sur les méthodes de collecte de données du secteur. Depuis 18 mois, les entreprises de robotique humanoïde ont levé des milliards de dollars, une majorité de ces fonds finançant en réalité le recrutement d'opérateurs humains pour téléopérer des robots ou filmer des tâches domestiques, notamment dans des économies à bas coût de main-d'œuvre en Chine, en Inde, en Europe et aux États-Unis. Un écosystème commercial entier s'est structuré autour de la vente de données de téléopération, sur le modèle des entreprises qui vendaient auparavant du texte annoté pour entraîner les modèles de langage. Selon Flexion, ces jeux de données restent plus de 100 000 fois plus petits que ceux utilisés pour entraîner les modèles de langage et de vision actuels, et la qualité pose aussi problème : les opérateurs ne peuvent ni ressentir le toucher ni juger correctement la profondeur, ce qui les pousse à des gestes lents et à des surcorrections que le robot finit par reproduire fidèlement. Cette dépendance interroge directement la promesse commerciale portée par le secteur : les robots humanoïdes sont censés pallier une pénurie de main-d'œuvre annoncée, liée au vieillissement démographique. Or un système qui nécessite un flux permanent de démonstrations humaines pour fonctionner sur toute tâche nouvelle constitue, de fait, un système de travail humain déguisé plutôt qu'une automatisation réelle. Flexion pointe un biais de mesure répandu dans l'industrie : le nombre d'heures de téléopération collectées ou de tâches réussies en environnement contrôlé ne renseigne en rien sur la capacité réelle d'un robot à généraliser face à une situation ou un lieu inédits. L'argument habituel selon lequel la téléopération ne serait qu'un pont temporaire vers de meilleures méthodes d'entraînement reste, selon l'entreprise, invérifié : rien n'indique quand ni comment cette transition doit s'opérer, et construire davantage d'infrastructure de démonstration ne fait qu'approfondir la dépendance plutôt que la résoudre. Flexion propose une alternative structurée autour de trois couches, commande, mouvement et contrôle, misant sur l'apprentissage par renforcement en environnements synthétiques plutôt que sur l'imitation de démonstrations humaines. L'entreprise compare la situation actuelle à celle des débuts des modèles de langage : entraînés sur d'immenses corpus textuels, ces modèles savaient imiter le style sans forcément raisonner, un plafond dépassé grâce à l'apprentissage par renforcement plutôt qu'à l'accumulation de davantage de texte. Contrairement au texte, il n'existe aucune archive préexistante de gestes robotiques exploitables à grande échelle, chaque démonstration devant être générée manuellement, ce qui limite structurellement la vitesse de progression du secteur tant que le paradigme de la téléopération domine.

UEL'article cite l'Europe comme l'un des bassins de main-d'oeuvre utilises pour la teleoperation, mais ne mentionne aucune entreprise ou reglementation francaise ou europeenne specifique.

1 source
2Robotics & Automation News 

Robbyant lance LingBot-World 2.0, avec génération de monde en temps réel sur une heure

Robbyant, filiale d'IA incarnée du groupe chinois Ant Group, a publié en open source LingBot-World 2.0, surnommé Infinity, la nouvelle génération de son modèle de monde interactif. Cette version ajoute la génération de mondes en temps réel sur une durée d'environ une heure, une sortie en haute définition et des capacités interactives élargies par rapport à la mouture précédente. Selon l'entreprise, il s'agit d'une avancée significative face à LingBot-World 1.0, qui ne maintenait une génération stable que sur quelques minutes : Infinity étendrait cette stabilité à un régime quasi continu, sur une échelle de temps nettement supérieure. Pour l'industrie robotique, un modèle de monde capable de générer des environnements interactifs cohérents sur des durées prolongées représente un outil potentiellement précieux pour l'entraînement d'agents embarqués et de politiques VLA, en offrant des données de simulation à grande échelle sans dépendre entièrement de captures réelles. Cela s'inscrit dans une tendance plus large où les world models cherchent à combler l'écart entre simulation et réalité pour accélérer l'apprentissage robotique. Il faut toutefois rester prudent : l'annonce reste à ce stade une publication de recherche en open source, sans détails indépendants sur la robustesse en conditions réelles, et la formulation « temps réel sur une heure » mérite d'être vérifiée au-delà des démonstrations mises en avant par l'entreprise. Ant Group investit depuis plusieurs trimestres dans l'IA incarnée via Robbyant, dans un contexte où des laboratoires concurrents (World Labs, DeepMind avec Genie, ou encore les initiatives world-model de Nvidia) développent des approches similaires pour générer des environnements simulés destinés à l'entraînement de robots et d'agents autonomes. La publication en open source de LingBot-World 2.0 pourrait accélérer l'adoption par la communauté de recherche, sans qu'un calendrier de déploiement industriel concret n'ait encore été précisé.

IA physiqueActu
1 source
3arXiv cs.RO 

RoboTTT : mise à l'échelle du contexte pour les politiques robotiques

NVIDIA, via son laboratoire de recherche GEAR (research.nvidia.com/labs/gear), publie RoboTTT (Test-Time-Training Robot Policies), un modèle et une recette d'entraînement qui étendent le contexte visuomoteur des politiques robotiques à 8 000 pas de temps, soit trois ordres de grandeur au-delà des modèles de référence actuels qui opèrent en une seule étape ou sur un historique court, sans augmenter la latence d'inférence. Sur des tâches réelles de manipulation robotique, RoboTTT améliore les performances globales de 87% par rapport à une base à contexte unique et parvient à compléter intégralement une tâche d'assemblage de cinq minutes en dix étapes, ce qu'aucun modèle de référence testé n'accomplit. La version entraînée avec un contexte de 8 000 pas de temps surpasse de 62% la même architecture pré-entraînée avec seulement 1 000 pas de temps. Le mécanisme repose sur l'intégration du Test-Time Training dans des politiques Vision-Language-Action: l'état récurrent du modèle est constitué de "fast weights", des paramètres mis à jour par descente de gradient pendant l'entraînement et l'inférence, qui compressent l'historique en poids plutôt qu'en tokens de contexte classiques. Cette approche déplace un verrou connu du secteur: jusqu'ici, allonger le contexte des politiques robotiques se heurtait au coût de calcul en inférence. RoboTTT découple les deux, ouvrant la voie à des capacités nouvelles pour les intégrateurs: imitation en contexte à partir d'une seule démonstration vidéo humaine sans réentraînement, amélioration de la politique à la volée, et meilleure robustesse aux perturbations sur des tâches longues et multi-étapes. Les auteurs notent, pour la première fois selon eux, une progression régulière des performances en boucle fermée à mesure que le contexte de pré-entraînement augmente, ce qui positionne la longueur de contexte comme un nouvel axe de scaling pour les modèles fondation robotiques, au même titre que la taille des paramètres ou le volume de données. RoboTTT s'inscrit dans la lignée des politiques VLA telles que Pi-0 ou GR00T N2, dont l'entraînement combine ici le "sequence action forcing" et la rétropropagation tronquée dans le temps pour gérer un contexte aussi long. Il s'agit à ce stade d'un article de recherche (arXiv, preprint) accompagné de vidéos de démonstration, sans indication de déploiement industriel ni de calendrier de commercialisation.

IA physiqueActu
1 source
4arXiv cs.RO 

Action QFormer : structuration des représentations guidée par la supervision des actions dans les modèles vision-langage-action

Des chercheurs publient sur arXiv (2607.14635v1) une étude sur les modèles vision-langage-action (VLA), remettant en question la manière dont la supervision par action est utilisée pour entraîner ces systèmes. Traditionnellement traitée comme un simple objectif d'apprentissage en aval pour prédire les actions, cette supervision agit en réalité comme une force qui remodèle les représentations multimodales héritées des modèles vision-langage préentraînés. Les auteurs montrent que cet effet est double : il est indispensable pour construire des représentations compatibles avec l'action, mais lorsqu'il est appliqué trop directement sur le flux multimodal hérité, il déstabilise aussi les capacités de traitement du langage et d'ancrage des objets. Pour résoudre cette tension, l'équipe introduit Action QFormer, une interface à base de requêtes conditionnées par les instructions, qui réorganise les informations multimodales héritées en représentations orientées action avant la génération des commandes. En navigation zero-shot sim-to-real, cette architecture fait bondir le taux de réussite moyen des tâches en boucle fermée de 18,8% à 56,3%, la justesse de génération d'action à instruction fixe de 22,5% à 75,5%, et réduit quasiment à zéro les générations d'instructions hors distribution. Ce résultat touche un point sensible du secteur robotique : l'écart persistant entre démonstrations impressionnantes et performances réelles en conditions variables, souvent attribué au fossé sim-to-real. En multipliant par trois le taux de succès en navigation zero-shot, Action QFormer suggère que les gains de performance des VLA ne viendront pas uniquement de backbones préentraînés plus puissants, à la manière de Pi-0, GR00T N2 ou Helix, mais aussi de la façon dont l'information multimodale héritée est sélectionnée et organisée avant d'être exposée à la supervision par action. Pour les intégrateurs et équipes de recherche robotique, ce travail envoie un signal clair : le simple passage à l'échelle des données d'action ou le fine-tuning direct sur des architectures VLM existantes comporte un risque de dégradation silencieuse des capacités de compréhension du langage et de perception, un compromis rarement documenté dans les communications commerciales. Ce travail s'inscrit dans la lignée des modèles VLA apparus depuis RT-2 et OpenVLA, qui adaptent des architectures vision-langage préentraînées à la prédiction directe d'actions robotiques, approche depuis reprise par des laboratoires comme Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2 ou Figure AI avec Helix. La question de la préservation des capacités multimodales sous supervision d'action rejoint des préoccupations déjà observées ailleurs dans le secteur, où l'écart entre vidéos de démonstration sélectionnées et déploiement réel reste un sujet de vigilance éditoriale. Les auteurs positionnent Action QFormer comme une brique architecturale plutôt qu'un produit fini, validée pour l'instant sur des tâches de navigation en environnement simulé puis réel ; la suite logique serait son extension à des tâches de manipulation avec davantage de degrés de liberté, ainsi que sa validation sur des backbones VLA de plus grande échelle.

IA physiqueActu
1 source
5arXiv cs.RO 

Never trop tard pour la force : accélérer le post-entraînement des VLA par injection réactive de force

Des chercheurs publient sur arXiv (arXiv:2607.14236v1) LIFT, pour "Late Reactive Injection of Force for VLA Post-Training", une méthode de post-entraînement qui ajoute une réactivité au contact aux politiques vision-langage-action (VLA) déjà pré-entraînées. Le principe : greffer un second "expert d'action" réactif à côté de celui d'origine, initialisé à partir des mêmes poids pré-entraînés, et lui injecter en continu la force 6D mesurée à l'effecteur terminal via une mémoire de force causale et une attention croisée à initialisation nulle. Cela permet de rafraîchir les actions du robot en cours d'exécution, en fonction du retour de force réel et non plus seulement de la vision. Pour gérer le décalage de distribution propre à chaque politique face au retour de contact, LIFT combine cette injection de force avec une boucle DAgger en ligne, entraînée sur un mélange de données hors-ligne alignées sur la tâche et de trajectoires en ligne corrigées par un opérateur humain. Les auteurs testent l'approche sur trois tâches de manipulation fine : pliage de serviette, insertion de livre et empilement d'anneaux façon tour de Hanoï. L'enjeu dépasse la démonstration académique : les politiques VLA actuelles (dans la lignée de RT-2, OpenVLA ou Pi-0) restent essentiellement pilotées par la vision, ce qui les rend fragiles dès que la scène devient occluse, la profondeur ambiguë, ou qu'une petite erreur de force fait sortir l'exécution de la distribution des démonstrations d'entraînement, un scénario fréquent dès qu'il y a contact physique réel avec l'objet. LIFT s'attaque directement à l'un des points faibles documentés du paradigme VLA pour la manipulation en contact, une zone où le fossé entre démonstration vidéo et robustesse en conditions réelles reste large. Les auteurs rapportent un apprentissage plus rapide et des performances supérieures à un post-entraînement uniquement visuel, avec des ablations montrant que la mémoire de force et les corrections humaines en ligne contribuent toutes deux à la robustesse obtenue. Le travail s'inscrit dans la vague actuelle de recherche visant à rendre les politiques VLA génériques exploitables en usine ou en environnement non structuré, où la manipulation fine (insertion, assemblage, tissu) reste le talon d'Achille par rapport aux tâches de préhension simple. Contrairement à un réentraînement complet du modèle, LIFT préserve les connaissances de manipulation générale du VLA de base tout en ajoutant un module spécialisé pour le contact, une approche modulaire plus économe en données. Le code et les données doivent être rendus publics, ce qui permettra à d'autres laboratoires de reproduire les résultats sur d'autres politiques VLA et d'autres tâches de manipulation en contact.

IA physiqueActu
1 source
6arXiv cs.RO 

Reflex : contrôle VLA en temps réel par inférence en continu

Des chercheurs présentent Reflex, un framework permettant l'inférence en temps réel pour les modèles Vision-Language-Action (VLA) basés sur le flow matching, une technique de contrôle continu prisée pour sa précision mais jusqu'ici incompatible avec la robotique temps réel. Le problème identifié est structurel : l'injection globale du timestep dans le processus de débruitage itératif invalide le KV-caching classique, obligeant à choisir entre un recalcul coûteux en O(N²) ou une réutilisation de cache mathématiquement incorrecte. Reflex exploite ce que les auteurs nomment la "Timestep-Invariance Property", le fait que les encodeurs de perception fonctionnent indépendamment de la boucle de débruitage, pour partitionner le contexte d'attention en régions statique, glissante et dynamique, permettant des mises à jour de cache incrémentales en O(1) sans perte de précision sur les sorties d'attention. Une couche de normalisation adaptative baptisée AdaRMSNorm évite l'effondrement numérique en BFloat16 lors d'inférences continues à haute fréquence, en se calant sur la phase du flux. Un pipeline asynchrone découple encodage visuel et génération d'action, complété par de la fusion d'opérateurs pour réduire l'overhead des kernels. Sur les benchmarks LIBERO et Kinetix, Reflex atteint une accélération d'inférence de 2,58x et un streaming stable à 50Hz, avec une latence de réaction réduite jusqu'à 54%, sans dégradation de performance. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement rarement discuté publiquement : les modèles VLA à flow matching, malgré leurs résultats impressionnants en démonstration, peinent à tourner en boucle fermée à des fréquences compatibles avec un contrôle robotique réactif. Un déploiement stable à 50Hz sans compromis sur la qualité change la donne pour les intégrateurs qui cherchent à faire tourner ces politiques sur du matériel embarqué à budget de calcul limité, plutôt que de dépendre d'un GPU distant surdimensionné. C'est aussi une réponse concrète à l'écart fréquemment pointé entre les métriques de benchmark et la viabilité en conditions réelles de contrôle continu. Ce travail s'inscrit dans la lignée des politiques VLA à diffusion ou flow matching comme Pi-0 ou GR00T N2, qui ont démontré la faisabilité du contrôle continu appris mais restent contraintes par leur coût d'inférence. Reflex ne propose pas un nouveau modèle mais une couche d'infrastructure d'inférence, potentiellement transférable à d'autres architectures de flow matching. Publié sur arXiv (2607.14695), l'article ouvre la voie à des évaluations sur du matériel physique réel, au-delà des environnements simulés LIBERO et Kinetix utilisés pour la validation actuelle.

IA physiqueActu
1 source
7Interesting Engineering 

Vidéo : les robots d'usine du spin-off américain de Toyota apprennent de leur expérience sur le terrain

Walden Robotics, spinout de Toyota Research Institute basé à Cambridge, Massachusetts, sort de son mode furtif avec une plateforme robotique généraliste conçue pour apprendre directement sur le poste de travail plutôt que suivre des séquences préprogrammées. L'entreprise a été créée en janvier 2026 et déploie déjà ses robots dans une usine Toyota en Amérique du Nord depuis février, passant d'un pilote initial à une production active en moins de deux mois. Son approche combine des Large Behavior Models et du Diffusion Policy, deux techniques d'IA permettant aux robots d'acquérir des compétences de manipulation par l'expérience réelle plutôt que par reprogrammation. Walden annonce parallèlement une levée de 300 millions de dollars, valorisant l'entreprise à 1,1 milliard de dollars, un tour co-mené par Toyota et Deviation Capital avec la participation de NVIDIA, Boeing, Samsung Ventures, AE Ventures, Prologis Ventures, CoreWeave Ventures et Menlo Ventures. Le PDG et cofondateur, Russ Tedrake, était auparavant vice-président senior des Large Behavior Models chez Toyota Research Institute et reste professeur au MIT. La société cible l'automobile, l'aérospatial, les semi-conducteurs, l'électronique, la logistique et les sciences de la vie. L'intérêt de l'annonce tient moins à la levée de fonds, conséquente mais désormais courante dans le secteur, qu'au positionnement revendiqué : des robots opérationnels dès le premier jour sur des tâches difficiles à automatiser, qui s'améliorent ensuite par l'usage plutôt que par des cycles de reprogrammation coûteux. Cela répond directement à une pénurie de main-d'œuvre en usine et en logistique, tout en testant grandeur nature l'hypothèse selon laquelle les modèles fondation type VLA peuvent tenir la charge en production réelle, et pas seulement en démonstration contrôlée. Tedrake insiste d'ailleurs sur ce point : l'objectif est la valeur pratique en usine avec des industriels, pas la vitrine technologique. Si les revendications se confirment sur la durée, cela validerait un argument encore débattu dans la robotique humanoïde et industrielle, celui du passage réel de la démo au déploiement à l'échelle. Le pedigree de Walden s'inscrit dans la continuité des recherches de Toyota Research Institute sur l'apprentissage robotique, dont Tedrake pilotait déjà les travaux sur les Large Behavior Models avant le spinout. La concurrence s'organise sur plusieurs fronts : l'américain Robot.com vient par exemple de lancer R-Noid, un humanoïde à deux bras de 7 degrés de liberté proposé en mode Robot-as-a-Service, déployable en huit à douze semaines et décliné en cinq configurations (restauration, emballage, prélèvement, pliage, accueil) pour la logistique, la santé, l'hôtellerie et la restauration. Reste à voir si Walden publiera des spécifications techniques détaillées et des données de performance vérifiables, au-delà de l'annonce du pilote Toyota.

IA physiqueOpinion
1 source
8arXiv cs.RO 

IA généralisable par ancrage de représentation et alignement langage-action pour les modèles VLA

Le laboratoire à l'origine de ce travail publie Anchor-Align, une méthode de finetuning pour les politiques vision-langage-action (VLA), décrite dans un article arXiv (2607.13429, juillet 2026, projet en ligne sur anchoralignvla.github.io). Le problème ciblé est concret : quand un modèle vision-langage préentraîné est affiné sur des démonstrations robotiques par clonage comportemental (behavior cloning), il perd progressivement les représentations qui lui permettaient de généraliser visuellement et sémantiquement. Le co-entraînement sur des données web texte-image, remède habituel, ne corrige pas le vrai défaut : les pertes de langage et d'action portent sur des observations différentes, ce qui laisse un désalignement langage-action invisible aux benchmarks de manipulation classiques. Anchor-Align ajoute deux objectifs d'entraînement, l'un qui distille les représentations couche par couche d'une copie figée du VLM d'origine, l'autre qui convertit chaque action cible en étiquette discrète de direction de mouvement pour entraîner conjointement langage et action sur la même observation robotique. Sur un bras robotique physique xArm7, avec deux architectures VLA largement utilisées, les taux de réussite passent de 28% à 54% pour l'une et de 37% à 60% pour l'autre. L'enjeu dépasse la seule courbe de performance : c'est une remise en cause d'un présupposé du secteur des VLA, celui du "plus de données de co-entraînement suffit" pour éviter l'oubli catastrophique. En montrant qu'il existe un désalignement structurel que les benchmarks de manipulation standards ne détectent pas, les auteurs pointent un angle mort méthodologique qui concerne tous les laboratoires construisant des politiques de type RT-2, OpenVLA, Pi-0 ou GR00T. Pour les équipes qui finetunent des VLA pour des tâches industrielles, le message est que préserver les représentations préentraînées et apprendre correctement l'action ne sont pas des objectifs contradictoires, contrairement à l'hypothèse implicite du compromis généralisation-performance. Il faut toutefois noter que la majorité des gains rapportés (LIBERO-PRO, LIBERO-Plus, CALVIN) proviennent de simulation, avec seulement deux architectures testées en conditions réelles sur un unique bras robotique, ce qui limite la portée immédiate pour un déploiement industriel à grande échelle. Le contexte est celui d'une course intense autour des modèles VLA depuis l'émergence de RT-2 puis des systèmes open source comme OpenVLA, où le clonage comportemental sur démonstrations téléopérées est devenu la recette standard malgré ses limites connues de généralisation. Anchor-Align se positionne comme une brique méthodologique plutôt qu'un produit ou un robot, sans annonce de partenariat industriel ni de calendrier de déploiement pour l'instant. La suite logique serait une validation sur davantage d'architectures et de plateformes physiques, ainsi qu'une comparaison directe avec les techniques de co-entraînement existantes utilisées par les acteurs commerciaux du secteur, pour voir si le gain se maintient à l'échelle des flottes industrielles réelles.

IA physiqueActu
1 source
9arXiv cs.RO 

Fusion des modalités tactiles pour les modèles vision-langage-action (VLA)

Il s'agit d'un article de recherche académique (préprint arXiv, version révisée), donc sans annonce commerciale ni chiffres de performance détaillés dans le résumé fourni, je reste factuel sur ce point plutôt que d'inventer des métriques. TacFiLM est une méthode de fusion de modalités proposée dans un préprint arXiv (2603.14604v2, version révisée) qui intègre des signaux tactiles aux modèles vision-langage-action (VLA) utilisés en robotique manipulatrice. Le constat de depart est simple: les VLA actuels, bien qu'efficaces pour generaliser des politiques de controle a partir d'instructions semantiques, reposent presque exclusivement sur la perception visuelle, incapable de capturer les dynamiques d'interaction propres aux taches de manipulation en contact étroit, comme les forces de contact, le frottement de surface, la compliance ou le cisaillement. Plutot que de concatener des tokens tactiles ou de reentrainer massivement le modele, ce qui alourdit considerablement le cout de calcul, les auteurs proposent un finetuning post-entrainement leger: les caracteristiques visuelles intermediaires sont conditionnees par des representations tactiles pre-entrainees via une modulation lineaire par caracteristique (FiLM). La methode a ete testee sur des taches d'insertion et d'ouverture de tiroir, en distribution et hors distribution, avec des ameliorations rapportees sur le taux de reussite, la performance directe, le temps d'execution et la stabilite des forces appliquees. L'interet pour le secteur tient moins a la performance brute qu'a la strategie d'integration: la plupart des architectures VLA deployees (dans la lignee de Pi-0, GR00T N2 ou Helix) tournent deja a la limite du budget de calcul embarque, ce qui rend les approches de fusion tactile lourdes difficilement viables en production. Une methode de finetoning legere, greffee apres coup sur un modele deja entraine, ouvre la voie a l'ajout de retour tactile sur des politiques existantes sans reentrainement complet ni explosion du cout d'inference, un point cle pour les integrateurs qui visent des taches d'assemblage ou de manipulation fine ou le seul retour visuel echoue regulierement. Cette publication s'inscrit dans une tendance de fond de la recherche VLA: apres avoir demontre la generalisation semantique et le controle multitache, le champ se heurte desormais au probleme specifique de la manipulation en contact, un angle mort connu depuis les debuts de l'apprentissage par imitation en robotique. Le fait qu'il s'agisse d'une version "replace" du preprint suggere une iteration apres retours de relecture. Les auteurs renvoient vers une page de projet dediee pour le code et les demonstrations, sans toutefois annoncer de deploiement industriel ou de partenariat avec un fabricant de robots a ce stade.

IA physiqueOpinion
1 source
10Pandaily 

Robotique-U0 de Xiaomi : un modèle génératif incarné à 38 milliards de paramètres unifiant quatre tâches robotiques

Xiaomi a mis en open source Xiaomi-Robotics-U0, un modèle génératif embarqué multimodal autorégressif de 38 milliards de paramètres, code et poids disponibles sur GitHub, HuggingFace et ModelScope. L'entreprise chinoise le présente comme le premier modèle génératif unifié du secteur de l'IA embarquée capable de gérer simultanément quatre tâches robotiques distinctes : la génération de scènes multi-vues à partir de descriptions textuelles (établis, cuisines, entrepôts, environnements ouverts) pour un matériel robotique donné ; le transfert de trajectoires existantes vers de nouveaux environnements en modifiant éclairage, arrière-plan, matériaux ou objets cibles tout en conservant les poses du bras et la disposition de la scène ; la génération de vidéos d'interaction robotique prolongeant des observations initiales selon des instructions données, avec généralisation zero-shot à des scénarios inédits ; et des capacités classiques de génération et d'édition d'images texte-image. Sur le benchmark WorldArena, Xiaomi revendique le meilleur score parmi 126 modèles participants. Sur robot réel, en conditions hors distribution (éclairages et arrière-plans inconnus), le taux de réussite des tâches aurait progressé de 26 % en moyenne grâce à l'entraînement sur données augmentées par U0. L'architecture d'inférence UNIS annoncée accélérerait la génération d'environ 83 fois par rapport au paradigme autorégressif brut. Ces chiffres proviennent des communications de Xiaomi et n'ont pas fait l'objet de vérification indépendante à ce stade. L'enjeu dépasse la simple démonstration technique : la rareté des données réelles reste l'un des principaux goulots d'étranglement du développement de l'IA embarquée, et un modèle capable de générer ou d'augmenter des jeux de données synthétiques, y compris pour des scénarios dangereux ou rares physiquement inaccessibles, réduit potentiellement le coût de collecte terrain pour les intégrateurs et laboratoires. Pour les décideurs B2B et les équipes robotique, cela déplace une partie de l'effort d'ingénierie de la collecte physique vers la génération contrôlée de données, à condition que le gain de performance annoncé se vérifie hors du cadre contrôlé du fabricant. C'est aussi un signal de plus que les grands acteurs chinois de l'électronique grand public investissent lourdement la pile complète de l'IA embarquée, du matériel au modèle fondation. Cette sortie s'inscrit dans la continuité du déploiement d'usines robotisées par Xiaomi et positionne le groupe comme acteur intégré sur toute la chaîne : fabrication de robots, déploiement réel et recherche en modèles fondation. Elle intervient dans un paysage déjà occupé par Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix), où la course porte désormais autant sur la disponibilité de données d'entraînement à grande échelle que sur l'architecture des modèles eux-mêmes. Aucune feuille de route de déploiement commercial ni de partenariat industriel n'a pour l'instant été précisée au-delà de la publication open source du modèle.

IA physiqueActu
1 source
11arXiv cs.RO 

DECO : transformateur de diffusion multimodal découplé pour la manipulation dextre bimanuelle avec adaptateur tactile enfichable

DECO (Decoupled multimodal Diffusion transformer for bimanual dExterous manipulatiOn) est un nouveau modèle de politique robotique présenté dans un papier arXiv (2602.05513v3) qui sépare explicitement le traitement de la vision, de la proprioception et du tactile via des voies de conditionnement dédiées, plutôt que de fusionner ces signaux en amont comme le font la plupart des architectures existantes. Un adaptateur tactile léger permet d'injecter le signal de toucher de façon paramétrique-efficace, sans réentraîner l'ensemble du réseau. Les auteurs publient aussi DECO-50, un jeu de données de 50 heures et plus de 5 millions de frames, collecté par téléopération sur de vrais robots à deux bras équipés de capteurs tactiles. Sur plus de 2 000 essais réels (pas de simulation), DECO atteint un taux de réussite moyen de 72,25%, soit 21 points de mieux que la meilleure référence testée. L'ajout de l'adaptateur tactile apporte 10,25 points de réussite supplémentaires en moyenne, et jusqu'à 20 points sur les tâches à contact riche, tout en ne réajustant que moins de 10% des paramètres du modèle. Ce résultat compte parce qu'il s'attaque à un point de friction connu des politiques de manipulation bimanuelle: la fusion multimodale brute dégrade souvent les performances quand un des signaux (typiquement le tactile) est bruité ou absent, et le réentraînement complet pour intégrer un nouveau capteur reste coûteux. Découpler les modalités et rendre l'ajout de signaux modulaire via un adaptateur va dans le sens d'une approche plus industrialisable pour les intégrateurs qui veulent équiper des mains ou pinces existantes de tactile sans repartir d'un modèle de zéro. Le volume d'essais réels (2 000+) et le jeu de données ouvert de 50 heures renforcent aussi la crédibilité par rapport aux annonces qui ne reposent que sur quelques démonstrations sélectionnées. Le travail s'inscrit dans la vague des transformeurs de diffusion appliqués aux politiques robotiques (diffusion policy), une famille d'approches également explorée par des modèles vision-langage-action comme Pi-0 ou GR00T N2, mais ici recentrée spécifiquement sur la dextérité bimanuelle et l'intégration tactile plutôt que sur la généralisation multi-tâches à grande échelle. La publication conjointe du dataset DECO-50 laisse présager des comparaisons à venir avec d'autres politiques entraînées sur les mêmes données, un terrain encore rare dans la manipulation dextre où chaque laboratoire collecte ses propres démonstrations.

IA physiqueOpinion
1 source
12arXiv cs.RO 

Robots Jetson-PI : contrôle robotique en temps réel embarqué via inférence asynchrone alignée sur l'anticipation

Voici l'article en français, structure demandée (3 paragraphes, sans titres) : Une équipe du PKU-SEC-Lab (Peking University) publie Jetson-PI, une méthode pour déployer des modèles Vision-Language-Action (VLA) directement à bord de cartes embarquées à faible consommation comme le Nvidia Jetson Orin, très utilisées en robotique mobile et humanoïde. Le problème ciblé est connu : l'inférence asynchrone, qui parallélise l'exécution des actions et le calcul de l'action suivante pour masquer la latence, introduit en pratique un décalage entre ce que le robot perçoit et ce qu'il exécute, ainsi qu'un temps de réaction dégradé. Jetson-PI corrige cela via un module léger de "correction par anticipation" qui prédit la représentation future de l'environnement à partir des actions déjà engagées, permettant à l'expert d'action de raisonner directement sur l'état futur plutôt que sur un état périmé. S'y ajoute un ordonnancement piloté par la confiance du modèle, qui arbitre dynamiquement entre appels au VLM et à l'expert d'action, complété par des optimisations bas niveau (réutilisation de CUDA graphs, buffers intermédiaires résidents en mémoire GPU, déroulement de flux). Résultat mesuré : un gain de fréquence de contrôle de 8,66x face à une implémentation PyTorch naïve et de 5,41x face à vla.cpp, avec un taux de réussite supérieur de 14,8% à VLASH sur le benchmark LIBERO. L'enjeu dépasse la performance brute : c'est le goulot d'étranglement classique du déploiement de VLA en robotique embarquée qui est visé, celui qui empêche des modèles entraînés en simulation ou sur GPU serveur de tourner en temps réel sur du matériel embarqué bon marché. Pour les intégrateurs et fabricants de robots mobiles ou humanoïdes, cela réduit un frein concret à la mise en production de piles de contrôle par VLA, sans dépendre d'une puissance de calcul embarquée démesurée. Le travail s'inscrit dans la lignée des recherches sur l'accélération des VLA (dont VLASH, utilisé ici comme référence de comparaison) et sur les moteurs d'inférence légers type llama.cpp. Les auteurs publient à la fois leur algorithme d'inférence asynchrone et un moteur d'inférence dédié, Jetson-PI-Edge, en open source sur GitHub, ouvrant la voie à une reproduction et une adoption par la communauté robotique.

IA physiqueActu
1 source
13Robotics Business Review 

NVIDIA explique comment évaluer les politiques robotiques polyvalentes en conditions réelles

NVIDIA a publié un billet technique détaillant les limites actuelles des méthodes d'évaluation des modèles fondation pour la robotique généraliste, ainsi que RoboLab, sa plateforme de benchmarking en simulation censée y répondre. L'entreprise identifie quatre failles structurelles dans les protocoles de test existants. D'abord, un chevauchement du domaine visuel entre entraînement et évaluation : quand un modèle est affiné puis testé dans le même environnement simulé, un bon score ne prouve que sa mémorisation du décor, pas sa capacité de généralisation. Les approches dites real2sim, qui reconstruisent des scènes photoréalistes à partir d'images réelles via inpainting ou Gaussian splatting, corrigent partiellement ce biais mais exigent souvent plus d'une heure de préparation par scène, ce qui rend les tests à grande échelle peu praticables. Ensuite, la plupart des benchmarks reposent sur un jeu de tâches figé, vite saturé : lorsque tous les modèles dépassent 90% de réussite sur le même test, les chiffres perdent leur pouvoir discriminant. NVIDIA pointe aussi un déficit de diagnostic, un simple score de succès binaire ne dit rien sur la cause d'un échec (confusion de couleur, formulation de l'instruction, décalage de caméra). Enfin, l'entreprise soulève un problème de fiabilité statistique : un taux de succès mesuré sur un petit nombre d'essais peut tromper. Exemple donné, une politique affichant 90% de réussite sur seulement 70 rollouts a, selon la méthode de Clopper-Pearson pour calculer un intervalle de confiance binomial exact, un intervalle de confiance à 95% qui s'étend sur 15,4 points de pourcentage, un écart énorme pour un chiffre présenté comme une performance unique. L'exemple illustratif porte sur la politique pi-0.5 de Physical Intelligence testée sur une tâche de tri d'objets ("poser la tasse à mesurer orange et la tasse bleue en dehors de l'assiette"). Pour les intégrateurs et décideurs B2B qui doivent choisir entre plusieurs modèles vision-language-action (VLA) pour équiper des bras ou des humanoïdes, ce travail est une mise en garde directe contre les chiffres de communiqués de presse. Un score de succès affiché sans intervalle de confiance ni contrôle du chevauchement visuel peut masquer un simple surapprentissage plutôt qu'une réelle capacité de généralisation en conditions réelles. Cela renforce l'hypothèse, déjà répandue dans le secteur, d'un écart persistant entre démonstrations et déploiement effectif, et invite à exiger des fournisseurs des protocoles d'évaluation reproductibles plutôt que des vidéos sélectionnées. Cette initiative s'inscrit dans l'effort plus large de NVIDIA autour des fondations robotiques, aux côtés de ses plateformes Isaac Sim et Isaac Lab, dans un secteur où rivalisent des laboratoires comme Physical Intelligence (pi-0, pi-0.5), Google DeepMind (Gemini Robotics) ou Figure AI. À mesure que les modèles VLA généralistes se multiplient, la question de la mesure standardisée devient centrale pour départager annonces marketing et progrès réels, et RoboLab se positionne comme une tentative de fournir un cadre commun avant que le marché ne soit inondé de comparatifs invérifiables.

IA physiquePaper
1 source
14The Verge 

Boston Dynamics teste des "chiens robots" pour les livraisons

Boston Dynamics teste actuellement un nouvel accessoire de type tapis roulant fixé sur son robot quadrupède Spot, permettant de transporter des colis directement depuis un véhicule de livraison jusqu'au pas de la porte d'un client, de façon autonome. L'objectif affiché est de réduire la charge de travail des livreurs humains sur le dernier segment du trajet, celui qui va du camion à l'entrée du domicile. Le dispositif a été présenté via une vidéo de démonstration, sans précision sur le payload maximal, l'autonomie ou un calendrier de déploiement commercial. Spot est déjà utilisé pour des inspections industrielles répétitives en usine et a notamment servi à patrouiller sur le site archéologique de Pompéi. Cette expérimentation illustre une limite persistante de l'automatisation de la livraison du dernier kilomètre. Les robots à roues et les drones aériens peinent à franchir des obstacles courants comme des escaliers, des trottoirs encombrés ou des accès non standardisés, un terrain où la locomotion à pattes de Spot pourrait offrir un avantage réel. Pour les intégrateurs et les acteurs de la logistique, ce test reste toutefois à un stade de démonstration et ne prouve pas encore une viabilité économique ou opérationnelle à grande échelle. Boston Dynamics, racheté par Hyundai en 2021, a construit la réputation de Spot sur des usages B2B établis: inspection de sites industriels, surveillance de chantiers, cartographie. L'entreprise explore ici un nouveau marché face à des concurrents comme les drones de livraison ou les robots à roues déployés par des acteurs de la logistique urbaine. Aucun pilote commercial ni partenaire de livraison n'a pour l'instant été annoncé.

IA physiqueActu
1 source
15arXiv cs.RO 

Xiaomi-Robotics-U0 : synthèse incarnée unifiée avec modèle fondation du monde

Xiaomi Robotics a publié U0, un modèle multimodal autorégressif de 38 milliards de paramètres conçu pour unifier plusieurs tâches de génération liées à la robotique au sein d'un seul système. Décrit dans un article déposé sur arXiv, U0 traite la synthèse de contenus "incarnés" comme une extension directe des modèles de génération d'images et de vidéos fondationnels, en optimisant conjointement le texte-vers-image, l'édition d'images, la génération de scènes incarnées, le transfert incarné et la génération vidéo incarnée. Selon les auteurs, il s'agit du premier modèle capable de générer des scènes cohérentes en multi-vues pour plusieurs types de robots différents, et il introduit un mécanisme de transfert structuré et contrôlable permettant une édition fine tout en préservant la cohérence géométrique et la dynamique d'interaction. Les résultats rapportés indiquent que U0 dépasse GPT-Image-2.0 lors d'évaluations humaines sur la génération et le transfert de scènes incarnées, se classe premier sur le classement World Arena pour la génération vidéo incarnée, et fait passer le taux de succès hors distribution du modèle de manipulation pi0.5 de 36,9% à 63,2% sur des tâches de manipulation réelle jugées difficiles. Le code et les checkpoints sont mis à disposition sur le site de Xiaomi Robotics. L'enjeu principal ne se situe pas dans la démonstration visuelle mais dans l'usage de U0 comme moteur de données synthétiques pour l'entraînement de politiques robotiques. Le gain mesuré sur pi0.5, un modèle vision-langage-action tiers développé par Physical Intelligence, est le point le plus significatif: il suggère qu'un monde fondationnel bien conçu peut générer des données d'entraînement suffisamment réalistes pour améliorer la généralisation d'un VLA existant sur des tâches de manipulation réelles, et pas seulement sur des métriques internes. C'est une piste concrète pour réduire l'écart simulation-vers-réel qui freine encore le déploiement à grande échelle des robots humanoïdes et bras manipulateurs, en offrant une alternative à la collecte coûteuse de données physiques. Le travail part d'un constat classique dans le secteur: adapter un modèle fondationnel pré-entraîné avec des données robotiques limitées tend à dégrader les connaissances visuelles acquises lors du pré-entraînement à grande échelle. U0 cherche à préserver cette généralisation tout en l'adaptant aux contraintes des embodiments robotiques. Il se positionne face à des approches comme GR00T N2 de NVIDIA ou les modèles Pi de Physical Intelligence, dans une course où Xiaomi investit désormais explicitement la recherche en IA incarnée. Pour l'instant, la publication reste au stade recherche: code et poids sont ouverts, mais aucun déploiement produit ni pilote industriel n'est annoncé.

IA physiqueOpinion
1 source
16arXiv cs.RO 

ABot-N1 : vers un modèle fondation vision-langage-navigation généraliste

Une équipe de recherche publie ABot-N1, un modèle fondateur de navigation vision-langage (VLN) décrit dans l'article arXiv:2607.10383v1. Le système repose sur une architecture "slow-fast" qui découple la cognition du contrôle : un raisonneur vision-langage lent effectue un raisonnement explicite en chaîne de pensée (Chain-of-Thought) et produit un "pixel goal", un jeu compact de points d'ancrage dans l'image servant d'interface universelle pour plusieurs tâches (atteinte de point, atteinte d'objet, atteinte de point d'intérêt, suivi d'instructions, suivi de personne). Un expert d'action rapide exploite ensuite ces indices textuels et pixel pour générer des waypoints continus à la fréquence native de contrôle du robot. Sur les benchmarks, ABot-N1 revendique de nouveaux records : le taux d'arrivée sur point d'intérêt (POI) progresse de 35 points, passant à 77,3%, avec des taux de réussite de 95,4% en intérieur complexe et 92,9% en extérieur. Les auteurs publient également en open source de nouveaux benchmarks Point-Goal et POI-Goal pour la navigation à l'échelle urbaine. L'enjeu dépassé la simple démonstration technique : les approches VLN actuelles reposent le plus souvent sur des politiques monolithiques qui mappent directement observations et actions, ce qui provoque des dérives de coordonnées et une gestion médiocre des cas rares (long-tail), tout en restant des boîtes noires peu interprétables. En séparant explicitement le raisonnement du contrôle bas niveau via des ancrages pixel, ABot-N1 cherche à concilier généralité, robustesse et transparence, un compromis que peu de modèles de navigation embarquée atteignent simultanément. Pour les intégrateurs robotiques et les concepteurs de flottes autonomes (livraison, AMR urbains, robots de service), c'est un signal que les modèles VLA/VLN à grande échelle commencent à traiter sérieusement l'écart entre démonstration en simulation et fiabilité en conditions réelles, notamment sur les scénarios urbains à grande échelle, historiquement un point faible du secteur. Le papier s'inscrit dans la vague plus large des modèles fondateurs de navigation et d'action visio-langage, qui cherche à unifier raisonnement spatial profond et polyvalence face à des tâches embarquées variées, un axe de recherche parallèle à celui des modèles manipulation-centric comme Pi-0 ou GR00T N2. En publiant à la fois le modèle et de nouveaux benchmarks Point-Goal/POI-Goal en open source, les auteurs positionnent ABot-N1 comme une base de comparaison pour la communauté plutôt qu'un produit commercial fini, sans calendrier de déploiement réel ni partenaire industriel annoncé à ce stade.

IA physiquePaper
1 source
17arXiv cs.RO 

EgoSteer : un système complet pour la manipulation dextre pilotable à partir de vidéos égocentriques

Des chercheurs publient EgoSteer, un système complet destiné à rendre les mains robotiques dextres pilotables par instructions en langage naturel, à partir de vidéos égocentriques humaines (arXiv:2607.09701). Le dispositif repose sur trois briques : EgoSmith, un pipeline de données qui a curé 9,6 mille heures de vidéos égocentriques filmées en conditions réelles pour constituer un corpus de pré-entraînement de haute qualité, avec un débit neuf fois supérieur et une précision meilleure que les méthodes précédentes ; une pile robotique unifiée gérant téléopération et correction humaine en boucle ; et EgoSteer lui-même, un modèle vision-langage-action (VLA) enrichi d'un modèle du monde, entraîné sur une infrastructure optimisée. Le système exécute des instructions en langage libre sur plus de 40 tâches distinctes, avec récupération après échec, dextérité fine et capacité de généralisation. Après un pré-entraînement sur données humaines suivi d'un ancrage par post-entraînement robotique et d'un raffinement DAgger, le modèle s'adapte en few-shot à des tâches longues et complexes comme le pliage de boîtes, avec un taux de réussite supérieur à 75% sur deux plateformes robotiques différentes. Le code, les données et le modèle sont mis en open-source sur egosteer.github.io. Ce travail s'attaque directement au principal goulot d'étranglement des mains robotiques dextres : l'absence de données de démonstration à grande échelle, alignées avec le langage et précises au niveau de l'action. En démontrant qu'un pré-entraînement massif sur vidéos humaines non robotiques peut ensuite être ancré efficacement sur robot réel avec relativement peu de données, l'équipe apporte un signal concret sur le transfert vidéo-vers-robot à l'échelle, un sujet central pour les intégrateurs et laboratoires qui cherchent à réduire le coût de collecte de démonstrations téléopérées. La généralisation cross-embodiment et la récupération après échec restent des points faibles connus des VLA actuels ; les résultats annoncés ici, à évaluer au-delà des tâches et conditions choisies par les auteurs, vont dans le sens d'un rapprochement entre démonstrations en laboratoire et usage réel. Le manque de données dextres de qualité freine depuis plusieurs années l'extension des architectures VLA, popularisées par des modèles généralistes comme Pi-0 ou GR00T, au-delà des bras et pinces simples vers des mains multi-doigts. EgoSteer s'inscrit dans cette course à l'échelle des données, aux côtés d'efforts similaires chez les acteurs de l'humanoïde et de la manipulation dextre. L'ouverture complète du code, du modèle et du jeu de données constitue la prochaine étape logique pour permettre une réplication indépendante des résultats annoncés.

IA physiqueActu
1 source
18Interesting Engineering 

Regardez : le premier modèle d'IA nativement incarnée promet des robots plus intelligents et plus performants

Robbyant, filiale d'intelligence artificielle incarnée du groupe chinois Ant Group (maison mère d'Alipay), a présenté LingBot-VA 2.0, un modèle de monde vidéo-action que l'entreprise qualifie de premier du secteur conçu nativement pour la robotique plutôt qu'adapté de systèmes de génération vidéo destinés au contenu numérique. Le modèle repose sur une architecture autorégressive entraînée depuis zéro : il prédit comment les actions d'un robot modifient son environnement, puis choisit l'action suivante à partir de ces relations causales. Robbyant met en avant quatre innovations : un tokenizer visuel-action sémantique compressant conjointement image et action, un pré-entraînement causal strict garantissant l'ordre temporel des prédictions, une architecture Mixture of Experts augmentant la capacité sans alourdir l'inférence, et un mécanisme d'inférence asynchrone qui recale en continu les prédictions sur les observations réelles pendant l'exécution. Selon l'entreprise, cette combinaison permet un contrôle en boucle fermée à 150 Hz sur un seul GPU, et le modèle s'adapte à une nouvelle tâche de manipulation avec seulement 20 démonstrations, par apprentissage en contexte, sans réentraînement. Robbyant a montré le système sur des tâches longues et précises : préparer un petit-déjeuner, déballer des colis, insérer des tubes, ramasser des vis, plier du linge, ouvrir des tiroirs. L'entreprise revendique aussi de meilleurs résultats que les méthodes existantes sur les benchmarks de simulation RoboTwin 2.0 et LIBERO. Ce lancement illustre un changement de philosophie dans les modèles fondation pour la robotique. La plupart des systèmes d'IA incarnée actuels réutilisent des modèles vidéo pensés pour générer du contenu grand public, qui privilégient qualité d'image et créativité au détriment de la précision physique et de la vitesse d'exécution. Adapter ces modèles à la robotique, selon Robbyant, dégrade la généralisation, un constat qui rejoint le débat récurrent dans le secteur des modèles vision-langage-action (VLA) sur l'écart entre démonstrations impressionnantes et fiabilité réelle. Si les chiffres avancés se confirment au-delà des vidéos sélectionnées par l'entreprise, ils positionneraient LingBot-VA 2.0 comme alternative face à des VLA généralistes comme Pi-0 ou GR00T N2, avec un argument clé pour les intégrateurs : moins de données pour déployer un nouveau geste, et un temps de cycle compatible avec du matériel limité à un seul GPU. La mémoire à long terme mise en avant, permettant de distinguer des situations visuellement identiques mais contextuellement différentes et d'exécuter des tâches multi-étapes avec comptage et répétition, répond à une limite connue des politiques robotiques actuelles sur les séquences longues. Robbyant a accéléré ses investissements en robotique humanoïde et modèles fondation physiques, dans un contexte où les groupes technologiques chinois, Ant Group mais aussi Unitree, AgiBot ou Xiaomi, intensifient la compétition face à des acteurs américains comme Figure AI ou Physical Intelligence. LingBot-VA 2.0 succède à une première version et s'inscrit dans une stratégie où l'entreprise dit vouloir accélérer le développement d'un écosystème ouvert, sans préciser de calendrier de commercialisation, de partenariats industriels ni de premiers déploiements pilotes. Pour l'instant, la démonstration reste cantonnée aux benchmarks de simulation et aux vidéos publiées par l'entreprise, sans validation indépendante en environnement de production, une réserve qui s'applique à la plupart des annonces de modèles fondation robotiques cette année.

IA physiqueOpinion
1 source
19Pandaily 

PHANES AI intègre le toucher aux modèles fondation de robots : TouchWorld, un modèle tactile pour la manipulation dextérique

PHANES AI, start-up fondée par Yang Shuo, professeur à l'Institut de technologie de Harbin (campus de Shenzhen), a publié un nouveau modèle de fondation tactile baptisé TouchWorld, conçu pour la manipulation dextre en robotique. L'objectif est de combler une faille des modèles vision-langage-action (VLA) actuels: ceux-ci peuvent voir qu'un doigt robotique touche un bouton, mais ne peuvent pas savoir s'il a réellement été enfoncé. TouchWorld attribue au toucher un double rôle. En mode prédictif, avant d'exécuter une action, le modèle anticipe non seulement l'image visuelle attendue en fin de sous-tâche, mais aussi une carte tactile précisant quel doigt devrait ressentir une pression, à quel endroit et avec quelle intensité, une référence physique que la vision seule ne peut fournir. En mode réactif, une fois le contact établi, le modèle lit en continu les signaux tactiles et l'état des articulations pour appliquer des micro-corrections de position, de force de préhension et d'angle du poignet, sans nécessiter une replanification par la politique de haut niveau. Sur six tâches réelles (arrosage de plantes, nettoyage de table, insertion de prise, insertion de tasse, récurage de poêle, prise de mouchoir), TouchWorld atteint 65,0% de réussite en conditions normales et 57,2% en présence de perturbations comme le déplacement de la cible ou une interférence de préhension, soit 15,7 et 16,0 points de plus que la meilleure référence testée. Chaque tâche a été entraînée sur 200 trajectoires de téléopération et évaluée sur 100 essais robotiques réels. Cette approche répond à un problème concret pour l'industrie: les modèles VLA actuels échouent souvent en silence lorsqu'un contact physique ne se passe pas comme prévu, un angle mort critique pour des applications comme l'assemblage de précision ou la manipulation d'objets fragiles. En traitant le signal tactile comme un flux séparé plutôt que comme une modalité fondue dans le pipeline visuel, PHANES AI défend l'idée que la densité d'information et la vitesse de traitement du toucher sont trop différentes de celles de la vision pour partager une même architecture sans que le signal tactile ne soit noyé. Si les résultats se confirment à plus grande échelle, ce découplage pourrait devenir un standard pour les robots humanoïdes ou les bras industriels appelés à manipuler des objets déformables ou mal positionnés, un domaine où la démonstration en laboratoire peine souvent à se traduire en fiabilité réelle. Yang Shuo, né en 1998, est déjà professeur titulaire et directeur de thèse à HIT Shenzhen, l'un des plus jeunes professeurs titulaires de Chine. Lauréat de la bourse doctorale Google (un des neuf récipiendaires mondiaux) et finaliste du prix du meilleur article à ICLR, il est rentré en Chine à 26 ans pour fonder PHANES AI, qui réunit désormais une équipe couvrant les données, la modélisation, le contrôle robotique et le matériel. L'entreprise s'inscrit dans une compétition mondiale sur les modèles de fondation pour la manipulation dextre, aux côtés d'acteurs comme les équipes derrière Pi-0 ou GR00T N2, avec pour différenciation affichée le traitement natif du signal tactile plutôt qu'un simple ajout de capteurs.

IA physiqueActu
1 source
20Pandaily 

Dexmal veut booster la productivité de l'IA incarnée avec le modèle DM0.5, DexOS et une stratégie MaaS en trois étapes

Dexmal, entreprise chinoise spécialisée en IA incarnée, a dévoilé une gamme complète de produits robotiques articulée autour du modèle fondation DM0.5, du robot universel Apex et de trois plateformes de support : le système d'exploitation DexOS, la plateforme de services MaaS et le framework d'apprentissage par renforcement DFOL 2.0. La stratégie suit un modèle en trois étages : d'abord un modèle fondation généraliste, puis des outils pour développeurs (post-entraînement, MaaS, OS), enfin des solutions sectorielles complètes. DM0.5 compte 4 milliards de paramètres entraînés sur 150 000 heures de données multi-sources, soit quatre fois plus de données et deux fois plus de paramètres que DM0, son prédécesseur. Il affiche une latence d'inférence de 50 ms, une efficacité d'inférence améliorée de 25 %, et un taux de réussite de 42 % sur le benchmark RoboChallenge Table30 V2, où il se classe premier avec un score total de 60,1. Sur l'évaluation LIBERO, il atteint 99,1 % de performance globale. Par rapport à DM0, la réussite en navigation zero-shot progresse de 31 %, en few-shot de 45 %, et après fine-tuning de 20 %, pour un coût de fine-tuning réduit de 60 %, permettant un déploiement de niveau expert sur une seule carte RTX 4090 grand public en 18 heures. Le robot Apex propose des effecteurs terminaux interchangeables en moins de 60 secondes, une perception à 360 degrés via double LiDAR, une charge utile de 3 kg par bras, une précision millimétrique et un remplacement de batterie à chaud en 30 secondes, avec un MTBF ciblé au-delà de 1 000 heures. Cette annonce illustre la tentative de Dexmal de combler l'écart, souvent négligé par les démonstrations spectaculaires, entre la capacité d'un modèle et son déploiement industriel réel. DexOS, présenté comme le premier système d'exploitation générique pour l'IA incarnée, découple les modèles du matériel afin que les intégrateurs puissent piloter des robots de marques différentes avec quelques lignes de Python, une approche qui rappelle la logique d'abstraction matérielle déjà tentée par d'autres acteurs de la robotique humanoïde. DFOL 2.0, qui s'appuie sur le modèle du monde DW0.5 comme simulateur haute fidélité, réduirait de 60 % les besoins en données réelles et de 40 % le coût global d'entraînement, un argument central pour les intégrateurs cherchant à limiter le temps de collecte de données sur robot physique. Les chiffres avancés, notamment le classement sur RoboChallenge et les gains de généralisation, restent des métriques internes à confirmer par des tests indépendants. Dexmal s'inscrit dans un écosystème chinois de l'IA incarnée en pleine consolidation, en partenariat avec des fabricants de corps robotiques comme Tiangong, Huaqin et Shihe, ainsi qu'avec les fondeurs de puces Pingtouge (Alibaba), Moore Threads et Cambricon. Le PDG Tang Wenbin a présenté ce lancement comme le franchissement du "dernier kilomètre" séparant les lois d'échelle des modèles d'une productivité réelle, un positionnement qui fait écho aux ambitions affichées par des concurrents comme Physical Intelligence avec Pi-0, ou NVIDIA avec GR00T N2, dans la course à des modèles vision-langage-action généralistes et déployables à grande échelle.

IA physiqueActu
1 source
FabriVLA : un modèle vision-langage-action léger pour une manipulation précise multi-tâches
21arXiv cs.RO 

FabriVLA : un modèle vision-langage-action léger pour une manipulation précise multi-tâches

FabriVLA, un modèle vision-langage-action (VLA) léger dédié à la manipulation robotique multi-tâches de précision, vient d'être présenté sur arXiv (2607.08575v1). L'architecture associe un backbone vision-langage InternVL3.5 à une tête d'action par flow-matching, dotée d'une auto-attention filtrée entre les tokens d'action et d'une fusion superficielle des couches du VLM pour enrichir le contexte spatial. Le modèle est entraîné en une seule étape d'optimisation conjointe, à partir d'un VLM pré-entraîné combiné à une tête d'action initialisée aléatoirement. Sur le benchmark Meta-World MT50, qui couvre 50 tâches de manipulation variées, FabriVLA atteint un taux de réussite moyen par palier de 90,0%, avec un VLM d'à peine 1 milliard de paramètres. Ce résultat pèse dans le débat sur la taille optimale des modèles VLA. Jusqu'ici, les meilleures performances en manipulation semblaient réservées aux backbones de plusieurs milliards de paramètres, comme Pi-0 ou GR00T N2. Un modèle compact atteignant 90% de réussite sur un benchmark aussi large que MT50 laisse entrevoir des coûts d'inférence et de déploiement embarqué nettement réduits, un enjeu concret pour les intégrateurs travaillant sur des bras robotiques industriels ou des plateformes mobiles aux ressources de calcul limitées. Cela conforte aussi l'hypothèse qu'une conception spécialisée de la tête d'action, via flow-matching et attention inter-tokens, peut compenser la taille réduite du VLM sous-jacent. FabriVLA s'inscrit dans la lignée des modèles VLA ayant suivi RT-2 et Octo, et plus récemment les approches par flow-matching popularisées par Pi-0 chez Physical Intelligence ou les architectures GR00T N2 de NVIDIA. Le choix d'InternVL3.5, backbone open plus modeste que certains VLM propriétaires concurrents, illustre une tendance à réutiliser des composants déjà optimisés plutôt qu'à entraîner des architectures VLA depuis zéro. À ce stade, les résultats restent une validation en simulation sur Meta-World; la suite logique attendue par la communauté robotique sera la démonstration de ces gains sur des tâches de manipulation réelle, hors benchmark simulé.

IA physiqueActu
1 source
Robot Control : un pré-entraînement vidéo-action natif pour un contrôle robotique généralisable
22arXiv cs.RO 

Robot Control : un pré-entraînement vidéo-action natif pour un contrôle robotique généralisable

Une équipe de recherche présente, dans un preprint publié sur arXiv (arXiv:2607.08639v1), LingBot-VA 2.0, un modèle fondation vidéo-action conçu spécifiquement pour le contrôle robotique, en succession directe de LingBot-VA. Quatre changements architecturaux structurent cette évolution. D'abord, l'équipe abandonne les VAE classiques axés sur la reconstruction d'image au profit d'un tokenizer visuel-action sémantique, qui aligne les représentations visuelles à la fois sur le sens et sur l'action, ce qui améliore le suivi d'instructions et la précision des gestes lors de l'apprentissage de politiques. Ensuite, le modèle adopte un pré-entraînement causal from scratch plutôt qu'une architecture bidirectionnelle adaptée après coup, pour éviter l'oubli catastrophique observé lors de ce type d'adaptation. Troisième point, un backbone MoE (mixture of experts) épars permet d'augmenter la capacité du modèle sans alourdir l'inférence, condition nécessaire pour du contrôle à haute fréquence. Enfin, un schéma d'inférence asynchrone prédit les futurs états latents en parallèle de l'exécution des actions, en recalant chaque rollout sur la dernière observation via une dynamique prédictive apprise, pour du contrôle en boucle fermée temps réel. Le papier ne précise ni le nombre de degrés de liberté, ni le payload, ni les sites ou volumes de déploiement, ni de calendrier commercial. Cette publication s'inscrit dans la course aux modèles VLA (vision-language-action) pour la robotique généraliste, où l'enjeu central est de dépasser le simple réemploi de générateurs vidéo pensés pour le contenu numérique, souvent inadaptés à la physique du monde réel faute d'ancrage dans l'action. En traitant frontalement l'oubli catastrophique et le coût d'inférence, LingBot-VA 2.0 répond à deux limites fréquemment citées des modèles fondation robotiques actuels: la difficulté à tenir un contrôle réactif et la fragilité des architectures reconverties depuis la génération vidéo pure. LingBot-VA 2.0 vient after LingBot-VA, dans un paysage où rivalisent des modèles comme GR00T N2 (Nvidia), Helix (Figure) ou Pi-0 (Physical Intelligence). Le papier revendique une validation par déploiement réel et une généralisation few-shot sur des tâches de manipulation complexes, mais sans benchmark chiffré ni comparaison directe publiée à ce stade, la portée exacte de ces résultats reste à confirmer par des évaluations indépendantes.

IA physiqueActu
1 source
Dexmal lance MaaS incarné et DexOS, résolvant le passage à l'échelle des modèles en conditions réelles
23Pandaily 

Dexmal lance MaaS incarné et DexOS, résolvant le passage à l'échelle des modèles en conditions réelles

Dexmal, anciennement connue sous le nom de Yuanli Lingji, a dévoilé lors de sa première conférence développeurs Action une suite complète de produits d'IA incarnée destinée à répondre au problème structurel de la mise à l'échelle des modèles fondationnels sur du matériel robotique hétérogène. Au centre de l'annonce, le modèle DM0.5 voit ses paramètres doubler pour atteindre 4 milliards, entraîné sur 150 000 heures de données dont 50 000 heures issues de robots réels avec annotation 3D au millimètre près des points clés de la main, complétées par 100 000 heures d'enregistrements d'opérations humaines à la première personne. Trois choix d'architecture distinguent ce modèle : une mémoire native supportant jusqu'à 60 secondes de contexte via une couche d'abstraction intégrée au pré-entraînement, un système de raisonnement à deux niveaux qui sépare la planification des tâches de la génération de mouvement avec un entraînement contrefactuel censé garantir une réelle compréhension des instructions, et un alignement des actions par programmation dynamique contrainte pour normaliser des trajectoires exécutées à des vitesses différentes. Autour de ce modèle, Dexmal lance DexOS, présenté comme l'équivalent d'un système d'exploitation standardisé pour la robotique avec un protocole ouvert baptisé ECP, permettant aux développeurs d'intégrer leur modèle une seule fois puis de le déployer sur plusieurs plateformes matérielles. La plateforme DexDev regroupe DFOL 2.0, un système d'apprentissage par renforcement basé sur un modèle du monde (DW0.5) qui réduirait de 60% le volume de données d'entraînement robotique réel nécessaire et de 40% les coûts associés, ainsi qu'un service MaaS d'inférence facturé à l'usage. Dexmal revendique une latence d'inférence de 50 millisecondes et la possibilité d'effectuer du post-entraînement sur une simple carte grand public RTX 4090. Deux nouvelles plateformes matérielles, Apex pour l'industrie et Ferrata pour la logistique, viennent s'ajouter au bras double existant Mint. L'enjeu réel derrière cette annonce est le problème dit du N fois M : sans couche de standardisation, chaque modèle doit être réadapté à chaque configuration matérielle, ce qui freine toute diffusion à l'échelle. En misant sur un écosystème ouvert de développeurs plutôt que sur une intégration verticale fermée à la manière de Tesla ou Figure, Dexmal cherche à devenir la couche logicielle commune du secteur plutôt qu'un fournisseur de robots parmi d'autres. Le fondateur Tang Wenbin a d'ailleurs posé le vrai critère de réussite : que les développeurs choisissent DM0.5 plutôt que les alternatives open source, un test que les modèles précédents de l'entreprise n'avaient pas franchi selon lui. La promesse de réduction des données réelles nécessaires grâce à la simulation dans un modèle du monde touche directement au fossé sim-to-real qui limite encore le déploiement des VLA en conditions réelles, mais ces gains restent pour l'instant des chiffres communiqués par l'entreprise, sans validation indépendante. Le rebranding depuis Yuanli Lingji s'inscrit dans la vague d'entreprises chinoises d'IA incarnée cherchant à se positionner face aux acteurs américains comme Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix), ainsi qu'aux humanoïdes concurrents tels qu'Optimus. Aucun acteur français ou européen n'apparaît dans cette annonce. La suite dépendra de l'adoption réelle du protocole ECP par des développeurs tiers et de déploiements pilotes concrets sur les nouvelles plateformes Apex et Ferrata, dont aucun calendrier précis n'a été communiqué.

IA physiqueActu
1 source
NVIDIA étend LeRobot (open source) avec des outils IA humanoïde pour accélérer le développement des robots
24Interesting Engineering 

NVIDIA étend LeRobot (open source) avec des outils IA humanoïde pour accélérer le développement des robots

NVIDIA et Hugging Face élargissent leur collaboration autour de LeRobot, la plateforme robotique open source de Hugging Face, avec l'ajout de deux nouveaux outils. Le premier est NVIDIA Isaac GR00T 1.7, présenté par NVIDIA comme son premier modèle de fondation robotique vision-langage-action (VLA) ouvert et commercialement exploitable, conçu pour simplifier le post-entraînement et le déploiement sur différents designs de robots. Le second est NVIDIA Isaac Teleop, un framework open source permettant de collecter des données d'entraînement de haute qualité via des démonstrations humaines avec des dispositifs de contrôle externes, dans un format standardisé et partageable au sein de l'écosystème LeRobot. Un troisième modèle, Cosmos 3, dédié à la génération de données synthétiques et à la simulation d'environnements, sera intégré ultérieurement. Ces annonces s'appuient sur des briques déjà disponibles sur LeRobot, dont un jeu de données ouvert de plus de 350 000 trajectoires robotiques réelles et simulées et 57 millions d'exemples de préhension, ainsi que les outils de simulation Isaac Sim et Isaac Lab, l'environnement Isaac Lab-Arena pour l'entraînement de politiques, et l'intégration du calculateur embarqué Jetson Thor sur le robot humanoïde Reachy 2. NVIDIA a par ailleurs récemment lancé Halos for Robotics, une plateforme de sécurité complète associant matériel, logiciel, capteurs et outils de validation pour les robots autonomes évoluant aux côtés d'humains. Pour l'industrie robotique, l'enjeu affiché est de reproduire pour la robotique la dynamique d'ouverture qui a accéléré le développement en IA logicielle, où le partage de modèles et de jeux de données a fait baisser les coûts d'entrée. NVIDIA met en avant la connexion entre sa communauté de plus de trois millions de développeurs robotiques et les seize millions de développeurs IA de Hugging Face, dans le but de standardiser un flux de travail encore fragmenté, entre collecte de données coûteuse, simulation, puissance de calcul et validation. Si ces chiffres de communauté restent des éléments de communication à prendre avec prudence, l'initiative traduit une tendance de fond: la bascule des modèles VLA de la démonstration marketing vers des briques réutilisables et déployables par des tiers, un test concret de la promesse d'un "sim-to-real" et d'une généralisation multi-robots qui reste à prouver à grande échelle. L'initiative prolonge le partenariat déjà engagé entre les deux entreprises autour de LeRobot et des outils de simulation NVIDIA Isaac, dans un secteur où les modèles fondation pour la robotique se multiplient face à des approches concurrentes comme Pi-0 ou GR00T N2. Les prochaines étapes attendues concernent l'arrivée effective de Cosmos 3 sur la plateforme et l'élargissement du catalogue de robots et de tâches supportés via Isaac Teleop et le jeu de données partagé.

UELe robot humanoïde français Reachy 2 (Pollen Robotics) intègre le calculateur embarqué Jetson Thor de NVIDIA dans le cadre de cet écosystème LeRobot.

IA physiqueActu
1 source
Pelican-VLA 0.5 : l'attention avant l'action améliore la généralisation
25arXiv cs.RO 

Pelican-VLA 0.5 : l'attention avant l'action améliore la généralisation

Pelican-VLA 0.5, un nouveau modèle VLA (vision-langage-action) présenté dans un rapport arXiv publié début juillet, unifie dans une seule architecture la compréhension vision-langage, la génération de trames futures et la prédiction d'action. Sa caractéristique centrale : sans annotations d'objets, sans masques de segmentation, sans supervision explicite de l'attention ni fine-tuning spécifique à la tâche, le module d'action du modèle se concentre spontanément sur l'objet pertinent pour l'instruction et sur sa zone de contact. Ce comportement se maintient sur des scènes inédites et sur des embodiments robotiques jamais vus à l'entraînement, et il est nettement plus marqué que chez les autres modèles VLA open source testés en comparaison. Les auteurs attribuent cette capacité à un module qu'ils nomment Reasoning Slots, inséré entre les étages de perception et d'action. Cette découverte touche un point sensible de l'industrie des VLA : jusqu'ici, obtenir qu'un modèle regarde le bon objet avant de le manipuler exigeait souvent une supervision lourde, annotations manuelles, masques de segmentation ou fine-tuning tâche par tâche, ce qui limite le passage à l'échelle et la généralisation à de nouveaux robots ou environnements. Si l'attention correcte émerge directement de l'architecture plutôt que de données d'entraînement coûteuses, cela réduit la dépendance à l'ingénierie de données et s'attaque directement à l'écart persistant entre démonstrations en laboratoire et déploiement réel, un sujet central pour les intégrateurs qui évaluent des piles VLA comme Pi-0, GR00T N2 ou Helix. Techniquement, les Reasoning Slots agissent comme un goulot d'étranglement compact qui force l'information visuelle pertinente pour la tâche à transiter par un nombre limité de canaux, ce qui induit une attention centrée sur la manipulation dès le pré-entraînement. Les auteurs montrent que ce mécanisme reste efficace même appliqué à des architectures de politique différentes, y compris un style Mixture-of-Transformers (MoT). Il s'agit pour l'instant d'un rapport de recherche déposé sur arXiv (arXiv:2607.06655v1), sans annonce de produit commercial ni de déploiement industriel associé.

IA physiqueActu
1 source
GeoProp : ancrer l'état du robot dans la vision pour une manipulation généraliste
26arXiv cs.RO 

GeoProp : ancrer l'état du robot dans la vision pour une manipulation généraliste

La proprioception, c'est-à-dire la connaissance par le robot de la position et de la vitesse de ses propres articulations, est généralement injectée dans les politiques de manipulation comme un simple vecteur numérique, sans lien explicite avec les images captées par les caméras. Des chercheurs de l'Alibaba DAMO Academy proposent GeoProp, un module léger et greffable qui corrige ce défaut en projetant géométriquement l'état du robot sur le plan image pour échantillonner les caractéristiques visuelles locales correspondantes, créant un "jeton d'état ancré" dans la scène. Le système injecte ensuite ces informations spatiales dans les caractéristiques visuelles via une modulation FiLM, et anticipe le mouvement en échantillonnant également les caractéristiques à une position future prédite à court terme à partir de la cinématique récente. Testé sur 67 tâches, GeoProp améliore Diffusion Policy de 8,7% sur 63 tâches en simulation, la politique pi0 de 4,0% sur un sous-ensemble RoboTwin, et apporte un gain moyen de 10,6% en conditions réelles sur les deux familles de politiques, pour un coût de seulement 2 à 3% de paramètres supplémentaires. Ce résultat cible un problème connu mais peu résolu du secteur des politiques génératives pour la manipulation robotique: sans ancrage explicite entre kinématique 3D et cartes de caractéristiques 2D, les modèles peinent à situer le bras ou la pince du robot dans la scène, au point de parfois moins bien performer que des politiques n'utilisant que la vision. Pour les intégrateurs qui déploient des politiques de type Vision-Language-Action (VLA) sur des tâches de préhension ou d'assemblage, ce type d'adaptateur plug-and-play est significatif car il s'insère dans des architectures existantes sans réentraînement complet ni changement de backbone, avec un surcoût de calcul marginal. Le problème de fusion proprioception-vision remonte aux premières politiques de manipulation par apprentissage par imitation, où l'état articulaire était généralement simplement concaténé aux caractéristiques visuelles en fin de réseau. L'essor récent des politiques génératives comme Diffusion Policy et des modèles VLA généralistes tels que pi0 (Physical Intelligence) ou GR00T N2 (NVIDIA) a remis cette question au centre des préoccupations, chaque laboratoire cherchant sa propre méthode d'alignement multimodal. Les auteurs positionnent GeoProp comme une brique générique compatible avec plusieurs familles de politiques plutôt qu'une architecture concurrente, et mettent à disposition une page projet dédiée, laissant présager une publication de code pour validation par la communauté.

IA physiqueOpinion
1 source
PriGo : guidage de primitives en temps de test pour les politiques de diffusion et de flux en manipulation robotique adaptative
27arXiv cs.RO 

PriGo : guidage de primitives en temps de test pour les politiques de diffusion et de flux en manipulation robotique adaptative

Un nouveau papier arXiv (2607.07076v1) présente PriGo, un framework qui améliore les politiques de manipulation robotique basées sur diffusion et flow matching sans nécessiter de réentraînement. Le système repose sur PANet, un module léger qui infère des distributions de primitives d'action directement à partir des observations, couplé à un mécanisme de guidage différentiable qui corrige les trajectoires générées pendant l'inférence pour les aligner sur des comportements sémantiquement cohérents. Contrairement aux approches précédentes conditionnées par primitives, qui exigeaient des labels dès l'entraînement, PriGo s'intègre directement sur des politiques diffusion et flow déjà pré-entraînées. Les auteurs rapportent des gains de robustesse, d'exécution sur horizon long et de généralisation sur les benchmarks LIBERO, CALVIN et SIMPLER, ainsi que sur des tâches robotiques réelles. L'enjeu touche un point faible bien identifié des politiques par imitation apprises à partir de démonstrations: elles ont tendance à mémoriser des corrélations d'actions superficielles plutôt qu'à capturer l'intention sous-jacente du geste, ce qui limite leur transfert à de nouvelles tâches ou environnements. Pour les intégrateurs et les équipes de recherche en robotique, une méthode agissant uniquement au moment de l'inférence est particulièrement intéressante: elle évite le coût d'un réentraînement complet des grands modèles VLA, un frein pratique majeur au déploiement de ces politiques hors laboratoire. C'est un signal de plus que le secteur cherche des correctifs légers pour combler l'écart entre démonstrations en conditions contrôlées et exécution robuste en environnement réel. Ce travail s'inscrit dans la lignée des politiques visuomotrices génératives (diffusion, flow matching) qui ont dominé l'apprentissage par imitation en robotique ces dernières années, dans le sillage de modèles comme GR00T ou Pi-0. Il reste à ce stade une contribution académique, validée sur des benchmarks de simulation standards et des essais réels limités, sans indication de déploiement industriel ou d'intégration dans un produit commercial. Les auteurs ne précisent pas de calendrier pour une extension à d'autres plateformes robotiques.

IA physiqueActu
1 source
GemNav : navigation robotique visuelle par tokens discrets via un grand modèle de langage multimodal
28arXiv cs.RO 

GemNav : navigation robotique visuelle par tokens discrets via un grand modèle de langage multimodal

GemNav, une nouvelle politique de navigation visuelle pour robots, s'écarte de la recette habituelle du secteur : un encodeur visuel dédié, une tête d'action sur mesure, et un entraînement sur des milliers d'heures de données cross-embodiment. À la place, l'équipe adapte un Modèle de Langage Multimodal (MLLM) figé via LoRA appliqué uniquement à la tour langage, sans encodeur visuel auxiliaire ni tête de régression continue. Les waypoints et les signaux de navigation catégoriels partagent un unique vocabulaire de tokens discrets généré par la tête du modèle de langage, et une perte auxiliaire "soft-decoded" permet de récupérer la structure métrique que l'entropie croisée pure perdrait autrement. Entraîné sur un seul corpus ouvert de 8,7 heures, soit environ mille fois moins de données que les jeux d'entraînement concurrents, GemNav transfère en zero-shot vers quatre environnements physiquement distincts et inédits. Sur 20 essais réels, le robot s'arrête entre 0,25 et 0,42 mètre de l'objectif, couvrant un parking extérieur, un parking avec obstacles, une longue cour industrielle chimique en extérieur et un entrepôt intérieur. Ce résultat pèse sur un débat central de la robotique fondée sur les modèles de fondation : faut-il vraiment des encodeurs visuels spécialisés et des volumes massifs de données pour obtenir une navigation robuste et généralisable ? En montrant qu'une simple adaptation par tokens discrets d'un MLLM déjà pré-entraîné suffit à atteindre une précision d'arrivée sous le demi-mètre sur des terrains variés jamais vus à l'entraînement, GemNav suggère une voie plus économe en données et en calcul pour déployer des politiques de navigation, un argument qui parlera directement aux intégrateurs et décideurs B2B soucieux du coût d'entraînement et de collecte de données. L'étude apporte aussi une nuance utile : ajouter un historique d'images courtes améliore les métriques hors ligne mais n'apporte aucun bénéfice mesurable sur le robot réel, ce qui indique un plafond sur l'utilité du contexte temporel une fois que les features visuelles pré-entraînées sont en place. Le travail s'inscrit dans la lignée des politiques de navigation dites "VLA" (vision-language-action) qui cherchent à réutiliser des modèles de fondation existants plutôt que d'entraîner des architectures spécialisées from scratch, une tendance également explorée par des approches comme GR00T N2 ou Pi-0 dans le domaine de la manipulation. En limitant drastiquement la taille du corpus d'entraînement nécessaire, GemNav ouvre la voie à des déploiements plus rapides et moins coûteux pour des flottes de robots mobiles autonomes (AMR) en environnement industriel ou logistique, même si la validation reste pour l'instant limitée à des essais ponctuels plutôt qu'à un déploiement à grande échelle.

IA physiqueOpinion
1 source
VOTE : optimisation vision-langage-action par vote d'ensemble de trajectoires
29arXiv cs.RO 

VOTE : optimisation vision-langage-action par vote d'ensemble de trajectoires

Le papier VOTE ("Vision-Language-Action Optimization with Trajectory Ensemble Voting"), publié sur arXiv sous la référence 2507.05116, propose une nouvelle méthode d'entraînement pour les modèles Vision-Language-Action (VLA) utilisés en robotique manipulatrice. Les auteurs, dont le code est disponible sur GitHub (LukeLIN-web/VOTE), s'attaquent à deux limites des VLA actuels : la génération de tokens d'action très nombreux, qui alourdit la latence d'inférence et le coût d'entraînement, et une exploitation insuffisante des actions déjà générées, qui dégrade les performances. Leur framework finetune les modèles pour produire beaucoup moins de tokens d'action, en parallélisant fortement le décodage, puis combine les prédictions courantes et passées via une stratégie de vote d'ensemble au moment de l'inférence. Résultat annoncé : des taux de réussite supérieurs à l'état de l'art, avec une inférence 39 fois plus rapide qu'OpenVLA et un débit de 46 Hz sur plateformes embarquées. Ce gain de vitesse cible directement le principal frein au déploiement réel des VLA : leur latence, souvent incompatible avec un contrôle robotique en temps réel sur du matériel embarqué à ressources limitées. Si les chiffres se confirment en dehors des benchmarks propriétaires des auteurs, cela renforcerait l'idée qu'on peut réduire drastiquement la latence sans changer d'architecture ni ajouter de puissance de calcul, simplement en repensant le nombre de tokens générés et leur exploitation post-inférence. C'est un argument concret pour les intégrateurs qui cherchent à faire tourner des politiques VLA sur des bras robotiques ou plateformes mobiles sans GPU serveur. Le travail s'inscrit dans une course plus large à l'efficacité des VLA, où OpenVLA sert de référence open source largement citée, aux côtés d'approches comme Pi-0 (Physical Intelligence), GR00T (NVIDIA) ou Helix (Figure), toutes confrontées au même compromis entre richesse de représentation et vitesse d'exécution. VOTE se positionne comme une optimisation d'inférence complémentaire à ces modèles plutôt qu'un concurrent direct, avec pour prochaine étape l'adoption par la communauté via son code publié.

IA physiqueActu
1 source
Modèle vision-langage-action pour la génération compositionnelle de mouvements à partir de démonstrations avec champs neuronaux centrés sur l'objet
30arXiv cs.RO 

Modèle vision-langage-action pour la génération compositionnelle de mouvements à partir de démonstrations avec champs neuronaux centrés sur l'objet

Des chercheurs publient sur arXiv (identifiant 2607.07129, soumission de type "new", juillet 2026) un framework d'apprentissage par démonstration pour la génération de mouvement robotique compositionnel. La méthode combine des représentations neuronales centrées objet, des neural fields canoniques associés à des déformations conditionnées par une variable latente, pour rendre des scènes en capturant variations de position et de géométrie de façon lisse et interprétable. Pour la génération de mouvement, un mélange d'experts temporel (temporal mixture-of-experts) utilise un mécanisme de gating qui combine dans le temps des primitives de mouvement conditionnées par objet, produisant des trajectoires complètes. En simulation, le modèle accomplit des tâches de manipulation à long horizon avec significativement moins de données d'entraînement que les méthodes de référence basées sur l'image. Des expériences en conditions réelles confirment la robustesse au bruit, une généralisation au niveau catégoriel grâce à des modèles de segmentation pilotés par le langage, et la capacité d'opérer directement sur des représentations de scène en 3D. Cette approche s'attaque à un problème central de l'apprentissage par démonstration en robotique: généraliser au-delà des configurations de scène vues à l'entraînement sans faire exploser les besoins en données. En ancrant le mouvement dans une structure visuelle explicite plutôt que dans des pixels bruts, la méthode promet une efficacité data nettement supérieure, un enjeu critique pour les intégrateurs industriels qui ne disposent pas des volumes de démonstrations que collectent les grands laboratoires spécialisés en modèles vision-langage-action. Si ces résultats se confirment à plus grande échelle, cette compositionnalité spatio-temporelle pourrait réduire le coût de déploiement de bras manipulateurs dans des environnements variés, sans réentraînement complet à chaque nouvelle configuration. Le travail s'inscrit dans la double lignée des "movement primitives", qui structurent le mouvement en briques réutilisables, et des neural fields appliqués à la robotique, qui représentent la géométrie de façon compacte. Il se positionne comme alternative modulaire et interprétable face aux modèles VLA end-to-end à grande échelle, généralement plus gourmands en données mais plus généralistes. L'article, validé en simulation et par des expériences réelles limitées, ne mentionne aucun déploiement industriel ni partenariat commercial: il s'agit à ce stade d'une contribution académique dont la suite logique serait une évaluation sur des plateformes robotiques partagées et des benchmarks standardisés.

IA physiqueActu
1 source
NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot
31Robotics Business Review 

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot

NVIDIA et Hugging Face annoncent l'intégration d'Isaac GR00T 1.7 et du framework Isaac TeleOp dans LeRobot, la bibliothèque open-source de robotique de Hugging Face. Isaac GR00T 1.7 est présenté comme le premier modèle de fondation robotique open-source et commercialement exploitable, une architecture vision-langage-action (VLA) permettant de post-entraîner et déployer des politiques de contrôle sur des robots humanoïdes réels. Isaac TeleOp est un framework de collecte de données par téléopération, qui capture des démonstrations humaines depuis des dispositifs externes dans des formats standardisés et interopérables, facilitant le partage de jeux de données au sein de la communauté. Les deux entreprises annoncent également l'arrivée prochaine de NVIDIA Cosmos 3, un modèle de monde frontière pour l'IA physique, sans donner de date précise. LeRobot compte déjà plus de 15 millions de téléchargements pour son jeu de données ouvert, qui regroupe plus de 350 000 trajectoires réelles et simulées ainsi que 57 millions de préhensions ("grasps"), en complément des frameworks de simulation Isaac Sim et Isaac Lab, dont Isaac Lab-Arena, désormais référencé dans le LeRobot Environment Hub. Cette annonce illustre la tentative de NVIDIA de reproduire, dans la robotique, la dynamique qui a fait le succès de l'IA générative open-source: mutualiser modèles, données et outils pour accélérer l'innovation collective plutôt que de la laisser fragmentée entre acteurs isolés. Pour les intégrateurs et développeurs robotique, l'enjeu concret est l'accès à un pipeline standardisé bout-en-bout, de la collecte de données jusqu'au déploiement, sans avoir à recomposer des briques propriétaires coûteuses. Le rapprochement entre les 3 millions de développeurs robotique de NVIDIA et les 16 millions d'utilisateurs IA de Hugging Face vise à fluidifier le passage entre recherche en IA générale et applications physiques. Toutefois, l'ampleur réelle de l'adoption d'Isaac GR00T 1.7 sur des déploiements industriels reste à démontrer: l'annonce reste pour l'instant centrée sur la disponibilité des outils et des frameworks, pas sur des cas d'usage chiffrés en production, et la mention de Cosmos 3 relève encore de la feuille de route plutôt que d'un produit livré. Ce partenariat s'inscrit dans la continuité de la stratégie NVIDIA autour de sa plateforme Isaac dédiée à la robotique et à l'IA physique, engagée depuis plusieurs années à travers Isaac Sim et Isaac Lab pour la simulation, puis étendue à des modèles de fondation comme GR00T. Hugging Face, de son côté, a positionné LeRobot comme l'équivalent robotique de ses bibliothèques Transformers pour le NLP, avec pour ambition de devenir le hub de référence pour les datasets et modèles robotiques ouverts. Sur le plan concurrentiel, cette annonce se situe face aux approches propriétaires de modèles VLA développés par d'autres laboratoires, à l'image de Pi-0 (Physical Intelligence) ou GR00T N2 concurrencés indirectement par des architectures fermées comme Helix (Figure AI). Thomas Wolf, cofondateur et directeur scientifique de Hugging Face, présente cette intégration comme une étape pour ancrer un cycle collaboratif ouvert dans la robotique, avec Cosmos 3 comme prochaine brique pour générer et simuler des données lorsque la collecte réelle est trop coûteuse ou limitée.

IA physiqueActu
1 source
RoboTALES : politiques robotiques guidées par le raisonnement via des futurs simulés alignés sur la tâche
32arXiv cs.RO 

RoboTALES : politiques robotiques guidées par le raisonnement via des futurs simulés alignés sur la tâche

Une équipe de recherche (auteur principal Hanan Shafi, code disponible sur GitHub) publie RoboTALES, un nouveau framework pour entraîner des politiques robotiques à partir de "futurs simulés" générés par des modèles vidéo génératifs pré-entraînés. Le problème que le papier cherche à résoudre est concret : ces modèles vidéo, utilisés comme backbones pour le contrôle visuomoteur, produisent souvent des séquences imaginées qui dérivent de l'intention réelle de la tâche et ne sont pas fiablement conditionnées par les actions du robot, ce qui les rend difficiles à exploiter pour la planification. RoboTALES introduit deux mécanismes clés en un seul étage d'entraînement : un planificateur hiérarchique basé sur un LLM qui découpe une tâche complexe en une séquence de sous-objectifs pour guider l'imagination du modèle, et un critique basé sur un VLM qui évalue ces futurs imaginés et renvoie un signal de récompense pour garder les représentations internes alignées sur le but. La méthode a été évaluée sur des tâches de manipulation issues des benchmarks RoboCasa et LIBERO10. L'enjeu dépasse la simple démonstration académique : la génération vidéo comme "monde simulé" pour entraîner des robots est l'un des paris les plus discutés du secteur, mais bute justement sur ce problème de dérive et de manque de contrôlabilité par l'action. En ancrant le générateur vidéo dans un raisonnement abstrait explicite plutôt que dans la seule prédiction de pixels, RoboTALES produit des rollouts temporellement cohérents et des actions plus fiables, avec un gain qui se creuse spécifiquement sur les tâches longues et multi-étapes, un point faible connu des approches purement génératives. Ce travail s'inscrit dans la lignée des modèles du monde appliqués à la robotique (dans l'esprit de projets comme Genie ou UniSim), où plusieurs laboratoires cherchent à remplacer ou compléter la simulation physique classique par de la génération vidéo apprise. Le code et les modèles sont publiés en open source sur GitHub, ce qui permettra à la communauté robotique de reproduire les résultats sur RoboCasa et LIBERO10 et de tester l'approche sur d'autres suites de tâches de manipulation.

IA physiqueActu
1 source
RynnWorld-4D : des modèles du monde incarnés en 4D pour la manipulation robotique
33arXiv cs.RO 

RynnWorld-4D : des modèles du monde incarnés en 4D pour la manipulation robotique

Des chercheurs (l'article ne precise pas d'affiliation institutionnelle dans le resume) publient sur arXiv, le 7 juillet 2026, RynnWorld-4D, un modele generatif de monde en 4D pour la manipulation robotique. Le systeme produit simultanement, a partir d'une seule image RGB-D et d'une instruction en langage naturel, des images RGB futures, des cartes de profondeur et des flux optiques, le tout dans un unique processus de diffusion. Son architecture a trois branches combine attention cross-modale et RoPE 3D image par image pour que l'apparence visuelle, la geometrie et le mouvement evoluent de maniere coherente. Pour l'entrainer, les auteurs ont constitue Rynn4DDataset 1.0, un jeu de donnees de plus de 254,4 millions d'images issues de videos de manipulation, a la fois humaines en vue egocentrique et robotiques, avec des pseudo-etiquettes de profondeur et de flux optique. Un module derive, RynnWorld-4D-Policy, exploite directement les representations internes du modele en un seul passage avant, sans les etapes couteuses de debruitage iteratif, pour generer des actions robotiques en boucle fermee. L'interet de cette approche tient a l'hypothese qu'elle teste: en combinant RGB, profondeur et flux optique plutot qu'en travaillant sur de simples pixels 2D, la representation obtenue se rapprocherait davantage des commandes bas niveau de l'effecteur, reduisant l'ecart classique entre prediction du monde et apprentissage de politique. Sur des taches reelles de manipulation bimanuelle dexterite, les auteurs rapportent des resultats a l'etat de l'art, en particulier sur les taches exigeant precision spatiale et coordination temporelle, deux points ou les approches VLA generalistes butent souvent en conditions reelles. Il s'agit pour l'instant d'un travail de recherche publie en preprint, sans deploiement industriel ni produit commercialise. Il s'inscrit dans la lignee des modeles de monde appliques a la robotique, aux cotes d'approches comme GR00T N2 ou Pi-0, mais mise sur une fusion multimodale plus riche et un passage a l'echelle des donnees d'entrainement. Les prochaines etapes attendues concernent la generalisation a d'autres plateformes robotiques et la validation hors des benchmarks controles du laboratoire.

IA physiqueActu
1 source
Des fondamentaux à l'application : améliorer les modèles VLA en pratique
34arXiv cs.RO 

Des fondamentaux à l'application : améliorer les modèles VLA en pratique

Les chercheurs à l'origine du modèle VLA (vision-language-action) LingBot dévoilent LingBot-VLA 2.0, une version améliorée conçue pour réduire l'écart entre les performances en laboratoire et les conditions réelles de déploiement, un problème récurrent des modèles fondation pour la robotique. Trois axes de travail sont mis en avant. D'abord, la généralisation entre tâches et morphologies de robots a été retravaillée via un nouveau pipeline de traitement de données, avec environ 60 000 heures de données de pré-entraînement, dont 50 000 heures de trajectoires robotiques couvrant 20 configurations de robots différentes et 10 000 heures de vidéos égocentriques humaines. Ensuite, l'espace d'action a été étendu au-delà des plateformes à double bras classiques, pour inclure les degrés de liberté (DOF) de la tête, du buste, de la base mobile et des mains dextres. Enfin, le système intègre une modélisation prédictive de la dynamique, en formulant la prédiction du futur comme tâche annexe, appuyée par un modèle de représentation vidéo pour les indices sémantiques et un modèle d'estimation de profondeur pour les indices géométriques. Les évaluations ont été menées sur le benchmark GM-100 en configuration généraliste. Cette annonce illustre une tendance de fond dans la robotique humanoïde et manipulatrice: le passage de bras robotiques figés à des systèmes corps entier, capables de coordonner tête, buste, base mobile et mains, à l'image des approches poursuivies par Pi-0, GR00T N2 ou Helix. L'accent mis sur la généralisation cross-embodiment et sur le raisonnement temporel prédictif répond directement à une critique fréquente des modèles VLA actuels: leur difficulté à transférer des compétences apprises entre différents robots et à anticiper les conséquences physiques de leurs actions dans des tâches longues et complexes de manipulation mobile. Il s'agit ici d'une publication de recherche (arXiv), pas d'un produit commercialisé ni d'un déploiement industriel annoncé. LingBot-VLA 2.0 s'inscrit dans la succession directe de la première version LingBot-VLA, dans un paysage où les laboratoires chinois et américains multiplient les modèles fondation généralistes pour la robotique, sans que les auteurs ne précisent à ce stade de calendrier de mise en production ou de partenariats industriels.

IA physiqueOpinion
1 source
Développer des politiques de robots humanoïdes de bout en bout avec NVIDIA Isaac GR00T
35NVIDIA Developer Blog 

Développer des politiques de robots humanoïdes de bout en bout avec NVIDIA Isaac GR00T

No fetch tool available here, and I don't have Bash/WebFetch in this session to pull the full article. The source text you pasted is only the article's opening teaser (repeated twice), with no actual facts, no specs, dates, deployment sites, or competitive details. Writing the requested 3-paragraph article would mean inventing numbers and claims that aren't in the source, which I won't do. Could you paste the full article text, or is there a way for me to fetch the URL directly?

IA physiqueActu
1 source
Lumos Robotics domine un test de référence mondial pour l'IA incarnée en zero-shot
36Robotics & Automation News 

Lumos Robotics domine un test de référence mondial pour l'IA incarnée en zero-shot

Lumos Robotics, société chinoise de robotique, affirme que son modèle d'IA incarnée industrielle Prime R0 a obtenu le meilleur score global du classement MolmoSpaces, devançant des modèles bien plus volumineux signés Nvidia et plusieurs équipes de recherche américaines. Avec seulement 2,8 milliards de paramètres, un format compact au regard des standards du secteur, Prime R0 se classe premier à la fois sur les tâches de manipulation fine à un bras et sur les tâches de collaboration coordonnée à deux bras, deux catégories jugées parmi les plus exigeantes pour évaluer la capacité d'un modèle "zero-shot" à généraliser sans réentraînement spécifique. Ce résultat, s'il se confirme, va à contre-courant de l'hypothèse dominante selon laquelle la performance en manipulation robotique nécessite des modèles massifs et coûteux à faire tourner en embarqué. Un modèle de moins de 3 milliards de paramètres capable de rivaliser avec des architectures plus lourdes intéresserait directement les intégrateurs industriels, pour qui le coût de calcul et la latence d'inférence sur site conditionnent la viabilité économique d'un déploiement. Reste que le classement provient d'un benchmark tiers dont la méthodologie et l'indépendance vis-à-vis des fournisseurs testés ne sont pas détaillées ici, ce qui invite à la prudence avant de valider la portée réelle de l'annonce. Lumos Robotics s'inscrit dans une compétition chinoise de plus en plus dense sur l'IA incarnée industrielle, où plusieurs acteurs cherchent à concurrencer Nvidia et les laboratoires américains sur le terrain des modèles vision-langage-action (VLA) appliqués à la manipulation. L'entreprise n'a pour l'instant pas communiqué de calendrier de déploiement industriel ni de partenariats concrets associés à Prime R0, l'annonce restant à ce stade centrée sur la performance benchmark plutôt que sur une mise en production vérifiable.

IA physiqueActu
1 source
LingBot-Vision d'Ant Group : 12 premières mondiales, un modèle de 1,1 milliard de paramètres bat DINOv3 (7 milliards)
37Pandaily 

LingBot-Vision d'Ant Group : 12 premières mondiales, un modèle de 1,1 milliard de paramètres bat DINOv3 (7 milliards)

Ant Group, via sa division robotique LingBot, a dévoilé LingBot-Depth 2.0, un modèle de perception spatiale construit sur un nouveau modèle de vision baptisé LingBot-Vision, présenté comme le premier modèle de fondation vision nativement conçu pour la perception spatiale en IA incarnée. L'entreprise revendique douze résultats inédits sur des benchmarks publics et privés, une affirmation à prendre avec précaution puisqu'elle émane de son propre communiqué. Avec environ 1,1 milliard de paramètres, soit environ un septième des 7 milliards de DINOv3 de Meta, et moins d'un tiers de son volume d'entraînement, LingBot-Vision affirme surpasser DINOv3 sur le benchmark d'estimation de profondeur NYUv2. Le modèle cible trois défauts classiques de l'estimation de profondeur: le flou des contours, la détection des petits objets et le bruit sur les longues distances. LingBot-Depth 2.0 revendique une clarté de contours suffisante pour de la planification de trajectoire de bras robotique au millimètre près, une meilleure détection des câbles et fils fins, un filtrage du bruit pour les obstacles distants, et des cartes de profondeur stables face aux surfaces réfléchissantes, objets transparents, obscurité et environnements encombrés. Le modèle et son code sont disponibles en open source sur Hugging Face, ModelScope et GitHub, avec un rapport technique publié sur arXiv. Ant Group a aussi noué un partenariat avec ORBBEC, fabricant chinois de capteurs 3D, dont le laboratoire Depth Vision Lab a validé le modèle; la collaboration produit un nouveau dispositif de collecte EGO-RGBD, une intégration SDK pour le matériel ORBBEC, et une future caméra intégrée sans réglage algorithmique complexe. La sortie illustre un pari de plus en plus partagé en IA incarnée: les modèles de vision entraînés sur des images web généralistes, comme DINOv3, reconnaissent des objets mais ignorent leur géométrie précise, ce qui limite leur usage pour des robots devant saisir, éviter ou manipuler des objets réels. En intégrant la compréhension spatiale dès l'entraînement, LingBot-Vision s'attaque à l'écart entre perception "de spectateur" et perception "d'acteur", un enjeu central pour les modèles vision-langage-action qui pilotent bras robotiques et humanoïdes. Le passage du papier de recherche à un partenariat matériel concret avec ORBBEC, plutôt qu'une simple démonstration, est le signal le plus tangible pour les intégrateurs: un début de commercialisation réelle plutôt qu'un prototype isolé. Gérer nativement les cas difficiles, surfaces réfléchissantes, câblage fin, objets transparents, est précisément ce qui bloque aujourd'hui le déploiement en environnement réel non contrôlé. Ant Group, mieux connu pour Alipay, a multiplié ces derniers mois les investissements en robotique et IA incarnée via LingBot, dans un contexte de compétition intense entre laboratoires chinois et américains sur les modèles de fondation pour robots. La comparaison affichée avec DINOv3, modèle phare de Meta, positionne explicitement l'entreprise face aux géants américains sur la perception, pendant que d'autres acteurs, Figure AI avec Figure 03, Tesla avec Optimus, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2 ou Google DeepMind avec Helix, se concentrent davantage sur les modèles d'action et le contrôle moteur. LingBot-Vision se positionne ainsi comme une brique de perception complémentaire, potentiellement intégrable en amont de ces systèmes. Le partenariat avec ORBBEC laisse présager un déploiement progressif dans les prochains mois, avec l'arrivée annoncée d'une caméra grand public intégrant directement le traitement 3D, un jalon qui déterminera si les gains annoncés sur benchmarks se traduisent en performance réelle chez les intégrateurs industriels.

IA physiqueActu
1 source
HIVE lève 15 millions de dollars pour développer une IA physique destinée aux machines industrielles
38Robotics Business Review 

HIVE lève 15 millions de dollars pour développer une IA physique destinée aux machines industrielles

HIVE, startup de physical AI basée à Londres avec des bureaux en Norvège, a annoncé une levée de 15 millions de dollars en pre-série A menée par SuperSeed, avec la participation de Veriten, Skyfall et Nysnø, ainsi que des investisseurs providentiels comme Børge Hald, fondateur de Medallia, et Jørn Lyseggen, fondateur de Meltwater. L'entreprise, dirigée par le cofondateur et PDG Christoffer Jørgensvaag, développe ce qu'elle appelle un "silicon brain", une couche d'intelligence unifiée qui permet à des engins industriels existants de percevoir leur environnement, de décider et d'agir de façon autonome. Concrètement, HIVE ne construit pas de nouveaux robots mais rétrofite des véhicules déjà en service, chargeuses sur pneus, engins d'entrepôts, de lignes de production ou de chantiers, en y ajoutant capteurs et caméras. Un déploiement est déjà opérationnel sur Vikafjellet, un des cols de montagne les plus exposés de Norvège, où le déminage des zones d'avalanche nécessitait auparavant d'attendre plusieurs heures la validation d'un géologue avant d'envoyer une équipe. Avec le silicon brain installé, l'opérateur de la société Presis Vegdrift peut désormais engager une chargeuse immédiatement, pilotée à distance depuis une salle de supervision sécurisée plutôt que depuis la cabine exposée. L'approche de HIVE tranche avec la course aux robots humanoïdes qui domine l'actualité physical AI: plutôt que de fabriquer une nouvelle plateforme robotique, l'entreprise mise sur le rétrofit de flottes industrielles déjà amorties, un pari pertinent pour les intégrateurs et décideurs B2B qui cherchent un retour sur investissement rapide sans remplacer leur parc machine. Le modèle commercial repose sur une boucle d'apprentissage par renforcement mutualisée entre toutes les machines déployées: chaque heure d'exploitation alimenterait cette boucle, avec un objectif affiché de réduction de 80% du coût de l'heure-machine productive. Ce chiffre, non encore audité indépendamment, reste à confirmer à l'échelle, mais illustre la logique de mutualisation des données propre aux acteurs de la conduite autonome industrielle. HIVE a construit ses premiers déploiements en Scandinavie avant d'entamer une expansion aux États-Unis, actuellement en cours. Le positionnement de l'entreprise la distingue des laboratoires centrés sur les modèles vision-langage-action pour robots humanoïdes, comme Physical Intelligence avec Pi-0 ou NVIDIA avec GR00T, en se concentrant plutôt sur l'autonomie de véhicules lourds déjà présents sur le terrain, mines, chantiers, entrepôts. Les prochaines étapes annoncées incluent le renforcement de l'équipe fondatrice, recrutée récemment à l'international, et l'extension des déploiements commerciaux auprès de partenaires industriels nouveaux et existants.

UELe déploiement opérationnel de HIVE en Norvège et sa base londonienne illustrent une approche de rétrofit industriel pertinente pour les acteurs européens du BTP et des mines, mais sans impact réglementaire ou institutionnel direct sur la France.

IA physiqueActu
1 source
NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot pour la communauté robotique ouverte
39NVIDIA Blog Robotics 

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot pour la communauté robotique ouverte

NVIDIA et Hugging Face annoncent l'intégration du modèle NVIDIA Isaac GR00T 1.7 et du framework NVIDIA Isaac Teleop dans LeRobot, la bibliothèque open source de Hugging Face pour la robotique, avec l'arrivée prochaine de NVIDIA Cosmos 3, un modèle monde pour l'IA physique. Isaac Teleop capture des démonstrations humaines via des dispositifs externes dans des formats standardisés, directement dans LeRobot, pour constituer et partager des jeux de données. Isaac GR00T 1.7, présenté par NVIDIA comme le premier modèle fondation robotique open source et commercialement exploitable, facilite le post-entraînement et le déploiement via les workflows LeRobot sur de nouvelles morphologies de robots, avec des benchmarks publiés. Ces briques s'appuient sur des ressources déjà connectées à LeRobot: le plus grand jeu de données open source d'IA physique, téléchargé plus de 15 millions de fois, avec plus de 350 000 trajectoires réelles et simulées et 57 millions de prises (grasps); les frameworks de simulation Isaac Sim et Isaac Lab; Isaac Lab-Arena, intégré au LeRobot Environment Hub pour prototyper des environnements et entraîner des politiques généralistes comme GR00T, Pi ou SmolVLA; et l'intégration de Jetson Thor avec le robot humanoïde open source Reachy 2 pour déployer des modèles VLA (vision-langage-action). Thomas Wolf, cofondateur et chief science officer de Hugging Face, décrit cette collaboration comme un moyen de faire passer la recherche avancée à un stade où la communauté peut l'étudier, l'adapter et la faire évoluer. Pour les intégrateurs et équipes R&D, l'enjeu est de standardiser un pipeline jusque-là fragmenté, collecte de données, entraînement, évaluation, déploiement, en connectant les 3 millions de développeurs robotique de NVIDIA aux 16 millions de builders IA de Hugging Face. Cela réduit le coût d'entrée pour tester des modèles VLA sur du matériel réel sans dépendre d'une pile propriétaire fermée. La mise en avant du caractère "commercialement viable" de GR00T 1.7 tranche avec des modèles concurrents (Pi de Physical Intelligence, Helix de Figure) souvent montrés en démonstration mais rarement publiés en open source avec benchmarks vérifiables. Coupler cela à un futur modèle monde comme Cosmos 3, censé générer des données synthétiques quand les données réelles sont trop chères ou rares à collecter, répond directement à l'un des goulots d'étranglement les plus documentés du secteur humanoïde. Cette annonce prolonge un partenariat plus ancien entre NVIDIA et Hugging Face autour de LeRobot, devenu une référence pour le partage ouvert de données et de politiques robotiques. Elle s'inscrit dans la stratégie de verticalisation physical AI de NVIDIA, de la simulation (Isaac Sim, Isaac Lab) au calcul embarqué (Jetson Thor) en passant par les modèles fondation et, prochainement, les modèles monde. Elle positionne NVIDIA face à des acteurs misant sur des piles intégrées fermées, comme Figure ou Physical Intelligence, en jouant la carte de l'infrastructure ouverte et mutualisée. Aucun acteur français n'apparaît directement, mais Reachy 2 est développé par Pollen Robotics, racheté par Hugging Face, ce qui donne une visibilité indirecte à cet acteur français dans l'écosystème. Les prochaines étapes annoncées restent pour l'instant limitées à la sortie de Cosmos 3 dans LeRobot, sans calendrier de déploiement industriel précisé.

UEImpact indirect: Reachy 2, developpe par Pollen Robotics (racheté par Hugging Face), gagne en visibilité via l'integration Jetson Thor, mais aucun acteur francais n'est directement implique dans cette annonce NVIDIA/Hugging Face.

IA physiqueActu
1 source
InternVLA-A1.5 : unifier compréhension, prévision latente et action pour une généralisation compositionnelle
40arXiv cs.RO 

InternVLA-A1.5 : unifier compréhension, prévision latente et action pour une généralisation compositionnelle

Des chercheurs presentent InternVLA-A1.5, un modele unifie de manipulation robotique qui embarque a la fois les capacites semantiques d'un VLM preentraine et une prevision physique du futur, le tout dans une seule politique de controle. L'architecture conserve un backbone VLM natif qui continue de s'entrainer sur des taches de question-reponse visuelle et de prediction de sous-taches, auquel est attache un expert leger dedie a la generation continue d'actions. L'innovation cle porte sur la prevision du futur, reformulee comme un probleme de "latent-querying": un petit ensemble de jetons de prevision apprenables condense les elements du futur pertinents pour la tache en un code latent compact, sous la supervision d'un modele de generation video preentraine et gele, sans jamais apprendre de generation au niveau du pixel. La branche video est abandonnee au moment de l'inference, ce qui preserve le controle en temps reel. Preentraine sur 1,2 million d'episodes robotiques et 3 millions d'echantillons multimodaux, InternVLA-A1.5 obtient les meilleurs resultats globaux sur six benchmarks de simulation, et affiche en conditions reelles la generalisation compositionnelle la plus solide sur des combinaisons d'instructions inedites. Ce travail s'attaque a un probleme recurrent des modeles VLA unifies: entrainer conjointement comprehension semantique et prediction d'action tend a degrader les priors du VLM d'origine, cree des interferences entre objectifs heterogenes, et oblige souvent a reapprendre la prevision visuelle depuis zero en espace pixel, sans exploiter les modeles de generation video deja entraines. En evitant cette derniere etape couteuse tout en gardant un controle temps reel, l'approche laisse entrevoir, pour les integrateurs et les equipes de recherche en robotique, une voie pour combiner raisonnement de haut niveau et dynamique physique sans sacrifier la vitesse d'execution ni la robustesse face a des consignes formulees differemment de celles vues a l'entrainement, un point sensible pour tout deploiement commercial au-dela de la demo. Le papier s'inscrit dans la vague des modeles vision-langage-action generalistes portee ces deux dernieres annees par des acteurs comme Physical Intelligence avec pi-0, Nvidia avec GR00T N2, ou Figure AI avec Helix, tous confrontes au meme arbitrage entre semantique preservee et dynamique apprise. InternVLA-A1.5 reste pour l'instant une contribution de recherche publiee sur arXiv, evaluee sur benchmarks de simulation et experiences reelles limitees, et non un produit deploye a grande echelle; la suite logique serait une validation sur des plateformes robotiques tierces et des taches manufacturieres plus complexes pour confirmer que les gains de generalisation tiennent hors laboratoire.

IA physiqueActu
1 source
WSA$_1$ : un modèle monde-spatial-action centré sur la 3D pour un contrôle robotique généralisable
41arXiv cs.RO 

WSA$_1$ : un modèle monde-spatial-action centré sur la 3D pour un contrôle robotique généralisable

Les chercheurs à l'origine de WSA₁ proposent un nouveau modèle fondation pour la robotique généraliste, construit autour d'un paradigme baptisé "World-Spatial-Action" centré sur la 3D. Contrairement aux modèles robot-fondation (RFM) classiques qui associent directement perception visuelle 2D et instructions langagières à des actions continues, WSA₁ apprend une représentation explicite de l'état spatial 3D du monde et de ses transitions, puis relie ces transitions aux actions du robot. Le modèle a été préentraîné sur 6 000 heures de démonstrations expertes, dont seulement 1 000 heures issues de robots réels, le reste provenant de sources simulées ou synthétiques. Sur le benchmark de simulation RoboTwin2.0, WSA₁ atteint un taux de réussite de 93% en manipulation, et sur des tâches de contrôle robotique en conditions réelles il affiche un gain moyen de 20% par rapport aux meilleurs RFM existants. L'enjeu pour l'industrie robotique est la sobriété en données réelles. La plupart des modèles fondation actuels, qu'il s'agisse de Pi-0, GR00T N2 ou Helix, dépendent de volumes massifs de téléopération et de collecte sur robots physiques, une contrainte coûteuse qui freine leur déploiement à grande échelle chez les intégrateurs. En démontrant qu'une modélisation conjointe 3D monde-action permet d'atteindre une généralisation compétitive avec un ratio de données réelles très faible, WSA₁ ouvre une voie potentiellement plus abordable vers des systèmes robotiques polyvalents, sans nécessiter les flottes de collecte massives déployées par des acteurs comme Figure ou Tesla pour leurs humanoïdes. Ce travail s'inscrit dans la lignée des critiques adressées aux RFM actuels, accusés de manquer d'un raisonnement physique réel sur la dynamique 3D et les effets causaux des actions du robot sur son environnement, un décalage jugé limitant pour la généralisation en conditions réelles. Les auteurs positionnent explicitement WSA₁ face aux modèles VLA (vision-language-action) de référence du secteur. La publication, encore au stade de préprint arXiv, ne détaille pas de calendrier de déploiement industriel ni de partenariat matériel, les prochaines étapes attendues portant vraisemblablement sur une validation élargie hors simulation et sur des comparaisons directes avec davantage de RFM concurrents.

IA physiqueActu
1 source
Vert pour avancer, rouge pour s'arrêter : ancrage visuel par segmentation sémantique pour la navigation VLA
42arXiv cs.RO 

Vert pour avancer, rouge pour s'arrêter : ancrage visuel par segmentation sémantique pour la navigation VLA

Une équipe de recherche propose une méthode pour améliorer la fiabilité des modèles vision-langage-action (VLA) utilisés en navigation robotique, en s'appuyant sur la segmentation sémantique en temps réel. Le système utilise SegFormer pour colorer l'image perçue par le robot: en vert les zones traversables, en rouge les zones à éviter, avant de transmettre cette image enrichie au modèle de navigation OmniVLA. Deux variantes ont été testées, une segmentation appliquée uniquement à l'observation courante, et une seconde appliquée conjointement à l'observation et à l'image ou l'instruction cible. Sur le jeu de données Grand Tour, cette technique de "grounding" visuel réduit l'erreur moyenne de trajectoire au point de passage le plus éloigné de 27 à 44%, un gain qui varie selon la longueur de l'instruction donnée au robot. Les auteurs montrent aussi, via une analyse d'erreur normalisée, que le bénéfice provient surtout d'un raccourcissement de 30% de la longueur de trajectoire prédite, plutôt que d'un raisonnement spatial réellement amélioré par unité de distance. Pour les intégrateurs et ingénieurs qui déploient des robots mobiles guidés par instructions en langage naturel, ce résultat est notable car il ne nécessite aucun réentraînement du modèle VLA existant, seulement une couche de traitement d'image ajoutée en amont, peu coûteuse en calcul. Les auteurs sont transparents sur les limites: le gain est quasi nul pour les instructions basées sur une image cible plutôt qu'un texte, et la méthode ne compense pas l'absence de signal d'entraînement pour des instructions hors distribution. Cela confirme un écart connu du secteur entre performance démonstrative et robustesse réelle des modèles de navigation par langage. OmniVLA s'inscrit dans la famille grandissante des modèles vision-langage-action pour la navigation, aux côtés d'approches comme Pi-0 ou GR00T N2 développées pour la manipulation et le déplacement robotique. Le travail présenté ici, une première évaluation empirique du grounding visuel appliqué spécifiquement à ces politiques de navigation, ouvre la voie à des ajouts similaires et légers sur d'autres architectures VLA sans passer par un réentraînement complet, une piste pratique pour fiabiliser des déploiements réels en environnement encombré ou ambigu.

IA physiqueActu
1 source
XS-VLA : associe distillation spatiale à gros grain et appariement de flux latent pour un contrôle robotique léger
43arXiv cs.RO 

XS-VLA : associe distillation spatiale à gros grain et appariement de flux latent pour un contrôle robotique léger

Des chercheurs publient sur arXiv (juillet 2026) XS-VLA, un modele Vision-Language-Action en deux etapes concu pour le controle robotique embarque a faible cout de calcul. La premiere etape distille les connaissances spatiales d'un grand modele, Qwen3-VL-4B, vers un squelette leger SmolVLM2 de seulement 0,25 milliard de parametres, via un fine-tuning sur des descriptions spatiales grossieres. La seconde etape conditionne ce squelette enrichi avec une politique de Latent Flow Matching, qui combine un autoencodeur variationnel conditionnel (CVAE) et une dynamique de flow matching pour modeliser des distributions d'actions multimodales, plutot qu'un controleur deterministe classique. Sur le benchmark de simulation LIBERO, XS-VLA atteint l'etat de l'art parmi les modeles de moins de 0,5 milliard de parametres, avec un gain de taux de reussite moyen allant jusqu'a 7,2 points par rapport a la base SmolVLA 0,25B, dont 23 points sur la tache LIBERO-Long, et depasse meme la version SmolVLA a 2,2 milliards de parametres, pres de neuf fois plus grosse. Les auteurs revendiquent aussi une acceleration de 3,2 fois du temps d'execution de mission face a la precedente politique de flow matching legere. Le resultat cible un probleme concret pour l'industrie robotique: les grands modeles vision-langage comprennent bien l'espace mais sont trop lourds pour du controle temps reel embarque, tandis que les modeles legers souffrent generalement de "cecite spatiale". Si les chiffres se confirment au-dela de la simulation, cela suggere qu'un entrainement cible, distillation spatiale puis generation d'actions par flow matching, peut compenser un manque de parametres, ce qui interesse directement les integrateurs cherchant a deployer des VLA sur du materiel edge limite plutot que sur des clusters GPU. Ce travail s'inscrit dans la vague de modeles VLA ouverts lancee par des politiques comme Pi-0, GR00T N2 ou Helix, et prolonge specifiquement la lignee SmolVLA d'Hugging Face en visant l'efficacite plutot que la taille. Il reste toutefois a un stade de recherche: les resultats sont mesures sur LIBERO, un benchmark simule standard mais eloigne des conditions reelles, et aucune validation sur robot physique n'est mentionnee a ce stade.

IA physiqueActu
1 source
Caméras fixes ou libres : un modèle vision-langage-action sans calibration, robuste aux changements de vue
44arXiv cs.RO 

Caméras fixes ou libres : un modèle vision-langage-action sans calibration, robuste aux changements de vue

Des chercheurs du DAMO Academy d'Alibaba ont publié le 7 juillet 2026 un article arXiv (2607.05396) présentant CamVLA (Camera-Centric Vision-Language-Action), un nouveau modèle robotique qui résout un problème pratique jusqu'ici mal traité: le repositionnement des caméras lors du déploiement réel. Contrairement aux politiques VLA robustes aux changements de point de vue existantes, qui nécessitent de fournir explicitement les paramètres extrinsèques de la caméra pour fonctionner, CamVLA n'a besoin que d'une seule image RGB monoculaire, sans profondeur ni calibration préalable. Le modèle prédit deux éléments séparément: une action de l'effecteur terminal exprimée dans le référentiel local de la caméra, et une matrice main-œil à 6 degrés de liberté reliant la caméra à la base du robot. Une transformation géométrique déterministe combine ensuite ces deux prédictions pour produire l'action finale dans le référentiel du robot. Les évaluations, menées à la fois en simulation et sur données robotiques réelles, montrent une amélioration constante des taux de réussite sur des points de vue inédits. Ce travail cible un angle mort classique du déploiement industriel des VLA: en usine ou en entrepôt, les caméras sont fréquemment déplacées, remontées ou changées selon les contraintes du poste de travail, ce qui casse les politiques entraînées sur une configuration de vue fixe. Obliger un recalibrage manuel à chaque changement de caméra freine l'adoption par les intégrateurs, qui cherchent des systèmes tolérants aux aléas de terrain plutôt que des démonstrations en laboratoire. En rendant le modèle calibration-free et dépendant uniquement d'une caméra RGB simple, l'approche réduit aussi le coût matériel du déploiement, sans capteur de profondeur dédié. Le sujet s'inscrit dans la compétition actuelle autour des modèles VLA génériques, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, où la robustesse au changement de viewpoint reste un verrou identifié mais rarement résolu sans hypothèses fortes sur la caméra. L'équipe a mis en ligne une page projet dédiée; les prochaines étapes attendues concernent l'extension à davantage de plateformes robotiques et de scénarios de déploiement réel au-delà des essais publiés.

IA physiqueActu
1 source
Worldscape-MoE : un modèle du monde à mélange d'experts unifié pour un contrôle d'action hétérogène et évolutif
45arXiv cs.RO 

Worldscape-MoE : un modèle du monde à mélange d'experts unifié pour un contrôle d'action hétérogène et évolutif

Une équipe de recherche publie sur arXiv (7 juillet 2026) Worldscape-MoE, un modèle du monde basé sur des Diffusion Transformers combinés à une architecture Mixture-of-Experts (MoE), conçu pour unifier le contrôle d'actions hétérogènes dans les simulateurs génératifs vidéo. Jusqu'ici, les modèles du monde utilisés pour l'IA incarnée traitaient séparément chaque type de commande, trajectoires de caméra, actions robotiques, signaux de jointures de main, avec des interfaces isolées les unes des autres. Worldscape-MoE introduit à la place une injection de contrôle sensible à la modalité, des experts partagés et des experts spécifiques à chaque type de commande, ainsi qu'une stratégie d'entraînement MoE progressive permettant d'ajouter de nouvelles modalités d'action sans tout réentraîner. Les tests couvrent trois domaines, locomotion, manipulation robotique et contrôle égocentrique de la main, avec des résultats évalués sur le benchmark WorldArena. L'apport principal tient dans un résultat contre-intuitif pour le secteur: faire apprendre au même modèle des signaux de contrôle très différents (déplacement d'un robot, geste d'une main, trajectoire de caméra) améliore les performances sur chaque tâche individuelle, plutôt que de les dégrader par interférence. Cela infirme l'hypothèse répandue selon laquelle mélanger les types de supervision dilue la qualité du contrôle. Pour les équipes qui développent des simulateurs destinés à entraîner des politiques robotiques ou des agents VLA (vision-language-action), ce résultat plaide pour des architectures mutualisées plutôt que des modèles du monde spécialisés par tâche, un enjeu direct de coût et de scalabilité pour l'industrie. Le travail s'inscrit dans la montée en puissance des modèles du monde comme infrastructure de base pour l'IA incarnée, à mesure que la fragmentation des interfaces de contrôle devient un frein au passage à l'échelle. Worldscape-MoE se positionne comme une alternative structurelle aux générateurs vidéo contrôlables existants, avec une architecture pensée pour absorber, au fil du temps, nouvelles modalités et nouveaux jeux de données sans repartir de zéro, un axe que les auteurs annoncent vouloir poursuivre avec l'ajout d'experts et de données supplémentaires.

IA physiqueActu
1 source
Ask-to-Clarify : résoudre l'ambiguïté des instructions par un dialogue multi-tours
46arXiv cs.RO 

Ask-to-Clarify : résoudre l'ambiguïté des instructions par un dialogue multi-tours

Des chercheurs proposent Ask-to-Clarify, un cadre qui permet à un robot équipé d'un modèle vision-langage-action (VLA) de poser des questions avant d'agir plutôt que d'exécuter aveuglément une consigne ambiguë. Le système marie un planificateur cognitif basé sur un modèle vision-langage, chargé de mener le dialogue de clarification, à un exécuteur moteur fondé sur la diffusion, chargé du contrôle bas niveau. Les deux modules communiquent via un adaptateur d'alignement sémantico-visuel, une interface qui traduit l'intention exprimée en langage naturel en flux de perception visuelle exploitable par le contrôleur. Pour l'entraîner, les auteurs ont dû résoudre un oubli catastrophique observé lors de leurs premiers essais : le réglage fin sur les tâches de manipulation effaçait entièrement la capacité de dialogue du modèle. Leur parade est une stratégie d'entraînement en deux étapes qui isole la logique conversationnelle de l'apprentissage moteur. Le système a été testé sur 11 tâches de manipulation réelles, où il devance nettement les méthodes existantes. L'enjeu dépasse le confort d'usage. La quasi-totalité des VLA actuels, qu'il s'agisse de familles comme Pi-0 ou GR00T N2, fonctionnent selon un paradigme rigide d'écoute puis d'exécution : ils postulent que l'instruction est claire et agissent sans vérifier, ce qui échoue dès qu'un environnement réel présente plusieurs objets similaires ou une consigne sous-spécifiée d'un utilisateur non expert. C'est précisément l'écart entre démonstrations scénarisées et déploiement réel que pointe régulièrement le secteur. En documentant un oubli catastrophique aussi net entre dialogue et contrôle moteur, ce travail met aussi en garde les équipes qui cherchent à empiler perception, raisonnement et action dans un modèle généraliste unique : ce n'est pas gratuit, cela demande des architectures et des entraînements spécifiquement pensés pour éviter que les compétences s'écrasent entre elles. Historiquement, la clarification d'instructions robotiques passait par des planificateurs externes de type LLM (dans la lignée de SayCan) posés au-dessus d'un contrôleur bas niveau séparé, une architecture en deux blocs disjoints. Ask-to-Clarify s'en distingue en intégrant dialogue et contrôle moteur dans un seul système entraîné de bout en bout, sans primitives d'action codées à la main ni planificateur externe. Les auteurs, dont les travaux sont publiés sur arXiv, envisagent d'étendre l'approche à des instructions et environnements plus variés, au-delà de la simple levée d'ambiguïté.

IA physiqueActu
1 source
CAC-VLA : un conditionnement d'action contrôlé par le contexte pour les modèles vision-langage-action
47arXiv cs.RO 

CAC-VLA : un conditionnement d'action contrôlé par le contexte pour les modèles vision-langage-action

Des chercheurs proposent CAC-VLA (Context-Gated Action Conditioning), une nouvelle architecture pour les modèles vision-langage-action (VLA), la famille de systèmes qui pilote de plus en plus de bras et robots humanoïdes generalistes. Le problème identifié: dans les VLA classiques, les représentations visuelles et langagières ne sont pas pensées pour guider directement le contrôle moteur, ce qui laisse à «l'expert action» (le module qui génère la trajectoire) la charge de combler cet écart. Des méthodes récentes tentent de corriger cela avec des modules de raisonnement d'action séparés, mais elles nécessitent des architectures dédiées supplémentaires. CAC-VLA prend une autre voie: il entraîne le modèle vision-langage lui-même à prédire des actions latentes, des représentations compactes encodées à partir de segments d'action futurs, du grossier au fin, puis utilise une «porte de contexte» pour doser en temps réel l'influence de ce signal sur l'expert d'action. Sur les bancs d'essai LIBERO et LIBERO-Plus, la méthode atteint respectivement 98,3% et 89,5% de taux de réussite moyen. Pour l'industrie robotique, l'enjeu dépasse le simple gain de quelques points de benchmark. Le goulot d'étranglement entre compréhension multimodale et motricité précise est l'un des obstacles centraux à la généralisation des VLA au-delà de tâches scriptées, un sujet suivi de près par les équipes qui travaillent sur des systèmes comme π0, GR00T N2 ou Helix. Une interface qui intègre le raisonnement d'action directement dans le VLM, sans framework de génération séparé, simplifierait l'entraînement et le déploiement de ces piles logicielles chez les intégrateurs, réduisant la complexité d'ingénierie souvent invoquée comme frein à la mise en production. Ces résultats restent toutefois obtenus en simulation, sur des suites de tâches standardisées et non sur du matériel réel en usine ou en entrepôt, une nuance importante alors que le secteur multiplie les annonces de percées en manipulation générale. LIBERO et sa variante LIBERO-Plus servent de référence commune pour comparer les approches d'action-conditioning, et la prochaine étape logique pour valider l'intérêt de CAC-VLA sera sa transposition sur des robots physiques et des tâches de manipulation en conditions réelles.

IA physiqueActu
1 source
Humanoid (UK) lance un système d'apprentissage par renforcement pour améliorer la manipulation robotique
48Robotics & Automation News 

Humanoid (UK) lance un système d'apprentissage par renforcement pour améliorer la manipulation robotique

Humanoid, jeune pousse britannique de robotique, a dévoilé KinetIQ Ascend, une nouvelle couche d'apprentissage par renforcement destinée à ses robots humanoïdes industriels. L'objectif affiché est d'atteindre 99,9% de fiabilité de manipulation, à une vitesse égale ou supérieure à celle d'un humain. Le système s'appuie sur la plateforme KinetIQ annoncée précédemment par l'entreprise, fondée sur un apprentissage par essais-erreurs qui permet aux robots de s'améliorer directement sur des tâches industrielles réelles plutôt que via une simulation isolée. Selon Humanoid, KinetIQ Ascend a été testé sur plusieurs tâches de manipulation en conditions industrielles, mais le communiqué reste avare de précisions sur le nombre exact de tâches couvertes, les sites concernés ou un calendrier de déploiement. Ce chiffre de 99,9% de fiabilité, s'il se confirme hors du cadre contrôlé d'une démonstration, viserait directement le principal frein actuel à l'industrialisation des humanoïdes: la fiabilité de la manipulation fine, un problème bien plus tenace que la locomotion bipède, déjà largement maîtrisée par des robots comme Figure 03 ou Optimus Gen 3. En misant sur un apprentissage par renforcement ancré dans des tâches réelles plutôt que sur l'entraînement massif en simulation ou sur des modèles génériques vision-langage-action à la Pi-0 (Physical Intelligence), Helix (Figure AI) ou GR00T N2 (NVIDIA), Humanoid parie sur une spécialisation tâche par tâche, potentiellement plus rapide à mettre en production mais aussi moins généralisable. Pour les intégrateurs et décideurs industriels, la vraie inconnue reste de savoir si ce taux tient sur une diversité de tâches en usine, ou seulement sur un périmètre restreint choisi pour la vidéo de présentation. Humanoid s'est positionnée depuis sa création sur l'apprentissage par renforcement appliqué directement à l'industrie, plutôt que sur la seule prouesse mécanique de ses machines. La concurrence sur ce marché naissant s'est nettement densifiée: aux côtés des géants américains déjà cités, des acteurs européens comme le français Pollen Robotics, l'exosquelette devenu humanoïde de Wandercraft, ou l'automatisation d'entrepôt d'Exotec cherchent chacun à s'imposer avec une approche distincte de l'autonomie et du déploiement. Pour l'instant, Humanoid n'a communiqué ni calendrier de commercialisation ni client pilote nommé pour KinetIQ Ascend, ce qui place l'annonce du côté de la démonstration technologique plutôt que d'un déploiement industriel confirmé.

UERenforce indirectement la pression concurrentielle sur les acteurs europeens de la robotique humanoide (Pollen Robotics, Wandercraft, Exotec) sans impact direct ou verifiable sur le marche francais ou une reglementation UE.

IA physiqueOpinion
1 source
Le contexte est roi : comment Avride utilise des VLM cloud comme filet de sécurité pour les robots de livraison
49Robotics Business Review 

Le contexte est roi : comment Avride utilise des VLM cloud comme filet de sécurité pour les robots de livraison

Avride, entreprise texane specialisee dans la robotique de livraison autonome, a integre des modeles de vision-langage (VLM) heberges dans le cloud pour renforcer la surveillance de ses robots de livraison sur trottoir. Chaque jour, des centaines de ces robots circulent dans des rues urbaines en autonomie quasi totale, traitant localement les donnees de leurs capteurs pour gerer les manoeuvres standards, les pietons et les feux de signalisation. Le nouveau systeme, surnomme "VLM-watcher", ne pilote pas le robot en temps reel : toutes les quelques secondes, une image des cameras embarquees est transmise au cloud, apres anonymisation locale des visages et plaques d'immatriculation directement sur le robot. Le modele de vision-langage analyse ensuite la scene dans son ensemble et lui attribue des tags de situation a fort enjeu, par exemple la presence d'un peripherique de police, d'une scene de crime active ou d'un chantier non cartographie avec du ciment frais. Si une situation critique est detectee, une alerte est envoyee a une equipe d'assistance a distance qui peut visionner le flux en direct et intervenir pour faire ceder le passage a des secours ou eviter une zone restreinte. Cette approche illustre une tendance de fond dans la robotique de livraison autonome : la pile de perception embarquee, aussi performante soit-elle pour la detection d'objets (cyclistes, enfants, fauteuils roulants, vehicules d'urgence), atteint ses limites face a des scenarios qui exigent une comprehension contextuelle globale plutot qu'une simple liste d'elements detectes. Distinguer un policier qui rentre chez lui apres son service d'une scene de crime active, par exemple, releve d'un raisonnement semantique que les reseaux de neurones locaux ne sont pas concus pour faire seuls. En choisissant de garder les VLM hors de la boucle de pilotage temps reel, pour des raisons de latence et de dependance reseau, Avride positionne ces modeles lourds comme un filet de securite supervise par des humains, et non comme un substitut a l'autonomie embarquee. Cette architecture hybride pourrait devenir un standard de facto pour l'industrie, a mesure que les operateurs de flottes de robots cherchent a rassurer regulateurs et municipalites sur la gestion des situations sensibles sans sacrifier la reactivite operationnelle. Avride, fondee par d'anciens ingenieurs du projet Yandex de vehicules autonomes, deploie deja ses robots de livraison dans plusieurs villes americaines en partenariat avec des enseignes de restauration et de commerce. L'entreprise precise ne pas vouloir lier son infrastructure a un seul fournisseur de modeles, presentant ce nouveau bloc cloud comme une architecture ouverte et modulaire, appelee a evoluer au rythme des progres des modeles de vision-langage. Cette flexibilite s'inscrit dans un contexte de concurrence croissante sur la livraison autonome sur trottoir, un secteur ou la confiance du public et des autorites locales reste un facteur determinant pour l'obtention d'autorisations d'exploitation a grande echelle.

IA physiqueActu
1 source
Bridge-WA : prédire où et comment le monde change pour l'action robotique
50arXiv cs.RO 

Bridge-WA : prédire où et comment le monde change pour l'action robotique

Une équipe de chercheurs présente Bridge-WA, un nouveau framework "world-action" léger destiné aux modèles de manipulation robotique vision-langage-action (VLA), décrit dans un article publié sur arXiv (2607.02195v1) début juillet. Plutôt que de s'appuyer sur de lourds modèles génératifs du monde ou des séquences denses d'images futures pour anticiper les changements de scène, coûteux en calcul et souvent focalisés sur des détails visuels peu utiles au contrôle, Bridge-WA distille un "teacher" figé de prédiction des changements futurs en trois représentations compactes : des tokens de résultat visé, des cartes de changement pour identifier les zones d'intervention, et des cartes de flux de mouvement pour la direction locale des transitions. Un module appelé WorldBridge conditionne ensuite le transformer d'action sur ces trois priors via des mémoires d'attention multi-sources et des biais spatio-temporels, tandis que le modèle enseignant est retiré au moment de l'inférence. Les auteurs évaluent leur approche sur les benchmarks VLABench, RoboTwin2.0 et LIBERO-Plus, ainsi que sur des tests en robot réel, avec des gains en taux de réussite, en progression de tâche et en robustesse, particulièrement marqués face à des variations visuelles hors distribution. L'intérêt pour l'industrie robotique tient à la promesse d'un compromis efficacité-robustesse : obtenir les bénéfices d'un raisonnement sur l'évolution future de la scène sans payer le coût de génération d'images denses au déploiement, un frein connu pour l'intégration temps réel des modèles VLA. En filtrant les facteurs de nuisance comme le fond, l'éclairage ou les distracteurs pour se concentrer sur où et comment la scène va changer, l'approche s'attaque directement à l'écart généralisation/robustesse qui limite souvent le passage de la démonstration en labo au déploiement industriel. Le travail s'inscrit dans la lignée des modèles VLA à grande échelle qui cherchent à coupler perception, langage et action, un axe de recherche actif depuis l'essor de modèles génériques de manipulation. Comme il s'agit ici de résultats de recherche publiés par les auteurs eux-mêmes sur leurs propres benchmarks, sans déploiement industriel ni validation tierce à ce stade, la prudence reste de mise sur la portée réelle des gains annoncés. Le code et des visualisations sont mis à disposition sur le site du projet, ouvrant la voie à une reproduction indépendante des résultats.

IA physiqueActu
1 source