Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
CoStream : combiner des comportements simples pour une manipulation complexe et généralisable
RecherchearXiv cs.RO 

CoStream : combiner des comportements simples pour une manipulation complexe et généralisable

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs propose CoStream (arXiv 2606.26423), un cadre de manipulation robotique conçu pour atteindre simultanément précision millimétrique et généralisation à de nouvelles tâches. L'article cible des opérations d'assemblage à haute contrainte de contact comme l'insertion d'un GPU dans un slot PCIe, où les approches existantes échouent sur au moins l'un des deux critères. Le système a été validé sur 8 tâches réelles couvrant manipulation quotidienne et assemblage de précision, avec récupération robuste après perturbations manuelles en cours d'exécution.

L'apport central est de rompre avec deux paradigmes dominants : les pipelines classiques, précis mais rigides et coûteux à adapter à chaque nouvelle tâche, et les politiques end-to-end monolithiques, généralisables mais insuffisamment précises hors-distribution sans réentraînement. CoStream orchestre modèles de fondation et modalités de capteurs variées en trois comportements composables : sémantique (extraction de contraintes spatiales via modèles de fondation), prédictif (estimation de trajectoires par tracking de keypoints dans des vidéos imaginées) et réactif (corrections tactiles et de force haute fréquence). Ces sorties se composent par right-multiplication dans l'espace SE(3), produisant une commande de pose unique à chaque pas de contrôle, exécutée par un contrôleur compliant. Les gains les plus significatifs sont observés sur les tâches d'assemblage avec contact et de transfert d'objets, précisément là où la précision et l'adaptabilité sont le plus difficiles à concilier.

CoStream s'inscrit dans la tendance qui cherche à exploiter les modèles de fondation visuels et linguistiques pour la planification robotique, tout en conservant des contrôleurs bas niveau fiables pour l'exécution temps réel. Les approches concurrentes les plus directes sont les VLA monolithiques comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, ainsi que les pipelines hiérarchiques classiques. La décomposition modulaire proposée n'implique pas de réentraînement complet pour chaque nouvelle tâche, ce qui constitue le principal argument de rupture avancé par les auteurs. L'article reste un preprint de recherche sans déploiement industriel annoncé ni partenaire de production mentionné ; les performances à l'échelle et hors environnement de laboratoire contrôlé restent à démontrer.

Dans nos dossiers

NVIDIA GR00TPhysical Intelligence — π0Manipulation robotiquearXiv cs.RO

À lire aussi

Co-entraînement simulation-humain pour une manipulation bimanuelle efficace en données et généralisable aux scènes
1arXiv cs.RO 

Co-entraînement simulation-humain pour une manipulation bimanuelle efficace en données et généralisable aux scènes

Une équipe de recherche présente SimHum, une méthode d'entraînement combinant simulation et démonstrations humaines pour la manipulation bimanuelle par robots, décrite dans une version mise à jour d'un article publié sur arXiv (2601.19406v2). Le constat de départ : les démonstrations réelles sur robot sont coûteuses à collecter, tandis que la simulation offre des actions valides pour le robot mais souffre d'un écart visuel avec le réel, et les vidéos de démonstrations humaines offrent des observations réalistes mais souffrent d'un écart d'incarnation entre humain et robot. SimHum extrait des priors cinématiques depuis la simulation et des priors visuels depuis les observations humaines, puis affine le modèle sur un petit jeu de données réel. Avec seulement 80 épisodes réels par tâche, la méthode atteint 62,5% de réussite sur des scènes inédites (hors distribution) sur quatre tâches bimanuelles de manipulation sur table, soit 53,7 points de pourcentage de plus qu'un entraînement uniquement sur données réelles. Dans une étude à temps de collecte égal, SimHum dépasse de 35 points de pourcentage la meilleure méthode de pré-entraînement mono-source. Ce résultat s'attaque à l'un des principaux goulots d'étranglement de l'apprentissage robotique : le coût de la collecte de démonstrations réelles, souvent cité comme le facteur limitant de la généralisation des modèles vision-langage-action (VLA). Plutôt que d'opposer simulation et données humaines comme des substituts concurrents aux démonstrations réelles, l'étude les traite comme complémentaires, chacune comblant une lacune spécifique de l'autre. Pour les intégrateurs et les équipes de recherche en robotique, cela suggère qu'une stratégie hybride de données peut réduire fortement le volume de collecte réelle nécessaire pour atteindre une généralisation à de nouvelles scènes, un enjeu central pour tout déploiement hors laboratoire. Il faut toutefois noter que les résultats portent sur quatre tâches de manipulation sur table en environnement contrôlé, et non sur un déploiement en conditions réelles ou en usine, ce qui limite pour l'instant la portée des conclusions. Ce travail s'inscrit dans un champ de recherche très actif où plusieurs approches rivalisent pour réduire la dépendance aux démonstrations réelles, entre pré-entraînement sur données vidéo humaines à grande échelle et apprentissage par simulation massive, des stratégies déjà explorées par des modèles VLA comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure. SimHum se distingue en combinant explicitement les deux sources plutôt qu'en misant sur une seule. Il s'agit ici d'un article de recherche académique, sans produit ni robot commercial associé : aucune entreprise ni plateforme matérielle spécifique n'est mise en avant, et le travail est accompagné d'une page projet dédiée. Les prochaines étapes, non précisées dans cette version de l'article, porteraient logiquement sur l'extension à davantage de tâches, de robots et de scénarios au-delà de la manipulation sur table.

RecherchePaper
1 source
Un système rapide, résilient et adaptable pour les comportements de loco-manipulation des robots humanoïdes
2arXiv cs.RO 

Un système rapide, résilient et adaptable pour les comportements de loco-manipulation des robots humanoïdes

Une équipe de recherche a publié le 2 septembre 2026 sur arXiv (2609.01518) un système d'architecture comportementale pour la loco-manipulation sur robots humanoïdes, conçu pour tourner localement et être modifié en temps réel pendant l'exécution. L'architecture combine des Affordance Templates centrées objets, une structure en arbre organisant la logique des tâches, et une scène de perception éditable au runtime, exécutée par un contrôleur corps entier combinant marche et mouvements du buste, avec une interface opérateur synchronisée en continu pour superviser et corriger à la volée. Testé sur un Unitree H1-2 et un second robot nommé Alex sur six variantes de tâches, le système franchit une porte à pousser en 34 secondes et trie six balles par couleur en 45 secondes sous perturbation humaine directe. Des sessions d'autorat chronométrées montrent la création ou l'adaptation d'un comportement de loco-manipulation en quelques heures. Ce résultat nuance un discours dominant dans la robotique humanoïde, où la performance repose de plus en plus sur des modèles vision-langage-action entraînés de bout en bout, à la manière de Pi-0, GR00T N2 ou Helix. Les auteurs affirment que leur approche, explicitement programmée plutôt qu'apprise, reste compétitive face à ces systèmes récents, tout en offrant un avantage opérationnel : créer ou corriger un comportement en heures plutôt qu'en semaines de collecte de données. Pour les intégrateurs et décideurs industriels, cela ouvre une voie alternative moins dépendante de gigantesques jeux de démonstrations, potentiellement plus rapide à auditer sur site, même si les chiffres de cycle avancés restent issus de démonstrations contrôlées. Le travail s'inscrit dans la course à l'autonomie des humanoïdes pour des tâches physiquement pénibles, dangereuses ou répétitives, un terrain disputé par Figure AI avec Figure 03, Tesla avec Optimus Gen 3 ou NVIDIA avec GR00T, majoritairement pariés sur l'apprentissage à grande échelle. En misant sur une architecture éditable localement et supervisée par un opérateur, les auteurs positionnent leur système comme complémentaire, voire alternatif, à ces approches pilotées par les données. Aucun acteur français ou européen n'est cité, et cette publication reste à ce stade une contribution de recherche sur arXiv plutôt qu'un produit commercialisé, sans calendrier annoncé de pilotes au-delà des six tâches démontrées.

RecherchePaper
1 source
Au-delà de la sémantique liée aux points : champs sémantiques centrés sur l'objet pour une manipulation généralisable
3arXiv cs.RO 

Au-delà de la sémantique liée aux points : champs sémantiques centrés sur l'objet pour une manipulation généralisable

Un nouvel article publié sur arXiv (référence 2607.03163v1) propose une méthode pour améliorer la manipulation robotique generalisable en dotant les nuages de points 3D d'une compréhension sémantique stable des parties fonctionnelles d'un objet, poignées, têtes d'outils, ouvertures, zones de préhension. Les nuages de points bruts capturent la géométrie mais pas la sémantique, et l'échantillonnage varie selon le point de vue, le capteur ou l'instance d'objet observée. Les auteurs introduisent un champ sémantique continu et centré sur l'objet, entraîné à partir de modèles d'objets annotés par parties, qui associe à toute position 3D interrogée un embedding sémantique conscient de la fonction de la partie concernée. Une fois entraîné, ce champ est figé et sert à générer des nuages de points sémantiques utilisés comme conditionnement au niveau de l'objet pour des politiques de manipulation. Les tests, menés sur les tâches de simulation RoboTwin ainsi que sur de la manipulation bimanuelle réelle, montrent une amélioration des performances par rapport aux approches de référence: nuage de points brut, lifting de features 2D vers la 3D, et features ponctuelles 3D discrètes. L'enjeu dépasse le simple gain de précision. Pour l'industrie de la manipulation robotique et les concepteurs de politiques de type VLA (vision-language-action), le vrai problème n'est pas de reconnaître un objet mais de savoir où et comment le saisir de façon fiable, quel que soit l'angle de vue ou l'exemplaire précis rencontré. En rendant la sémantique indépendante de l'échantillonnage observé, cette approche s'attaque directement à un point faible connu des pipelines actuels: la fragilité des indices sémantiques ponctuels quand la scène ou le capteur changent. C'est un argument de plus dans le débat sur la généralisation réelle des politiques de manipulation, un enjeu central alors que le secteur cherche à dépasser les démonstrations en environnement contrôlé. Ce travail s'inscrit dans la lignée des efforts pour enrichir la perception 3D en robotique, après les méthodes de projection de features 2D issues de modèles de vision-langage et les représentations ponctuelles 3D discrètes, deux approches dont l'article démontre les limites en comparaison directe. RoboTwin, la plateforme de simulation utilisée, sert de banc d'essai standard pour ce type d'évaluation comparative dans la communauté. Les auteurs mettent à disposition une page projet dédiée, laissant présager la publication du code et des modèles pour permettre une réplication et une adoption plus large par la communauté de recherche en manipulation robotique.

RecherchePaper
1 source
IA incarnée et chaîne de pensée : vers une manipulation robotique généralisable
4arXiv cs.RO 

IA incarnée et chaîne de pensée : vers une manipulation robotique généralisable

Une équipe de chercheurs publie en juin 2026 (arXiv:2606.03784) une réévaluation du chain-of-thought incarné (CoT) appliqué aux modèles vision-langage-action (VLA) pour la manipulation robotique généraliste. Pour mener cette étude à grande échelle, les auteurs ont constitué le plus grand corpus de ce type jamais assemblé : 978 743 trajectoires, 226,3 millions d'échantillons et 2 592,5 heures de données robot. Leur modèle ERVLA atteint 86,9 % de succès sur LIBERO-Plus et 53,2 % sur VLABench, surpassant les baselines de référence, notamment sur les tâches de désambiguïsation sémantique et d'exécution à longue portée en environnement réel. Le code, les données et les checkpoints seront prochainement disponibles en accès ouvert. Le principal apport théorique porte sur la manière d'intégrer le raisonnement linguistique dans une politique robotique. Les auteurs établissent que le CoT explicite, utilisé comme préfixe autorégressif avant chaque action, accumule des erreurs au fil des étapes et génère un couplage instable entre raisonnement et commande motrice. De même, le raisonnement de haut niveau seul, sans ancrage dans des descriptions concrètes comme les trajectoires d'effecteur terminal ou les positions dans l'espace image, n'apporte que des gains marginaux. ERVLA résout cette tension via une stratégie de "reasoning-dropout" : le modèle assimile des traces de raisonnement riches pendant l'entraînement, mais prédit les actions directement à l'inférence, sans décodage CoT. Ce découplage améliore la montée en échelle avec le volume de préentraînement et stabilise l'exécution. C'est un signal clair pour les équipes travaillant sur des politiques généralisables : la valeur du langage réside dans ce qu'il apprend au modèle, pas dans ce qu'il verbalise au moment du déploiement. Ces travaux s'inscrivent dans une compétition intense autour des fondations VLA capables de généraliser hors de leur distribution d'entraînement, aux côtés de Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA. La mise à disposition de 2 592 heures de données robotiques en accès ouvert constitue en elle-même une contribution notable dans un secteur où la pénurie de données reste un verrou majeur. Aucun déploiement industriel n'est mentionné : ERVLA est à ce stade un résultat de recherche académique, avec des validations sur robot réel mais sans pipeline de production annoncé.

UELa publication en accès ouvert de 2 592 heures de données robotiques et des checkpoints ERVLA offre une ressource directement exploitable par les équipes de recherche françaises et européennes travaillant sur les politiques VLA généralisables.

RechercheOpinion
1 source