Lier efficacement scènes réelles et données…

1arXiv cs.RO

RoKON : commande prédictive efficace et adaptative pilotée par les données pour la manipulation robotique

RoKON est une méthode de commande prédictive pilotée par les données (DeePC, pour data-enabled prédictive control), décrite dans un préprint arXiv, qui vise à rendre cette approche utilisable en temps réel en robotique de manipulation. Le DeePC remplace le modèle dynamique explicite par des trajectoires d'entrées et de sorties mesurées, tout en gardant une formulation de commande optimale lisible. Les auteurs s'appuient sur un prédicteur non linéaire à noyaux gaussiens et proposent trois apports. Le premier est une méthode de Gauss-Newton amortie, qui exploite la structure de moindres carrés du problème pour tenir les contraintes de temps réel. Le deuxième est une gestion hybride du tampon de données, qui garde les données hors ligne pertinentes et y ajoute les données en ligne les plus informatives, afin que le prédicteur suive l'évolution de la dynamique. Le troisième est une validation sur MuJoCo, avec un bras Franka Research 3 qui pousse un bloc sur une surface dont les coefficients de friction changent sans être connus du contrôleur. L'intérêt est surtout méthodologique. Le DeePC restait jusqu'ici coûteux en calcul et fragile dès que la dynamique dérivait, ce qui l'écartait des boucles de manipulation rapides. Une variante adaptative et peu gourmande rapproche une commande transparente, sans réseau de neurones à entraîner, des tâches de contact où la friction varie, un cas typique de ce qui fait échouer les modèles figés. Pour un intégrateur, la promesse est de moins dépendre d'une identification de modèle longue pour chaque cellule. Il faut toutefois rester prudent : le résumé ne donne ni temps de calcul, ni erreur de suivi, ni comparaison chiffrée avec une commande prédictive classique, et tout reste en simulation, sans essai sur un robot réel. Ces travaux s'inscrivent dans la lignée du DeePC introduit autour de 2019 pour les systèmes linéaires, puis étendu aux noyaux pour les systèmes non linéaires. Ils s'opposent à deux familles dominantes : la commande prédictive à modèle appris et les politiques de bout en bout, dont les modèles vision-langage-action (VLA) type Pi-0 ou GR00T, plus généralistes mais moins interprétables. La suite logique est un transfert sur matériel, avec bruit de capteurs, latences et contacts réels, seule étape qui dira si l'efficacité annoncée tient hors de MuJoCo.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

AnchorDream : réorienter la diffusion vidéo pour la synthèse de données robotiques sensibles à l'incarnation

Des chercheurs présentent AnchorDream, un modèle génératif qui détourne des modèles de diffusion vidéo pré-entraînés pour synthétiser des données de démonstration robotique. Publié sur arXiv (2512.11797v2, version révisée), le système conditionne le processus de diffusion sur des rendus du mouvement du robot, ce qui ancre la cohérence de l'embodiment (la géométrie et la cinématique du bras ou de l'humanoïde) pendant que le modèle génère de nouveaux objets et environnements. À partir d'une poignée de démonstrations en téléopération humaine seulement, la méthode permet de démultiplier ces exemples en jeux de données massifs et variés, sans modélisation explicite de l'environnement. Les résultats annoncés font état d'un gain relatif de 36,4% sur des benchmarks en simulateur, et d'une performance quasiment doublée lors d'essais en conditions réelles pour l'apprentissage de politiques par imitation. Cette avancée s'attaque directement au goulot d'étranglement le plus critique de l'apprentissage par imitation en robotique: la collecte de données réelles est coûteuse et lente, tandis que les simulateurs souffrent d'un écart de fidélité persistant avec le monde réel, le fameux sim-to-real gap. Les méthodes génératives existantes se contentaient souvent de modifier l'apparence visuelle des scènes sans produire de nouveaux comportements, ou généraient des mouvements physiquement incohérents avec l'embodiment du robot. En prouvant qu'un modèle de diffusion vidéo peut être ancré au mouvement réel du robot pour générer des données exploitables à grande échelle, AnchorDream ouvre une voie concrète pour les intégrateurs et laboratoires qui cherchent à entraîner des politiques VLA sans dépendre uniquement de flottes de téléopération ou de simulateurs coûteux à construire. Ce travail s'inscrit dans la vague récente des world models appliqués à la robotique, où plusieurs équipes explorent la génération vidéo comme substitut ou complément à la simulation physique classique. Contrairement à des approches purement visuelles, AnchorDream mise sur l'ancrage cinématique explicite pour éviter les hallucinations de mouvement, un problème récurrent des générateurs vidéo appliqués aux robots. À ce stade, il s'agit d'un résultat de recherche publié sur arXiv, sans déploiement produit ni partenariat industriel annoncé, mais l'ampleur des gains rapportés en fait une piste à suivre pour la prochaine génération de pipelines de données robotiques.

RecherchePaper

1 source

3arXiv cs.RO

PRISM : génération de données robotiques personnalisées par synthèse d'images de scènes et de mouvements

Il n'y a pas de nom d'entreprise, de labo ou de deploiement commercial cité dans cet abstract (c'est un papier de recherche arXiv), donc l'article reste focalisé sur la méthode et ses résultats mesurés, sans inventer de contexte industriel absent du texte source. Des chercheurs présentent PRISM, un pipeline qui génère des jeux de données robotiques personnalisés à partir d'une seule image et d'une instruction en langage naturel, sans téléopération humaine. Le système construit des scènes dites "digital cousins" : des environnements synthétiques alignés sémantiquement et géométriquement avec l'environnement cible de l'utilisateur, mais suffisamment variés au niveau des instances (objets, agencements) pour éviter le surapprentissage. PRISM synthétise ensuite des démonstrations exécutables directement utilisables pour entraîner une politique robotique. Sur les benchmarks LIBERO et LIBERO-Plus, les politiques entraînées sur les données générées par PRISM surpassent celles entraînées sur des jeux de données de référence, et atteignent jusqu'à 100 % de taux de réussite sur trois tâches de manipulation réelles, avec une meilleure robustesse lorsque l'environnement de test diffère de celui vu à l'entraînement. L'enjeu ici est la collecte de données, principal goulot d'étranglement pour déployer des modèles vision-langage-action (VLA) au-delà des laboratoires. La téléopération produit des données bien alignées avec la tâche mais coûte cher et ne passe pas à l'échelle ; la simulation pure passe à l'échelle mais peine à ressembler à l'environnement réel de l'utilisateur final. PRISM tente de concilier les deux, ce qui intéresse directement les intégrateurs et décideurs B2B confrontés au coût de personnalisation d'un robot pour un site spécifique (usine, entrepôt, domicile) : si la génération de données synthétiques personnalisées tient ses promesses hors laboratoire, elle réduit un frein économique majeur à l'adoption des politiques génératives en robotique. Ce travail s'inscrit dans la vague plus large des modèles fondation VLA (dans la lignée de Pi-0, GR00T N2 ou Helix) qui cherchent à généraliser au-delà des tâches et environnements d'entraînement, un problème encore mal résolu malgré les démonstrations impressionnantes de ces modèles. Il fait aussi écho à la tendance du "sim-to-real" et à l'usage de scènes synthétiques proches mais non identiques à la réalité pour diversifier les données d'entraînement sans reproduire du réel coûteux. Les auteurs positionnent PRISM face à deux approches concurrentes existantes, la téléopération manuelle et la simulation générique, en montrant un gain de performance sur des benchmarks standards ainsi que sur des tâches de manipulation réelles. L'abstract ne précise pas de calendrier de déploiement ou de partenariat industriel : à ce stade, il s'agit d'un résultat de recherche à valider sur un périmètre de tâches plus large.

RechercheActu

1 source

4arXiv cs.RO

Apprentissage de comportements a priori pour robots à partir de données synthétiques non robotiques

Des chercheurs publient sur arXiv (identifiant 2610.31275v1) une étude qui teste si un modèle de robotique peut acquérir une structure utile à partir de données synthétiques sans aucun lien avec un robot. L'équipe construit trois pipelines de génération procédurale, qui modélisent des abstractions mathématiques du contrôle robotique. Elle les utilise pour pré-entraîner un Transformer sur la prédiction d'actions, un objectif de pré-entraînement classique qui sert ici de test direct. Le modèle n'a vu aucun comportement réel avant l'évaluation. Il obtient pourtant une performance de prédiction « non triviale » en zero-shot sur des tâches de robots physiques inédites, grâce à un mécanisme d'apprentissage en contexte (in-context learning). Les a priori de contrôle spécialisés surpassent nettement les a priori causaux génériques. Les chercheurs ajoutent une base de comparaison à calcul équivalent, entraînée sur des données robotiques réelles. Elle fait mieux, mais seulement sur les jeux de données sur lesquels elle a été entraînée. Le résumé ne donne ni chiffres de performance, ni taille de modèle, ni liste de robots testés. Pour les équipes qui développent des modèles de fondation incarnés, la donnée robotique réelle, riche en tâches et en morphologies, est souvent présentée comme le goulot d'étranglement. La téléopération, la flotte de collecte et l'annotation coûtent cher, et les grands acteurs en font un avantage compétitif. Ce travail suggère qu'une partie de la structure peut venir de données quasi gratuites à produire. Il n'élimine pas le besoin de données réelles. En revanche, le résultat sur la généralisation est notable : le modèle entraîné sur données réelles ne l'emporte que sur son propre domaine, ce qui renvoie au problème de transfert hors distribution qui limite les politiques actuelles. Pour un intégrateur ou un décideur B2B, l'enjeu est indirect mais réel : si le pré-entraînement synthétique se confirme, il pourrait réduire le coût d'entrée pour les acteurs sans flotte de collecte massive. Les réserves sont claires : il s'agit d'un préprint non évalué par les pairs, centré sur la prédiction d'actions et non sur l'exécution en boucle fermée, et « non trivial » reste un seuil bas. Ce travail s'inscrit dans un mouvement plus large. La simulation, la génération procédurale et les données vidéo humaines sont explorées pour contourner la rareté des démonstrations robotiques, face aux approches fondées sur la collecte massive de données réelles des modèles de type VLA (vision-langage-action). Le résultat prolonge aussi des travaux sur le pré-entraînement de modèles de langage avec des données synthétiques ou formelles, qui avaient montré qu'une structure abstraite se transfère à des domaines réels. Les auteurs présentent leurs résultats comme un complément à la collecte coûteuse de données incarnées, et non comme un substitut. Les prochaines étapes logiques sont l'extension à des politiques complètes évaluées sur robot réel, le passage à l'échelle et la combinaison avec un affinage sur données réelles. Aucun calendrier ni partenaire industriel n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

Lier efficacement scènes réelles et données synthétiques pour la robotique cognitive et la vision par ordinateur

À lire aussi

RoKON : commande prédictive efficace et adaptative pilotée par les données pour la manipulation robotique

AnchorDream : réorienter la diffusion vidéo pour la synthèse de données robotiques sensibles à l'incarnation

PRISM : génération de données robotiques personnalisées par synthèse d'images de scènes et de mouvements

Apprentissage de comportements a priori pour robots à partir de données synthétiques non robotiques