RecherchearXiv cs.RO 28 juillet 2026

FloAff-Kitchen : relier navigation et manipulation par apprentissage canonique et progressif de l'affordance du sol

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du HERO Lab (Central South University, Chine) ont publié fin juillet 2026 sur arXiv "FloAff-Kitchen", un système qui apprend aux robots mobiles à choisir où poser leur base au sol non pas seulement pour atteindre une cible de navigation, mais pour maximiser la réussite d'une tâche de manipulation qui suit. Le cœur technique repose sur deux briques : une représentation canonique de l'affordance au sol (CFAR), qui isole la géométrie d'interaction utile en supprimant les variations de position et d'orientation des objets sans rapport avec le placement du robot, et un apprentissage progressif (PFAL), qui transfère des priors appris sur une tâche de manipulation de référence vers un éventail de compétences hétérogènes en aval. Pour évaluer l'approche, l'équipe a construit le premier benchmark multi-scènes et multi-points de vue dédié à cette problématique, FloAff-Kitchen, couvrant différentes compétences de manipulation, agencements de pièces, styles de mobilier et angles de caméra. Sur trois configurations de test, la méthode dépasse systématiquement les approches de référence, et des études d'ablation confirment l'apport de chaque composant proposé.

La contribution cible un angle mort classique de la manipulation mobile : la plupart des systèmes de navigation évaluent uniquement si une position est atteignable, sans tenir compte de si elle permet réellement de réussir la préhension ou la manipulation qui suit. Distinguer une perception conditionnée par la navigation d'une perception conditionnée par la tâche est précisément ce qui bloque souvent le passage de la démonstration en environnement contrôlé au déploiement en cuisine ou en environnement domestique réel, où l'orientation des objets et l'encombrement varient. Pour les intégrateurs travaillant sur des robots mobiles manipulateurs ou des humanoïdes destinés à des tâches ménagères ou de service, ce travail illustre une tendance de fond de la recherche actuelle : combler l'écart entre modules de navigation et de manipulation plutôt que les traiter comme deux problèmes séparés, une des limites régulièrement citées pour expliquer l'écart entre vidéos de démonstration et fiabilité en conditions réelles.

Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage d'affordances spatiales pour la robotique, un domaine qui s'est étendu des affordances de préhension d'objets aux affordances de placement du robot lui-même, en écho aux efforts de modèles VLA comme Pi-0 ou GR00T N2 qui cherchent à unifier perception et action dans un même modèle. Contrairement aux approches génériques de navigation qui ignorent l'objectif de manipulation final, FloAff-Kitchen propose un cadre pensé spécifiquement pour l'environnement cuisine, un cas d'usage central pour les startups de robots domestiques. L'équipe met à disposition le benchmark et la page du projet publiquement, ce qui devrait permettre des comparaisons directes avec de futures méthodes sur ce sous-problème encore peu standardisé de la manipulation mobile.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

RARM : modèle de récompenses de progression à seuil de confiance pour l'apprentissage par renforcement en manipulation

Des chercheurs ont publié sur arXiv (réf. 2606.22027) RARM, pour Reference-Anchored Reward Model, une approche visant à résoudre un verrou central de l'apprentissage par renforcement (RL) en manipulation robotique : la conception des fonctions de récompense. La méthode repose sur un comparateur visuel léger qui, à partir d'une seule démonstration réussie, génère automatiquement un signal de récompense dense et progressif. RARM est pré-entraîné une unique fois sur des vidéos généralistes via un objectif de contraste temporel, sans données robot-spécifiques ni étiquetage manuel. Au déploiement, il compare des extraits de la tentative courante à des clips de référence et ne délivre une récompense que lorsque la correspondance dépasse un seuil de confiance (d'où l'appellation confidence-gated). Évalué sur 9 tâches de manipulation simulées issues des benchmarks LIBERO et MetaWorld ainsi que sur 4 tâches réelles, RARM obtient les meilleurs taux de succès globaux en entraînement RL, avec des gains particulièrement marqués sur des tâches longue durée comme le pliage de tissu. Le verrou qu'attaque RARM est fondamental : les récompenses éparses (succès/échec en fin de séquence) produisent un signal trop faible pour les tâches longues, tandis que les récompenses denses codées manuellement exigent une ingénierie fastidieuse et se généralisent mal d'une tâche à l'autre. Les approches de progression existantes souffraient d'un biais critique : elles attribuaient des récompenses élevées à des états visuellement plausibles mais physiquement incorrects, ce que la porte de confiance de RARM réduit directement. L'implication concrète pour les intégrateurs est qu'une seule vidéo de démonstration humaine suffit désormais à bootstrapper l'entraînement RL sur une nouvelle tâche, sans ré-ingénierie de la fonction de récompense. RARM se positionne en concurrence directe avec EUREKA (OpenAI, génération de récompenses via LLM) et les méthodes d'imitation inverse (IRL), dont il se distingue par sa légèreté et l'absence de données robot-spécifiques. Son objectif de généralisation le rapproche des ambitions des modèles VLA comme pi0 (Physical Intelligence) ou GR00T N2 (NVIDIA). La publication reste un preprint arXiv, pas encore un produit ni un déploiement industriel ; les prochaines étapes attendues incluent une validation sur des plateformes hardware diversifiées et une intégration dans des pipelines de fine-tuning de modèles fondationnels robotiques.

RecherchePaper

1 source

2arXiv cs.RO

ForceBand : apprentissage de la manipulation de force par sEMG

Une équipe de chercheurs a présenté ForceBand, un bracelet sEMG (électromyographie de surface) porté au poignet et conçu pour enrichir les démonstrations humaines destinées à l'apprentissage de politiques de manipulation robotique. Le système capture l'activité musculaire du poignet via des électrodes de surface et, combiné à une IMU, alimente un modèle pré-entraîné baptisé EMG2Force qui prédit les forces exercées par chaque doigt. Pour entraîner ce modèle, les chercheurs ont constitué un jeu de données multimodal de 10 heures combinant vidéo égocentrique, signaux sEMG, données inertielles et mesures de forces au bout des doigts, couvrant des actions et objets variés. Après une courte calibration propre à l'utilisateur, celui-ci peut collecter de nouvelles démonstrations avec seulement le bracelet et une caméra : EMG2Force étiquette automatiquement ces séquences avec les traces de force par doigt. Les expériences rapportent une réduction d'erreur de prédiction de force supérieure à 50 % par rapport aux baselines fondées uniquement sur la vision, et un taux de succès de 87 % sur des tâches de saisie, compression et dépose impliquant des objets de formes, tailles et poids variés. L'apport clé de ForceBand réside dans la résolution d'un angle mort structurel des pipelines d'imitation learning : les sources courantes de démonstrations humaines, capture de mouvement ou vidéos internet, fournissent trajectoire et apparence mais ignorent les forces de contact, pourtant déterminantes pour toute manipulation sensible au toucher. Serrer un emballage souple sans l'écraser, insérer un connecteur, manipuler des objets fragiles ou déformables sont des tâches où le contrôle en effort prime sur le contrôle en position. En rendant ces forces observables à faible coût matériel, le système ouvre la voie à des politiques VLA (vision-language-action) capables de généraliser sur des propriétés mécaniques d'objets non vus, sans capteurs de force onéreux montés sur le robot. Ce travail s'inscrit dans une dynamique active autour de l'augmentation des données de démonstration : plusieurs laboratoires explorent des gants haptiques, des capteurs tactiles intégrés aux mains robotiques ou des méthodes de reconstruction de force par vision stéréo. ForceBand se positionne comme une alternative légère et bon marché, accessible sans infrastructure de motion capture. L'article est pour l'instant un preprint arXiv (2606.26093), non encore soumis à une conférence majeure, et les résultats reposent sur un protocole contrôlé en laboratoire. La robustesse au bruit musculaire inter-sujets, à la fatigue et aux variations de placement du bracelet en conditions industrielles reste à démontrer. Les prochaines étapes naturelles impliqueront des tests sur des robots à mains dextrères (dexterous hands) et une validation sur des tâches d'assemblage réelles, là où la complémentarité avec des plateformes comme les mains Allegro ou Shadow est la plus directe.

RecherchePaper

1 source

3arXiv cs.RO

Manipulation robuste en main via des a priori en apprentissage par renforcement et conception mécanique

Article envoyé en direct par un utilisateur (pas de contexte projet lié) : je traduis et résume le papier de recherche demandé. L'équipe présente une méthode pour améliorer la manipulation intra-main (in-hand manipulation) sans capteurs externes, un problème classique en robotique car les contacts doigt-objet et la gravité introduisent des incertitudes difficiles à modéliser. Les chercheurs combinent l'apprentissage par renforcement avec deux "priors" physiques complémentaires : un prior global de qualité de prise, issu de l'analyse classique de grasping, utilisé comme terme de récompense qui favorise des contacts bien répartis et une meilleure résistance aux forces perturbatrices dans le pire cas ; et un prior local de géométrie de contact, basé sur la courbure du bout des doigts, qui façonne mécaniquement l'interface de contact pour orienter le roulement de l'objet selon la tâche et réduire les dérives hors axe. La méthode est testée sur une main robotique multi-doigts manipulant trois objets différents selon quatre orientations de paume, avec des gains mesurés en efficacité de rotation, stabilité de la prise et rejet de perturbations. L'intérêt pour le secteur tient au fait que les approches RL existantes pour le "finger gaiting" (repositionnement séquentiel des doigts) privilégient souvent la réussite de la tâche sans se soucier de maintenir une prise mécaniquement saine pendant la manipulation, ce qui les rend fragiles face aux perturbations et difficiles à transférer du simulateur au monde réel. En intégrant des critères de qualité de prise directement dans la fonction de récompense, et en couplant cela à un design mécanique du bout des doigts pensé pour la tâche, les auteurs proposent une piste concrète pour des mains robotiques plus robustes en usage industriel, où la manipulation fine sans capteurs tactiles dédiés reste un goulot d'étranglement coûteux. Ce travail s'inscrit dans la lignée des recherches en RL pour la dextérité robotique, où le sim-to-real reste l'obstacle principal malgré des démonstrations impressionnantes en simulation. L'originalité ici est de ne pas traiter le problème uniquement comme une question d'algorithme, mais d'articuler apprentissage et morphologie mécanique. Une vidéo de démonstration accompagne la publication, mais aucun élément sur un déploiement réel ou une validation matérielle à grande échelle n'est mentionné à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Lois d'échelle des données en apprentissage par imitation pour la manipulation robotique

Une équipe de chercheurs publie sur arXiv (référence 2410.18647, désormais à sa quatrième révision) une étude empirique sur les lois d'échelle des données appliquées à l'apprentissage par imitation en manipulation robotique. Le protocole est rigoureux : plus de 40 000 démonstrations collectées dans de nombreux environnements et avec des objets variés, suivies de plus de 15 000 exécutions réelles sur robot, ce qui en fait l'une des études de scaling en manipulation les plus extensives à ce jour. Résultat central : la performance de généralisation d'une politique d'imitation suit une relation en loi de puissance avec le nombre d'environnements et d'objets d'entraînement. Surtout, quatre collecteurs de données travaillant une seule après-midi ont suffi pour obtenir environ 90 % de taux de réussite en déploiement zéro-shot sur des objets inconnus dans des environnements non vus, sur deux tâches distinctes. Ce que cette recherche établit, c'est que la diversité des environnements et des objets prime largement sur le volume brut de démonstrations : au-delà d'un certain seuil de démonstrations par environnement ou par objet, en ajouter davantage n'améliore plus la généralisation. Ce résultat remet en cause la stratégie intuitive qui consiste à multiplier les répétitions dans un même contexte, et oriente clairement la priorité vers la couverture de distribution plutôt que la densité d'annotation. Pour les intégrateurs industriels et les équipes robotique qui budgètent la collecte de données, l'implication est directe : mieux vaut disperser les efforts sur des scènes variées que d'accumuler des trajectoires dans un seul setup. Le fait d'atteindre 90 % de succès en zéro-shot sur des objets inédits est également un signal fort sur la maturité du paradigme VLA (Vision-Language-Action) en manipulation monomode. Ce travail s'inscrit dans le sillage des succès de scaling en NLP et vision par ordinateur, que des équipes comme DeepMind (RT-2), Physical Intelligence avec Pi-0, ou encore NVIDIA avec GR00T cherchent à transposer en robotique. L'étude reste purement académique pour l'instant, aucun déploiement industriel n'étant annoncé, et les tâches testées demeurent mono-bras sur périmètre contrôlé. Une limite à noter : les vidéos de démonstration et les protocoles d'évaluation exacts ne sont pas tous publics dans la version arXiv, ce qui rend difficile la comparaison directe avec d'autres benchmarks. Les prochaines étapes logiques seront d'étendre ces lois d'échelle aux politiques multi-tâches et de tester leur robustesse sur des plateformes humanoïdes comme Figure 03 ou Optimus Gen 3, où la distribution des états physiques est bien plus large.

RecherchePaper

1 source