IA physique open source : comment LeRobot démocratise la robotique

TL;DR. Au sommet Physical AI de l'Economist à Londres, Pepijn Kooijmans (Hugging Face) a montré comment LeRobot, des modèles ouverts et un bras à 200 $ ouvrent la robotique.

Points clés

De la planification de mouvement à l'apprentissage par imitation : le basculement architectural. Dans son étude de cas intitulée Open for business: how open source is accelerating physical AI (Ouvert aux affaires : comment l'open source accélère l'IA physique), Pepijn Kooijmans a retracé son parcours, de…
Au cœur de l'architecture VLA multimodale. Pendant son intervention, Kooijmans a détaillé le pipeline de réseau de neurones de bout en bout qui fait fonctionner les politiques d'IA physique open source modernes, en montrant comment des entrées perceptives de…
Comparaison technique : automatisation classique ou IA physique open source. Source : analyse des données de présentation, des bancs d'essai techniques et des démonstrations en direct présentés au sommet Economist Enterprise Physical AI and Robotics (Convene 200 Aldersgate, Londres, 13…
Ce que cela change selon les secteurs. L'essor d'une IA physique ouverte et portée par la communauté modifie le calcul économique de plusieurs industries.

Pendant six décennies, la robotique industrielle a obéi à un paradigme impitoyable : un ingénieur programme explicitement chaque millimètre du mouvement d'une machine à l'aide de langages propriétaires, de pupitres d'apprentissage et de solveurs cinématiques rigides. Si une pièce dérive de cinq millimètres ou si l'éclairage change, le robot se met en défaut. Au sommet Economist Enterprise Physical AI and Robotics, à Londres le 13 octobre 2026, Pepijn Kooijmans, responsable de LeRobot chez Hugging Face, a présenté une architecture alternative qui démantèle cet héritage : « Les robots de demain ne seront pas programmés tâche par tâche. Ils apprendront. »

De la planification de mouvement à l'apprentissage par imitation : le basculement architectural #

Dans son étude de cas intitulée Open for business: how open source is accelerating physical AI (Ouvert aux affaires : comment l'open source accélère l'IA physique), Pepijn Kooijmans a retracé son parcours, de l'ingénierie mécatronique classique à l'apprentissage profond. Pendant des décennies, les roboticiens ont appris à décomposer la manipulation en sous-problèmes discrets et isolés : segmentation d'objets, estimation de pose 6D, transformations de repères, planification de trajectoire avec évitement des collisions et commande PID des moteurs articulaires.

Si cette décomposition analytique fonctionne bien dans les usines automobiles aux montages rigides, où les pièces arrivent dans des gabarits en acier précis au micron, elle s'effondre dans les environnements industriels existants, les laboratoires, les entrepôts et les foyers. Dans le monde réel, les objets se déforment, les surfaces reflètent la lumière de façon imprévisible et les collègues humains introduisent des obstacles mobiles.

La thèse fondamentale présentée par Hugging Face est que la dextérité physique ne peut pas être spécifiée analytiquement par des règles codées à la main : elle doit s'acquérir par l'expérience. De même que les grands modèles de langage (LLM) ont appris la grammaire, le raisonnement et la connaissance du monde en prédisant le jeton suivant sur d'immenses corpus de texte, les agents d'IA physique acquièrent des compétences motrices en apprenant la distribution des actions conditionnée par les observations visuelles et sensorielles.

Ce passage de la programmation de chaque mouvement à l'enseignement par démonstration humaine marque l'entrée de la robotique dans l'ère des modèles de fondation.

Au cœur de l'architecture VLA multimodale #

Pendant son intervention, Kooijmans a détaillé le pipeline de réseau de neurones de bout en bout qui fait fonctionner les politiques d'IA physique open source modernes, en montrant comment des entrées perceptives de grande dimension se traduisent en une manipulation physique fluide.

Architecture vision-langage-action de bout en bout de Hugging Face LeRobot montrant les jetons visuels SigLIP, le vecteur d'état articulaire, l'instruction en langage naturel, l'attention croisée du VLM Gemma et l'expert d'action à flow matching produisant 30 actions articulaires coordonnées .class="img-fluid clearfix"

L'architecture fonctionne comme un pipeline sensorimoteur multimodal étroitement intégré :

1. Ingestion perceptive multiflux #

Le robot observe son espace de travail à travers plusieurs flux de caméras synchronisés (en général une caméra de base en surplomb qui donne le contexte spatial, et des caméras montées au poignet des manipulateurs gauche et droit pour suivre finement les contacts).

Ces flux de pixels bruts passent dans un transformeur de vision SigLIP (400 millions de paramètres) figé, qui convertit les images vidéo en jetons visuels à haute densité sans exiger, pendant l'ajustement fin de la politique, de coûteuses mises à jour de gradient de bout en bout à travers l'épine dorsale visuelle.

2. Vecteur d'état cinématique et conditionnement par la tâche #

En parallèle, le système échantillonne l'état proprioceptif interne du robot : un vecteur à 16 dimensions qui capture les 7 angles articulaires, les vitesses et l'ouverture des pinces des deux manipulateurs.

L'utilisateur fixe l'objectif par une instruction libre en langage naturel (par exemple "plie le t-shirt", "prends le boulon hexagonal M8 et place-le dans le support" ou "fais passer le câble dans le conduit"), découpée en jetons sous forme de plongements textuels standard.

3. Noyau multimodal à attention croisée (Gemma VLM) #

Les jetons visuels, le vecteur d'état proprioceptif et les jetons de texte sont injectés dans un modèle vision-langage Gemma (2 milliards de paramètres). Plutôt que de simplement générer du texte, le VLM Gemma effectue une attention croisée profonde sur les trois modalités, fusionnant l'intention sémantique de haut niveau de l'instruction avec la géométrie spatiale de la scène visuelle et la configuration mécanique instantanée du bras.

La sortie de ce modèle de fondation fusionné est une représentation dense des caractéristiques de tâche du VLM, qui encode ce qu'il faut faire par rapport à l'endroit où se trouvent les objets.

4. L'expert d'action : flow matching et politiques de diffusion #

Les caractéristiques du VLM alimentent directement un expert d'action (300 millions de paramètres) fondé sur le flow matching. Contrairement aux premières approches d'apprentissage par imitation, qui reposaient sur une régression naïve par erreur quadratique moyenne (MSE), laquelle pousse les modèles à produire la moyenne de démonstrations contradictoires et donne des robots indécis et figés, le flow matching modélise la distribution multimodale des trajectoires d'action humaines.

En résolvant des équations différentielles de flux rectifié sur dix pas d'intégration numérique, l'expert d'action débruite un bruit gaussien pour en tirer une trajectoire cohérente de 30 actions futures à une fréquence de commande de 50 Hz.

5. Action chunking et ensemblage temporel #

En prédisant 30 pas de temps consécutifs (une approche appelée action chunking), la politique élimine les à-coups à haute fréquence et les goulets de latence. Le robot exécute le premier bloc d'actions pendant qu'il calcule le plan suivant en arrière-plan, ce qui donne un mouvement fluide, souple et continu, d'une qualité proche du vivant.

Comparaison technique : automatisation classique ou IA physique open source #

Critère / vecteur d'architecture	Robotique industrielle classique (ROS / API / pupitre d'apprentissage)	IA physique propriétaire fermée (piles humanoïdes des fournisseurs)	IA physique open source (pile Hugging Face LeRobot)
Paradigme de développement	Procédural ; trajectoires articulaires explicites et machines à états finis	Apprentissage profond de bout en bout ; poids fermés en boîte noire ; API cloud verrouillées	VLA de bout en bout ; poids ouverts, jeux de données ouverts et boucles d'entraînement PyTorch ouvertes
Barrière matérielle à l'entrée	De 30 000 £ à plus de 100 000 £ par bras industriel (KUKA, FANUC, ABB)	De 150 000 £ à plus de 350 000 £ par unité humanoïde propriétaire	De moins de 200 $ à 1 500 $ avec des conceptions de matériel ouvert imprimables en 3D (SO-100, Koch)
Robustesse à l'environnement	Échoue aussitôt si les coordonnées de la pièce dérivent de quelques millimètres	Forte adaptabilité, mais comportement impossible à inspecter ou à corriger localement	Forte adaptabilité visuelle ; politiques ajustables localement sur des nœuds en périphérie dans l'atelier
Format des données et télémétrie	Formats binaires propriétaires verrouillés par le fournisseur et registres d'automate	Télémétrie cloud propriétaire chiffrée	Jeux de données Apache Parquet standardisés, flux vidéo MP4 et Hugging Face Hub
Généralisation des tâches	Nulle ; chaque nouvelle géométrie de pièce exige une reprogrammation manuelle complète	Promesses de tâches larges, mais adaptation lente à l'outillage industriel sur mesure	Adaptation rapide grâce à 50 à 100 démonstrations humaines enregistrées avec des montages leader-suiveur
Empreinte matérielle d'inférence	Automate dédié ou PC industriel sous Linux temps réel	Grappes de GPU mobiles embarquées massives consommant de 300 W à 800 W	Inférence sur du silicium grand public en périphérie (une seule RTX 4070 ou Apple Silicon série M)

Source : analyse des données de présentation, des bancs d'essai techniques et des démonstrations en direct présentés au sommet Economist Enterprise Physical AI and Robotics (Convene 200 Aldersgate, Londres, 13 octobre 2026).

Ce que cela change selon les secteurs #

L'essor d'une IA physique ouverte et portée par la communauté modifie le calcul économique de plusieurs industries.

Petites et moyennes entreprises (PME) #

Les PME représentent plus de 80 % de la capacité manufacturière européenne et britannique, mais moins de 5 % d'entre elles pouvaient historiquement s'offrir l'automatisation. Déployer une cellule d'automatisation industrielle supposait d'embaucher des intégrateurs spécialisés, de payer des licences logicielles à six chiffres et de geler l'atelier pendant l'installation.

Avec l'écosystème LeRobot, une PME qui fabrique des supports de précision sur mesure peut imprimer en 3D un poste SO-100 à deux bras pour moins de 500 £, l'équiper de webcams USB à 40 £ et enregistrer, à l'aide d'un bras leader imprimé en 3D, cinquante démonstrations d'un opérateur chargeant des pièces dans une fraiseuse CNC. Après trois heures d'ajustement fin sur un ordinateur de bureau standard, la politique open source peut assurer seule le chargement de la machine, avec un retour sur investissement en quelques semaines.

Recherche universitaire et enseignement supérieur #

Jusqu'à récemment, les départements universitaires de robotique faisaient face à une fracture existentielle : les laboratoires bien financés pouvaient s'offrir des plateformes Boston Dynamics ou Willow Garage, tandis que les établissements plus modestes devaient se contenter de simulations pures dans Gazebo ou MuJoCo.

L'IA physique open source a démocratisé l'expérimentation physique. Partout dans le monde, des doctorants peuvent construire des plateformes matérielles identiques, partager des points de contrôle de politiques entraînées sur le Hugging Face Hub et reproduire des résultats de référence avec rigueur statistique. Kooijmans a souligné que le dépôt LeRobot est passé en quelques mois d'une poignée de contributeurs européens à des milliers de roboticiens actifs dans le monde, preuve que l'accès ouvert accélère la validation empirique plus vite que les silos propriétaires des entreprises.

Assemblage sous-traité en grande variété et petites séries #

Dans l'assemblage électronique et de dispositifs médicaux, les variantes de produits changent chaque semaine. Les lignes automatisées codées en dur ne sont pas viables économiquement, car les coûts de réoutillage et de reprogrammation dépassent la marge de la série.

Les politiques vision-langage-action lèvent cette contrainte grâce au conditionnement des tâches en langage naturel. Un opérateur peut modifier la procédure d'assemblage en tapant simplement une nouvelle commande ou en montrant deux itérations du nouveau sous-ensemble. Les mécanismes d'attention croisée du modèle s'appuient sur des représentations visuelles préentraînées pour identifier les nouveaux composants sans réentraîner tout le réseau de neurones.

Franchir le mur des données : téléopération, Parquet et modèles du monde #

Le message central que Kooijmans a adressé aux dirigeants d'entreprise est que le principal goulet d'étranglement de l'IA physique n'est plus la capacité des modèles : c'est la diversité des démonstrations.

En traitement du langage naturel, les modèles se sont entraînés sur des milliers de milliards de jetons collectés sur le web ouvert. En robotique physique, il n'existe pas d'« internet de la manipulation physique » préexistant. Chaque démonstration d'une pince saisissant un objet, tournant une vanne ou pliant un tissu doit être enregistrée dans le monde physique par téléopération instrumentée de capteurs.

Hugging Face LeRobot s'attaque à ce défi par trois initiatives clés :

Montages de téléopération leader-suiveur : grâce à des bras « leaders » passifs à bas coût, imprimés en 3D et équipés d'encodeurs magnétiques qui reproduisent mécaniquement le robot « suiveur » actif, des opérateurs humains peuvent téléopérer le robot sans effort en temps réel, tout en enregistrant simultanément les angles articulaires, les vitesses et une vidéo multivue.
Schémas de jeux de données Parquet standardisés : les démonstrations sont regroupées dans des tables Apache Parquet standardisées et performantes, associées à des flux vidéo MP4 découpés en blocs. Les outils standard d'ingénierie des données (Polars, DuckDB, PyArrow) peuvent ainsi traiter des téraoctets de télémétrie robotique à grande vitesse.
Passage de la simulation au réel et enrichissement par modèles du monde : pour dépasser les limites de la téléopération physique, des modèles du monde open source apprennent une dynamique physique générative. Une fois entraînés sur un jeu de données de base de démonstrations réelles, ils simulent des millions de scénarios contrefactuels (éclairage variable, encombrement ajouté, friction de la table modifiée) directement dans l'espace latent, et soumettent les politiques à des tests de résistance avant le déploiement réel.

Conclusion #

La présentation de Hugging Face LeRobot au sommet Economist Enterprise Physical AI and Robotics a cristallisé un point d'inflexion décisif pour la robotique. L'époque où la robotique exigeait des budgets d'investissement de plusieurs millions de livres, des langages de programmation propriétaires et des cages d'usine rigides cède la place à un écosystème ouvert, collaboratif et guidé par les données.

En associant des modèles de fondation multimodaux vision-langage à l'action chunking par flow matching et à un matériel ouvert abordable, l'IA physique open source transforme les robots, d'automates fragiles en systèmes adaptatifs qui apprennent. Pour les responsables de l'ingénierie et les dirigeants technologiques, l'impératif stratégique est sans équivoque : l'avantage concurrentiel ne viendra plus de la possession d'un matériel mécanique propriétaire, mais de la maîtrise des pipelines de données, des processus de collecte de démonstrations et des modèles de fondation qui apprennent aux machines à maîtriser le monde physique.

Foire aux questions #

Qu'est-ce que Hugging Face LeRobot ? Hugging Face LeRobot est un cadre logiciel open source et une initiative communautaire destinés à démocratiser la robotique et l'IA physique. Il fournit des implémentations PyTorch d'algorithmes d'apprentissage par imitation de pointe, des formats de jeux de données standardisés, des modèles de fondation vision-langage-action (VLA) préentraînés et des conceptions de matériel open source (comme le SO-100), afin d'abaisser les barrières financières et techniques de la robotique.

En quoi l'apprentissage par imitation diffère-t-il de la programmation robotique classique ? La programmation robotique classique exige qu'un ingénieur écrive un code procédural explicite précisant les coordonnées cartésiennes exactes, les solutions de cinématique inverse et les transitions d'état, à l'aide de pupitres d'apprentissage ou de scripts ROS. L'apprentissage par imitation, à l'inverse, entraîne des réseaux de neurones à imiter le comportement humain en observant des démonstrations enregistrées de personnes accomplissant la tâche par téléopération, et apprend une politique qui relie directement les observations sensorielles aux commandes motrices.

Quel est le rôle du VLM Gemma dans le pipeline d'IA physique ? Dans les architectures modernes d'IA physique, le modèle vision-langage (VLM) Gemma sert de moteur de raisonnement multimodal. Il ingère les jetons visuels issus des caméras (encodés par SigLIP), le vecteur d'état articulaire physique du robot et les instructions en langage naturel. Par attention croisée, il fusionne l'intention sémantique et la géométrie visuelle pour produire des représentations de tâche de haut niveau qui guident l'expert d'action.

Qu'est-ce que le flow matching dans la prédiction d'actions robotiques ? Le flow matching est une technique de modélisation générative apparentée aux flux normalisants continus et aux modèles de diffusion. En robotique, il transforme un simple bruit gaussien en trajectoires d'action complexes et multimodales en résolvant des équations différentielles ordinaires sur plusieurs pas. Le robot peut ainsi gérer des situations ambiguës où plusieurs mouvements valides existent, en évitant les artefacts de moyennage qui font échouer des modèles de régression plus simples.

Des bras robotiques imprimés en 3D à moins de 200 $ peuvent-ils accomplir des tâches de production ? Si les bras à moins de 200 $ comme le SO-100 n'ont ni la capacité de charge, ni la rigidité structurelle, ni la répétabilité submillimétrique requises pour l'usinage aéronautique lourd, ils savent parfaitement exécuter de la manipulation délicate, de l'inspection, de la manipulation de liquides en laboratoire et la préparation de kits de petites pièces. Surtout, les politiques entraînées et validées sur ces plateformes à bas coût peuvent être transférées directement vers des bras de robots collaboratifs de qualité industrielle avec un ajustement fin minimal.

Références #

Economist Enterprise, (2026). Sommet Physical AI & Robotics : l'avantage opérationnel par les systèmes autonomes ⧉. Economist Enterprise.
Kooijmans, P., (2026). Ouvert aux affaires : comment l'open source accélère l'IA physique ⧉. Hugging Face.
Hugging Face, (2026). LeRobot : apprentissage automatique de pointe pour la robotique réelle avec PyTorch ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B. et Song, S., (2024). Diffusion Policy : apprentissage de politiques visuomotrices par diffusion d'actions ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S. et Finn, C., (2023). Apprendre la manipulation bimanuelle fine avec du matériel à bas coût ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A. et Beyer, L., (2023). Perte sigmoïde pour le préentraînement langage-image (SigLIP) ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M. et Le, M., (2023). Flow matching pour la modélisation générative ⧉. Meta AI Research.

Dernière révision 2026-10-13.

Dernière révision 2026-10-27.

Republier cet article

IA physique open source : comment LeRobot démocratise la robotique — Sebastien Rousseau

Au sommet Physical AI de l'Economist à Londres, Pepijn Kooijmans (Hugging Face) a montré comment LeRobot, des modèles ouverts et un bras à 200 $ ouvrent la robotique.

Cet article est sous licence Creative Commons Attribution 4.0 International. La republication nécessite l'attribution à l'URL canonique.

IA physique open source : comment LeRobot démocratise la robotique — Sebastien Rousseau

Au sommet Physical AI de l'Economist à Londres, Pepijn Kooijmans (Hugging Face) a montré comment LeRobot, des modèles ouverts et un bras à 200 $ ouvrent la robotique.

Originally published at https://sebastienrousseau.com/fr/2026-10-13-physique-open-source-comment-lerobot-democratise/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FONDATEUR · INGÉNIEUR