Opensource fysieke AI: hoe LeRobot robotica democratiseert

TL;DR. Op de Physical AI-top van The Economist in Londen liet Pepijn Kooijmans (Hugging Face) zien hoe LeRobot, open modellen en armen van $ 200 robotica openbreken.

Belangrijkste punten

Van bewegingsplanning naar imitatieleren: de architectuurverschuiving. In zijn casestudy Open for business: how open source is accelerating physical AI (Open voor zaken: hoe open source fysieke AI versnelt) schetste Pepijn Kooijmans zijn weg van klassieke mechatronica naar deep learning.
Binnen in de multimodale VLA-architectuur. Tijdens zijn presentatie liet Kooijmans in detail de end-to-end-pijplijn van het neurale netwerk zien die moderne opensource-policy's voor fysieke AI aandrijft, en toonde hij hoe hoogdimensionale waarnemingsinput…
Technische vergelijking: klassieke automatisering tegenover opensource fysieke AI. Bron: analyse van presentatiegegevens, technische benchmarks en livedemonstraties op de Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, Londen, 13 oktober 2026).
Wat dit per sector betekent. De opkomst van open, door de gemeenschap gedragen fysieke AI verandert de commerciële rekensom in meerdere sectoren.

Zestig jaar lang werkte de industriële robotica volgens een meedogenloos paradigma: een ingenieur programmeert elke millimeter van de beweging van een machine expliciet, met propriëtaire talen, teach pendants en starre kinematische solvers. Verschuift een werkstuk vijf millimeter of verandert de verlichting, dan gaat de robot in storing. Op de Economist Enterprise Physical AI and Robotics Summit op 13 oktober 2026 in Londen presenteerde Pepijn Kooijmans, LeRobot-lead bij Hugging Face, een alternatieve architectuur die deze erfenis ontmantelt: ‘Toekomstige robots worden niet taak voor taak geprogrammeerd. Ze gaan leren.’

Van bewegingsplanning naar imitatieleren: de architectuurverschuiving #

In zijn casestudy Open for business: how open source is accelerating physical AI (Open voor zaken: hoe open source fysieke AI versnelt) schetste Pepijn Kooijmans zijn weg van klassieke mechatronica naar deep learning. Decennialang leerden robotici manipulatie op te knippen in losse, geïsoleerde deelproblemen: objectsegmentatie, 6D-pose-schatting, transformaties tussen coördinatenstelsels, trajectplanning met botsingsvermijding en PID-regeling van de gewrichtsmotoren.

Deze analytische opdeling werkt goed in strak ingerichte autofabrieken waar onderdelen in stalen mallen met micronnauwkeurigheid aankomen, maar valt uit elkaar in bestaande industriële omgevingen, laboratoria, magazijnen en huishoudens. In de echte wereld vervormen objecten, weerkaatsen oppervlakken licht onvoorspelbaar en brengen menselijke collega's bewegende obstakels mee.

De kernthese van Hugging Face is dat fysieke behendigheid niet analytisch vast te leggen is met handgeschreven regels; ze moet door ervaring worden verworven. Zoals grote taalmodellen (LLM's) grammatica, redeneren en wereldkennis leerden door over enorme tekstcorpora het volgende token te voorspellen, zo verwerven agents voor fysieke AI motorische vaardigheden door de verdeling van acties te leren, afhankelijk van visuele en zintuiglijke waarnemingen.

Deze overgang van elke beweging programmeren naar aanleren via menselijke demonstratie markeert de intrede van robotica in haar tijdperk van foundationmodellen.

Binnen in de multimodale VLA-architectuur #

Tijdens zijn presentatie liet Kooijmans in detail de end-to-end-pijplijn van het neurale netwerk zien die moderne opensource-policy's voor fysieke AI aandrijft, en toonde hij hoe hoogdimensionale waarnemingsinput wordt omgezet in vloeiende fysieke manipulatie.

End-to-end-architectuur voor beeld, taal en actie van Hugging Face LeRobot met visuele SigLIP-tokens, gewrichtstoestandsvector, taalinstructie, cross-attention van de Gemma-VLM en een Action Expert met flow matching die 30 gecoördineerde gewrichtsacties uitgeeft .class="img-fluid clearfix"

De architectuur werkt als een nauw geïntegreerde multimodale sensomotorische pijplijn:

1. Waarneming via meerdere stromen #

De robot observeert zijn werkruimte via meerdere gesynchroniseerde camerastromen (meestal een basiscamera boven het werkvlak voor ruimtelijke context, aangevuld met polscamera's op de linker- en rechtermanipulator om contacten nauwkeurig te volgen).

Deze ruwe pixelstromen gaan door een bevroren vision transformer SigLIP (400 miljoen parameters), die de videobeelden omzet in visuele tokens met hoge dichtheid, zonder dat er tijdens het finetunen van de policy kostbare end-to-end-gradiëntupdates door de visuele backbone nodig zijn.

2. Kinematische toestandsvector en taakconditionering #

Tegelijk bemonstert het systeem de interne proprioceptieve toestand van de robot: een 16-dimensionale vector met de 7 gewrichtshoeken, de snelheden en de grijperopeningen van de twee manipulatoren.

De gebruiker geeft het doel op met een vrije instructie in natuurlijke taal (bijvoorbeeld "vouw het T-shirt", "pak de M8-zeskantbout en plaats hem in de beugel" of "leid de kabel door de buis"), die wordt getokeniseerd tot standaard tekstembeddings.

3. Multimodale kern met cross-attention (Gemma VLM) #

De visuele tokens, de proprioceptieve toestandsvector en de teksttokens worden ingevoerd in een Gemma-vision-language-model (2 miljard parameters). In plaats van alleen tekst te genereren voert de Gemma-VLM diepe cross-attention uit over alle drie de modaliteiten en voegt zo de semantische bedoeling van de instructie samen met de ruimtelijke geometrie van de scène en de momentane mechanische configuratie van de arm.

De uitvoer van dit samengevoegde foundationmodel is een dichte representatie van VLM-taakkenmerken die vastlegt wat er moet gebeuren in relatie tot waar de objecten zich bevinden.

4. De Action Expert: flow matching en diffusion policies #

De VLM-kenmerken gaan rechtstreeks naar een Action Expert (300 miljoen parameters) die werkt volgens het principe van flow matching. Vroege benaderingen van imitatieleren leunden op naïeve regressie met de gemiddelde kwadratische fout (MSE), waardoor modellen het gemiddelde van tegenstrijdige demonstraties uitgeven en besluiteloze, vastlopende robots opleveren. Flow matching modelleert daarentegen de multimodale verdeling van menselijke actietrajecten.

Met differentiaalvergelijkingen van rectified flow, opgelost in tien numerieke integratiestappen, ontruist de Action Expert gaussische ruis tot een samenhangend traject van 30 toekomstige acties bij een regelfrequentie van 50 Hz.

5. Action chunking met temporele ensembling #

Door 30 opeenvolgende tijdstappen te voorspellen (een aanpak die action chunking heet) haalt de policy hoogfrequent schokken en latentieknelpunten weg. De robot voert het eerste blok acties uit terwijl hij op de achtergrond het volgende plan berekent, en bereikt zo een soepele, meegevende en continue beweging van bijna biologische kwaliteit.

Technische vergelijking: klassieke automatisering tegenover opensource fysieke AI #

Maatstaf / architectuurkenmerk	Klassieke industriële robotica (ROS / PLC / teach pendant)	Propriëtaire gesloten fysieke AI (humanoïde stacks van leveranciers)	Opensource fysieke AI (Hugging Face LeRobot-stack)
Ontwikkelparadigma	Procedureel; expliciete gewrichtstrajecten en eindige toestandsmachines	End-to-end deep learning; gesloten black-box-gewichten; afgeschermde cloud-API's	End-to-end VLA; open gewichten, open datasets en open PyTorch-trainingslussen
Hardwaredrempel	£ 30.000 tot ruim £ 100.000 per industriële arm (KUKA, FANUC, ABB)	£ 150.000 tot ruim £ 350.000 per propriëtaire humanoïde	Van onder $ 200 tot $ 1.500 met 3D-printbare open-hardwareontwerpen (SO-100, Koch)
Robuustheid tegenover de omgeving	Faalt meteen als onderdeelcoördinaten millimeters verschuiven	Groot aanpassingsvermogen, maar gedrag is niet te inspecteren of lokaal te corrigeren	Groot visueel aanpassingsvermogen; policy's zijn lokaal te finetunen op edge-nodes op de werkvloer
Dataformaat en telemetrie	Leveranciersgebonden propriëtaire binaire formaten en PLC-registers	Propriëtaire versleutelde cloudtelemetrie	Gestandaardiseerde Apache Parquet-datasets, MP4-videostromen en Hugging Face Hub
Taakgeneralisatie	Nul; elke nieuwe onderdeelgeometrie vraagt een volledige handmatige herprogrammering	Brede taakbeloften, maar trage aanpassing aan maatwerkgereedschap in de industrie	Snelle aanpassing via 50 tot 100 menselijke demonstraties, opgenomen met leader-follower-opstellingen
Hardwarevoetafdruk voor inferentie	Eigen PLC of industriële pc met realtime Linux	Massieve mobiele GPU-clusters aan boord met een verbruik van 300 W tot 800 W	Inferentie op consumentenchips aan de edge (één RTX 4070 of Apple Silicon uit de M-serie)

Bron: analyse van presentatiegegevens, technische benchmarks en livedemonstraties op de Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, Londen, 13 oktober 2026).

Wat dit per sector betekent #

De opkomst van open, door de gemeenschap gedragen fysieke AI verandert de commerciële rekensom in meerdere sectoren.

Midden- en kleinbedrijf (mkb) #

Het mkb is goed voor meer dan 80 procent van de productiecapaciteit in Europa en het Verenigd Koninkrijk, maar historisch kon minder dan 5 procent zich automatisering veroorloven. Een industriële automatiseringscel invoeren betekende gespecialiseerde systeemintegratoren inhuren, softwarelicenties van zes cijfers betalen en de werkvloer tijdens de installatie stilleggen.

Met het LeRobot-ecosysteem kan een mkb-bedrijf dat maatwerk-precisiebeugels maakt voor minder dan £ 500 een tweearmig SO-100-werkstation 3D-printen, het uitrusten met USB-webcams van £ 40 en met een 3D-geprinte leader-arm vijftig demonstraties opnemen van een medewerker die onderdelen in een CNC-freesmachine laadt. Na drie uur finetunen op een gewone desktopcomputer kan de opensource-policy het beladen van de machine zelfstandig uitvoeren en zich binnen enkele weken terugverdienen.

Academisch onderzoek en hoger onderwijs #

Tot voor kort stonden universitaire roboticavakgroepen voor een existentiële kloof: goed gefinancierde labs konden zich platforms van Boston Dynamics of Willow Garage veroorloven, terwijl kleinere instellingen bleven steken in pure simulaties in Gazebo of MuJoCo.

Opensource fysieke AI heeft fysiek experimenteren gedemocratiseerd. Masterstudenten en promovendi wereldwijd kunnen identieke hardwareplatforms bouwen, checkpoints van getrainde policy's delen op de Hugging Face Hub en benchmarkresultaten met statistische strengheid reproduceren. Kooijmans benadrukte dat de LeRobot-repository binnen enkele maanden groeide van een handvol Europese bijdragers tot duizenden actieve robotici wereldwijd, een bewijs dat open toegang empirische validatie sneller vooruithelpt dan propriëtaire bedrijfssilo's.

Contractassemblage met veel varianten en kleine aantallen #

In de assemblage van elektronica en medische hulpmiddelen wisselen productvarianten wekelijks. Hardgecodeerde automatiseringslijnen zijn economisch niet haalbaar, omdat de kosten van omstellen en herprogrammeren de winstmarge van de serie overstijgen.

Policy's voor beeld, taal en actie lossen die beperking op met taakconditionering in natuurlijke taal. Een operator kan de assemblageprocedure wijzigen door simpelweg een nieuwe opdracht in te typen of twee herhalingen van de nieuwe subassemblage voor te doen. De cross-attention-mechanismen van het model benutten voorgetrainde visuele representaties om nieuwe onderdelen te herkennen zonder het hele neurale netwerk opnieuw te trainen.

De datamuur doorbreken: teleoperatie, Parquet en wereldmodellen #

De kernboodschap die Kooijmans aan bedrijfsleiders meegaf: het grootste knelpunt van fysieke AI is niet langer de modelcapaciteit, maar de diversiteit van demonstraties.

Bij natuurlijke taalverwerking werden modellen getraind op biljoenen tokens die van het open web waren verzameld. In de fysieke robotica bestaat er geen bestaand ‘internet van fysieke manipulatie’. Elke demonstratie van een grijper die een object oppakt, een klep draait of stof vouwt, moet in de fysieke wereld worden opgenomen via teleoperatie met sensoren.

Hugging Face LeRobot pakt deze uitdaging aan met drie kerninitiatieven:

Leader-follower-opstellingen voor teleoperatie: met goedkope, 3D-geprinte passieve ‘leader’-armen met magnetische encoders die de actieve ‘follower’-robot mechanisch spiegelen, kunnen menselijke operators de robot moeiteloos in realtime op afstand besturen en tegelijk gewrichtshoeken, snelheden en video vanuit meerdere hoeken opnemen.
Gestandaardiseerde schema's voor Parquet-datasets: demonstraties worden verpakt in gestandaardiseerde, snelle Apache Parquet-tabellen die gekoppeld zijn aan in blokken opgedeelde MP4-videostromen. Zo kunnen gangbare data-engineeringtools (Polars, DuckDB, PyArrow) terabytes aan robottelemetrie op hoge snelheid verwerken.
Van simulatie naar praktijk en verrijking met wereldmodellen: om voorbij de grenzen van fysieke teleoperatie op te schalen, leren opensource-wereldmodellen generatieve fysieke dynamiek. Eenmaal getraind op een kerndataset van echte demonstraties simuleren ze miljoenen contrafactische scenario's (wisselende verlichting, extra rommel, andere tafelwrijving) direct in de latente ruimte, en zetten ze policy's onder druk voordat ze in de praktijk worden ingezet.

Conclusie #

De presentatie van Hugging Face LeRobot op de Economist Enterprise Physical AI and Robotics Summit maakte een beslissend kantelpunt in de roboticasector zichtbaar. Het tijdperk waarin robotica investeringsbudgetten van miljoenen ponden, propriëtaire programmeertalen en starre fabriekskooien vereiste, maakt plaats voor een open, collaboratief en datagedreven ecosysteem.

Door multimodale foundationmodellen voor beeld en taal te combineren met action chunking op basis van flow matching en betaalbare open hardware, verandert opensource fysieke AI robots van broze automaten in adaptieve, lerende systemen. Voor engineeringleiders en technologiebestuurders is de strategische opdracht ondubbelzinnig: concurrentievoordeel komt niet langer voort uit het bezit van propriëtaire mechanische hardware, maar uit het beheersen van de datapijplijnen, de werkprocessen voor het verzamelen van demonstraties en de foundationmodellen die machines leren de fysieke wereld te beheersen.

Veelgestelde vragen #

Wat is Hugging Face LeRobot? Hugging Face LeRobot is een opensourceframework en gemeenschapsinitiatief dat robotica en fysieke AI wil democratiseren. Het biedt PyTorch-implementaties van geavanceerde algoritmen voor imitatieleren, gestandaardiseerde datasetformaten, voorgetrainde foundationmodellen voor beeld, taal en actie (VLA) en opensource-hardwareontwerpen (zoals de SO-100), om de financiële en technische drempels van robotica te verlagen.

Hoe verschilt imitatieleren van klassiek robotprogrammeren? Klassiek robotprogrammeren vraagt van een ingenieur dat hij expliciete procedurele code schrijft met exacte cartesische coördinaten, oplossingen voor inverse kinematica en toestandsovergangen, via teach pendants of ROS-scripts. Imitatieleren traint daarentegen neurale netwerken om menselijk gedrag na te bootsen door opgenomen demonstraties te bekijken van mensen die de taak via teleoperatie uitvoeren, en leert zo een policy die zintuiglijke waarnemingen rechtstreeks omzet in motoropdrachten.

Wat is de rol van de Gemma-VLM in de pijplijn voor fysieke AI? In moderne architecturen voor fysieke AI dient het Gemma-vision-language-model (VLM) als multimodale redeneermotor. Het neemt visuele tokens van de camera's op (gecodeerd via SigLIP), de fysieke gewrichtstoestandsvector van de robot en instructies in natuurlijke taal. Met cross-attention voegt het semantische bedoeling en visuele geometrie samen tot taakrepresentaties op hoog niveau die de Action Expert sturen.

Wat is flow matching bij het voorspellen van robotacties? Flow matching is een generatieve modelleringstechniek die verwant is aan continue normalizing flows en diffusiemodellen. In de robotica zet ze eenvoudige gaussische ruis om in complexe, multimodale actietrajecten door gewone differentiaalvergelijkingen in meerdere stappen op te lossen. Zo kan de robot omgaan met dubbelzinnige situaties waarin meerdere geldige bewegingen bestaan, en vermijdt hij de middelingsartefacten waardoor eenvoudigere regressiemodellen falen.

Kunnen 3D-geprinte robotarmen onder $ 200 productietaken uitvoeren? Armen onder $ 200 zoals de SO-100 missen weliswaar het laadvermogen, de structurele stijfheid en de herhaalnauwkeurigheid onder de millimeter die zware verspaning in de luchtvaart vraagt, maar ze kunnen prima delicate manipulatie, inspectie, vloeistofhantering in het lab en het samenstellen van kits met kleine onderdelen uitvoeren. Belangrijker nog: policy's die op deze goedkope platforms zijn getraind en gevalideerd, zijn met minimale finetuning rechtstreeks over te zetten naar collaboratieve robotarmen van industriële kwaliteit.

Bronnen #

Economist Enterprise, (2026). Physical AI & Robotics Summit: operationeel voordeel dankzij autonome systemen ⧉. Economist Enterprise.
Kooijmans, P., (2026). Open voor zaken: hoe open source fysieke AI versnelt ⧉. Hugging Face.
Hugging Face, (2026). LeRobot: geavanceerde machine learning voor echte robotica in PyTorch ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B. en Song, S., (2024). Diffusion Policy: visuomotorische policy's leren via actiediffusie ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S. en Finn, C., (2023). Fijnmotorische tweehandige manipulatie leren met goedkope hardware ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A. en Beyer, L., (2023). Sigmoïde verliesfunctie voor taal-beeld-voortraining (SigLIP) ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M. en Le, M., (2023). Flow matching voor generatieve modellering ⧉. Meta AI Research.

Laatst herzien 2026-10-13.

Laatst herzien 2026-10-27.

Dit artikel herpubliceren

Opensource fysieke AI: hoe LeRobot robotica democratiseert — Sebastien Rousseau

Op de Physical AI-top van The Economist in Londen liet Pepijn Kooijmans (Hugging Face) zien hoe LeRobot, open modellen en armen van $ 200 robotica openbreken.

Dit artikel valt onder de licentie Creative Commons Attribution 4.0 International. Herpublicatie vereist attributie aan de canonieke URL.

Opensource fysieke AI: hoe LeRobot robotica democratiseert — Sebastien Rousseau

Op de Physical AI-top van The Economist in Londen liet Pepijn Kooijmans (Hugging Face) zien hoe LeRobot, open modellen en armen van $ 200 robotica openbreken.

Originally published at https://sebastienrousseau.com/nl/2026-10-13-opensource-fysieke-ai-hoe-lerobot-robotica/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER