Physische KI als Open Source: Wie LeRobot die Robotik demokratisiert

TL;DR. Auf dem Physical-AI-Gipfel des Economist in London zeigte Pepijn Kooijmans von Hugging Face, wie LeRobot, offene Modelle und 200-$-Arme die Robotik öffnen.

Wichtige Erkenntnisse

Von der Bewegungsplanung zum Imitationslernen: der architektonische Wandel. In seiner Fallstudie Open for business: how open source is accelerating physical AI (Offen für das Geschäft: wie Open Source physische KI beschleunigt) zeichnete Pepijn Kooijmans seinen Weg von der klassischen…
Im Inneren der multimodalen VLA-Architektur. In seinem Vortrag legte Kooijmans die detaillierte End-to-End-Pipeline des neuronalen Netzes offen, die moderne Open-Source-Policies für physische KI antreibt, und zeigte, wie hochdimensionale Wahrnehmungseingaben in…
Technischer Vergleich: klassische Automatisierung gegen Open-Source-Robotik mit physischer KI. Quelle: Auswertung von Präsentationsdaten, technischen Benchmarks und Live-Vorführungen auf dem Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, London, 13.
Was das für die einzelnen Branchen bedeutet. Der Aufstieg einer offenen, von der Community getragenen physischen KI verschiebt die wirtschaftliche Rechnung in mehreren Branchen.

Sechs Jahrzehnte lang folgte die Industrierobotik einem unnachgiebigen Paradigma: Ein Ingenieur programmiert jeden Millimeter der Bewegung einer Maschine ausdrücklich, mit proprietären Sprachen, Programmierhandgeräten und starren Kinematiklösern. Verschiebt sich ein Werkstück um fünf Millimeter oder ändert sich die Beleuchtung, geht der Roboter in Störung. Auf dem Economist Enterprise Physical AI and Robotics Summit am 13. Oktober 2026 in London stellte Pepijn Kooijmans, LeRobot-Leiter bei Hugging Face, eine alternative Architektur vor, die dieses Erbe auflöst: „Künftige Roboter werden nicht Aufgabe für Aufgabe programmiert. Sie werden lernen.“

Von der Bewegungsplanung zum Imitationslernen: der architektonische Wandel #

In seiner Fallstudie Open for business: how open source is accelerating physical AI (Offen für das Geschäft: wie Open Source physische KI beschleunigt) zeichnete Pepijn Kooijmans seinen Weg von der klassischen Mechatronik zum Deep Learning nach. Jahrzehntelang lernten Robotiker, Manipulation in getrennte, isolierte Teilprobleme zu zerlegen: Objektsegmentierung, 6D-Posenschätzung, Koordinatentransformationen, Bahnplanung mit Kollisionsvermeidung und PID-Regelung der Gelenkmotoren.

Diese analytische Zerlegung funktioniert gut in starr eingerichteten Automobilwerken, in denen Teile in mikrometergenauen Stahlvorrichtungen ankommen. In gewachsenen Industrieumgebungen, Laboren, Lagern und Haushalten bricht sie jedoch zusammen. In der realen Welt verformen sich Objekte, Oberflächen reflektieren Licht unvorhersehbar, und menschliche Kollegen bringen bewegliche Hindernisse ins Spiel.

Die zentrale These von Hugging Face lautet: Physische Geschicklichkeit lässt sich nicht analytisch über von Hand codierte Regeln festlegen; sie muss durch Erfahrung erworben werden. So wie große Sprachmodelle (LLMs) Grammatik, Schlussfolgern und Weltwissen gelernt haben, indem sie über riesige Textkorpora hinweg das nächste Token vorhersagten, erwerben Agenten der physischen KI motorische Fähigkeiten, indem sie die Verteilung von Aktionen in Abhängigkeit von visuellen und sensorischen Beobachtungen lernen.

Dieser Übergang vom Programmieren jeder Bewegung zum Lehren durch menschliche Vorführung markiert den Eintritt der Robotik in ihr Zeitalter der Foundation-Modelle.

Im Inneren der multimodalen VLA-Architektur #

In seinem Vortrag legte Kooijmans die detaillierte End-to-End-Pipeline des neuronalen Netzes offen, die moderne Open-Source-Policies für physische KI antreibt, und zeigte, wie hochdimensionale Wahrnehmungseingaben in flüssige physische Manipulation übersetzt werden.

End-to-End-Architektur für Vision, Sprache und Aktion von Hugging Face LeRobot mit visuellen SigLIP-Tokens, Gelenkzustandsvektor, Sprachanweisung, Cross-Attention des Gemma-VLM und einem Action Expert auf Basis von Flow Matching, der 30 koordinierte Gelenkaktionen ausgibt .class="img-fluid clearfix"

Die Architektur arbeitet als eng verzahnte, multimodale sensomotorische Pipeline:

1. Wahrnehmung über mehrere Datenströme #

Der Roboter beobachtet seinen Arbeitsraum über mehrere synchronisierte Kamerastreams (in der Regel eine Basiskamera von oben für den räumlichen Kontext sowie Handgelenkkameras am linken und rechten Manipulator, die Kontakte im Detail verfolgen).

Diese rohen Pixelströme laufen durch einen eingefrorenen Vision Transformer SigLIP (400 Millionen Parameter), der die Videobilder in visuelle Tokens hoher Dichte umwandelt, ohne dass beim Feintuning der Policy rechenintensive End-to-End-Gradientenupdates durch das visuelle Backbone nötig wären.

2. Kinematischer Zustandsvektor und Aufgabenkonditionierung #

Gleichzeitig tastet das System den internen propriozeptiven Zustand des Roboters ab: einen 16-dimensionalen Vektor mit den 7 Gelenkwinkeln, den Geschwindigkeiten und den Greiferöffnungen der beiden Manipulatoren.

Das Ziel gibt der Nutzer über eine beliebige Anweisung in natürlicher Sprache vor (zum Beispiel "falte das T-Shirt", "nimm die M8-Sechskantschraube und setze sie in die Halterung" oder "führe das Kabel durch das Leerrohr"), die in Standard-Text-Embeddings tokenisiert wird.

3. Multimodaler Cross-Attention-Kern (Gemma VLM) #

Die visuellen Tokens, der propriozeptive Zustandsvektor und die Text-Tokens fließen in ein Gemma-Vision-Language-Modell (2 Milliarden Parameter). Statt bloß Text zu erzeugen, führt das Gemma-VLM eine tiefe Cross-Attention über alle drei Modalitäten aus und verbindet die semantische Absicht der Sprachanweisung mit der räumlichen Geometrie der Szene und der momentanen mechanischen Konfiguration des Arms.

Das Ergebnis dieses fusionierten Foundation-Modells ist eine dichte Darstellung von VLM-Aufgabenmerkmalen, die erfasst, was zu tun ist, und zwar in Bezug darauf, wo sich die Objekte befinden.

4. Der Action Expert: Flow Matching und Diffusion Policies #

Die VLM-Merkmale fließen direkt in einen Action Expert (300 Millionen Parameter), der nach dem Prinzip des Flow Matching arbeitet. Frühe Ansätze des Imitationslernens stützten sich auf naive Regression mit mittlerem quadratischem Fehler (MSE), die Modelle den Durchschnitt widersprüchlicher Vorführungen ausgeben lässt und so unentschlossene, erstarrte Roboter hervorbringt. Flow Matching modelliert dagegen die multimodale Verteilung menschlicher Aktionstrajektorien.

Mithilfe von Differentialgleichungen des Rectified Flow, gelöst über zehn numerische Integrationsschritte, entrauscht der Action Expert gaußsches Rauschen zu einer stimmigen Trajektorie von 30 künftigen Aktionen bei einer Regelfrequenz von 50 Hz.

5. Action Chunking mit zeitlichem Ensembling #

Indem die Policy 30 aufeinanderfolgende Zeitschritte vorhersagt (ein Ansatz namens Action Chunking), beseitigt sie hochfrequentes Ruckeln und Latenzengpässe. Der Roboter führt den ersten Block von Aktionen aus, während er im Hintergrund den nächsten Plan berechnet, und erreicht so eine glatte, nachgiebige und kontinuierliche Bewegung von fast biologischer Qualität.

Technischer Vergleich: klassische Automatisierung gegen Open-Source-Robotik mit physischer KI #

Kennzahl / Architekturmerkmal	Klassische Industrierobotik (ROS / SPS / Programmierhandgerät)	Proprietäre geschlossene physische KI (Humanoid-Stacks der Anbieter)	Open-Source-Robotik mit physischer KI (Hugging-Face-LeRobot-Stack)
Entwicklungsparadigma	Prozedural; explizite Gelenktrajektorien und endliche Zustandsautomaten	End-to-End-Deep-Learning; geschlossene Black-Box-Gewichte; abgeschottete Cloud-APIs	End-to-End-VLA; offene Gewichte, offene Datensätze und offene PyTorch-Trainingsschleifen
Hardware-Einstiegshürde	30.000 £ bis über 100.000 £ pro Industriearm (KUKA, FANUC, ABB)	150.000 £ bis über 350.000 £ pro proprietärem Humanoiden	Unter 200 $ bis 1.500 $ mit 3D-druckbaren Open-Hardware-Designs (SO-100, Koch)
Robustheit gegenüber der Umgebung	Versagt sofort, wenn sich Teilekoordinaten um Millimeter verschieben	Hohe Anpassungsfähigkeit, aber das Verhalten lässt sich weder prüfen noch lokal korrigieren	Hohe visuelle Anpassungsfähigkeit; Policies lassen sich lokal auf Edge-Knoten in der Werkhalle feintunen
Datenformat und Telemetrie	Herstellergebundene proprietäre Binärformate und SPS-Register	Proprietäre verschlüsselte Cloud-Telemetrie	Standardisierte Apache-Parquet-Datensätze, MP4-Videostreams und Hugging Face Hub
Generalisierung von Aufgaben	Keine; jede neue Bauteilgeometrie erfordert eine vollständige manuelle Neuprogrammierung	Breite Aufgabenversprechen, aber langsame Anpassung an maßgeschneiderte Industriewerkzeuge	Schnelle Anpassung über 50 bis 100 menschliche Vorführungen, aufgezeichnet mit Leader-Follower-Aufbauten
Hardware-Bedarf für die Inferenz	Eigene SPS oder Industrie-PC mit Echtzeit-Linux	Massive mobile GPU-Cluster an Bord mit 300 W bis 800 W Leistungsaufnahme	Inferenz auf Edge-Chips für Endkunden (eine einzelne RTX 4070 oder Apple Silicon der M-Serie)

Quelle: Auswertung von Präsentationsdaten, technischen Benchmarks und Live-Vorführungen auf dem Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, London, 13. Oktober 2026).

Was das für die einzelnen Branchen bedeutet #

Der Aufstieg einer offenen, von der Community getragenen physischen KI verschiebt die wirtschaftliche Rechnung in mehreren Branchen.

Kleine und mittlere Unternehmen (KMU) #

KMU stellen über 80 % der Fertigungskapazität in Europa und im Vereinigten Königreich, doch historisch konnten sich weniger als 5 % von ihnen Automatisierung leisten. Eine Automatisierungszelle einzuführen hieß, spezialisierte Systemintegratoren zu beauftragen, sechsstellige Softwarelizenzen zu bezahlen und die Fertigung während der Installation stillzulegen.

Mit dem LeRobot-Ökosystem kann ein KMU, das maßgefertigte Präzisionshalterungen herstellt, einen zweiarmigen SO-100-Arbeitsplatz für unter 500 £ im 3D-Druck fertigen, ihn mit USB-Webcams für 40 £ ausstatten und mit einem 3D-gedruckten Leader-Arm fünfzig Vorführungen eines Mitarbeiters aufzeichnen, der Teile in eine CNC-Fräsmaschine einlegt. Nach drei Stunden Feintuning auf einem gewöhnlichen Desktop-Rechner kann die Open-Source-Policy die Maschinenbeschickung selbstständig übernehmen und sich innerhalb weniger Wochen amortisieren.

Akademische Forschung und Hochschulbildung #

Bis vor Kurzem standen Robotikinstitute an Universitäten vor einer existenziellen Kluft: Gut finanzierte Labore konnten sich Plattformen von Boston Dynamics oder Willow Garage leisten, während kleinere Einrichtungen auf reine Simulationen in Gazebo oder MuJoCo beschränkt waren.

Open-Source-Robotik mit physischer KI hat das physische Experimentieren demokratisiert. Promovierende auf der ganzen Welt können identische Hardwareplattformen bauen, Checkpoints trainierter Policies auf dem Hugging Face Hub teilen und Benchmark-Ergebnisse mit statistischer Strenge reproduzieren. Kooijmans betonte, dass das LeRobot-Repository innerhalb weniger Monate von einer Handvoll europäischer Mitwirkender auf Tausende aktive Robotiker weltweit gewachsen ist, ein Beleg dafür, dass offener Zugang die empirische Validierung schneller voranbringt als proprietäre Unternehmenssilos.

Auftragsmontage mit hoher Variantenvielfalt und kleinen Stückzahlen #

In der Elektronik- und Medizintechnikmontage wechseln die Produktvarianten wöchentlich. Fest codierte Automatisierungslinien rechnen sich nicht, weil Umrüst- und Neuprogrammierungskosten die Gewinnmarge der Serie übersteigen.

Policies für Vision, Sprache und Aktion lösen diese Einschränkung über eine Aufgabenkonditionierung in natürlicher Sprache. Ein Bediener kann den Montageablauf ändern, indem er einfach einen neuen Befehl eintippt oder zwei Durchläufe der neuen Baugruppe vorführt. Die Cross-Attention-Mechanismen des Modells nutzen vortrainierte visuelle Repräsentationen, um neue Bauteile zu erkennen, ohne das gesamte neuronale Netz neu zu trainieren.

Die Datenmauer durchbrechen: Teleoperation, Parquet und Weltmodelle #

Die zentrale Erkenntnis, die Kooijmans den Unternehmenslenkern mitgab: Der wichtigste Engpass der physischen KI ist nicht mehr die Modellkapazität, sondern die Vielfalt der Vorführungen.

In der Verarbeitung natürlicher Sprache wurden Modelle mit Billionen von Tokens aus dem offenen Web trainiert. In der physischen Robotik gibt es kein bereits vorhandenes „Internet der physischen Manipulation“. Jede Vorführung eines Greifers, der ein Objekt aufnimmt, ein Ventil dreht oder Stoff faltet, muss in der physischen Welt über sensorbestückte Teleoperation aufgezeichnet werden.

Hugging Face LeRobot geht diese Herausforderung mit drei zentralen Initiativen an:

Leader-Follower-Aufbauten für die Teleoperation: Kostengünstige, 3D-gedruckte passive „Leader“-Arme mit magnetischen Encodern spiegeln den aktiven „Follower“-Roboter mechanisch. So können menschliche Bediener den Roboter mühelos in Echtzeit fernsteuern und dabei Gelenkwinkel, Geschwindigkeiten und Video aus mehreren Blickwinkeln gleichzeitig aufzeichnen.
Standardisierte Parquet-Datensatzschemata: Vorführungen werden in standardisierte, leistungsstarke Apache-Parquet-Tabellen verpackt, die auf in Blöcke geteilte MP4-Videostreams verweisen. So können gängige Data-Engineering-Werkzeuge (Polars, DuckDB, PyArrow) Terabytes an Robotertelemetrie mit hoher Geschwindigkeit verarbeiten.
Sim-to-Real und Anreicherung durch Weltmodelle: Um über die Grenzen physischer Teleoperation hinauszuwachsen, lernen Open-Source-Weltmodelle eine generative physikalische Dynamik. Einmal mit einem Kerndatensatz realer Vorführungen trainiert, simulieren sie Millionen kontrafaktischer Szenarien (wechselnde Beleuchtung, zusätzliche Unordnung, veränderte Tischreibung) direkt im latenten Raum und unterziehen Policies vor dem realen Einsatz einem Belastungstest.

Fazit #

Die Vorstellung von Hugging Face LeRobot auf dem Economist Enterprise Physical AI and Robotics Summit hat einen entscheidenden Wendepunkt der Robotikbranche sichtbar gemacht. Die Ära, in der Robotik millionenschwere Investitionsbudgets in Pfund, proprietäre Programmiersprachen und starre Schutzkäfige in der Fabrik erforderte, weicht einem offenen, kollaborativen und datengetriebenen Ökosystem.

Indem sie multimodale Foundation-Modelle für Vision und Sprache mit Action Chunking auf Basis von Flow Matching und erschwinglicher offener Hardware verbindet, verwandelt Open-Source-Robotik mit physischer KI Roboter von spröden Automaten in anpassungsfähige, lernende Systeme. Für Engineering-Verantwortliche und Technologiechefs ist der strategische Auftrag eindeutig: Wettbewerbsvorteile entstehen künftig nicht mehr aus dem Besitz proprietärer mechanischer Hardware, sondern aus der Beherrschung der Datenpipelines, der Abläufe zur Sammlung von Vorführungen und der Foundation-Modelle, die Maschinen beibringen, die physische Welt zu meistern.

Häufig gestellte Fragen #

Was ist Hugging Face LeRobot? Hugging Face LeRobot ist ein Open-Source-Framework und eine Community-Initiative, die Robotik und physische KI demokratisieren sollen. Es bietet PyTorch-Implementierungen modernster Algorithmen für Imitationslernen, standardisierte Datensatzformate, vortrainierte Foundation-Modelle für Vision, Sprache und Aktion (VLA) und Open-Source-Hardwaredesigns (etwa den SO-100), um die finanziellen und technischen Hürden der Robotik zu senken.

Worin unterscheidet sich Imitationslernen von klassischer Roboterprogrammierung? Klassische Roboterprogrammierung verlangt, dass ein Ingenieur expliziten prozeduralen Code schreibt, der exakte kartesische Koordinaten, Lösungen der inversen Kinematik und Zustandsübergänge festlegt, über Programmierhandgeräte oder ROS-Skripte. Imitationslernen trainiert dagegen neuronale Netze darauf, menschliches Verhalten nachzuahmen, indem sie aufgezeichnete Vorführungen von Menschen beobachten, die die Aufgabe per Teleoperation erledigen. Dabei lernen sie eine Policy, die sensorische Beobachtungen direkt auf Motorbefehle abbildet.

Welche Rolle spielt das Gemma-VLM in der Pipeline der physischen KI? In modernen Architekturen der physischen KI dient das Gemma-Vision-Language-Modell (VLM) als multimodale Reasoning-Engine. Es nimmt visuelle Tokens der Kameras (über SigLIP kodiert), den physischen Gelenkzustandsvektor des Roboters und Anweisungen in natürlicher Sprache auf. Per Cross-Attention verbindet es semantische Absicht und visuelle Geometrie zu übergeordneten Aufgabenrepräsentationen, die den Action Expert steuern.

Was ist Flow Matching bei der Vorhersage von Roboteraktionen? Flow Matching ist eine generative Modellierungstechnik, die mit kontinuierlichen Normalizing Flows und Diffusionsmodellen verwandt ist. In der Robotik verwandelt sie einfaches gaußsches Rauschen in komplexe, multimodale Aktionstrajektorien, indem sie gewöhnliche Differentialgleichungen über mehrere Schritte löst. So kann der Roboter mehrdeutige Situationen bewältigen, in denen mehrere gültige Bewegungen möglich sind, und vermeidet die Mittelungsartefakte, an denen einfachere Regressionsmodelle scheitern.

Können 3D-gedruckte Roboterarme unter 200 $ Aufgaben in der Produktion übernehmen? Arme unter 200 $ wie der SO-100 haben zwar weder die Traglast noch die strukturelle Steifigkeit noch die Wiederholgenauigkeit im Submillimeterbereich, die schwere Bearbeitung in der Luftfahrt verlangt. Sie können aber durchaus feinfühlige Manipulation, Inspektion, Flüssigkeitshandling im Labor und Kommissionierung von Kleinteilen übernehmen. Vor allem lassen sich Policies, die auf diesen günstigen Plattformen trainiert und validiert wurden, mit minimalem Feintuning direkt auf kollaborative Roboterarme in Industriequalität übertragen.

Quellen #

Economist Enterprise, (2026). Physical AI & Robotics Summit: Operativer Vorsprung durch autonome Systeme ⧉. Economist Enterprise.
Kooijmans, P., (2026). Offen für das Geschäft: wie Open Source physische KI beschleunigt ⧉. Hugging Face.
Hugging Face, (2026). LeRobot: Maschinelles Lernen auf dem neuesten Stand für reale Robotik in PyTorch ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B. und Song, S., (2024). Diffusion Policy: Lernen visuomotorischer Policies durch Aktionsdiffusion ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S. und Finn, C., (2023). Feinmotorische beidhändige Manipulation mit kostengünstiger Hardware lernen ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A. und Beyer, L., (2023). Sigmoid-Verlust für das Vortraining mit Sprache und Bild (SigLIP) ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M. und Le, M., (2023). Flow Matching für generative Modellierung ⧉. Meta AI Research.

Zuletzt überprüft 2026-10-13.

Zuletzt überprüft 2026-10-27.

Diesen Artikel republizieren

Physische KI als Open Source: Wie LeRobot die Robotik demokratisiert — Sebastien Rousseau

Auf dem Physical-AI-Gipfel des Economist in London zeigte Pepijn Kooijmans von Hugging Face, wie LeRobot, offene Modelle und 200-$-Arme die Robotik öffnen.

Dieser Artikel ist lizenziert unter Creative Commons Attribution 4.0 International. Eine Republikation erfordert Attribution zur kanonischen URL.

Physische KI als Open Source: Wie LeRobot die Robotik demokratisiert — Sebastien Rousseau

Auf dem Physical-AI-Gipfel des Economist in London zeigte Pepijn Kooijmans von Hugging Face, wie LeRobot, offene Modelle und 200-$-Arme die Robotik öffnen.

Originally published at https://sebastienrousseau.com/de/2026-10-13-physische-ki-als-open-source-wie/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER