AI fizikal sumber terbuka: LeRobot menjadikan robotik mampu milik

TL;DR. Di sidang kemuncak Economist Enterprise di London, Pepijn Kooijmans dari Hugging Face menunjukkan cara LeRobot dan perkakasan AS$200 meruntuhkan halangan AI fizikal.

Intipati utama

Daripada perancangan gerakan kepada pembelajaran tiruan: anjakan seni bina. Dalam pembentangan kajian kesnya, Open for business: how open source is accelerating physical AI (Terbuka untuk perniagaan: bagaimana sumber terbuka mempercepat AI fizikal), Pepijn Kooijmans menyusur perjalanannya…
Di dalam seni bina VLA multimodal. Dalam ucapannya, Kooijmans memperincikan saluran rangkaian neural hujung ke hujung yang menggerakkan polisi AI fizikal sumber terbuka moden, dan menunjukkan bagaimana input persepsi berdimensi tinggi diterjemahkan…
Perbandingan teknikal: automasi klasik berbanding AI fizikal sumber terbuka. Sumber: analisis data pembentangan, penanda aras teknikal dan demonstrasi langsung yang dibentangkan di Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, London, 13 Oktober 2026).
Maksudnya mengikut sektor. Kebangkitan AI fizikal yang terbuka dan dipacu komuniti sedang mengubah kiraan komersial merentas pelbagai industri.

Selama enam dekad, robotik industri beroperasi di bawah paradigma yang tidak mengenal belas kasihan: seorang jurutera manusia memprogram secara eksplisit setiap milimeter pergerakan mesin menggunakan bahasa proprietari, teach pendant dan penyelesai kinematik yang tegar. Jika bahan kerja beralih lima milimeter atau keadaan pencahayaan berubah, robot akan ralat. Di Economist Enterprise Physical AI and Robotics Summit di London pada 13 Oktober 2026, Pepijn Kooijmans, ketua LeRobot di Hugging Face, membentangkan seni bina alternatif yang meruntuhkan warisan ini: “Robot masa depan tidak akan diprogram satu demi satu tugas. Robot akan belajar.”

Daripada perancangan gerakan kepada pembelajaran tiruan: anjakan seni bina #

Dalam pembentangan kajian kesnya, Open for business: how open source is accelerating physical AI (Terbuka untuk perniagaan: bagaimana sumber terbuka mempercepat AI fizikal), Pepijn Kooijmans menyusur perjalanannya daripada kejuruteraan mekatronik klasik kepada pembelajaran mendalam. Selama berdekad-dekad, ahli robotik dilatih untuk memecahkan manipulasi kepada submasalah yang berasingan dan terpencil: segmentasi objek, anggaran pose 6D, penjelmaan kerangka koordinat, perancangan trajektori dengan pengelakan perlanggaran dan kawalan motor PID pada sendi.

Penguraian analitik ini berfungsi dengan baik di kilang automotif yang dipasang tegar, tempat bahagian tiba dalam jig keluli berketepatan mikron, tetapi runtuh dalam persekitaran industri sedia ada, makmal, gudang dan suasana domestik. Di dunia sebenar, objek berubah bentuk, permukaan memantulkan cahaya secara tidak menentu, dan rakan sekerja manusia mewujudkan halangan yang bergerak.

Tesis asas yang dikemukakan oleh Hugging Face ialah ketangkasan fizikal tidak boleh ditetapkan secara analitik melalui peraturan yang ditulis dengan tangan; ketangkasan itu mesti diperoleh melalui pengalaman. Sebagaimana model bahasa besar (LLM) mempelajari tatabahasa, penaakulan dan pengetahuan dunia dengan meramal token seterusnya merentas korpus teks yang besar, ejen AI fizikal memperoleh kemahiran motor dengan mempelajari taburan tindakan yang dikondisikan pada pemerhatian visual dan deria.

Peralihan daripada memprogram setiap pergerakan kepada mengajar melalui demonstrasi manusia menandakan kemasukan robotik ke era model asas.

Di dalam seni bina VLA multimodal #

Dalam ucapannya, Kooijmans memperincikan saluran rangkaian neural hujung ke hujung yang menggerakkan polisi AI fizikal sumber terbuka moden, dan menunjukkan bagaimana input persepsi berdimensi tinggi diterjemahkan kepada manipulasi fizikal yang lancar.

Seni bina penglihatan-bahasa-tindakan hujung ke hujung Hugging Face LeRobot yang menunjukkan token visual SigLIP, vektor keadaan sendi, gesaan bahasa, cross-attention Gemma VLM dan Action Expert berasaskan flow matching yang mengeluarkan 30 tindakan sendi yang diselaraskan .class="img-fluid clearfix"

Seni bina ini beroperasi sebagai saluran sensorimotor multimodal yang disepadukan dengan rapat:

1. Pengambilan persepsi berbilang aliran #

Robot memerhati ruang kerjanya melalui beberapa aliran kamera yang disegerakkan (biasanya kamera tapak di atas kepala yang memberikan konteks ruang, bersama kamera di pergelangan manipulator kiri dan kanan untuk penjejakan sentuhan yang halus).

Aliran piksel mentah ini dihantar ke transformer penglihatan SigLIP (400M parameter) yang dibekukan, yang menukar bingkai video kepada token visual berketumpatan tinggi tanpa memerlukan kemas kini kecerunan hujung ke hujung yang terlalu mahal dari segi pengiraan melalui tulang belakang penglihatan semasa penalaan polisi.

2. Vektor keadaan kinematik dan pengkondisian tugas #

Pada masa yang sama, sistem mensampel keadaan proprioseptif dalaman robot fizikal: vektor 16 dimensi yang merangkumi 7 sudut sendi, halaju dan lebar bukaan pencengkam bagi kedua-dua manipulator.

Pengguna memberikan objektif operasi melalui gesaan bahasa semula jadi yang bebas (contohnya "fold the t-shirt", "pick the M8 hex bolt and place it in the bracket" atau "route the cable through the conduit"), yang ditokenkan menjadi pembenaman teks piawai.

3. Teras cross-attention multimodal (Gemma VLM) #

Token visual, vektor keadaan proprioseptif dan token teks disuntik ke dalam Model Penglihatan-Bahasa Gemma (2B parameter). Daripada sekadar menjana token teks, Gemma VLM melakukan cross-attention mendalam merentas ketiga-tiga modaliti, menggabungkan niat semantik peringkat tinggi arahan bahasa dengan geometri ruang adegan visual dan konfigurasi mekanikal lengan pada ketika itu.

Output model asas gabungan ini ialah perwakilan padat ciri tugas VLM yang merangkumi apa yang perlu dilakukan berhubung dengan di mana objek berada.

4. Action Expert: flow matching dan polisi resapan #

Ciri VLM disalurkan terus ke Action Expert (300M parameter) yang beroperasi berdasarkan prinsip flow matching. Tidak seperti pendekatan pembelajaran tiruan awal yang bergantung pada regresi ralat kuasa dua min (MSE) yang naif (yang menyebabkan model mengeluarkan purata demonstrasi yang bercanggah, lalu menghasilkan robot yang teragak-agak dan kaku), flow matching memodelkan taburan multimodal trajektori tindakan manusia.

Menggunakan persamaan pembezaan rectified flow yang diselesaikan merentas sepuluh langkah pengamiran berangka, Action Expert menyahhingar hingar Gauss kepada trajektori koheren yang mengandungi 30 tindakan akan datang pada frekuensi kawalan 50 Hz.

5. Action Chunking dengan temporal ensembling #

Dengan meramal 30 langkah masa berturut-turut (pendekatan yang dikenali sebagai Action Chunking), polisi menghapuskan sentakan berfrekuensi tinggi dan kesesakan kependaman. Robot melaksanakan ketulan tindakan pertama sambil mengira pelan seterusnya di latar belakang, lalu mencapai pergerakan yang lancar, patuh dan berterusan menyerupai gerakan biologi.

Perbandingan teknikal: automasi klasik berbanding AI fizikal sumber terbuka #

Metrik / dimensi seni bina	Robotik industri klasik (ROS / PLC / teach pendant)	AI fizikal tertutup proprietari (timbunan humanoid vendor)	AI fizikal sumber terbuka (timbunan Hugging Face LeRobot)
Paradigma pembangunan	Prosedural; trajektori sendi eksplisit dan mesin keadaan terhingga	Pembelajaran mendalam hujung ke hujung; pemberat tertutup kotak hitam; API awan terkunci	VLA hujung ke hujung; pemberat terbuka, set data terbuka dan gelung latihan PyTorch terbuka
Halangan kemasukan perkakasan	£30,000 hingga £100,000+ bagi setiap lengan industri (KUKA, FANUC, ABB)	£150,000 hingga £350,000+ bagi setiap unit humanoid proprietari	Di bawah AS$200 hingga AS$1,500 menggunakan reka bentuk perkakasan terbuka cetakan 3D (SO-100, Koch)
Ketahanan persekitaran	Gagal serta-merta jika koordinat bahagian beralih beberapa milimeter	Kebolehsesuaian tinggi, tetapi tingkah laku tidak boleh diperiksa atau ditampal secara setempat	Kebolehsesuaian visual tinggi; polisi boleh ditala semula secara setempat pada nod pinggir lantai kilang
Format data dan telemetri	Format binari proprietari terkunci vendor dan daftar PLC	Telemetri awan proprietari yang disulitkan	Set data Apache Parquet yang diseragamkan, aliran video MP4 dan Hugging Face Hub
Generalisasi tugas	Sifar; setiap geometri komponen baharu memerlukan pemrograman semula manual sepenuhnya	Dakwaan tugas yang luas, tetapi penyesuaian yang perlahan kepada perkakas industri khusus	Penyesuaian pantas melalui 50 hingga 100 demonstrasi manusia yang dirakam melalui rig leader-follower
Jejak perkakasan inferens	PLC khusus atau IPC industri yang menjalankan Linux masa nyata	Kluster GPU mudah alih atas kapal yang besar dengan penggunaan 300 W hingga 800 W	Inferens pada silikon pinggir pengguna (satu RTX 4070 atau Apple Silicon siri M)

Sumber: analisis data pembentangan, penanda aras teknikal dan demonstrasi langsung yang dibentangkan di Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, London, 13 Oktober 2026).

Maksudnya mengikut sektor #

Kebangkitan AI fizikal yang terbuka dan dipacu komuniti sedang mengubah kiraan komersial merentas pelbagai industri.

Perusahaan kecil dan sederhana (PKS) #

PKS mewakili lebih 80% kapasiti pembuatan Eropah dan UK, namun dari segi sejarah kurang daripada 5% mampu membiayai automasi. Memasang sel automasi industri memerlukan pengambilan penyepadu sistem pakar, pembayaran yuran lesen perisian enam angka, dan penghentian lantai kilang sepanjang pemasangan.

Dengan ekosistem LeRobot, PKS yang mengeluarkan braket kejituan tempahan khas boleh mencetak 3D stesen kerja SO-100 dwilengan dengan kos di bawah £500, melengkapkannya dengan kamera web USB berharga £40, dan merakam lima puluh demonstrasi seorang pekerja memuatkan bahagian ke dalam mesin kisar CNC menggunakan lengan leader cetakan 3D. Dalam tempoh tiga jam penalaan pada komputer meja biasa, polisi sumber terbuka itu mampu menjalankan tugas mengendalikan mesin secara autonomi dan mencapai pulangan modal dalam beberapa minggu.

Penyelidikan akademik dan pendidikan tinggi #

Sehingga baru-baru ini, jabatan robotik universiti berdepan jurang yang besar: makmal yang dibiayai dengan baik mampu membeli platform Boston Dynamics atau Willow Garage, manakala institusi yang lebih kecil terhad kepada simulasi tulen dalam Gazebo atau MuJoCo.

AI fizikal sumber terbuka telah menjadikan eksperimen fizikal mampu milik. Pelajar siswazah di seluruh dunia boleh membina platform perkakasan yang serupa, berkongsi checkpoint polisi terlatih di Hugging Face Hub, dan menghasilkan semula keputusan penanda aras dengan ketelitian statistik. Kooijmans menekankan bahawa repositori LeRobot berkembang daripada segelintir penyumbang Eropah kepada ribuan ahli robotik aktif di seluruh dunia dalam beberapa bulan, membuktikan bahawa akses terbuka mempercepat pengesahan empirikal dengan lebih pantas berbanding silo korporat proprietari.

Pemasangan kontrak campuran tinggi, isi padu rendah #

Dalam pemasangan elektronik dan peranti perubatan, varian produk berubah setiap minggu. Talian automasi berkod keras tidak berdaya maju dari segi ekonomi kerana kos penggantian perkakas dan pemrograman semula melebihi margin keuntungan sesuatu kelompok pengeluaran.

Polisi penglihatan-bahasa-tindakan menyelesaikan kekangan ini melalui pengkondisian tugas dengan bahasa semula jadi. Pengendali boleh menukar prosedur pemasangan dengan hanya menaip arahan baharu atau mendemonstrasikan dua lelaran subpemasangan baharu. Mekanisme cross-attention model memanfaatkan perwakilan visual pralatih untuk mengenal pasti komponen baharu tanpa melatih semula keseluruhan rangkaian neural.

Memecahkan tembok data: teleoperasi, Parquet dan model dunia #

Pandangan utama yang disampaikan oleh Kooijmans kepada pemimpin perusahaan ialah kesesakan utama AI fizikal bukan lagi kapasiti model; sebaliknya kepelbagaian demonstrasi.

Dalam pemprosesan bahasa semula jadi, model dilatih menggunakan trilion token yang dirangkak dari web terbuka. Dalam robotik fizikal, tiada “internet manipulasi fizikal” yang sedia wujud. Setiap demonstrasi pencengkam mengambil objek, memutar injap atau melipat kain mesti dirakam di dunia fizikal melalui teleoperasi yang dilengkapi penderia.

Hugging Face LeRobot menangani cabaran ini melalui tiga inisiatif teras:

Rig teleoperasi leader-follower: Dengan lengan “leader” pasif cetakan 3D berkos rendah yang dilengkapi pengekod magnet dan mencerminkan robot “follower” yang aktif secara mekanikal, pengendali manusia boleh mengendalikan robot dari jauh dengan mudah dalam masa nyata sambil merakam sudut sendi, halaju dan video berbilang sudut secara serentak.
Skema set data Parquet yang diseragamkan: Demonstrasi dibungkus ke dalam jadual Apache Parquet berprestasi tinggi yang diseragamkan dan dipetakan kepada suapan video MP4 berketul. Ini membolehkan alat kejuruteraan data piawai (Polars, DuckDB, PyArrow) memproses terabait telemetri robotik pada kelajuan tinggi.
Sim-to-real dan pengayaan model dunia: Untuk berkembang melangkaui had teleoperasi fizikal, model dunia sumber terbuka mempelajari dinamik fizikal generatif. Setelah dilatih pada set data teras demonstrasi dunia sebenar, model dunia mensimulasikan berjuta-juta senario kontrafaktual (mengubah pencahayaan, menambah kekusutan, mengubah geseran meja) terus dalam ruang pendam, lalu menguji ketahanan polisi sebelum digunakan di dunia sebenar.

Kesimpulan #

Pembentangan Hugging Face LeRobot di Economist Enterprise Physical AI and Robotics Summit memperjelas titik perubahan yang menentukan dalam industri robotik. Era ketika robotik menuntut belanjawan modal berjuta-juta paun, bahasa pengaturcaraan proprietari dan sangkar kilang yang tegar sedang memberi laluan kepada ekosistem yang terbuka, kolaboratif dan dipacu data.

Dengan menyatukan model asas penglihatan-bahasa multimodal, Action Chunking berasaskan flow matching dan perkakasan terbuka yang mampu milik, AI fizikal sumber terbuka mengubah robot daripada automaton yang rapuh kepada sistem yang adaptif dan sentiasa belajar. Bagi pemimpin kejuruteraan dan eksekutif teknologi, mandat strategiknya jelas: kelebihan daya saing tidak lagi datang daripada pemilikan perkakasan mekanikal proprietari, tetapi daripada penguasaan saluran data, aliran kerja pengumpulan demonstrasi dan model asas yang mengajar mesin menguasai dunia fizikal.

Soalan Lazim #

Apakah Hugging Face LeRobot? Hugging Face LeRobot ialah rangka kerja sumber terbuka dan inisiatif komuniti yang direka untuk menjadikan robotik dan AI fizikal mampu milik. Ia menyediakan pelaksanaan berasaskan PyTorch bagi algoritma pembelajaran tiruan terkini, format set data yang diseragamkan, model asas penglihatan-bahasa-tindakan (VLA) pralatih, dan reka bentuk perkakasan sumber terbuka (seperti SO-100) untuk merendahkan halangan kewangan dan teknikal dalam robotik.

Apakah beza pembelajaran tiruan dengan pengaturcaraan robot klasik? Pengaturcaraan robot klasik memerlukan jurutera menulis kod prosedural eksplisit yang menetapkan koordinat Cartesan yang tepat, penyelesaian kinematik songsang dan peralihan keadaan menggunakan teach pendant atau skrip ROS. Sebaliknya, pembelajaran tiruan melatih rangkaian neural untuk meniru tingkah laku manusia dengan memerhati demonstrasi rakaman manusia yang melaksanakan tugas melalui teleoperasi, lalu mempelajari polisi yang memetakan pemerhatian deria terus kepada arahan motor.

Apakah peranan Gemma VLM dalam saluran AI fizikal? Dalam seni bina AI fizikal moden, Model Penglihatan-Bahasa Gemma (VLM) berfungsi sebagai enjin penaakulan multimodal. Ia menerima token visual daripada kamera (dikodkan melalui SigLIP), vektor keadaan sendi fizikal robot dan arahan bahasa semula jadi. Menggunakan cross-attention, ia menggabungkan niat semantik dengan geometri visual untuk menghasilkan perwakilan tugas peringkat tinggi yang membimbing Action Expert.

Apakah flow matching dalam ramalan tindakan robotik? Flow matching ialah teknik pemodelan generatif yang berkaitan dengan continuous normalizing flows dan model resapan. Dalam robotik, ia mengubah hingar Gauss yang ringkas kepada trajektori tindakan multimodal yang kompleks dengan menyelesaikan persamaan pembezaan biasa merentas beberapa langkah. Ini membolehkan robot mengendalikan situasi yang samar apabila terdapat beberapa pergerakan yang sah, sekali gus mengelakkan artifak purata yang menyebabkan model regresi yang lebih ringkas gagal.

Bolehkah lengan robot cetakan 3D di bawah AS$200 melaksanakan tugas bertaraf pengeluaran? Walaupun lengan di bawah AS$200 seperti SO-100 tidak mempunyai kapasiti muatan, ketegaran struktur dan kebolehulangan submilimeter yang diperlukan untuk pemesinan aeroangkasa berat, lengan ini mampu sepenuhnya melaksanakan manipulasi yang halus, pemeriksaan, pengendalian cecair di makmal dan penyediaan kit bahagian kecil. Lebih penting lagi, polisi yang dilatih dan disahkan pada platform berkos rendah ini boleh dipindahkan terus kepada lengan robot kolaboratif bertaraf industri dengan penalaan yang minimum.

Rujukan #

Economist Enterprise, (2026). Physical AI & Robotics Summit: kelebihan operasi melalui sistem autonomi ⧉. Economist Enterprise.
Kooijmans, P., (2026). Terbuka untuk perniagaan: bagaimana sumber terbuka mempercepat AI fizikal ⧉. Hugging Face.
Hugging Face, (2026). LeRobot: pembelajaran mesin terkini untuk robotik dunia sebenar dalam PyTorch ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B., dan Song, S., (2024). Diffusion Policy: pembelajaran polisi visuomotor melalui resapan tindakan ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S., dan Finn, C., (2023). Mempelajari manipulasi dwitangan yang halus dengan perkakasan berkos rendah ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A., dan Beyer, L., (2023). Sigmoid loss untuk pralatihan bahasa-imej (SigLIP) ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M., dan Le, M., (2023). Flow Matching untuk pemodelan generatif ⧉. Meta AI Research.

Semakan terakhir 2026-10-13.

Semakan terakhir 2026-10-27.

Terbit semula artikel ini

AI fizikal sumber terbuka: LeRobot menjadikan robotik mampu milik — Sebastien Rousseau

Di sidang kemuncak Economist Enterprise di London, Pepijn Kooijmans dari Hugging Face menunjukkan cara LeRobot dan perkakasan AS$200 meruntuhkan halangan AI fizikal.

Artikel ini dilesenkan di bawah Creative Commons Attribution 4.0 International. Penerbitan semula memerlukan atribusi kepada URL kanonik.

AI fizikal sumber terbuka: LeRobot menjadikan robotik mampu milik — Sebastien Rousseau

Di sidang kemuncak Economist Enterprise di London, Pepijn Kooijmans dari Hugging Face menunjukkan cara LeRobot dan perkakasan AS$200 meruntuhkan halangan AI fizikal.

Originally published at https://sebastienrousseau.com/ms/2026-10-13-fizikal-sumber-terbuka-lerobot-menjadikan-robotik/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER