AI fisik sumber terbuka: LeRobot membuat robotika terjangkau semua

TL;DR. Di KTT Economist Enterprise di London, Pepijn Kooijmans dari Hugging Face menunjukkan cara LeRobot terbuka dan perangkat keras US$200 meruntuhkan hambatan AI fisik.

Kesimpulan utama

Dari perencanaan gerak ke pembelajaran imitasi: pergeseran arsitektur. Dalam presentasi studi kasusnya, Open for business: how open source is accelerating physical AI (Terbuka untuk bisnis: bagaimana sumber terbuka mempercepat AI fisik), Pepijn Kooijmans menelusuri perjalanannya dari…
Di dalam arsitektur VLA multimodal. Dalam paparannya, Kooijmans menunjukkan secara rinci alur jaringan saraf ujung ke ujung yang menggerakkan kebijakan AI fisik sumber terbuka modern, dan menjelaskan bagaimana masukan persepsi berdimensi tinggi…
Perbandingan teknis: otomatisasi klasik versus AI fisik sumber terbuka. Sumber: analisis data presentasi, tolok ukur teknis, dan demonstrasi langsung yang disajikan di Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, London, 13 Oktober 2026).
Apa artinya bagi tiap sektor. Kebangkitan AI fisik yang terbuka dan digerakkan komunitas sedang mengubah kalkulasi komersial di berbagai industri.

Selama enam dekade, robotika industri beroperasi di bawah paradigma yang tak kenal ampun: seorang insinyur memprogram secara eksplisit setiap milimeter gerakan mesin menggunakan bahasa proprietary, teach pendant, dan pemecah kinematika yang kaku. Jika benda kerja bergeser lima milimeter atau kondisi pencahayaan berubah, robot mengalami galat. Di Economist Enterprise Physical AI and Robotics Summit di London pada 13 Oktober 2026, Pepijn Kooijmans, pemimpin LeRobot di Hugging Face, memaparkan arsitektur alternatif yang membongkar warisan ini: “Robot masa depan tidak akan diprogram tugas demi tugas. Mereka akan belajar.”

Dari perencanaan gerak ke pembelajaran imitasi: pergeseran arsitektur #

Dalam presentasi studi kasusnya, Open for business: how open source is accelerating physical AI (Terbuka untuk bisnis: bagaimana sumber terbuka mempercepat AI fisik), Pepijn Kooijmans menelusuri perjalanannya dari rekayasa mekatronika klasik ke pembelajaran mendalam. Selama puluhan tahun, ahli robotika dilatih untuk memecah manipulasi menjadi submasalah yang terpisah dan terisolasi: segmentasi objek, estimasi pose 6D, transformasi kerangka koordinat, perencanaan lintasan dengan penghindaran tabrakan, dan kontrol motor PID pada sendi.

Dekomposisi analitis ini bekerja baik di pabrik otomotif dengan perlengkapan kaku, tempat suku cadang tiba di jig baja berpresisi mikron, tetapi runtuh di lingkungan industri yang sudah berjalan, laboratorium, gudang, dan rumah tangga. Di dunia nyata, objek berubah bentuk, permukaan memantulkan cahaya secara tak terduga, dan rekan kerja manusia menghadirkan rintangan yang bergerak.

Tesis mendasar yang disampaikan Hugging Face adalah bahwa ketangkasan fisik tidak dapat dirumuskan secara analitis lewat aturan yang ditulis tangan; ketangkasan itu harus diperoleh dari pengalaman. Sebagaimana model bahasa besar (LLM) mempelajari tata bahasa, penalaran, dan pengetahuan dunia dengan memprediksi token berikutnya di korpus teks raksasa, agen AI fisik memperoleh keterampilan motorik dengan mempelajari distribusi aksi yang dikondisikan pada pengamatan visual dan sensorik.

Peralihan dari memprogram setiap gerakan ke mengajarkan melalui demonstrasi manusia menandai masuknya robotika ke era model fondasi.

Di dalam arsitektur VLA multimodal #

Dalam paparannya, Kooijmans menunjukkan secara rinci alur jaringan saraf ujung ke ujung yang menggerakkan kebijakan AI fisik sumber terbuka modern, dan menjelaskan bagaimana masukan persepsi berdimensi tinggi diterjemahkan menjadi manipulasi fisik yang luwes.

Arsitektur visi-bahasa-aksi ujung ke ujung Hugging Face LeRobot yang menampilkan token visual SigLIP, vektor keadaan sendi, prompt bahasa, cross-attention Gemma VLM, dan Action Expert berbasis flow matching yang menghasilkan 30 aksi sendi terkoordinasi .class="img-fluid clearfix"

Arsitektur ini bekerja sebagai alur sensorimotor multimodal yang terintegrasi erat:

1. Penerimaan persepsi multialiran #

Robot mengamati ruang kerjanya melalui beberapa aliran kamera yang tersinkronisasi (biasanya kamera dasar di atas kepala yang memberi konteks spasial, ditambah kamera di pergelangan manipulator kiri dan kanan untuk pelacakan kontak yang halus).

Aliran piksel mentah ini diteruskan ke transformer visi SigLIP (400M parameter) yang dibekukan, yang mengubah bingkai video menjadi token visual berkerapatan tinggi tanpa memerlukan pembaruan gradien ujung ke ujung yang sangat mahal secara komputasi melalui tulang punggung visi saat penyetelan kebijakan.

2. Vektor keadaan kinematik dan pengondisian tugas #

Bersamaan dengan itu, sistem mencuplik keadaan proprioseptif internal robot fisik: vektor 16 dimensi yang mencakup 7 sudut sendi, kecepatan, dan lebar bukaan gripper kedua manipulator.

Pengguna memberikan tujuan operasional lewat prompt bahasa alami bebas (misalnya "fold the t-shirt", "pick the M8 hex bolt and place it in the bracket", atau "route the cable through the conduit"), yang ditokenisasi menjadi embedding teks standar.

3. Inti cross-attention multimodal (Gemma VLM) #

Token visual, vektor keadaan proprioseptif, dan token teks dimasukkan ke dalam Model Visi-Bahasa Gemma (2B parameter). Alih-alih sekadar menghasilkan token teks, Gemma VLM melakukan cross-attention mendalam di ketiga modalitas, memadukan maksud semantik tingkat tinggi dari instruksi bahasa dengan geometri spasial adegan visual dan konfigurasi mekanis lengan pada saat itu.

Keluaran model fondasi gabungan ini adalah representasi padat fitur tugas VLM yang merangkum apa yang perlu dilakukan dalam kaitannya dengan di mana objek berada.

4. Action Expert: flow matching dan kebijakan difusi #

Fitur VLM dialirkan langsung ke Action Expert (300M parameter) yang bekerja berdasarkan prinsip flow matching. Berbeda dengan pendekatan pembelajaran imitasi awal yang bertumpu pada regresi galat kuadrat rata-rata (MSE) yang naif (yang membuat model mengeluarkan rata-rata dari demonstrasi yang saling bertentangan sehingga robot ragu-ragu dan membeku), flow matching memodelkan distribusi multimodal lintasan aksi manusia.

Dengan persamaan diferensial rectified flow yang diselesaikan dalam sepuluh langkah integrasi numerik, Action Expert mengubah derau Gaussian menjadi lintasan koheren berisi 30 aksi mendatang pada frekuensi kontrol 50 Hz.

5. Action Chunking dengan temporal ensembling #

Dengan memprediksi 30 langkah waktu berturut-turut (pendekatan yang dikenal sebagai Action Chunking), kebijakan menghilangkan sentakan berfrekuensi tinggi dan hambatan latensi. Robot menjalankan potongan aksi pertama sambil menghitung rencana berikutnya di latar belakang, sehingga menghasilkan gerakan yang mulus, lentur, dan kontinu menyerupai gerak biologis.

Perbandingan teknis: otomatisasi klasik versus AI fisik sumber terbuka #

Metrik / dimensi arsitektur	Robotika industri klasik (ROS / PLC / teach pendant)	AI fisik tertutup proprietary (tumpukan humanoid vendor)	AI fisik sumber terbuka (tumpukan Hugging Face LeRobot)
Paradigma pengembangan	Prosedural; lintasan sendi eksplisit dan mesin keadaan hingga	Pembelajaran mendalam ujung ke ujung; bobot tertutup kotak hitam; API cloud terkunci	VLA ujung ke ujung; bobot terbuka, dataset terbuka, dan loop pelatihan PyTorch terbuka
Hambatan masuk perangkat keras	£30.000 hingga £100.000+ per lengan industri (KUKA, FANUC, ABB)	£150.000 hingga £350.000+ per unit humanoid proprietary	Di bawah US$200 hingga US$1.500 dengan desain perangkat keras terbuka cetak 3D (SO-100, Koch)
Ketahanan lingkungan	Langsung gagal jika koordinat komponen bergeser beberapa milimeter	Adaptabilitas tinggi, tetapi perilaku tidak dapat diperiksa atau ditambal secara lokal	Adaptabilitas visual tinggi; kebijakan dapat disetel ulang secara lokal di node tepi lantai pabrik
Format data dan telemetri	Format biner proprietary terkunci vendor dan register PLC	Telemetri cloud terenkripsi proprietary	Dataset Apache Parquet terstandar, aliran video MP4, dan Hugging Face Hub
Generalisasi tugas	Nol; setiap geometri komponen baru memerlukan pemrograman ulang manual penuh	Klaim tugas yang luas, tetapi adaptasi lambat terhadap perkakas industri khusus	Adaptasi cepat lewat 50 hingga 100 demonstrasi manusia yang direkam dengan rig leader-follower
Jejak perangkat keras inferensi	PLC khusus atau IPC industri yang menjalankan Linux waktu nyata	Klaster GPU mobile on-board besar yang menyedot 300 W hingga 800 W	Inferensi pada silikon tepi kelas konsumen (satu RTX 4070 atau Apple Silicon seri M)

Sumber: analisis data presentasi, tolok ukur teknis, dan demonstrasi langsung yang disajikan di Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, London, 13 Oktober 2026).

Apa artinya bagi tiap sektor #

Kebangkitan AI fisik yang terbuka dan digerakkan komunitas sedang mengubah kalkulasi komersial di berbagai industri.

Usaha kecil dan menengah (UKM) #

UKM mewakili lebih dari 80% kapasitas manufaktur Eropa dan Inggris, tetapi secara historis kurang dari 5% di antaranya mampu membiayai otomatisasi. Memasang sel otomatisasi industri berarti merekrut integrator sistem spesialis, membayar biaya lisensi perangkat lunak enam digit, dan menghentikan lantai pabrik selama pemasangan.

Dengan ekosistem LeRobot, UKM yang memproduksi braket presisi pesanan khusus dapat mencetak 3D stasiun kerja SO-100 berlengan ganda dengan biaya di bawah £500, melengkapinya dengan webcam USB seharga £40, dan merekam lima puluh demonstrasi seorang pekerja memasukkan komponen ke mesin frais CNC menggunakan lengan leader hasil cetak 3D. Dalam tiga jam penyetelan pada komputer desktop standar, kebijakan sumber terbuka itu mampu menjalankan tugas pelayanan mesin secara mandiri dan balik modal dalam hitungan minggu.

Riset akademik dan pendidikan tinggi #

Hingga baru-baru ini, departemen robotika universitas menghadapi kesenjangan yang tajam: laboratorium yang berdana besar mampu membeli platform Boston Dynamics atau Willow Garage, sementara institusi yang lebih kecil terbatas pada simulasi murni di Gazebo atau MuJoCo.

AI fisik sumber terbuka telah membuka eksperimen fisik bagi semua. Mahasiswa pascasarjana di seluruh dunia dapat membangun platform perangkat keras yang identik, berbagi checkpoint kebijakan terlatih di Hugging Face Hub, dan mereproduksi hasil tolok ukur dengan ketelitian statistik. Kooijmans menyoroti bahwa repositori LeRobot tumbuh dari segelintir kontributor Eropa menjadi ribuan ahli robotika aktif di seluruh dunia dalam hitungan bulan, membuktikan bahwa akses terbuka mempercepat validasi empiris lebih cepat daripada silo korporat proprietary.

Perakitan kontrak beragam produk bervolume rendah #

Dalam perakitan elektronik dan perangkat medis, varian produk berganti setiap minggu. Lini otomatisasi berkode keras tidak layak secara ekonomi karena biaya penggantian perkakas dan pemrograman ulang melampaui margin laba satu kali produksi.

Kebijakan visi-bahasa-aksi mengatasi kendala ini melalui pengondisian tugas dengan bahasa alami. Seorang operator dapat mengubah prosedur perakitan cukup dengan mengetik perintah baru atau mendemonstrasikan dua iterasi subrakitan baru. Mekanisme cross-attention model memanfaatkan representasi visual yang telah dilatih sebelumnya untuk mengenali komponen baru tanpa melatih ulang seluruh jaringan saraf.

Mendobrak tembok data: teleoperasi, Parquet, dan model dunia #

Wawasan utama yang disampaikan Kooijmans kepada para pemimpin perusahaan adalah bahwa hambatan utama AI fisik bukan lagi kapasitas model, melainkan keragaman demonstrasi.

Dalam pemrosesan bahasa alami, model dilatih dengan triliunan token yang dirayapi dari web terbuka. Dalam robotika fisik, tidak ada “internet manipulasi fisik” yang sudah tersedia. Setiap demonstrasi gripper yang mengambil objek, memutar katup, atau melipat kain harus direkam di dunia fisik melalui teleoperasi berinstrumen sensor.

Hugging Face LeRobot menjawab tantangan ini melalui tiga inisiatif inti:

Rig teleoperasi leader-follower: Dengan lengan “leader” pasif cetak 3D berbiaya rendah yang dilengkapi enkoder magnetik dan secara mekanis mencerminkan robot “follower” yang aktif, operator manusia dapat dengan mudah mengendalikan robot dari jarak jauh secara waktu nyata sambil merekam sudut sendi, kecepatan, dan video multisudut secara bersamaan.
Skema dataset Parquet yang terstandar: Demonstrasi dikemas dalam tabel Apache Parquet berkinerja tinggi yang terstandar dan dipetakan ke aliran video MP4 yang terpotong. Hal ini memungkinkan perangkat rekayasa data standar (Polars, DuckDB, PyArrow) memproses terabita telemetri robot dengan kecepatan tinggi.
Sim-to-real dan augmentasi model dunia: Untuk melampaui batas teleoperasi fisik, model dunia sumber terbuka mempelajari dinamika fisik generatif. Setelah dilatih pada dataset inti berisi demonstrasi dunia nyata, model dunia menyimulasikan jutaan skenario kontrafaktual (mengubah pencahayaan, menambahkan kekacauan, mengubah gesekan meja) langsung di ruang laten, sehingga kebijakan diuji ketahanannya sebelum diterapkan di dunia nyata.

Kesimpulan #

Presentasi Hugging Face LeRobot di Economist Enterprise Physical AI and Robotics Summit menegaskan titik balik yang menentukan dalam industri robotika. Era ketika robotika menuntut anggaran modal jutaan pound, bahasa pemrograman proprietary, dan kurungan pabrik yang kaku sedang digantikan oleh ekosistem yang terbuka, kolaboratif, dan berbasis data.

Dengan memadukan model fondasi visi-bahasa multimodal, Action Chunking berbasis flow matching, dan perangkat keras terbuka yang terjangkau, AI fisik sumber terbuka mengubah robot dari automaton yang rapuh menjadi sistem yang adaptif dan terus belajar. Bagi para pemimpin rekayasa dan eksekutif teknologi, mandat strategisnya jelas: keunggulan kompetitif tidak lagi berasal dari kepemilikan perangkat keras mekanis proprietary, melainkan dari penguasaan alur data, alur kerja pengumpulan demonstrasi, dan model fondasi yang mengajari mesin menguasai dunia fisik.

Pertanyaan yang Sering Diajukan #

Apa itu Hugging Face LeRobot? Hugging Face LeRobot adalah kerangka kerja sumber terbuka sekaligus inisiatif komunitas yang dirancang untuk membuat robotika dan AI fisik terjangkau semua orang. LeRobot menyediakan implementasi berbasis PyTorch dari algoritme pembelajaran imitasi termutakhir, format dataset terstandar, model fondasi visi-bahasa-aksi (VLA) yang telah dilatih, serta desain perangkat keras sumber terbuka (seperti SO-100) untuk menurunkan hambatan finansial dan teknis dalam robotika.

Apa beda pembelajaran imitasi dengan pemrograman robot klasik? Pemrograman robot klasik mengharuskan insinyur menulis kode prosedural eksplisit yang menetapkan koordinat Kartesius yang tepat, solusi kinematika invers, dan transisi keadaan menggunakan teach pendant atau skrip ROS. Sebaliknya, pembelajaran imitasi melatih jaringan saraf untuk meniru perilaku manusia dengan mengamati demonstrasi rekaman manusia yang mengerjakan tugas melalui teleoperasi, sehingga mempelajari kebijakan yang memetakan pengamatan sensorik langsung ke perintah motorik.

Apa peran Gemma VLM dalam alur AI fisik? Dalam arsitektur AI fisik modern, Model Visi-Bahasa Gemma (VLM) berfungsi sebagai mesin penalaran multimodal. Model ini menerima token visual dari kamera (dikodekan lewat SigLIP), vektor keadaan sendi fisik robot, dan instruksi bahasa alami. Melalui cross-attention, model ini memadukan maksud semantik dengan geometri visual untuk menghasilkan representasi tugas tingkat tinggi yang memandu Action Expert.

Apa itu flow matching dalam prediksi aksi robot? Flow matching adalah teknik pemodelan generatif yang berkaitan dengan continuous normalizing flows dan model difusi. Dalam robotika, teknik ini mengubah derau Gaussian sederhana menjadi lintasan aksi multimodal yang kompleks dengan menyelesaikan persamaan diferensial biasa dalam beberapa langkah. Hal ini memungkinkan robot menangani situasi ambigu yang memiliki beberapa gerakan sah, sekaligus menghindari artefak perataan yang membuat model regresi yang lebih sederhana gagal.

Bisakah lengan robot cetak 3D di bawah US$200 menjalankan tugas setingkat produksi? Meskipun lengan di bawah US$200 seperti SO-100 tidak memiliki kapasitas muatan, kekakuan struktural, dan pengulangan submilimeter yang dibutuhkan untuk pemesinan dirgantara berat, lengan ini sepenuhnya mampu menjalankan manipulasi yang halus, inspeksi, penanganan cairan di laboratorium, dan penyusunan kit komponen kecil. Yang lebih penting, kebijakan yang dilatih dan divalidasi pada platform berbiaya rendah ini dapat dipindahkan langsung ke lengan robot kolaboratif kelas industri dengan penyetelan minimal.

Referensi #

Economist Enterprise, (2026). Physical AI & Robotics Summit: keunggulan operasional melalui sistem otonom ⧉. Economist Enterprise.
Kooijmans, P., (2026). Terbuka untuk bisnis: bagaimana sumber terbuka mempercepat AI fisik ⧉. Hugging Face.
Hugging Face, (2026). LeRobot: pembelajaran mesin termutakhir untuk robotika dunia nyata di PyTorch ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B., dan Song, S., (2024). Diffusion Policy: pembelajaran kebijakan visuomotorik melalui difusi aksi ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S., dan Finn, C., (2023). Mempelajari manipulasi dua tangan yang halus dengan perangkat keras berbiaya rendah ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A., dan Beyer, L., (2023). Sigmoid loss untuk pra-pelatihan bahasa-gambar (SigLIP) ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M., dan Le, M., (2023). Flow Matching untuk pemodelan generatif ⧉. Meta AI Research.

Terakhir ditinjau 2026-10-13.

Terakhir ditinjau 2026-10-27.

Terbitkan ulang artikel ini

AI fisik sumber terbuka: LeRobot membuat robotika terjangkau semua — Sebastien Rousseau

Di KTT Economist Enterprise di London, Pepijn Kooijmans dari Hugging Face menunjukkan cara LeRobot terbuka dan perangkat keras US$200 meruntuhkan hambatan AI fisik.

Artikel ini berlisensi Creative Commons Attribution 4.0 International. Penerbitan ulang memerlukan atribusi ke URL kanonis.

AI fisik sumber terbuka: LeRobot membuat robotika terjangkau semua — Sebastien Rousseau

Di KTT Economist Enterprise di London, Pepijn Kooijmans dari Hugging Face menunjukkan cara LeRobot terbuka dan perangkat keras US$200 meruntuhkan hambatan AI fisik.

Originally published at https://sebastienrousseau.com/id/2026-10-13-fisik-sumber-terbuka-lerobot-membuat-robotika/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER