開源實體AI：Hugging Face LeRobot與端到端模仿學習讓機器人普及化

TL;DR. 在Economist Enterprise Physical AI and Robotics Summit上，Hugging Face LeRobot負責人Pepijn Kooijmans展示打破實體AI門檻的開源架構：端到端模仿學習、Gemma視覺語言模型、流匹配動作專家與200美元硬體，正把機器人技術從僵硬的任務程式設計轉向經驗學習。

核心要點

從運動規劃到模仿學習：架構的轉變. 在題為 Open for business: how open source is accelerating physical AI（向商業敞開：開源如何加速實體AI）的個案研究演講中，Pepijn Kooijmans回顧了自己從傳統機電整合工程轉向深度學習的歷程。數十年來，機器人專家所受的訓練是把操作任務拆解成彼此獨立的子問題：物體分割、6D姿態估計、座標系轉換、含避障的軌跡規劃，以及關節PID馬達控制。.
多模態VLA架構內部. 在演講中，Kooijmans詳細展示了驅動現代開源實體AI策略的端到端神經網路管線，說明高維度的感知輸入如何轉換成流暢的物理操作。.
技術比較：傳統自動化與開源實體AI. 資料來源：對2026年10月13日於倫敦Convene 200 Aldersgate舉行的Economist Enterprise Physical AI and Robotics Summit上所展示的演講資料、技術基準與現場示範的分析。.
對各產業的意義. 開放、由社群驅動的實體AI正在多個產業改變商業盤算。.

六十年來，工業機器人一直在一種毫不留情的典範下運作：人類工程師使用專有語言、教導器與僵硬的運動學求解器，把機器的每一公釐動作都明確地寫成程式。只要工件偏移五公釐或照明條件改變，機器人就會報錯停機。2026年10月13日，在倫敦舉行的Economist Enterprise Physical AI and Robotics Summit上，Hugging Face的LeRobot負責人Pepijn Kooijmans提出了另一種正在瓦解這套傳統的架構：「未來的機器人不會一項任務一項任務地被寫程式。它們會學習。」

從運動規劃到模仿學習：架構的轉變 #

在題為 Open for business: how open source is accelerating physical AI（向商業敞開：開源如何加速實體AI）的個案研究演講中，Pepijn Kooijmans回顧了自己從傳統機電整合工程轉向深度學習的歷程。數十年來，機器人專家所受的訓練是把操作任務拆解成彼此獨立的子問題：物體分割、6D姿態估計、座標系轉換、含避障的軌跡規劃，以及關節PID馬達控制。

這種解析式的拆解在嚴格固定的汽車工廠裡運作良好，因為那裡的零件裝在微米級精度的鋼製治具中送達。但在既有設施的工業環境、實驗室、倉庫與家庭中，它就會失效。在現實世界裡，物體會變形，表面會以難以預測的方式反光，人類同事也會成為移動的障礙物。

Hugging Face提出的基本論點是：身體上的靈巧無法用手寫規則做解析式的規定，必須透過經驗習得。正如大型語言模型（LLM）藉由在海量文字語料上預測下一個詞元，學會了文法、推理與世界知識，實體AI代理也藉由學習以視覺與感知觀測為條件的動作分布來掌握運動技能。

從為每一個動作寫程式，到透過人類示範來教導，這項轉變標誌著機器人技術進入了基礎模型時代。

多模態VLA架構內部 #

在演講中，Kooijmans詳細展示了驅動現代開源實體AI策略的端到端神經網路管線，說明高維度的感知輸入如何轉換成流暢的物理操作。

Hugging Face LeRobot的端到端視覺-語言-動作架構，呈現SigLIP視覺詞元、關節狀態向量、語言提示、Gemma VLM交叉注意力，以及輸出30個協調關節動作的流匹配動作專家 .class="img-fluid clearfix"

這套架構以一條緊密整合的多模態感知運動管線運作：

1. 多路感知輸入 #

機器人透過多個同步的攝影機畫面觀察工作空間（通常是一台提供空間脈絡的頂置基座攝影機，加上安裝在左右操作臂手腕上的攝影機，用來追蹤細微的接觸）。

這些原始像素串流被送進一個凍結的**SigLIP（4億參數）**視覺Transformer。視覺Transformer把影片影格轉換成高密度的視覺詞元。在策略微調期間，不需要對整個視覺骨幹進行運算成本高昂的端到端梯度更新。

2. 運動學狀態向量與任務條件 #

同時，系統會對實體機器人的內部本體感覺狀態進行取樣：這是一個16維向量，記錄兩條操作臂的7個關節角度、速度與夾爪張開寬度。

使用者以任意的自然語言提示給出作業目標（例如 把這件T恤摺好、拿起M8六角螺栓放進支架裡，或 把電纜穿過線管），提示會被斷詞為標準的文字嵌入。

3. 多模態交叉注意力核心（Gemma VLM） #

視覺詞元、本體感覺狀態向量與文字詞元被注入一個Gemma視覺語言模型（20億參數）。Gemma VLM並不只是產生文字詞元，而是在三種模態之間執行深度交叉注意力，把語言指令的高層語意意圖、視覺場景的空間幾何，以及機械手臂當下的機械構型融合在一起。

這個融合後的基礎模型輸出的是VLM任務特徵的稠密表示，它描述了相對於物體在哪裡而言需要做什麼。

4. 動作專家：流匹配與擴散策略 #

VLM特徵被直接送進一個依流匹配原理運作的動作專家（3億參數）。早期的模仿學習方法仰賴單純的均方誤差（MSE）迴歸，這會讓模型輸出彼此矛盾之示範的平均值，導致機器人猶豫不決、停在原地。流匹配則不同，它為人類動作軌跡的多峰分布建模。

動作專家利用在十個數值積分步驟上求解的整流流微分方程，把高斯雜訊去噪成一條由30個未來動作組成、以50Hz控制頻率執行的連貫軌跡。

5. 搭配時間集成的動作分塊 #

藉由一次預測30個連續時間步（這種方法稱為動作分塊），策略消除了高頻抖動與延遲瓶頸。機器人在執行第一段動作的同時，於背景計算後續計畫，進而實現平順、順應且連續、接近生物水準的動作。

技術比較：傳統自動化與開源實體AI #

指標 / 架構面向	傳統工業機器人（ROS / PLC / 教導器）	專有封閉的實體AI（廠商人形機器人技術堆疊）	開源實體AI（Hugging Face LeRobot技術堆疊）
開發典範	程序式；明確的關節軌跡與有限狀態機	端到端深度學習；黑箱的封閉權重；鎖定的雲端API	端到端VLA；開放權重、開放資料集與開放的PyTorch訓練迴圈
硬體進入門檻	每台工業機械手臂3萬到10萬英鎊以上（KUKA、FANUC、ABB）	每台專有人形機器人15萬到35萬英鎊以上	採用可3D列印的開源硬體設計（SO-100、Koch），不到200美元至1,500美元
環境強健性	零件座標只要偏移幾公釐就會立即失敗	適應性高，但行為無法檢查，也無法在本地修補	視覺適應性高；策略可在工廠現場的邊緣節點上本地微調
資料格式與遙測	廠商鎖定的專有二進位格式與PLC暫存器	專有的加密雲端遙測	標準化的Apache Parquet資料集、MP4影片串流與Hugging Face Hub
任務泛化	為零；每種新零件幾何形狀都需要完全以人工重新寫程式	宣稱涵蓋廣泛任務，但適應客製化工業治具很慢	藉由主從式裝置錄製的50到100次人類示範快速適應
推論硬體規模	執行即時Linux的專用PLC或工業電腦	功耗300W到800W的大型機載行動GPU叢集	在消費級邊緣晶片上執行推論（單張RTX 4070或Apple Silicon M系列）

資料來源：對2026年10月13日於倫敦Convene 200 Aldersgate舉行的Economist Enterprise Physical AI and Robotics Summit上所展示的演講資料、技術基準與現場示範的分析。

對各產業的意義 #

開放、由社群驅動的實體AI正在多個產業改變商業盤算。

中小企業（SME） #

中小企業占歐洲與英國製造產能的80%以上，但過去只有不到5%負擔得起自動化。導入一個工業自動化單元，必須聘請專業的系統整合商、支付六位數的軟體授權費，還要在安裝期間讓工廠現場停工。

有了LeRobot生態系，一家生產客製化精密支架的中小企業可以用不到500英鎊3D列印一座雙臂SO-100工作站，裝上40英鎊的USB網路攝影機，再用3D列印的主臂錄製50次作業員把零件放進CNC銑床的示範。在一般桌上型電腦上微調三個小時後，這個開源策略就能自主完成機台上下料作業，幾週內即可回收投資。

學術研究與高等教育 #

直到不久前，大學機器人學系還面臨攸關存續的落差：資金充裕的實驗室買得起Boston Dynamics或Willow Garage的平台，規模較小的機構則只能在Gazebo或MuJoCo中執行純模擬。

開源實體AI讓物理實驗普及化。全球的研究生都能打造完全相同的硬體平台，在Hugging Face Hub上分享訓練好的策略檢查點，並以統計上的嚴謹度重現基準結果。Kooijmans強調，LeRobot儲存庫在幾個月內就從少數歐洲貢獻者成長為全球數千名活躍的機器人專家，證明開放取用比專有的企業孤島更快推動實證驗證。

多樣少量的代工組裝 #

在電子產品與醫療器材組裝中，產品型號每週都在變化。寫死的自動化產線在經濟上不可行，因為換線與重新寫程式的成本超過了這批生產的利潤率。

視覺-語言-動作策略透過自然語言任務條件化解決了這項限制。作業員只要輸入一條新指令，或把新的子組件示範兩次，就能改變組裝流程。模型的交叉注意力機制運用預先訓練的視覺表示來辨識新零件，不必重新訓練整個神經網路。

突破資料之牆：遙控操作、Parquet與世界模型 #

Kooijmans向企業領導者傳達的核心洞見是：實體AI的主要瓶頸已不再是模型容量，而是示範的多樣性。

在自然語言處理中，模型以從開放網路爬取的數兆個詞元進行訓練。實體機器人領域卻沒有一個現成的「物理操作網際網路」。夾爪抓取物體、轉動閥門或摺疊布料的每一次示範，都必須透過配備感測器的遙控操作在物理世界中錄製。

Hugging Face LeRobot透過三項核心措施因應這項挑戰：

主從式遙控操作裝置：製作配有磁性編碼器、低成本3D列印的被動式「主」臂，讓主動式的「從」機器人在機械上鏡像跟隨，人類作業員就能輕鬆地即時遙控機器人，同時記錄關節角度、速度與多視角影片。
標準化的Parquet資料集結構描述：示範被包裝成標準化的高效能Apache Parquet資料表，並對應到分塊的MP4影片串流。如此一來，標準的資料工程工具（Polars、DuckDB、PyArrow）就能高速處理TB級的機器人遙測資料。
從模擬到真實與世界模型增強：為了突破實體遙控操作的規模限制，開源世界模型學習生成式的物理動力學。在由真實世界示範組成的核心資料集上訓練之後，世界模型會直接在潛在空間中模擬數百萬個反事實情境（改變照明、加入雜物、改變桌面摩擦），在真實部署前對策略進行壓力測試。

結論 #

Hugging Face LeRobot在Economist Enterprise Physical AI and Robotics Summit上的發表，清楚呈現了機器人產業的一個決定性轉折點。機器人技術需要數百萬英鎊資本預算、專有程式語言與剛性工廠護欄的時代，正讓位給一個開放、協作、以資料驅動的生態系。

藉由把多模態視覺語言基礎模型與流匹配動作分塊以及價格親民的開源硬體結合，開源實體AI正把機器人從脆弱的自動機轉變為能夠適應與學習的系統。對工程領導者與科技高階主管而言，策略要求十分明確：競爭優勢將不再來自擁有專有的機械硬體，而是來自掌握教導機器駕馭物理世界的資料管線、示範蒐集流程與基礎模型。

常見問題 #

什麼是Hugging Face LeRobot？ Hugging Face LeRobot是一個開源框架與社群計畫，旨在讓機器人技術與實體AI普及化。它提供最先進模仿學習演算法的PyTorch實作、標準化的資料集格式、預先訓練的視覺-語言-動作（VLA）基礎模型，以及開源硬體設計（例如SO-100），以降低機器人技術在資金與技術上的門檻。

模仿學習與傳統機器人程式設計有何不同？ 傳統機器人程式設計要求工程師使用教導器或ROS指令碼撰寫明確的程序式程式碼，指定精確的笛卡兒座標、逆運動學解與狀態轉換。相較之下，模仿學習讓神經網路觀察人類透過遙控操作完成任務的錄製示範，從而學會模仿人類行為，學到一個把感知觀測直接對應到馬達指令的策略。

Gemma VLM在實體AI管線中扮演什麼角色？ 在現代實體AI架構中，Gemma視覺語言模型（VLM）擔任多模態推理引擎。它接收來自攝影機的視覺詞元（經SigLIP編碼）、機器人的物理關節狀態向量與自然語言指令。藉由交叉注意力，它把語意意圖與視覺幾何融合，產生引導動作專家的高層任務表示。

機器人動作預測中的流匹配是什麼？ 流匹配是一種與連續正規化流及擴散模型相關的生成建模技術。在機器人領域，它透過多步求解常微分方程，把單純的高斯雜訊轉換成複雜的多峰動作軌跡。這讓機器人能處理存在多種有效動作的模糊情境，避開讓較簡單的迴歸模型失效的平均化假影。

不到200美元的3D列印機械手臂能完成量產級任務嗎？ 像SO-100這樣不到200美元的機械手臂，缺乏航太重型加工所需的負載能力、結構剛性與次公釐級重複精度，但完全能夠勝任精細操作、檢測、實驗室液體處理與小零件備料等任務。更重要的是，在這些低成本平台上訓練與驗證過的策略，只需少量微調就能直接移轉到工業級協作機械手臂上。

參考文獻 #

Economist Enterprise, (2026). Physical AI & Robotics Summit：藉由自主系統取得營運優勢 ⧉. Economist Enterprise.
Kooijmans, P., (2026). Open for business：開源如何加速實體AI ⧉. Hugging Face.
Hugging Face, (2026). LeRobot：以PyTorch打造、面向真實世界機器人的前沿機器學習 ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B., & Song, S., (2024). Diffusion Policy：透過動作擴散學習視覺運動策略 ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S., & Finn, C., (2023). 以低成本硬體學習精細的雙臂操作 ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A., & Beyer, L., (2023). 用於語言影像預訓練的Sigmoid損失（SigLIP） ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M., & Le, M., (2023). 用於生成建模的流匹配 ⧉. Meta AI Research.

最近審閱 2026-10-13.

最近審閱 2026-10-27.

重新發佈本文

開源實體AI：Hugging Face LeRobot與端到端模仿學習讓機器人普及化 — Sebastien Rousseau

在Economist Enterprise Physical AI and Robotics Summit上，Hugging Face LeRobot負責人Pepijn Kooijmans展示打破實體AI門檻的開源架構：端到端模仿學習、Gemma視覺語言模型、流匹配動作專家與200美元硬體，正把機器人技術從僵硬的任務程式設計轉向經驗學習。

本文採用以下授權條款 Creative Commons Attribution 4.0 International. 重新發佈需註明原始 URL 出處。

開源實體AI：Hugging Face LeRobot與端到端模仿學習讓機器人普及化 — Sebastien Rousseau

在Economist Enterprise Physical AI and Robotics Summit上，Hugging Face LeRobot負責人Pepijn Kooijmans展示打破實體AI門檻的開源架構：端到端模仿學習、Gemma視覺語言模型、流匹配動作專家與200美元硬體，正把機器人技術從僵硬的任務程式設計轉向經驗學習。

Originally published at https://sebastienrousseau.com/zh-hant/2026-10-13-kaiyuan-shiti-ai-hugging-face-lerobot-tw/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER