开源物理AI：Hugging Face LeRobot与端到端模仿学习让机器人走向大众

TL;DR. 在Economist Enterprise Physical AI and Robotics Summit上，Hugging Face LeRobot负责人Pepijn Kooijmans展示了打破物理AI门槛的开源架构：端到端模仿学习、Gemma视觉语言模型、流匹配动作专家和200美元的硬件，正把机器人技术从僵硬的任务编程转向经验学习。

核心要点

从运动规划到模仿学习：架构的转变. 在题为 Open for business: how open source is accelerating physical AI（向商业敞开：开源如何加速物理AI）的案例研究演讲中，Pepijn Kooijmans回顾了自己从传统机电一体化工程转向深度学习的历程。几十年来，机器人专家接受的训练是把操作任务分解成彼此独立的子问题：物体分割、6D位姿估计、坐标系变换、带避障的轨迹规划，以及关节PID电机控制。.
多模态VLA架构内部. 在演讲中，Kooijmans详细展示了驱动现代开源物理AI策略的端到端神经网络流水线，说明高维的感知输入如何转化为流畅的物理操作。.
技术对比：传统自动化与开源物理AI. 来源：对2026年10月13日在伦敦Convene 200 Aldersgate举行的Economist Enterprise Physical AI and Robotics Summit上展示的演讲数据、技术基准和现场演示的分析。.
对各行业意味着什么. 开放、由社区驱动的物理AI正在多个行业改变商业算盘。.

六十年来，工业机器人一直在一种毫不留情的范式下运作：人类工程师使用专有语言、示教器和僵硬的运动学求解器，把机器的每一毫米动作都明确编程出来。只要工件偏移五毫米或照明条件发生变化，机器人就会报错停机。2026年10月13日，在伦敦举行的Economist Enterprise Physical AI and Robotics Summit上，Hugging Face的LeRobot负责人Pepijn Kooijmans提出了另一种正在瓦解这一传统的架构：“未来的机器人不会一项任务一项任务地被编程。它们会学习。”

从运动规划到模仿学习：架构的转变 #

在题为 Open for business: how open source is accelerating physical AI（向商业敞开：开源如何加速物理AI）的案例研究演讲中，Pepijn Kooijmans回顾了自己从传统机电一体化工程转向深度学习的历程。几十年来，机器人专家接受的训练是把操作任务分解成彼此独立的子问题：物体分割、6D位姿估计、坐标系变换、带避障的轨迹规划，以及关节PID电机控制。

这种解析式分解在严格固定的汽车工厂里运转良好，因为那里的零件装在微米级精度的钢制夹具中送达。但在已有设施的工业环境、实验室、仓库和家庭中，它就会失效。在现实世界里，物体会变形，表面会以难以预测的方式反光，人类同事也会成为移动的障碍物。

Hugging Face提出的基本论点是：身体上的灵巧无法用手写规则进行解析式的规定，必须通过经验获得。正如大语言模型（LLM）通过在海量文本语料上预测下一个词元学会了语法、推理和世界知识，物理AI智能体也通过学习以视觉和感知观测为条件的动作分布来掌握运动技能。

从编程每一个动作，到通过人类示范来教，这一转变标志着机器人技术进入了基础模型时代。

多模态VLA架构内部 #

在演讲中，Kooijmans详细展示了驱动现代开源物理AI策略的端到端神经网络流水线，说明高维的感知输入如何转化为流畅的物理操作。

Hugging Face LeRobot的端到端视觉-语言-动作架构，展示SigLIP视觉词元、关节状态向量、语言提示、Gemma VLM交叉注意力，以及输出30个协调关节动作的流匹配动作专家 .class="img-fluid clearfix"

该架构以一条紧密集成的多模态感知运动流水线运行：

1. 多路感知输入 #

机器人通过多个同步的摄像头画面观察工作空间（通常是一个提供空间上下文的顶置基座摄像头，加上安装在左右操作臂手腕上的摄像头，用于跟踪精细的接触）。

这些原始像素流被送入一个冻结的**SigLIP（4亿参数）**视觉Transformer。视觉Transformer把视频帧转换成高密度的视觉词元。在策略微调期间，无需对整个视觉主干进行计算代价高昂的端到端梯度更新。

2. 运动学状态向量与任务条件 #

与此同时，系统对实体机器人的内部本体感知状态进行采样：这是一个16维向量，记录两条操作臂的7个关节角度、速度和夹爪张开宽度。

用户通过任意的自然语言提示给出操作目标（例如 把这件T恤叠好、拿起M8六角螺栓放进支架里，或 把电缆穿过线管），提示会被分词为标准的文本嵌入。

3. 多模态交叉注意力核心（Gemma VLM） #

视觉词元、本体感知状态向量和文本词元被注入一个Gemma视觉语言模型（20亿参数）。Gemma VLM并不只是生成文本词元，而是在三种模态之间执行深度交叉注意力，把语言指令的高层语义意图、视觉场景的空间几何以及机械臂瞬时的机械构型融合在一起。

这个融合后的基础模型输出的是VLM任务特征的稠密表示，它刻画了相对于物体在哪里而言需要做什么。

4. 动作专家：流匹配与扩散策略 #

VLM特征被直接送入一个基于流匹配原理运行的动作专家（3亿参数）。早期的模仿学习方法依赖朴素的均方误差（MSE）回归，这会让模型输出相互矛盾的示范的平均值，导致机器人犹豫不决、停在原地。流匹配则不同，它对人类动作轨迹的多峰分布进行建模。

动作专家利用在十个数值积分步上求解的整流流微分方程，把高斯噪声去噪成一条由30个未来动作组成、以50Hz控制频率执行的连贯轨迹。

5. 带时间集成的动作分块 #

通过一次预测30个连续时间步（这种方法称为动作分块），策略消除了高频抖动和延迟瓶颈。机器人在执行第一段动作的同时，在后台计算后续计划，从而实现平滑、柔顺且连续、接近生物水平的运动。

技术对比：传统自动化与开源物理AI #

指标 / 架构维度	传统工业机器人（ROS / PLC / 示教器）	专有封闭的物理AI（厂商人形机器人技术栈）	开源物理AI（Hugging Face LeRobot技术栈）
开发范式	过程式；显式的关节轨迹和有限状态机	端到端深度学习；黑盒的封闭权重；锁定的云API	端到端VLA；开放权重、开放数据集和开放的PyTorch训练循环
硬件准入门槛	每台工业机械臂3万到10万英镑以上（KUKA、FANUC、ABB）	每台专有人形机器人15万到35万英镑以上	采用可3D打印的开源硬件设计（SO-100、Koch），不到200美元至1,500美元
环境鲁棒性	零件坐标只要偏移几毫米就会立即失败	适应性强，但行为无法检查，也无法在本地修补	视觉适应性强；策略可在车间边缘节点上本地微调
数据格式与遥测	厂商锁定的专有二进制格式和PLC寄存器	专有的加密云遥测	标准化的Apache Parquet数据集、MP4视频流和Hugging Face Hub
任务泛化	为零；每种新零件几何形状都需要完全手动重新编程	宣称覆盖广泛任务，但适配定制工业工装很慢	借助主从式装置录制的50到100次人类示范快速适配
推理硬件规模	运行实时Linux的专用PLC或工业IPC	功耗300W到800W的大型机载移动GPU集群	在消费级边缘芯片上运行推理（单张RTX 4070或Apple Silicon M系列）

来源：对2026年10月13日在伦敦Convene 200 Aldersgate举行的Economist Enterprise Physical AI and Robotics Summit上展示的演讲数据、技术基准和现场演示的分析。

对各行业意味着什么 #

开放、由社区驱动的物理AI正在多个行业改变商业算盘。

中小企业（SME） #

中小企业占欧洲和英国制造产能的80%以上，但过去只有不到5%能负担得起自动化。部署一个工业自动化单元，需要聘请专业的系统集成商，支付六位数的软件许可费，还要在安装期间让工厂车间停工。

有了LeRobot生态，一家生产定制精密支架的中小企业可以用不到500英镑3D打印一个双臂SO-100工作站，配上40英镑的USB网络摄像头，再用3D打印的主臂录制50次工人把零件装入CNC铣床的示范。在一台普通台式电脑上微调三个小时后，这个开源策略就能自主完成机床上下料任务，几周内即可收回投资。

学术研究与高等教育 #

直到不久前，大学机器人系还面临着关乎存亡的鸿沟：资金充裕的实验室买得起Boston Dynamics或Willow Garage的平台，而规模较小的机构只能在Gazebo或MuJoCo中运行纯仿真。

开源物理AI让物理实验走向大众。全球的研究生都可以搭建完全相同的硬件平台，在Hugging Face Hub上分享训练好的策略检查点，并以统计上的严谨性复现基准结果。Kooijmans强调，LeRobot仓库在几个月内就从少数欧洲贡献者发展到全球数千名活跃的机器人专家，证明开放获取比专有的企业孤岛更快推动实证验证。

多品种小批量的代工装配 #

在电子产品和医疗器械装配中，产品型号每周都在变化。硬编码的自动化产线在经济上不可行，因为换线和重新编程的成本超过了这批产品的利润率。

视觉-语言-动作策略通过自然语言任务条件化解决了这一限制。操作员只需输入一条新指令，或把新的子装配件示范两遍，就能改变装配流程。模型的交叉注意力机制利用预训练的视觉表示来识别新零件，无需重新训练整个神经网络。

突破数据之墙：遥操作、Parquet与世界模型 #

Kooijmans向企业领导者传达的核心洞见是：物理AI的主要瓶颈已不再是模型容量，而是示范的多样性。

在自然语言处理中，模型以从开放网络抓取的数万亿词元进行训练。物理机器人领域却没有一个现成的“物理操作互联网”。夹爪抓取物体、转动阀门或折叠布料的每一次示范，都必须通过配备传感器的遥操作在物理世界中录制。

Hugging Face LeRobot通过三项核心举措应对这一挑战：

主从式遥操作装置：制作配有磁编码器、低成本3D打印的被动“主”臂，让主动的“从”机器人在机械上镜像跟随，人类操作员就能轻松地实时遥操作机器人，同时记录关节角度、速度和多视角视频。
标准化的Parquet数据集模式：示范被打包成标准化的高性能Apache Parquet表，并与分块的MP4视频流相对应。这样，标准的数据工程工具（Polars、DuckDB、PyArrow）就能高速处理TB级的机器人遥测数据。
从仿真到现实与世界模型增强：为了突破物理遥操作的规模限制，开源世界模型学习生成式的物理动力学。在由真实世界示范组成的核心数据集上训练之后，世界模型会直接在潜在空间中模拟数百万个反事实场景（改变光照、加入杂物、改变桌面摩擦），在真实部署前对策略进行压力测试。

结论 #

Hugging Face LeRobot在Economist Enterprise Physical AI and Robotics Summit上的展示，清晰地呈现了机器人产业的一个决定性拐点。机器人技术需要数百万英镑资本预算、专有编程语言和刚性工厂护栏的时代，正在让位于一个开放、协作、以数据驱动的生态系统。

通过把多模态视觉语言基础模型与流匹配动作分块以及价格亲民的开源硬件结合起来，开源物理AI正在把机器人从脆弱的自动机变成能够适应和学习的系统。对工程领导者和技术高管而言，战略要求十分明确：竞争优势将不再来自拥有专有的机械硬件，而来自掌握教会机器驾驭物理世界的数据流水线、示范采集流程和基础模型。

常见问题 #

什么是Hugging Face LeRobot？ Hugging Face LeRobot是一个开源框架和社区项目，旨在让机器人技术和物理AI走向大众。它提供最先进模仿学习算法的PyTorch实现、标准化的数据集格式、预训练的视觉-语言-动作（VLA）基础模型，以及开源硬件设计（如SO-100），以降低机器人技术在资金和技术上的门槛。

模仿学习与传统机器人编程有何不同？ 传统机器人编程要求工程师使用示教器或ROS脚本编写显式的过程式代码，指定精确的笛卡尔坐标、逆运动学解和状态转换。相比之下，模仿学习让神经网络观察人类通过遥操作完成任务的录制示范，从而学会模仿人类行为，学到一个把感知观测直接映射为电机指令的策略。

Gemma VLM在物理AI流水线中扮演什么角色？ 在现代物理AI架构中，Gemma视觉语言模型（VLM）充当多模态推理引擎。它接收来自摄像头的视觉词元（经SigLIP编码）、机器人的物理关节状态向量和自然语言指令。借助交叉注意力，它把语义意图与视觉几何融合，生成引导动作专家的高层任务表示。

机器人动作预测中的流匹配是什么？ 流匹配是一种与连续归一化流和扩散模型相关的生成建模技术。在机器人领域，它通过多步求解常微分方程，把简单的高斯噪声变换成复杂的多峰动作轨迹。这让机器人能够处理存在多种有效动作的模糊情形，避免让较简单的回归模型失效的平均化伪影。

不到200美元的3D打印机械臂能完成生产级任务吗？ 像SO-100这样不到200美元的机械臂，缺乏航空航天重型加工所需的负载能力、结构刚度和亚毫米级重复精度，但完全能够完成精细操作、检测、实验室液体处理和小零件配套等任务。更重要的是，在这些低成本平台上训练和验证过的策略，只需少量微调就能直接迁移到工业级协作机械臂上。

参考文献 #

Economist Enterprise, (2026). Physical AI & Robotics Summit：借助自主系统获得运营优势 ⧉. Economist Enterprise.
Kooijmans, P., (2026). Open for business：开源如何加速物理AI ⧉. Hugging Face.
Hugging Face, (2026). LeRobot：基于PyTorch、面向真实世界机器人的前沿机器学习 ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B., & Song, S., (2024). Diffusion Policy：通过动作扩散学习视觉运动策略 ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S., & Finn, C., (2023). 用低成本硬件学习精细的双臂操作 ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A., & Beyer, L., (2023). 用于语言图像预训练的Sigmoid损失（SigLIP） ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M., & Le, M., (2023). 用于生成建模的流匹配 ⧉. Meta AI Research.

最近审阅 2026-10-13.

最近审阅 2026-10-27.

重新发布本文

开源物理AI：Hugging Face LeRobot与端到端模仿学习让机器人走向大众 — Sebastien Rousseau

在Economist Enterprise Physical AI and Robotics Summit上，Hugging Face LeRobot负责人Pepijn Kooijmans展示了打破物理AI门槛的开源架构：端到端模仿学习、Gemma视觉语言模型、流匹配动作专家和200美元的硬件，正把机器人技术从僵硬的任务编程转向经验学习。

本文采用以下许可协议 Creative Commons Attribution 4.0 International. 重新发布需注明原始 URL 出处。

开源物理AI：Hugging Face LeRobot与端到端模仿学习让机器人走向大众 — Sebastien Rousseau

在Economist Enterprise Physical AI and Robotics Summit上，Hugging Face LeRobot负责人Pepijn Kooijmans展示了打破物理AI门槛的开源架构：端到端模仿学习、Gemma视觉语言模型、流匹配动作专家和200美元的硬件，正把机器人技术从僵硬的任务编程转向经验学习。

Originally published at https://sebastienrousseau.com/zh-hans/2026-10-13-kaiyuan-wuli-ai-hugging-face-lerobot/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER