オープンソースのフィジカルAI：Hugging Face LeRobotと模倣学習がロボットを民主化

TL;DR. ロンドンのEconomist Enterprise Physical AI and Robotics Summitで、Hugging Face LeRobotのPepijn Kooijmansが、模倣学習、Gemma視覚言語モデル、フローマッチング、200ドルのハードウェアでロボティクスを変えるオープンソースのアーキテクチャを示した。

主な要点

動作計画から模倣学習へ：アーキテクチャの転換. ケーススタディ講演 Open for business: how open source is accelerating physical AI（ビジネスに開かれて：オープンソースはいかにフィジカルAIを加速しているか）で、Pepijn…
マルチモーダルVLAアーキテクチャの内部. 講演の中でKooijmansは、現代のオープンソース・フィジカルAIのポリシーを動かすエンドツーエンドのニューラルネットワーク・パイプラインを詳しく示し、高次元の知覚入力がどのように滑らかな物理的マニピュレーションへ変換されるのかを説明した。.
技術比較：従来型の自動化とオープンソースのフィジカルAI. 出典：2026年10月13日にロンドンのConvene 200 Aldersgateで開かれたEconomist Enterprise Physical AI and Robotics Summitで示された講演データ、技術ベンチマーク、ライブデモンストレーションの分析。.
業界別に見た意味. オープンでコミュニティ主導のフィジカルAIの台頭は、複数の産業で商業的な計算を変えつつある。.

60年にわたり、産業用ロボティクスは容赦のないパラダイムの下で動いてきた。人間のエンジニアが、独自言語、ティーチングペンダント、硬直した運動学ソルバーを使い、機械の動きを1ミリ単位まで明示的にプログラムする。ワークが5ミリずれたり照明の条件が変わったりすれば、ロボットはエラーで止まる。2026年10月13日にロンドンで開かれたEconomist Enterprise Physical AI and Robotics Summitで、Hugging FaceでLeRobotを率いるPepijn Kooijmansは、この旧来のやり方を解体しつつある別のアーキテクチャを示した。「未来のロボットは、タスクごとにプログラムされるのではない。学ぶのだ」。

動作計画から模倣学習へ：アーキテクチャの転換 #

ケーススタディ講演 Open for business: how open source is accelerating physical AI（ビジネスに開かれて：オープンソースはいかにフィジカルAIを加速しているか）で、Pepijn Kooijmansは、古典的なメカトロニクス工学から深層学習へと進んだ自身の歩みをたどった。何十年もの間、ロボット工学者は、マニピュレーションを個別の独立した部分問題に分解するよう訓練されてきた。物体のセグメンテーション、6Dの姿勢推定、座標系の変換、衝突回避を伴う軌道計画、そして関節のPIDモーター制御である。

この解析的な分解は、部品がミクロン精度の鋼製治具に収まって届く、厳密に固定された自動車工場ではうまく機能する。しかし既存設備の産業現場、研究室、倉庫、家庭では破綻する。現実の世界では、物体は変形し、表面は予測できない形で光を反射し、人間の同僚が動的な障害物になる。

Hugging Faceが示した基本的な主張は、身体的な器用さは手書きのルールで解析的に規定できるものではなく、経験を通じて獲得しなければならない、というものだ。大規模言語モデル（LLM）が膨大なテキストコーパスで次のトークンを予測することで文法、推論、世界知識を学んだように、フィジカルAIのエージェントは、視覚と感覚の観測を条件とする行動の分布を学ぶことでモーター技能を獲得する。

あらゆる動きをプログラムすることから、人間のデモンストレーションによって教えることへの移行は、ロボティクスが基盤モデルの時代に入ったことを示している。

マルチモーダルVLAアーキテクチャの内部 #

講演の中でKooijmansは、現代のオープンソース・フィジカルAIのポリシーを動かすエンドツーエンドのニューラルネットワーク・パイプラインを詳しく示し、高次元の知覚入力がどのように滑らかな物理的マニピュレーションへ変換されるのかを説明した。

Hugging Face LeRobotのエンドツーエンドの視覚・言語・行動アーキテクチャ。SigLIPの視覚トークン、関節状態ベクトル、言語プロンプト、GemmaのVLMによるクロスアテンション、そして30個の協調した関節動作を出力するフローマッチング型アクションエキスパートを示す .class="img-fluid clearfix"

このアーキテクチャは、緊密に統合されたマルチモーダルの感覚運動パイプラインとして動作する。

1. 複数ストリームによる知覚の取り込み #

ロボットは、同期した複数のカメラ映像を通じて作業空間を観察する（通常は、空間的な文脈を与える頭上のベースカメラに加え、左右のマニピュレーターの手首に取り付けたカメラで、細かな接触を追跡する）。

これらの生のピクセルストリームは、凍結された**SigLIP（4億パラメーター）**のビジョントランスフォーマーに渡される。ビジョントランスフォーマーは動画フレームを高密度の視覚トークンに変換する。ポリシーのファインチューニング中に、視覚バックボーン全体へ計算負荷の大きいエンドツーエンドの勾配更新を行う必要はない。

2. 運動学的な状態ベクトルとタスクの条件付け #

同時に、システムは実機ロボットの内部の固有受容状態をサンプリングする。これは、二本のマニピュレーターの7つの関節角、速度、グリッパーの開き幅を捉えた16次元のベクトルである。

ユーザーは作業目標を任意の自然言語プロンプトで与える（たとえば Tシャツをたたんで、M8の六角ボルトを取ってブラケットに置いて、ケーブルを電線管に通して）。プロンプトは標準的なテキスト埋め込みにトークン化される。

3. マルチモーダルなクロスアテンションの中核（Gemma VLM） #

視覚トークン、固有受容の状態ベクトル、テキストトークンは、**Gemma視覚言語モデル（20億パラメーター）**に注入される。Gemma VLMは単にテキストトークンを生成するのではなく、3つのモダリティすべてにわたって深いクロスアテンションを行い、言語指示の高次の意味的な意図、視覚シーンの空間的な幾何、そしてアームの瞬間的な機械構成を融合する。

この融合された基盤モデルの出力は、物体がどこにあるかとの関係で何をすべきかを表す、VLMのタスク特徴の密な表現である。

4. アクションエキスパート：フローマッチングと拡散ポリシー #

VLMの特徴は、フローマッチングの原理で動く**アクションエキスパート（3億パラメーター）**に直接送られる。初期の模倣学習は単純な平均二乗誤差（MSE）回帰に頼っていた。この方法では、モデルが矛盾するデモンストレーションの平均を出力してしまい、ロボットが迷って止まる。これに対してフローマッチングは、人間の行動軌道のマルチモーダルな分布をモデル化する。

10回の数値積分ステップで解く整流フローの微分方程式を使い、アクションエキスパートはガウスノイズから、50Hzの制御周波数で30個の将来の行動からなる一貫した軌道を復元する。

5. 時間的アンサンブルを伴うアクションチャンキング #

連続する30のタイムステップを予測することで（アクションチャンキングと呼ばれる手法）、ポリシーは高周波のぎくしゃくした動きと遅延のボトルネックをなくす。ロボットは最初の一まとまりの行動を実行しながら、次の計画をバックグラウンドで計算し、なめらかで柔軟、かつ連続した、生物に近い動きを実現する。

技術比較：従来型の自動化とオープンソースのフィジカルAI #

指標 / アーキテクチャの観点	従来型の産業用ロボティクス（ROS / PLC / ティーチングペンダント）	独自のクローズドなフィジカルAI（ベンダーのヒューマノイドスタック）	オープンソースのフィジカルAI（Hugging Face LeRobotスタック）
開発パラダイム	手続き型。明示的な関節軌道と有限状態機械	エンドツーエンドの深層学習。ブラックボックスのクローズドな重み。ロックされたクラウドAPI	エンドツーエンドのVLA。オープンな重み、オープンなデータセット、オープンなPyTorch学習ループ
ハードウェアの参入障壁	産業用アーム1台あたり3万ポンドから10万ポンド以上（KUKA、FANUC、ABB）	独自のヒューマノイド1台あたり15万ポンドから35万ポンド以上	3Dプリント可能なオープンハードウェア設計（SO-100、Koch）で200ドル未満から1,500ドル
環境への頑健性	部品の座標が数ミリずれただけで即座に失敗する	適応性は高いが、挙動を検査したり現場で修正したりできない	視覚的な適応性が高い。ポリシーを工場現場のエッジノードで現地ファインチューニングできる
データ形式とテレメトリー	ベンダーにロックされた独自のバイナリ形式とPLCレジスター	独自の暗号化されたクラウドテレメトリー	標準化されたApache Parquetデータセット、MP4動画ストリーム、Hugging Face Hub
タスクの汎化	ゼロ。部品の形状が新しくなるたびに、完全な手動の再プログラミングが必要	幅広いタスクをうたうが、特注の産業用ツールへの適応は遅い	リーダー・フォロワー型の装置で記録した50回から100回の人間のデモンストレーションで素早く適応
推論ハードウェアの規模	リアルタイムLinuxを動かす専用PLCまたは産業用IPC	300Wから800Wを消費する、機体搭載の大規模なモバイルGPUクラスター	一般向けのエッジ半導体で推論が動く（RTX 4070を1枚、またはApple SiliconのMシリーズ）

出典：2026年10月13日にロンドンのConvene 200 Aldersgateで開かれたEconomist Enterprise Physical AI and Robotics Summitで示された講演データ、技術ベンチマーク、ライブデモンストレーションの分析。

業界別に見た意味 #

オープンでコミュニティ主導のフィジカルAIの台頭は、複数の産業で商業的な計算を変えつつある。

中小企業（SME） #

中小企業は欧州と英国の製造能力の80%以上を占めるが、これまで自動化に手が届いたのは5%未満だった。産業用の自動化セルを導入するには、専門のシステムインテグレーターを雇い、6桁のソフトウェアライセンス料を払い、設置の間は工場の現場を止めなければならなかった。

LeRobotのエコシステムがあれば、特注の精密ブラケットを製造する中小企業は、双腕のSO-100ワークステーションを500ポンド未満で3Dプリントし、40ポンドのUSBウェブカメラを取り付け、3Dプリントしたリーダーアームを使って、作業員がCNCフライス盤に部品を投入するデモンストレーションを50回記録できる。標準的なデスクトップコンピューターで3時間ファインチューニングすれば、オープンソースのポリシーは機械への部品供給作業を自律的にこなせるようになり、数週間で投資を回収できる。

学術研究と高等教育 #

最近まで、大学のロボティクス学科は存続にかかわる格差に直面していた。資金の豊富な研究室はBoston DynamicsやWillow Garageのプラットフォームを購入できたが、小規模な機関はGazeboやMuJoCoで純粋なシミュレーションを回すことに限られていた。

オープンソースのフィジカルAIは、物理的な実験を民主化した。世界中の大学院生が同一のハードウェアプラットフォームを組み立て、学習済みのポリシーのチェックポイントをHugging Face Hubで共有し、ベンチマーク結果を統計的な厳密さをもって再現できる。Kooijmansは、LeRobotのリポジトリが数か月のうちに、ひと握りの欧州のコントリビューターから世界中の数千人の活発なロボット工学者へと広がったことを強調し、オープンなアクセスが独自の企業内サイロよりも速く実証的な検証を進めることを示した。

多品種少量の受託組立 #

電子機器や医療機器の組立では、製品のバリエーションが毎週変わる。ハードコードされた自動化ラインは経済的に成り立たない。段取り替えと再プログラミングの費用が、その生産ロットの利益率を上回ってしまうからだ。

視覚・言語・行動ポリシーは、自然言語によるタスクの条件付けでこの制約を解消する。オペレーターは、新しい指示を入力するか、新しいサブアセンブリを2回実演するだけで、組立手順を変更できる。モデルのクロスアテンションの仕組みは、事前学習済みの視覚表現を活用して新しい部品を識別するため、ニューラルネットワーク全体を再学習する必要はない。

データの壁を破る：遠隔操作、Parquet、ワールドモデル #

Kooijmansが企業のリーダーたちに伝えた中心的な洞察は、フィジカルAIの主なボトルネックはもはやモデルの容量ではなく、デモンストレーションの多様性だということだ。

自然言語処理では、モデルはオープンなウェブからクロールした何兆ものトークンで学習した。物理的なロボティクスには、あらかじめ存在する「物理的マニピュレーションのインターネット」がない。グリッパーが物体をつかむ、バルブを回す、布をたたむといったデモンストレーションは、どれもセンサーを備えた遠隔操作によって物理世界で記録しなければならない。

Hugging Face LeRobotは、3つの中核的な取り組みでこの課題に取り組んでいる。

リーダー・フォロワー型の遠隔操作装置: 磁気エンコーダーを備えた低コストの3Dプリント製の受動的な「リーダー」アームを作り、能動的な「フォロワー」ロボットを機械的に同期させる。これにより、人間のオペレーターは楽にロボットをリアルタイムで遠隔操作でき、関節角、速度、多視点の動画を同時に記録できる。
標準化されたParquetデータセットのスキーマ: デモンストレーションは、チャンク化されたMP4動画フィードに対応づけられた、標準化された高性能のApache Parquetテーブルにまとめられる。これにより、標準的なデータエンジニアリングのツール（Polars、DuckDB、PyArrow）で、テラバイト規模のロボットのテレメトリーを高速に処理できる。
シミュレーションから実機へ、そしてワールドモデルによる拡張: 物理的な遠隔操作の限界を超えて規模を広げるため、オープンソースのワールドモデルは生成的な物理ダイナミクスを学習する。実世界のデモンストレーションからなる中核のデータセットで学習すると、ワールドモデルは潜在空間の中で何百万もの反実仮想のシナリオ（照明を変える、乱雑さを加える、テーブルの摩擦を変える）をシミュレーションし、実環境に展開する前にポリシーを厳しく試験する。

結論 #

Economist Enterprise Physical AI and Robotics SummitでのHugging Face LeRobotの発表は、ロボティクス業界の決定的な転換点を浮き彫りにした。ロボティクスに数百万ポンド規模の設備予算、独自のプログラミング言語、硬直した工場のケージが必要だった時代は、オープンで協働的、データ駆動のエコシステムに道を譲りつつある。

マルチモーダルな視覚言語基盤モデルを、フローマッチングによるアクションチャンキングと手頃なオープンハードウェアと組み合わせることで、オープンソースのフィジカルAIはロボットを壊れやすい自動機械から、適応し学習するシステムへと変えている。エンジニアリングのリーダーや技術系の経営者にとって、戦略上の課題ははっきりしている。競争優位はもはや独自の機械ハードウェアを所有することからではなく、機械に物理世界を習得させるデータパイプライン、デモンストレーション収集のワークフロー、基盤モデルを使いこなすことから生まれる。

よくある質問 #

Hugging Face LeRobotとは何か？ Hugging Face LeRobotは、ロボティクスとフィジカルAIの民主化を目指すオープンソースのフレームワークであり、コミュニティの取り組みである。最先端の模倣学習アルゴリズムのPyTorch実装、標準化されたデータセット形式、学習済みの視覚・言語・行動（VLA）基盤モデル、オープンソースのハードウェア設計（SO-100など）を提供し、ロボティクスの資金面と技術面の障壁を下げる。

模倣学習は従来のロボットプログラミングとどう違うのか？ 従来のロボットプログラミングでは、エンジニアがティーチングペンダントやROSスクリプトを使い、正確なデカルト座標、逆運動学の解、状態遷移を指定する明示的な手続き型コードを書く必要がある。これに対して模倣学習は、人間が遠隔操作でタスクを行う記録済みのデモンストレーションを観察させてニューラルネットワークに人間の振る舞いをまねるよう学習させ、感覚の観測をモーター指令へ直接対応づけるポリシーを学ぶ。

フィジカルAIのパイプラインでGemma VLMはどんな役割を果たすのか？ 現代のフィジカルAIのアーキテクチャでは、Gemma視覚言語モデル（VLM）がマルチモーダルな推論エンジンの役割を担う。カメラからの視覚トークン（SigLIPで符号化）、ロボットの物理的な関節状態ベクトル、自然言語の指示を取り込む。クロスアテンションを使って意味的な意図と視覚的な幾何を融合し、アクションエキスパートを導く高次のタスク表現を生成する。

ロボットの行動予測におけるフローマッチングとは何か？ フローマッチングは、連続正規化フローや拡散モデルに関連する生成モデリングの手法である。ロボティクスでは、複数のステップで常微分方程式を解くことで、単純なガウスノイズを複雑でマルチモーダルな行動軌道に変換する。これによりロボットは、有効な動きが複数ある曖昧な状況を扱え、単純な回帰モデルが失敗する原因となる平均化の弊害を避けられる。

200ドル未満の3Dプリント製ロボットアームで本番レベルの作業ができるのか？ SO-100のような200ドル未満のアームは、航空宇宙の重切削に必要な可搬重量、構造剛性、サブミリメートルの繰り返し精度を備えていない。それでも、繊細なマニピュレーション、検査、研究室での液体の取り扱い、小部品のキッティングは十分にこなせる。さらに重要なのは、こうした低コストのプラットフォームで学習・検証したポリシーを、最小限のファインチューニングで産業用の協働ロボットアームに直接移せることだ。

参考文献 #

Economist Enterprise, (2026). Physical AI & Robotics Summit: 自律システムによる業務上の優位 ⧉. Economist Enterprise.
Kooijmans, P., (2026). Open for business: オープンソースはいかにフィジカルAIを加速しているか ⧉. Hugging Face.
Hugging Face, (2026). LeRobot: PyTorchによる実世界ロボティクスのための最先端機械学習 ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B., & Song, S., (2024). Diffusion Policy: 行動拡散による視覚運動ポリシー学習 ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S., & Finn, C., (2023). 低コストのハードウェアによる精緻な双腕マニピュレーションの学習 ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A., & Beyer, L., (2023). 言語・画像事前学習のためのシグモイド損失（SigLIP） ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M., & Le, M., (2023). 生成モデリングのためのフローマッチング ⧉. Meta AI Research.

最終確認日 2026-10-13.

最終確認日 2026-10-27.

この記事を転載

オープンソースのフィジカルAI：Hugging Face LeRobotと模倣学習がロボットを民主化 — Sebastien Rousseau

ロンドンのEconomist Enterprise Physical AI and Robotics Summitで、Hugging Face LeRobotのPepijn Kooijmansが、模倣学習、Gemma視覚言語モデル、フローマッチング、200ドルのハードウェアでロボティクスを変えるオープンソースのアーキテクチャを示した。

本記事のライセンスは Creative Commons Attribution 4.0 International. 転載の際は正規URLへの帰属表示が必要です。

オープンソースのフィジカルAI：Hugging Face LeRobotと模倣学習がロボットを民主化 — Sebastien Rousseau

ロンドンのEconomist Enterprise Physical AI and Robotics Summitで、Hugging Face LeRobotのPepijn Kooijmansが、模倣学習、Gemma視覚言語モデル、フローマッチング、200ドルのハードウェアでロボティクスを変えるオープンソースのアーキテクチャを示した。

Originally published at https://sebastienrousseau.com/ja/2026-10-13-opunsosu-fijikaru-ai-hugging-face-lerobot/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER