AI vật lý mã nguồn mở: LeRobot đưa robot đến với mọi người

TL;DR. Tại hội nghị Economist Enterprise ở London, Pepijn Kooijmans của Hugging Face cho thấy LeRobot mã nguồn mở và phần cứng 200 USD đang phá bỏ rào cản của AI vật lý.

Điểm chính

Từ lập kế hoạch chuyển động đến học bắt chước: bước chuyển kiến trúc. Trong bài trình bày nghiên cứu điển hình Open for business: how open source is accelerating physical AI (Mở cửa cho kinh doanh: mã nguồn mở đang tăng tốc AI vật lý như thế nào), Pepijn Kooijmans kể lại hành trình của…
Bên trong kiến trúc VLA đa phương thức. Trong bài nói, Kooijmans trình bày chi tiết đường ống mạng nơ-ron đầu cuối vận hành các chính sách AI vật lý mã nguồn mở hiện đại, đồng thời minh họa cách các đầu vào tri giác nhiều chiều được chuyển thành thao tác…
So sánh kỹ thuật: tự động hóa cổ điển và AI vật lý mã nguồn mở. Nguồn: phân tích dữ liệu trình bày, các bài đánh giá kỹ thuật và trình diễn trực tiếp tại Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, London, ngày 13 tháng 10 năm 2026).
Ý nghĩa đối với từng ngành. Sự trỗi dậy của AI vật lý mở do cộng đồng dẫn dắt đang thay đổi phép tính thương mại ở nhiều ngành.

Suốt sáu thập kỷ, robot công nghiệp vận hành theo một mô thức khắc nghiệt: một kỹ sư lập trình tường minh từng milimét chuyển động của máy bằng các ngôn ngữ độc quyền, bộ dạy lệnh cầm tay và các bộ giải động học cứng nhắc. Chỉ cần phôi lệch năm milimét hoặc điều kiện ánh sáng thay đổi, robot sẽ báo lỗi. Tại Economist Enterprise Physical AI and Robotics Summit ở London ngày 13 tháng 10 năm 2026, Pepijn Kooijmans, trưởng nhóm LeRobot tại Hugging Face, đã trình bày một kiến trúc thay thế đang tháo dỡ di sản đó: “Robot tương lai sẽ không được lập trình theo từng tác vụ. Chúng sẽ học.”

Từ lập kế hoạch chuyển động đến học bắt chước: bước chuyển kiến trúc #

Trong bài trình bày nghiên cứu điển hình Open for business: how open source is accelerating physical AI (Mở cửa cho kinh doanh: mã nguồn mở đang tăng tốc AI vật lý như thế nào), Pepijn Kooijmans kể lại hành trình của mình từ kỹ thuật cơ điện tử cổ điển đến học sâu. Trong nhiều thập kỷ, các kỹ sư robot được đào tạo để chia thao tác thành những bài toán con rời rạc, tách biệt: phân đoạn đối tượng, ước lượng tư thế 6D, biến đổi hệ tọa độ, lập kế hoạch quỹ đạo có tránh va chạm và điều khiển động cơ PID ở các khớp.

Cách phân rã phân tích này hoạt động tốt trong các nhà máy ô tô được gá lắp cứng, nơi chi tiết đến trong các đồ gá thép chính xác tới micromét, nhưng sụp đổ trong các cơ sở công nghiệp hiện hữu, phòng thí nghiệm, nhà kho và môi trường gia đình. Trong thế giới thực, vật thể biến dạng, bề mặt phản chiếu ánh sáng khó lường và đồng nghiệp con người tạo ra các chướng ngại vật di động.

Luận điểm cốt lõi mà Hugging Face đưa ra là sự khéo léo vật lý không thể được đặc tả bằng phân tích thông qua các quy tắc viết tay; nó phải được tích lũy qua trải nghiệm. Giống như các mô hình ngôn ngữ lớn (LLM) học ngữ pháp, khả năng suy luận và tri thức về thế giới bằng cách dự đoán token tiếp theo trên những kho văn bản khổng lồ, các tác tử AI vật lý tiếp thu kỹ năng vận động bằng cách học phân phối hành động có điều kiện theo quan sát thị giác và cảm biến.

Sự chuyển đổi từ lập trình từng chuyển động sang dạy thông qua trình diễn của con người đánh dấu việc ngành robot bước vào kỷ nguyên mô hình nền tảng.

Bên trong kiến trúc VLA đa phương thức #

Trong bài nói, Kooijmans trình bày chi tiết đường ống mạng nơ-ron đầu cuối vận hành các chính sách AI vật lý mã nguồn mở hiện đại, đồng thời minh họa cách các đầu vào tri giác nhiều chiều được chuyển thành thao tác vật lý trôi chảy.

Kiến trúc thị giác-ngôn ngữ-hành động đầu cuối của Hugging Face LeRobot với token thị giác SigLIP, vectơ trạng thái khớp, lời nhắc ngôn ngữ, cross-attention của Gemma VLM và Action Expert dựa trên flow matching xuất ra 30 hành động khớp được phối hợp .class="img-fluid clearfix"

Kiến trúc này hoạt động như một đường ống cảm giác vận động đa phương thức được tích hợp chặt chẽ:

1. Thu nhận tri giác đa luồng #

Robot quan sát không gian làm việc qua nhiều luồng camera được đồng bộ (thường là một camera gốc đặt phía trên cung cấp bối cảnh không gian, cùng các camera gắn ở cổ tay của tay máy trái và phải để theo dõi tiếp xúc chi tiết).

Các luồng điểm ảnh thô này được đưa vào một transformer thị giác SigLIP (400M tham số) đã đóng băng, chuyển các khung hình video thành token thị giác mật độ cao mà không cần những lượt cập nhật gradient đầu cuối tốn kém quá mức qua xương sống thị giác khi tinh chỉnh chính sách.

2. Vectơ trạng thái động học và điều kiện hóa tác vụ #

Đồng thời, hệ thống lấy mẫu trạng thái cảm thụ bản thể bên trong của robot vật lý: một vectơ 16 chiều ghi lại 7 góc khớp, vận tốc và độ mở của bộ kẹp ở cả hai tay máy.

Người dùng đưa ra mục tiêu vận hành bằng một lời nhắc ngôn ngữ tự nhiên tùy ý (ví dụ "fold the t-shirt", "pick the M8 hex bolt and place it in the bracket" hoặc "route the cable through the conduit"), lời nhắc này được token hóa thành các embedding văn bản chuẩn.

3. Lõi cross-attention đa phương thức (Gemma VLM) #

Token thị giác, vectơ trạng thái cảm thụ bản thể và token văn bản được đưa vào một Mô hình Thị giác-Ngôn ngữ Gemma (2B tham số). Thay vì chỉ sinh token văn bản, Gemma VLM thực hiện cross-attention sâu trên cả ba phương thức, hợp nhất ý định ngữ nghĩa cấp cao của chỉ dẫn ngôn ngữ với hình học không gian của cảnh thị giác và cấu hình cơ học tức thời của cánh tay.

Đầu ra của mô hình nền tảng hợp nhất này là một biểu diễn dày đặc các đặc trưng tác vụ VLM, gói gọn cần làm gì trong tương quan với việc vật thể nằm ở đâu.

4. Action Expert: flow matching và chính sách khuếch tán #

Các đặc trưng VLM được đưa thẳng vào một Action Expert (300M tham số) hoạt động theo nguyên lý flow matching. Khác với các cách tiếp cận học bắt chước ban đầu dựa trên hồi quy sai số bình phương trung bình (MSE) ngây thơ (khiến mô hình xuất ra trung bình của các trình diễn mâu thuẫn, dẫn đến robot do dự và đứng sững), flow matching mô hình hóa phân phối đa phương thức của các quỹ đạo hành động của con người.

Sử dụng các phương trình vi phân rectified flow được giải qua mười bước tích phân số, Action Expert khử nhiễu Gauss thành một quỹ đạo mạch lạc gồm 30 hành động tương lai ở tần số điều khiển 50 Hz.

5. Action Chunking với temporal ensembling #

Bằng cách dự đoán 30 bước thời gian liên tiếp (cách tiếp cận được gọi là Action Chunking), chính sách loại bỏ các cú giật tần số cao và nút thắt độ trễ. Robot thực thi khối hành động đầu tiên trong khi tính toán kế hoạch tiếp theo ở chế độ nền, đạt được chuyển động mượt mà, mềm dẻo và liên tục gần với chuyển động sinh học.

So sánh kỹ thuật: tự động hóa cổ điển và AI vật lý mã nguồn mở #

Chỉ số / chiều kiến trúc	Robot công nghiệp cổ điển (ROS / PLC / bộ dạy lệnh)	AI vật lý đóng độc quyền (ngăn xếp robot hình người của nhà cung cấp)	AI vật lý mã nguồn mở (ngăn xếp Hugging Face LeRobot)
Mô thức phát triển	Thủ tục; quỹ đạo khớp tường minh và máy trạng thái hữu hạn	Học sâu đầu cuối; trọng số đóng kiểu hộp đen; API đám mây bị khóa	VLA đầu cuối; trọng số mở, bộ dữ liệu mở và vòng lặp huấn luyện PyTorch mở
Rào cản phần cứng ban đầu	30.000 đến 100.000+ bảng Anh cho mỗi cánh tay công nghiệp (KUKA, FANUC, ABB)	150.000 đến 350.000+ bảng Anh cho mỗi robot hình người độc quyền	Từ dưới 200 USD đến 1.500 USD với thiết kế phần cứng mở in 3D (SO-100, Koch)
Độ bền vững trước môi trường	Hỏng ngay nếu tọa độ chi tiết lệch vài milimét	Thích ứng cao, nhưng hành vi không thể kiểm tra hay vá tại chỗ	Thích ứng thị giác cao; chính sách có thể được tinh chỉnh tại chỗ trên các nút biên ở xưởng
Định dạng dữ liệu và đo xa	Định dạng nhị phân độc quyền khóa theo nhà cung cấp và thanh ghi PLC	Dữ liệu đo xa đám mây được mã hóa độc quyền	Bộ dữ liệu Apache Parquet chuẩn hóa, luồng video MP4 và Hugging Face Hub
Khái quát hóa tác vụ	Bằng không; mỗi hình học chi tiết mới đòi hỏi lập trình lại thủ công hoàn toàn	Tuyên bố tác vụ rộng, nhưng thích ứng chậm với đồ gá công nghiệp đặc thù	Thích ứng nhanh qua 50 đến 100 lượt trình diễn của con người ghi bằng giàn leader-follower
Dấu chân phần cứng suy luận	PLC chuyên dụng hoặc IPC công nghiệp chạy Linux thời gian thực	Cụm GPU di động lớn gắn trên robot tiêu thụ 300 W đến 800 W	Chạy suy luận trên chip biên phổ thông (một RTX 4070 hoặc Apple Silicon dòng M)

Nguồn: phân tích dữ liệu trình bày, các bài đánh giá kỹ thuật và trình diễn trực tiếp tại Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, London, ngày 13 tháng 10 năm 2026).

Ý nghĩa đối với từng ngành #

Sự trỗi dậy của AI vật lý mở do cộng đồng dẫn dắt đang thay đổi phép tính thương mại ở nhiều ngành.

Doanh nghiệp nhỏ và vừa (DNNVV) #

DNNVV chiếm hơn 80% năng lực sản xuất của châu Âu và Vương quốc Anh, nhưng trong lịch sử chưa đến 5% trong số đó đủ khả năng tự động hóa. Triển khai một ô tự động hóa công nghiệp đòi hỏi thuê nhà tích hợp hệ thống chuyên biệt, trả phí bản quyền phần mềm sáu chữ số và dừng sàn nhà máy trong thời gian lắp đặt.

Với hệ sinh thái LeRobot, một DNNVV sản xuất giá đỡ chính xác theo đơn đặt hàng có thể in 3D một trạm làm việc SO-100 hai tay với chi phí dưới 500 bảng Anh, trang bị webcam USB giá 40 bảng Anh và ghi lại năm mươi lượt trình diễn một công nhân nạp chi tiết vào máy phay CNC bằng cánh tay leader in 3D. Chỉ sau ba giờ tinh chỉnh trên một máy tính để bàn thông thường, chính sách mã nguồn mở đã có thể tự vận hành tác vụ phục vụ máy và hoàn vốn trong vài tuần.

Nghiên cứu học thuật và giáo dục đại học #

Cho đến gần đây, các khoa robot ở đại học đối mặt với một sự chia rẽ sâu sắc: các phòng thí nghiệm được cấp vốn dồi dào có thể mua nền tảng Boston Dynamics hoặc Willow Garage, trong khi các cơ sở nhỏ hơn chỉ giới hạn ở mô phỏng thuần túy trong Gazebo hoặc MuJoCo.

AI vật lý mã nguồn mở đã đưa thí nghiệm vật lý đến với mọi người. Nghiên cứu sinh trên toàn cầu có thể xây dựng những nền tảng phần cứng giống hệt nhau, chia sẻ checkpoint chính sách đã huấn luyện trên Hugging Face Hub và tái lập kết quả đánh giá với độ chặt chẽ thống kê. Kooijmans nhấn mạnh rằng kho lưu trữ LeRobot đã phát triển từ một nhóm nhỏ người đóng góp châu Âu thành hàng nghìn kỹ sư robot đang hoạt động trên toàn thế giới chỉ trong vài tháng, chứng minh rằng truy cập mở thúc đẩy kiểm chứng thực nghiệm nhanh hơn các ốc đảo doanh nghiệp độc quyền.

Lắp ráp gia công đa dạng mẫu mã, sản lượng thấp #

Trong lắp ráp điện tử và thiết bị y tế, biến thể sản phẩm thay đổi hằng tuần. Các dây chuyền tự động hóa mã cứng không khả thi về kinh tế vì chi phí thay đồ gá và lập trình lại vượt quá biên lợi nhuận của một đợt sản xuất.

Chính sách thị giác-ngôn ngữ-hành động giải quyết ràng buộc này thông qua điều kiện hóa tác vụ bằng ngôn ngữ tự nhiên. Người vận hành có thể thay đổi quy trình lắp ráp chỉ bằng cách gõ một lệnh mới hoặc trình diễn hai lần cụm lắp ráp con mới. Cơ chế cross-attention của mô hình tận dụng các biểu diễn thị giác đã được huấn luyện trước để nhận diện linh kiện mới mà không cần huấn luyện lại toàn bộ mạng nơ-ron.

Phá bức tường dữ liệu: điều khiển từ xa, Parquet và mô hình thế giới #

Nhận định trọng tâm Kooijmans gửi tới lãnh đạo doanh nghiệp là nút thắt chính của AI vật lý không còn là năng lực mô hình mà là sự đa dạng của dữ liệu trình diễn.

Trong xử lý ngôn ngữ tự nhiên, các mô hình được huấn luyện trên hàng nghìn tỷ token thu thập từ web mở. Trong robot vật lý, không có sẵn một “internet của thao tác vật lý”. Mỗi lượt trình diễn bộ kẹp nhặt một vật, xoay một van hay gấp vải đều phải được ghi lại trong thế giới vật lý thông qua điều khiển từ xa có gắn cảm biến.

Hugging Face LeRobot giải quyết thách thức này qua ba sáng kiến cốt lõi:

Giàn điều khiển từ xa leader-follower: Với các cánh tay “leader” thụ động in 3D giá rẻ được gắn bộ mã hóa từ tính, phản chiếu cơ học robot “follower” chủ động, người vận hành có thể dễ dàng điều khiển robot từ xa theo thời gian thực, đồng thời ghi lại góc khớp, vận tốc và video đa góc nhìn.
Lược đồ bộ dữ liệu Parquet chuẩn hóa: Các lượt trình diễn được đóng gói vào các bảng Apache Parquet hiệu năng cao, chuẩn hóa, ánh xạ tới các luồng video MP4 được chia khối. Nhờ đó, các công cụ kỹ thuật dữ liệu tiêu chuẩn (Polars, DuckDB, PyArrow) có thể xử lý hàng terabyte dữ liệu đo xa robot ở tốc độ cao.
Sim-to-real và tăng cường bằng mô hình thế giới: Để mở rộng vượt giới hạn của điều khiển từ xa vật lý, các mô hình thế giới mã nguồn mở học động lực học vật lý sinh tạo. Sau khi được huấn luyện trên một bộ dữ liệu lõi gồm các lượt trình diễn thực tế, mô hình thế giới mô phỏng hàng triệu kịch bản phản thực (thay đổi ánh sáng, thêm vật lộn xộn, thay đổi ma sát mặt bàn) ngay trong không gian tiềm ẩn, kiểm tra sức chịu đựng của chính sách trước khi triển khai ngoài thực tế.

Kết luận #

Phần trình bày của Hugging Face LeRobot tại Economist Enterprise Physical AI and Robotics Summit đã làm rõ một bước ngoặt quyết định trong ngành robot. Thời kỳ ngành robot đòi hỏi ngân sách vốn hàng triệu bảng Anh, ngôn ngữ lập trình độc quyền và những lồng bảo vệ nhà máy cứng nhắc đang nhường chỗ cho một hệ sinh thái mở, cộng tác và dựa trên dữ liệu.

Bằng cách kết hợp các mô hình nền tảng thị giác-ngôn ngữ đa phương thức với Action Chunking dựa trên flow matching và phần cứng mở giá phải chăng, AI vật lý mã nguồn mở đang biến robot từ những cỗ máy tự động dễ gãy vỡ thành các hệ thống thích ứng và biết học. Với lãnh đạo kỹ thuật và giám đốc công nghệ, yêu cầu chiến lược đã rõ ràng: lợi thế cạnh tranh sẽ không còn đến từ việc sở hữu phần cứng cơ khí độc quyền, mà từ việc làm chủ các đường ống dữ liệu, quy trình thu thập trình diễn và các mô hình nền tảng dạy máy móc làm chủ thế giới vật lý.

Câu hỏi thường gặp #

Hugging Face LeRobot là gì? Hugging Face LeRobot là một khung phần mềm mã nguồn mở và sáng kiến cộng đồng nhằm đưa robot và AI vật lý đến với mọi người. Nó cung cấp các bản triển khai dựa trên PyTorch của những thuật toán học bắt chước tiên tiến nhất, định dạng bộ dữ liệu chuẩn hóa, các mô hình nền tảng thị giác-ngôn ngữ-hành động (VLA) đã huấn luyện sẵn và thiết kế phần cứng mã nguồn mở (như SO-100) để hạ thấp rào cản tài chính và kỹ thuật trong ngành robot.

Học bắt chước khác lập trình robot cổ điển như thế nào? Lập trình robot cổ điển đòi hỏi kỹ sư viết mã thủ tục tường minh chỉ rõ tọa độ Descartes chính xác, nghiệm động học nghịch và chuyển trạng thái bằng bộ dạy lệnh hoặc script ROS. Ngược lại, học bắt chước huấn luyện mạng nơ-ron mô phỏng hành vi con người bằng cách quan sát các lượt trình diễn được ghi lại khi con người thực hiện tác vụ qua điều khiển từ xa, học một chính sách ánh xạ trực tiếp quan sát cảm biến sang lệnh động cơ.

Gemma VLM đóng vai trò gì trong đường ống AI vật lý? Trong các kiến trúc AI vật lý hiện đại, Mô hình Thị giác-Ngôn ngữ Gemma (VLM) đóng vai trò cỗ máy suy luận đa phương thức. Nó tiếp nhận token thị giác từ camera (được mã hóa qua SigLIP), vectơ trạng thái khớp vật lý của robot và chỉ dẫn ngôn ngữ tự nhiên. Thông qua cross-attention, nó hợp nhất ý định ngữ nghĩa với hình học thị giác để tạo ra các biểu diễn tác vụ cấp cao định hướng cho Action Expert.

Flow matching trong dự đoán hành động robot là gì? Flow matching là một kỹ thuật mô hình hóa sinh tạo liên quan đến continuous normalizing flows và mô hình khuếch tán. Trong ngành robot, nó biến nhiễu Gauss đơn giản thành các quỹ đạo hành động đa phương thức phức tạp bằng cách giải phương trình vi phân thường qua nhiều bước. Điều này cho phép robot xử lý những tình huống mơ hồ có nhiều chuyển động hợp lệ, tránh được các sai lệch do lấy trung bình khiến những mô hình hồi quy đơn giản hơn thất bại.

Cánh tay robot in 3D dưới 200 USD có thực hiện được tác vụ cấp sản xuất không? Dù các cánh tay dưới 200 USD như SO-100 thiếu tải trọng, độ cứng kết cấu và độ lặp lại dưới milimét cần cho gia công cơ khí hàng không nặng, chúng hoàn toàn có thể thực hiện thao tác tinh tế, kiểm tra, xử lý chất lỏng trong phòng thí nghiệm và gom bộ chi tiết nhỏ. Quan trọng hơn, các chính sách được huấn luyện và kiểm chứng trên những nền tảng giá rẻ này có thể chuyển thẳng sang các cánh tay robot cộng tác cấp công nghiệp với mức tinh chỉnh tối thiểu.

Tài liệu tham khảo #

Economist Enterprise, (2026). Physical AI & Robotics Summit: lợi thế vận hành nhờ hệ thống tự hành ⧉. Economist Enterprise.
Kooijmans, P., (2026). Mở cửa cho kinh doanh: mã nguồn mở đang tăng tốc AI vật lý như thế nào ⧉. Hugging Face.
Hugging Face, (2026). LeRobot: học máy tiên tiến cho robot thế giới thực trên PyTorch ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B., và Song, S., (2024). Diffusion Policy: học chính sách thị giác vận động qua khuếch tán hành động ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S., và Finn, C., (2023). Học thao tác hai tay tinh vi bằng phần cứng giá rẻ ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A., và Beyer, L., (2023). Hàm mất mát sigmoid cho tiền huấn luyện ngôn ngữ-hình ảnh (SigLIP) ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M., và Le, M., (2023). Flow Matching cho mô hình hóa sinh tạo ⧉. Meta AI Research.

Cập nhật lần cuối 2026-10-13.

Cập nhật lần cuối 2026-10-27.

Đăng lại bài này

AI vật lý mã nguồn mở: LeRobot đưa robot đến với mọi người — Sebastien Rousseau

Tại hội nghị Economist Enterprise ở London, Pepijn Kooijmans của Hugging Face cho thấy LeRobot mã nguồn mở và phần cứng 200 USD đang phá bỏ rào cản của AI vật lý.

Bài viết này được cấp phép theo Creative Commons Attribution 4.0 International. Đăng lại yêu cầu ghi nguồn đến URL chính tắc.

AI vật lý mã nguồn mở: LeRobot đưa robot đến với mọi người — Sebastien Rousseau

Tại hội nghị Economist Enterprise ở London, Pepijn Kooijmans của Hugging Face cho thấy LeRobot mã nguồn mở và phần cứng 200 USD đang phá bỏ rào cản của AI vật lý.

Originally published at https://sebastienrousseau.com/vi/2026-10-13-vat-ly-ma-nguon-mo-lerobot/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER