오픈소스 피지컬 AI: Hugging Face LeRobot, 엔드투엔드 모방학습으로 로봇을 대중화하다

TL;DR. Economist Enterprise Physical AI and Robotics Summit에서 Hugging Face LeRobot 책임자 Pepijn Kooijmans가 모방학습, Gemma 비전 언어 모델, 플로 매칭, 200달러 하드웨어로 로보틱스의 장벽을 허무는 오픈소스 아키텍처를 공개했다.

핵심 요약

동작 계획에서 모방학습으로: 아키텍처의 전환. 사례 연구 발표 Open for business: how open source is accelerating physical AI(비즈니스를 위해 열다: 오픈소스는 어떻게 피지컬 AI를 가속하는가)에서 Pepijn Kooijmans는 고전적인 메카트로닉스 공학에서 딥러닝으로 옮겨 온 자신의 여정을 되짚었다.
멀티모달 VLA 아키텍처의 내부. 강연에서 Kooijmans는 현대 오픈소스 피지컬 AI 정책을 구동하는 엔드투엔드 신경망 파이프라인을 자세히 공개하며, 고차원의 지각 입력이 어떻게 매끄러운 물리적 매니퓰레이션으로 바뀌는지 설명했다.
기술 비교: 고전적 자동화와 오픈소스 피지컬 AI. 출처: 2026년 10월 13일 런던 Convene 200 Aldersgate에서 열린 Economist Enterprise Physical AI and Robotics Summit에서 공개된 발표 자료, 기술 벤치마크, 라이브 시연의 분석.
산업별 의미. 개방적이고 커뮤니티가 주도하는 피지컬 AI의 부상은 여러 산업에서 상업적 계산을 바꾸고 있다.

지난 60년 동안 산업용 로보틱스는 가혹한 패러다임 아래에서 움직여 왔다. 인간 엔지니어가 독점 언어, 티치 펜던트, 경직된 기구학 솔버로 기계의 모든 움직임을 밀리미터 단위까지 명시적으로 프로그래밍한다. 작업물이 5밀리미터만 어긋나거나 조명 조건이 바뀌어도 로봇은 오류를 내고 멈춘다. 2026년 10월 13일 런던에서 열린 Economist Enterprise Physical AI and Robotics Summit에서 Hugging Face의 LeRobot 책임자 Pepijn Kooijmans는 이 오래된 방식을 해체하고 있는 대안 아키텍처를 제시했다. “미래의 로봇은 작업마다 프로그래밍되지 않을 것이다. 로봇은 배울 것이다.”

동작 계획에서 모방학습으로: 아키텍처의 전환 #

사례 연구 발표 Open for business: how open source is accelerating physical AI(비즈니스를 위해 열다: 오픈소스는 어떻게 피지컬 AI를 가속하는가)에서 Pepijn Kooijmans는 고전적인 메카트로닉스 공학에서 딥러닝으로 옮겨 온 자신의 여정을 되짚었다. 수십 년 동안 로봇 공학자들은 매니퓰레이션을 서로 분리된 개별 하위 문제로 나누도록 훈련받았다. 물체 분할, 6D 자세 추정, 좌표계 변환, 충돌 회피를 포함한 궤적 계획, 그리고 관절 PID 모터 제어다.

이런 해석적 분해는 부품이 미크론 정밀도의 강철 지그에 담겨 도착하는, 엄격하게 고정된 자동차 공장에서는 잘 작동한다. 그러나 기존 설비의 산업 현장, 실험실, 창고, 가정에서는 무너진다. 현실 세계에서는 물체가 변형되고, 표면이 예측할 수 없게 빛을 반사하며, 사람 동료가 움직이는 장애물이 된다.

Hugging Face가 제시한 기본 논지는 신체적 손재주를 손으로 작성한 규칙으로 해석적으로 규정할 수 없으며, 경험을 통해 획득해야 한다는 것이다. 대규모 언어 모델(LLM)이 방대한 텍스트 말뭉치에서 다음 토큰을 예측하며 문법, 추론, 세계 지식을 배웠듯이, 피지컬 AI 에이전트는 시각과 감각 관찰을 조건으로 하는 행동 분포를 배우며 운동 기술을 익힌다.

모든 동작을 프로그래밍하는 것에서 사람의 시연으로 가르치는 것으로 옮겨 가는 이 변화는 로보틱스가 파운데이션 모델 시대에 들어섰음을 보여 준다.

멀티모달 VLA 아키텍처의 내부 #

강연에서 Kooijmans는 현대 오픈소스 피지컬 AI 정책을 구동하는 엔드투엔드 신경망 파이프라인을 자세히 공개하며, 고차원의 지각 입력이 어떻게 매끄러운 물리적 매니퓰레이션으로 바뀌는지 설명했다.

Hugging Face LeRobot의 엔드투엔드 비전-언어-행동 아키텍처. SigLIP 시각 토큰, 관절 상태 벡터, 언어 프롬프트, Gemma VLM 크로스 어텐션, 그리고 협조된 관절 동작 30개를 출력하는 플로 매칭 액션 전문가를 보여 준다 .class="img-fluid clearfix"

이 아키텍처는 긴밀하게 통합된 멀티모달 감각운동 파이프라인으로 작동한다.

1. 다중 스트림 지각 입력 #

로봇은 동기화된 여러 카메라 스트림으로 작업 공간을 관찰한다(일반적으로 공간 맥락을 제공하는 머리 위 베이스 카메라와 함께, 좌우 매니퓰레이터의 손목에 장착한 카메라로 세밀한 접촉을 추적한다).

이 원시 픽셀 스트림은 고정된 SigLIP(4억 파라미터) 비전 트랜스포머로 전달된다. 비전 트랜스포머는 동영상 프레임을 고밀도 시각 토큰으로 바꾼다. 정책 미세 조정 중에 비전 백본 전체에 계산 부담이 큰 엔드투엔드 기울기 업데이트를 할 필요는 없다.

2. 기구학적 상태 벡터와 작업 조건화 #

동시에 시스템은 실제 로봇의 내부 고유 감각 상태를 샘플링한다. 이는 두 매니퓰레이터의 관절 각도 7개, 속도, 그리퍼 개방 폭을 담은 16차원 벡터다.

사용자는 임의의 자연어 프롬프트로 작업 목표를 준다(예: 티셔츠를 개 줘, M8 육각 볼트를 집어서 브래킷에 넣어 줘, 케이블을 전선관에 통과시켜 줘). 프롬프트는 표준 텍스트 임베딩으로 토큰화된다.

3. 멀티모달 크로스 어텐션 코어(Gemma VLM) #

시각 토큰, 고유 감각 상태 벡터, 텍스트 토큰은 **Gemma 비전 언어 모델(20억 파라미터)**에 주입된다. Gemma VLM은 단순히 텍스트 토큰을 생성하는 데 그치지 않고 세 가지 모달리티 전체에 걸쳐 깊은 크로스 어텐션을 수행하여, 언어 지시의 고수준 의미 의도, 시각 장면의 공간 기하, 그리고 로봇 팔의 순간적인 기계 구성을 융합한다.

이렇게 융합된 파운데이션 모델의 출력은 물체가 어디에 있는지와 관련하여 무엇을 해야 하는지를 담은, VLM 작업 특징의 밀집 표현이다.

4. 액션 전문가: 플로 매칭과 확산 정책 #

VLM 특징은 플로 매칭 원리로 작동하는 **액션 전문가(3억 파라미터)**에 바로 입력된다. 초기 모방학습은 단순한 평균 제곱 오차(MSE) 회귀에 의존했다. 이 방식에서는 모델이 서로 모순되는 시연의 평균을 출력해 로봇이 망설이다 멈춘다. 이와 달리 플로 매칭은 사람의 행동 궤적이 지닌 다봉 분포를 모델링한다.

10단계의 수치 적분으로 푸는 정류 흐름 미분 방정식을 사용해, 액션 전문가는 가우스 잡음을 50Hz 제어 주파수에서 미래 동작 30개로 이루어진 일관된 궤적으로 복원한다.

5. 시간적 앙상블을 곁들인 액션 청킹 #

연속된 30개의 타임스텝을 예측함으로써(액션 청킹이라 불리는 방식) 정책은 고주파의 덜컥거림과 지연 병목을 없앤다. 로봇은 첫 번째 동작 묶음을 실행하는 동안 다음 계획을 백그라운드에서 계산해, 매끄럽고 유연하며 연속적인, 생물에 가까운 움직임을 구현한다.

기술 비교: 고전적 자동화와 오픈소스 피지컬 AI #

지표 / 아키텍처 관점	고전적 산업용 로보틱스(ROS / PLC / 티치 펜던트)	독점 폐쇄형 피지컬 AI(벤더 휴머노이드 스택)	오픈소스 피지컬 AI(Hugging Face LeRobot 스택)
개발 패러다임	절차적. 명시적인 관절 궤적과 유한 상태 기계	엔드투엔드 딥러닝. 블랙박스 폐쇄형 가중치. 잠긴 클라우드 API	엔드투엔드 VLA. 개방형 가중치, 개방형 데이터셋, 개방형 PyTorch 학습 루프
하드웨어 진입 장벽	산업용 로봇 팔 한 대당 3만~10만 파운드 이상(KUKA, FANUC, ABB)	독점 휴머노이드 한 대당 15만~35만 파운드 이상	3D 프린팅 가능한 개방형 하드웨어 설계(SO-100, Koch)로 200달러 미만에서 1,500달러
환경 견고성	부품 좌표가 몇 밀리미터만 어긋나도 즉시 실패	적응성은 높지만 동작을 검사하거나 현장에서 수정할 수 없음	시각적 적응성이 높음. 공장 현장의 엣지 노드에서 정책을 현지 미세 조정 가능
데이터 형식과 텔레메트리	벤더에 묶인 독점 바이너리 형식과 PLC 레지스터	독점 암호화 클라우드 텔레메트리	표준화된 Apache Parquet 데이터셋, MP4 동영상 스트림, Hugging Face Hub
작업 일반화	없음. 새로운 부품 형상마다 완전한 수동 재프로그래밍이 필요	폭넓은 작업을 내세우지만 맞춤형 산업 공구에는 느리게 적응	리더-팔로워 장치로 기록한 50~100회의 사람 시연으로 빠르게 적응
추론 하드웨어 규모	실시간 Linux를 구동하는 전용 PLC 또는 산업용 IPC	300W~800W를 소비하는 대규모 탑재형 모바일 GPU 클러스터	일반 소비자용 엣지 반도체에서 추론 실행(RTX 4070 한 장 또는 Apple Silicon M 시리즈)

출처: 2026년 10월 13일 런던 Convene 200 Aldersgate에서 열린 Economist Enterprise Physical AI and Robotics Summit에서 공개된 발표 자료, 기술 벤치마크, 라이브 시연의 분석.

산업별 의미 #

개방적이고 커뮤니티가 주도하는 피지컬 AI의 부상은 여러 산업에서 상업적 계산을 바꾸고 있다.

중소기업(SME) #

중소기업은 유럽과 영국 제조 역량의 80% 이상을 차지하지만, 지금까지 자동화를 감당할 수 있었던 곳은 5%도 되지 않았다. 산업용 자동화 셀을 도입하려면 전문 시스템 통합 업체를 고용하고, 여섯 자리 금액의 소프트웨어 라이선스 비용을 내고, 설치 기간에는 공장 현장을 멈춰야 했다.

LeRobot 생태계가 있으면 맞춤형 정밀 브래킷을 만드는 중소기업은 양팔 SO-100 작업대를 500파운드 미만에 3D 프린팅하고, 40파운드짜리 USB 웹캠을 달고, 3D 프린팅한 리더 암으로 작업자가 CNC 밀링 머신에 부품을 넣는 시연을 50회 기록할 수 있다. 일반 데스크톱 컴퓨터에서 3시간 미세 조정하면 오픈소스 정책은 기계에 부품을 공급하는 작업을 자율적으로 수행할 수 있게 되며, 몇 주 안에 투자 비용을 회수한다.

학술 연구와 고등 교육 #

최근까지 대학의 로보틱스 학과는 존립에 관한 격차에 직면해 있었다. 자금이 넉넉한 연구실은 Boston Dynamics나 Willow Garage 플랫폼을 살 수 있었지만, 작은 기관은 Gazebo나 MuJoCo에서 순수한 시뮬레이션을 돌리는 데 머물렀다.

오픈소스 피지컬 AI는 물리적 실험을 대중화했다. 전 세계 대학원생이 똑같은 하드웨어 플랫폼을 만들고, 학습된 정책 체크포인트를 Hugging Face Hub에서 공유하며, 벤치마크 결과를 통계적 엄밀성을 갖춰 재현할 수 있다. Kooijmans는 LeRobot 저장소가 몇 달 만에 소수의 유럽 기여자에서 전 세계 수천 명의 활발한 로봇 공학자로 커졌다고 강조하며, 개방된 접근이 독점적인 기업 사일로보다 실증적 검증을 더 빠르게 앞당긴다는 점을 보여 주었다.

다품종 소량 위탁 조립 #

전자 기기와 의료 기기 조립에서는 제품 변형이 매주 바뀐다. 하드코딩된 자동화 라인은 경제성이 없다. 공정 전환과 재프로그래밍 비용이 해당 생산 물량의 이익률을 넘어서기 때문이다.

비전-언어-행동 정책은 자연어로 작업을 조건화해 이 제약을 해결한다. 작업자는 새 명령을 입력하거나 새 하위 조립품을 두 번 시연하는 것만으로 조립 절차를 바꿀 수 있다. 모델의 크로스 어텐션 메커니즘은 사전 학습된 시각 표현을 활용해 새 부품을 식별하므로, 신경망 전체를 다시 학습할 필요가 없다.

데이터의 벽을 넘어서: 원격 조작, Parquet, 월드 모델 #

Kooijmans가 기업 리더들에게 전한 핵심 통찰은 피지컬 AI의 주된 병목이 더 이상 모델 용량이 아니라 시연의 다양성이라는 것이다.

자연어 처리에서는 모델이 개방된 웹에서 수집한 수조 개의 토큰으로 학습했다. 물리적 로보틱스에는 미리 존재하는 “물리적 매니퓰레이션의 인터넷”이 없다. 그리퍼가 물체를 집거나, 밸브를 돌리거나, 천을 개는 모든 시연은 센서를 갖춘 원격 조작을 통해 물리 세계에서 기록해야 한다.

Hugging Face LeRobot은 세 가지 핵심 이니셔티브로 이 과제에 대응한다.

리더-팔로워 원격 조작 장치: 자기 인코더를 갖춘 저비용 3D 프린팅 수동형 “리더” 암이 능동형 “팔로워” 로봇을 기계적으로 따라 하게 만들면, 사람 작업자가 로봇을 실시간으로 손쉽게 원격 조작하면서 관절 각도, 속도, 다시점 동영상을 동시에 기록할 수 있다.
표준화된 Parquet 데이터셋 스키마: 시연은 청크 단위 MP4 동영상 피드에 대응하는, 표준화된 고성능 Apache Parquet 테이블로 묶인다. 이 덕분에 표준 데이터 엔지니어링 도구(Polars, DuckDB, PyArrow)로 테라바이트 규모의 로봇 텔레메트리를 빠르게 처리할 수 있다.
시뮬레이션에서 실제로, 그리고 월드 모델 증강: 물리적 원격 조작의 한계를 넘어 규모를 키우기 위해, 오픈소스 월드 모델은 생성적 물리 동역학을 학습한다. 실세계 시연으로 이루어진 핵심 데이터셋으로 학습하고 나면, 월드 모델은 잠재 공간 안에서 수백만 개의 반사실적 시나리오(조명 변경, 어수선한 물건 추가, 테이블 마찰 변경)를 시뮬레이션하여 실제 배치 전에 정책을 혹독하게 시험한다.

결론 #

Economist Enterprise Physical AI and Robotics Summit에서 이루어진 Hugging Face LeRobot 발표는 로보틱스 산업의 결정적인 전환점을 분명히 보여 주었다. 로보틱스에 수백만 파운드 규모의 설비 예산, 독점 프로그래밍 언어, 경직된 공장 안전 펜스가 필요하던 시대는 개방적이고 협력적이며 데이터 중심적인 생태계에 자리를 내주고 있다.

멀티모달 비전 언어 파운데이션 모델을 플로 매칭 액션 청킹, 저렴한 개방형 하드웨어와 결합함으로써 오픈소스 피지컬 AI는 로봇을 깨지기 쉬운 자동 기계에서 적응하고 학습하는 시스템으로 바꾸고 있다. 엔지니어링 리더와 기술 경영진에게 전략적 과제는 분명하다. 경쟁 우위는 더 이상 독점 기계 하드웨어를 소유하는 데서 나오지 않고, 기계가 물리 세계를 익히도록 가르치는 데이터 파이프라인, 시연 수집 워크플로, 파운데이션 모델을 능숙하게 다루는 데서 나온다.

자주 묻는 질문 #

Hugging Face LeRobot이란 무엇인가? Hugging Face LeRobot은 로보틱스와 피지컬 AI의 대중화를 위해 만든 오픈소스 프레임워크이자 커뮤니티 이니셔티브다. 최첨단 모방학습 알고리즘의 PyTorch 기반 구현, 표준화된 데이터셋 형식, 사전 학습된 비전-언어-행동(VLA) 파운데이션 모델, 오픈소스 하드웨어 설계(SO-100 등)를 제공하여 로보틱스의 재정적, 기술적 장벽을 낮춘다.

모방학습은 고전적인 로봇 프로그래밍과 어떻게 다른가? 고전적인 로봇 프로그래밍에서는 엔지니어가 티치 펜던트나 ROS 스크립트로 정확한 직교 좌표, 역기구학 해, 상태 전이를 지정하는 명시적인 절차적 코드를 작성해야 한다. 반면 모방학습은 사람이 원격 조작으로 작업을 수행하는 기록된 시연을 관찰하게 해 신경망이 사람의 행동을 흉내 내도록 학습시키고, 감각 관찰을 모터 명령에 직접 대응시키는 정책을 익힌다.

피지컬 AI 파이프라인에서 Gemma VLM은 어떤 역할을 하는가? 현대 피지컬 AI 아키텍처에서 Gemma 비전 언어 모델(VLM)은 멀티모달 추론 엔진 역할을 한다. 카메라에서 온 시각 토큰(SigLIP으로 인코딩), 로봇의 물리적 관절 상태 벡터, 자연어 지시를 받아들인다. 크로스 어텐션으로 의미적 의도와 시각적 기하를 융합해, 액션 전문가를 이끄는 고수준 작업 표현을 만든다.

로봇 행동 예측에서 플로 매칭이란 무엇인가? 플로 매칭은 연속 정규화 흐름 및 확산 모델과 관련된 생성 모델링 기법이다. 로보틱스에서는 여러 단계에 걸쳐 상미분 방정식을 풀어 단순한 가우스 잡음을 복잡한 다봉 행동 궤적으로 바꾼다. 덕분에 로봇은 유효한 움직임이 여럿인 모호한 상황을 다룰 수 있고, 단순한 회귀 모델을 실패하게 만드는 평균화의 부작용을 피할 수 있다.

200달러 미만의 3D 프린팅 로봇 팔로 생산 수준의 작업을 할 수 있는가? SO-100 같은 200달러 미만의 로봇 팔은 항공우주 분야의 중절삭에 필요한 가반 하중, 구조 강성, 밀리미터 미만의 반복 정밀도를 갖추지 못했다. 그래도 섬세한 매니퓰레이션, 검사, 실험실 액체 취급, 소형 부품 키팅은 충분히 해낼 수 있다. 더 중요한 점은 이런 저비용 플랫폼에서 학습하고 검증한 정책을 최소한의 미세 조정만으로 산업용 협동 로봇 팔에 그대로 옮길 수 있다는 것이다.

참고문헌 #

Economist Enterprise, (2026). Physical AI & Robotics Summit: 자율 시스템을 통한 운영 우위 ⧉. Economist Enterprise.
Kooijmans, P., (2026). Open for business: 오픈소스는 어떻게 피지컬 AI를 가속하는가 ⧉. Hugging Face.
Hugging Face, (2026). LeRobot: PyTorch 기반 실세계 로보틱스를 위한 최첨단 머신러닝 ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B., & Song, S., (2024). Diffusion Policy: 행동 확산을 통한 시각운동 정책 학습 ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S., & Finn, C., (2023). 저비용 하드웨어로 정교한 양팔 매니퓰레이션 학습하기 ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A., & Beyer, L., (2023). 언어-이미지 사전 학습을 위한 시그모이드 손실(SigLIP) ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M., & Le, M., (2023). 생성 모델링을 위한 플로 매칭 ⧉. Meta AI Research.

최종 검토 2026-10-13.

최종 검토 2026-10-27.

이 기사 재게시

오픈소스 피지컬 AI: Hugging Face LeRobot, 엔드투엔드 모방학습으로 로봇을 대중화하다 — Sebastien Rousseau

Economist Enterprise Physical AI and Robotics Summit에서 Hugging Face LeRobot 책임자 Pepijn Kooijmans가 모방학습, Gemma 비전 언어 모델, 플로 매칭, 200달러 하드웨어로 로보틱스의 장벽을 허무는 오픈소스 아키텍처를 공개했다.

이 기사의 라이선스는 Creative Commons Attribution 4.0 International. 재게시 시 정규 URL 출처 표시가 필요합니다.

오픈소스 피지컬 AI: Hugging Face LeRobot, 엔드투엔드 모방학습으로 로봇을 대중화하다 — Sebastien Rousseau

Economist Enterprise Physical AI and Robotics Summit에서 Hugging Face LeRobot 책임자 Pepijn Kooijmans가 모방학습, Gemma 비전 언어 모델, 플로 매칭, 200달러 하드웨어로 로보틱스의 장벽을 허무는 오픈소스 아키텍처를 공개했다.

Originally published at https://sebastienrousseau.com/ko/2026-10-13-opeunsoseu-pijikeol-ai-hugging-face-lerobot/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER