Відкритий фізичний ШІ: як LeRobot робить робототехніку доступною

TL;DR. На саміті Economist Enterprise у Лондоні Pepijn Kooijmans із Hugging Face показав, як відкритий LeRobot і обладнання за $200 знімають бар'єри фізичного ШІ.

Ключові висновки

Від планування рухів до імітаційного навчання: архітектурний зсув. У своїй доповіді-кейсі Open for business: how open source is accelerating physical AI («Відкрито для бізнесу: як відкритий код прискорює фізичний ШІ») Pepijn Kooijmans простежив свій шлях від класичної мехатроніки до…
Усередині мультимодальної архітектури VLA. Під час виступу Kooijmans детально показав наскрізний нейромережевий конвеєр, на якому працюють сучасні відкриті політики фізичного ШІ, і пояснив, як багатовимірні перцептивні вхідні дані перетворюються на плавну…
Технічне порівняння: класична автоматизація та відкритий фізичний ШІ. Джерело: аналіз матеріалів доповідей, технічних бенчмарків і живих демонстрацій на саміті Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, Лондон, 13 жовтня 2026 року).
Що це означає для галузей. Піднесення відкритого фізичного ШІ, який розвиває спільнота, змінює комерційний розрахунок одразу в кількох галузях.

Шість десятиліть промислова робототехніка жила за безжальною парадигмою: інженер явно програмує кожен міліметр руху машини пропрієтарними мовами, за допомогою пультів навчання та жорстких кінематичних розв'язувачів. Варто заготовці зміститися на п'ять міліметрів або змінитися освітленню, і робот переходить у помилку. На саміті Economist Enterprise Physical AI and Robotics Summit у Лондоні 13 жовтня 2026 року Pepijn Kooijmans, керівник LeRobot у Hugging Face, представив альтернативну архітектуру, яка розбирає цю спадщину: «Роботів майбутнього не програмуватимуть задачу за задачею. Вони вчитимуться».

Від планування рухів до імітаційного навчання: архітектурний зсув #

У своїй доповіді-кейсі Open for business: how open source is accelerating physical AI («Відкрито для бізнесу: як відкритий код прискорює фізичний ШІ») Pepijn Kooijmans простежив свій шлях від класичної мехатроніки до глибокого навчання. Десятиліттями робототехніків навчали розкладати маніпуляцію на окремі ізольовані підзадачі: сегментацію об'єктів, оцінювання 6D-пози, перетворення систем координат, планування траєкторій з уникненням зіткнень і ПІД-керування двигунами суглобів.

Така аналітична декомпозиція добре працює на жорстко оснащених автомобільних заводах, де деталі надходять у сталевих кондукторах із мікронною точністю, але руйнується на чинних промислових майданчиках, у лабораторіях, на складах і в побуті. У реальному світі предмети деформуються, поверхні непередбачувано відбивають світло, а люди поруч створюють рухомі перешкоди.

Основна теза Hugging Face полягає в тому, що фізичну спритність неможливо аналітично задати вручну написаними правилами: її треба набувати на досвіді. Як великі мовні моделі (LLM) опанували граматику, міркування та знання про світ, передбачаючи наступний токен у величезних текстових корпусах, так агенти фізичного ШІ набувають моторних навичок, вивчаючи розподіл дій за заданих візуальних і сенсорних спостережень.

Перехід від програмування кожного руху до навчання через демонстрації людини знаменує вступ робототехніки в епоху базових моделей.

Усередині мультимодальної архітектури VLA #

Під час виступу Kooijmans детально показав наскрізний нейромережевий конвеєр, на якому працюють сучасні відкриті політики фізичного ШІ, і пояснив, як багатовимірні перцептивні вхідні дані перетворюються на плавну фізичну маніпуляцію.

Наскрізна архітектура «зір, мова, дія» Hugging Face LeRobot: візуальні токени SigLIP, вектор стану суглобів, мовна підказка, перехресна увага Gemma VLM і Action Expert на flow matching, що видає 30 узгоджених дій суглобів .class="img-fluid clearfix"

Архітектура працює як тісно інтегрований мультимодальний сенсомоторний конвеєр:

1. Багатопотокове сприйняття #

Робот спостерігає свій робочий простір через кілька синхронізованих потоків із камер (зазвичай це верхня базова камера, що дає просторовий контекст, а також камери на зап'ястях лівого та правого маніпуляторів для точного відстеження контакту).

Ці необроблені потоки пікселів передаються в заморожений візуальний трансформер SigLIP (400M параметрів), який перетворює кадри відео на щільні візуальні токени, не вимагаючи під час донавчання політики обчислювально непомірних наскрізних оновлень градієнтів через візуальну основу.

2. Вектор кінематичного стану та обумовлення задачею #

Одночасно система зчитує внутрішній пропріоцептивний стан фізичного робота: 16-вимірний вектор, що містить 7 кутів суглобів, швидкості та ширину розкриття захватів двох маніпуляторів.

Користувач задає робочу мету довільною підказкою природною мовою (наприклад, "fold the t-shirt", "pick the M8 hex bolt and place it in the bracket" або "route the cable through the conduit"), яка токенізується у стандартні текстові ембедінги.

3. Мультимодальне ядро перехресної уваги (Gemma VLM) #

Візуальні токени, вектор пропріоцептивного стану та текстові токени подаються в модель «зір і мова» Gemma (2B параметрів). Замість того щоб просто генерувати текстові токени, Gemma VLM виконує глибоку перехресну увагу за всіма трьома модальностями, сплавляючи високорівневий смисловий задум мовної інструкції з просторовою геометрією візуальної сцени та миттєвою механічною конфігурацією маніпулятора.

Результатом цієї об'єднаної базової моделі є щільне подання ознак задачі VLM, у якому закладено, що потрібно зробити, з урахуванням того, де розташовані предмети.

4. Action Expert: flow matching і дифузійні політики #

Ознаки VLM подаються безпосередньо в Action Expert (300M параметрів), що працює за принципами flow matching. На відміну від ранніх підходів імітаційного навчання, які спиралися на наївну регресію за середньоквадратичною помилкою (MSE), через яку моделі видають середнє суперечливих демонстрацій і робот застигає в нерішучості, flow matching моделює мультимодальний розподіл траєкторій дій людини.

За допомогою диференціальних рівнянь випрямленого потоку, що розв'язуються за десять кроків чисельного інтегрування, Action Expert очищає гауссів шум до зв'язної траєкторії з 30 майбутніх дій із частотою керування 50 Гц.

5. Action Chunking із часовим ансамблюванням #

Передбачаючи 30 послідовних кроків у часі (цей підхід називають Action Chunking), політика усуває високочастотні ривки та вузькі місця затримки. Робот виконує перший блок дій, поки у фоні обчислює наступний план, і досягає плавного, податливого й неперервного руху, близького до біологічного.

Технічне порівняння: класична автоматизація та відкритий фізичний ШІ #

Метрика / архітектурний вимір	Класична промислова робототехніка (ROS / ПЛК / пульт навчання)	Пропрієтарний закритий фізичний ШІ (гуманоїдні стеки постачальників)	Відкритий фізичний ШІ (стек Hugging Face LeRobot)
Парадигма розробки	Процедурна; явні траєкторії суглобів і скінченні автомати	Наскрізне глибоке навчання; закриті ваги «чорної скриньки»; закриті хмарні API	Наскрізна VLA; відкриті ваги, відкриті набори даних і відкриті цикли навчання на PyTorch
Апаратний поріг входу	Від 30 000 до 100 000+ фунтів за промисловий маніпулятор (KUKA, FANUC, ABB)	Від 150 000 до 350 000+ фунтів за пропрієтарного гуманоїда	Від менш ніж $200 до $1500 на відкритих конструкціях для 3D-друку (SO-100, Koch)
Стійкість до середовища	Одразу дає збій, якщо координати деталі зміщуються на міліметри	Висока адаптивність, але поведінку не можна перевірити чи виправити на місці	Висока візуальна адаптивність; політики можна донавчати локально на периферійних вузлах у цеху
Формат даних і телеметрія	Закриті пропрієтарні двійкові формати та регістри ПЛК	Пропрієтарна зашифрована хмарна телеметрія	Стандартизовані набори даних Apache Parquet, відеопотоки MP4 і Hugging Face Hub
Узагальнення задач	Нульове; кожна нова геометрія деталі потребує повного ручного перепрограмування	Широкі заяви щодо задач, але повільна адаптація до нестандартного промислового оснащення	Швидка адаптація за 50–100 демонстраціями людини, записаними на установках «провідний–ведений»
Апаратні вимоги для виведення	Окремий ПЛК або промисловий комп'ютер із Linux реального часу	Масивні бортові мобільні кластери GPU потужністю від 300 до 800 Вт	Виведення на споживчому периферійному кремнії (одна RTX 4070 або Apple Silicon серії M)

Джерело: аналіз матеріалів доповідей, технічних бенчмарків і живих демонстрацій на саміті Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, Лондон, 13 жовтня 2026 року).

Що це означає для галузей #

Піднесення відкритого фізичного ШІ, який розвиває спільнота, змінює комерційний розрахунок одразу в кількох галузях.

Малий і середній бізнес #

На малі та середні підприємства припадає понад 80% виробничих потужностей Європи та Великої Британії, проте історично автоматизацію могли дозволити собі менше 5% із них. Розгортання промислової комірки автоматизації вимагало найму спеціалізованих системних інтеграторів, ліцензійних платежів за ПЗ у шестизначні суми та зупинки цеху на час монтажу.

В екосистемі LeRobot мале підприємство, що випускає штучні прецизійні кронштейни, може надрукувати на 3D-принтері дворуку станцію SO-100 менш ніж за 500 фунтів, оснастити її USB-камерами по 40 фунтів і записати п'ятдесят демонстрацій того, як робітник завантажує деталі у фрезерний верстат із ЧПК за допомогою надрукованого провідного маніпулятора. Уже після трьох годин донавчання на звичайному настільному комп'ютері відкрита політика здатна самостійно обслуговувати верстат і окупається за лічені тижні.

Академічні дослідження та вища освіта #

Донедавна університетські кафедри робототехніки розділяла прірва: добре фінансовані лабораторії могли дозволити собі платформи Boston Dynamics або Willow Garage, а невеликі заклади обмежувалися чистими симуляціями в Gazebo або MuJoCo.

Відкритий фізичний ШІ зробив фізичні експерименти доступними. Аспіранти в усьому світі можуть збирати однакові апаратні платформи, ділитися контрольними точками навчених політик у Hugging Face Hub і відтворювати результати бенчмарків зі статистичною строгістю. Kooijmans наголосив, що за кілька місяців репозиторій LeRobot виріс від жменьки європейських учасників до тисяч активних робототехніків у всьому світі, довівши, що відкритий доступ прискорює емпіричну перевірку швидше, ніж закриті корпоративні розробки.

Контрактне складання широкої номенклатури малими серіями #

У складанні електроніки та медичних виробів варіанти продукції змінюються щотижня. Жорстко запрограмовані лінії економічно невигідні, бо витрати на переоснащення та перепрограмування перевищують маржу виробничої партії.

Політики «зір, мова, дія» знімають це обмеження завдяки обумовленню задачі природною мовою. Оператор може змінити процедуру складання, просто ввівши нову команду або двічі показавши нову підзбірку. Механізми перехресної уваги моделі використовують попередньо навчені візуальні подання, щоб розпізнавати нові компоненти без перенавчання всієї нейромережі.

Подолати стіну даних: телекерування, Parquet і моделі світу #

Головна думка, яку Kooijmans доніс до керівників компаній, така: основне вузьке місце фізичного ШІ тепер не місткість моделей, а різноманітність демонстрацій.

В обробці природної мови моделі навчалися на трильйонах токенів, зібраних із відкритого інтернету. У фізичній робототехніці готового «інтернету фізичної маніпуляції» немає. Кожну демонстрацію того, як захват бере предмет, повертає вентиль або складає тканину, треба записати у фізичному світі через телекерування з датчиками.

Hugging Face LeRobot розв'язує цю задачу за допомогою трьох ключових ініціатив:

Установки телекерування «провідний–ведений»: недорогі надруковані на 3D-принтері пасивні «провідні» маніпулятори з магнітними енкодерами механічно повторюють активного «веденого» робота, тож оператори без зусиль керують роботом у реальному часі, одночасно записуючи кути суглобів, швидкості та багаторакурсне відео.
Стандартизовані схеми наборів даних Parquet: демонстрації пакуються у стандартизовані високопродуктивні таблиці Apache Parquet, пов'язані з фрагментованими відеопотоками MP4. Це дає змогу стандартним інструментам інженерії даних (Polars, DuckDB, PyArrow) з високою швидкістю обробляти терабайти робототехнічної телеметрії.
Перехід із симуляції в реальність і доповнення моделями світу: щоб вийти за межі фізичного телекерування, відкриті моделі світу вивчають генеративну фізичну динаміку. Навчені на базовому наборі реальних демонстрацій, моделі світу моделюють мільйони контрфактичних сценаріїв (змінюючи освітлення, додаючи безлад, змінюючи тертя столу) безпосередньо в латентному просторі та перевіряють політики на міцність до розгортання в реальному світі.

Висновок #

Презентація Hugging Face LeRobot на саміті Economist Enterprise Physical AI and Robotics Summit позначила вирішальний перелом у робототехнічній галузі. Епоха, коли робототехніка вимагала капітальних бюджетів у мільйони фунтів, пропрієтарних мов програмування та жорстких заводських огорож, поступається місцем відкритій, спільній екосистемі, що ґрунтується на даних.

Поєднуючи мультимодальні базові моделі «зір і мова» з Action Chunking на основі flow matching і доступним відкритим обладнанням, відкритий фізичний ШІ перетворює роботів із крихких автоматів на адаптивні системи, що навчаються. Для керівників інженерних служб і технологічних компаній стратегічний висновок однозначний: конкурентну перевагу визначатиме вже не володіння пропрієтарним механічним обладнанням, а майстерність у конвеєрах даних, процесах збирання демонстрацій і базових моделях, які вчать машини опановувати фізичний світ.

Часті запитання #

Що таке Hugging Face LeRobot? Hugging Face LeRobot є відкритим фреймворком та ініціативою спільноти, покликаними зробити робототехніку та фізичний ШІ доступними. Він надає реалізації передових алгоритмів імітаційного навчання на PyTorch, стандартизовані формати наборів даних, попередньо навчені базові моделі «зір, мова, дія» (VLA) та відкриті апаратні конструкції (наприклад, SO-100), щоб знизити фінансові й технічні бар'єри входу в робототехніку.

Чим імітаційне навчання відрізняється від класичного програмування роботів? Класичне програмування роботів вимагає, щоб інженер написав явний процедурний код із точними декартовими координатами, розв'язками оберненої кінематики та переходами станів за допомогою пультів навчання або скриптів ROS. Імітаційне навчання, навпаки, вчить нейромережі наслідувати поведінку людини за записаними демонстраціями виконання задачі через телекерування й формує політику, яка безпосередньо зіставляє сенсорні спостереження з моторними командами.

Яку роль відіграє Gemma VLM у конвеєрі фізичного ШІ? У сучасних архітектурах фізичного ШІ модель «зір і мова» Gemma (VLM) слугує мультимодальним механізмом міркування. Вона приймає візуальні токени з камер (закодовані через SigLIP), вектор фізичного стану суглобів робота та інструкції природною мовою. За допомогою перехресної уваги вона сплавляє смисловий задум із візуальною геометрією та формує високорівневі подання задачі, які спрямовують Action Expert.

Що таке flow matching у передбаченні дій роботів? Flow matching є методом генеративного моделювання, спорідненим із неперервними нормалізувальними потоками та дифузійними моделями. У робототехніці він перетворює простий гауссів шум на складні мультимодальні траєкторії дій, розв'язуючи звичайні диференціальні рівняння за кілька кроків. Це дає роботу змогу справлятися з неоднозначними ситуаціями, де допустимо кілька рухів, і уникати артефактів усереднення, через які зазнають невдачі простіші регресійні моделі.

Чи можуть надруковані на 3D-принтері маніпулятори дешевші за $200 виконувати виробничі задачі? Хоча маніпуляторам дешевшим за $200, як-от SO-100, бракує вантажопідйомності, конструктивної жорсткості та субміліметрової повторюваності, потрібних для важкої авіаційної механообробки, вони цілком здатні виконувати делікатну маніпуляцію, контроль, роботу з рідинами в лабораторії та комплектацію дрібних деталей. Важливіше інше: політики, навчені й перевірені на цих недорогих платформах, можна безпосередньо переносити на промислові колаборативні маніпулятори з мінімальним донавчанням.

Джерела #

Economist Enterprise, (2026). Physical AI & Robotics Summit: операційна перевага завдяки автономним системам ⧉. Economist Enterprise.
Kooijmans, P., (2026). Відкрито для бізнесу: як відкритий код прискорює фізичний ШІ ⧉. Hugging Face.
Hugging Face, (2026). LeRobot: передове машинне навчання для реальної робототехніки на PyTorch ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B., і Song, S., (2024). Diffusion Policy: навчання візуомоторних політик через дифузію дій ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S., і Finn, C., (2023). Навчання тонкої дворукої маніпуляції на недорогому обладнанні ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A., і Beyer, L., (2023). Сигмоїдна функція втрат для попереднього навчання на зображеннях і мові (SigLIP) ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M., і Le, M., (2023). Flow Matching для генеративного моделювання ⧉. Meta AI Research.

Останній перегляд 2026-10-13.

Останній перегляд 2026-10-27.

Перевидати цю статтю

Відкритий фізичний ШІ: як LeRobot робить робототехніку доступною — Sebastien Rousseau

На саміті Economist Enterprise у Лондоні Pepijn Kooijmans із Hugging Face показав, як відкритий LeRobot і обладнання за $200 знімають бар'єри фізичного ШІ.

Ця стаття поширюється за ліцензією Creative Commons Attribution 4.0 International. Перевидання вимагає посилання на канонічну URL-адресу.

Відкритий фізичний ШІ: як LeRobot робить робототехніку доступною — Sebastien Rousseau

На саміті Economist Enterprise у Лондоні Pepijn Kooijmans із Hugging Face показав, як відкритий LeRobot і обладнання за $200 знімають бар'єри фізичного ШІ.

Originally published at https://sebastienrousseau.com/uk/2026-10-13-vidkrytyy-fizychnyy-shi-lerobot-robyt-robototekhniku/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER