Открытый физический ИИ: как LeRobot делает робототехнику доступной

TL;DR. На саммите Economist Enterprise в Лондоне Pepijn Kooijmans из Hugging Face показал, как открытый LeRobot и оборудование за $200 снимают барьеры физического ИИ.

Ключевые выводы

От планирования движений к имитационному обучению: архитектурный сдвиг. В своём докладе-кейсе Open for business: how open source is accelerating physical AI («Открыто для бизнеса: как открытый исходный код ускоряет физический ИИ») Pepijn Kooijmans проследил свой путь от классической…
Внутри мультимодальной архитектуры VLA. Во время выступления Kooijmans подробно показал сквозной нейросетевой конвейер, на котором работают современные открытые политики физического ИИ, и объяснил, как многомерные перцептивные входные данные превращаются в…
Техническое сравнение: классическая автоматизация и открытый физический ИИ. Источник: анализ материалов докладов, технических бенчмарков и живых демонстраций на саммите Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, Лондон, 13 октября 2026 года).
Что это значит по отраслям. Подъём открытого физического ИИ, развиваемого сообществом, меняет коммерческий расчёт сразу в нескольких отраслях.

Шесть десятилетий промышленная робототехника жила по беспощадной парадигме: инженер явно программирует каждый миллиметр движения машины на проприетарных языках, с помощью пультов обучения и жёстких кинематических решателей. Стоит заготовке сместиться на пять миллиметров или измениться освещению, и робот уходит в ошибку. На саммите Economist Enterprise Physical AI and Robotics Summit в Лондоне 13 октября 2026 года Pepijn Kooijmans, руководитель LeRobot в Hugging Face, представил альтернативную архитектуру, которая разбирает это наследие: «Роботов будущего не будут программировать задачу за задачей. Они будут учиться».

От планирования движений к имитационному обучению: архитектурный сдвиг #

В своём докладе-кейсе Open for business: how open source is accelerating physical AI («Открыто для бизнеса: как открытый исходный код ускоряет физический ИИ») Pepijn Kooijmans проследил свой путь от классической мехатроники к глубокому обучению. Десятилетиями робототехников учили раскладывать манипуляцию на отдельные изолированные подзадачи: сегментацию объектов, оценку 6D-позы, преобразования систем координат, планирование траекторий с обходом столкновений и ПИД-управление двигателями суставов.

Такая аналитическая декомпозиция хорошо работает на жёстко оснащённых автомобильных заводах, где детали приходят в стальных кондукторах с микронной точностью, но рушится на действующих промышленных площадках, в лабораториях, на складах и в быту. В реальном мире предметы деформируются, поверхности непредсказуемо отражают свет, а люди рядом создают подвижные препятствия.

Основной тезис Hugging Face состоит в том, что физическую ловкость невозможно аналитически задать вручную написанными правилами: её нужно приобретать на опыте. Как большие языковые модели (LLM) освоили грамматику, рассуждение и знания о мире, предсказывая следующий токен в огромных текстовых корпусах, так агенты физического ИИ приобретают моторные навыки, изучая распределение действий при заданных визуальных и сенсорных наблюдениях.

Переход от программирования каждого движения к обучению через демонстрации человека знаменует вступление робототехники в эпоху базовых моделей.

Внутри мультимодальной архитектуры VLA #

Во время выступления Kooijmans подробно показал сквозной нейросетевой конвейер, на котором работают современные открытые политики физического ИИ, и объяснил, как многомерные перцептивные входные данные превращаются в плавную физическую манипуляцию.

Сквозная архитектура «зрение, язык, действие» Hugging Face LeRobot: визуальные токены SigLIP, вектор состояния суставов, языковая подсказка, перекрёстное внимание Gemma VLM и Action Expert на flow matching, выдающий 30 согласованных действий суставов .class="img-fluid clearfix"

Архитектура работает как тесно интегрированный мультимодальный сенсомоторный конвейер:

1. Многопотоковый приём восприятия #

Робот наблюдает своё рабочее пространство через несколько синхронизированных потоков с камер (обычно это верхняя базовая камера, дающая пространственный контекст, а также камеры на запястьях левого и правого манипуляторов для точного отслеживания контакта).

Эти необработанные потоки пикселей передаются в замороженный визуальный трансформер SigLIP (400M параметров), который превращает кадры видео в плотные визуальные токены, не требуя при дообучении политики вычислительно непомерных сквозных обновлений градиентов через визуальную основу.

2. Вектор кинематического состояния и обусловливание задачей #

Одновременно система считывает внутреннее проприоцептивное состояние физического робота: 16-мерный вектор, включающий 7 углов суставов, скорости и ширину раскрытия захватов двух манипуляторов.

Пользователь задаёт рабочую цель произвольной подсказкой на естественном языке (например, "fold the t-shirt", "pick the M8 hex bolt and place it in the bracket" или "route the cable through the conduit"), которая токенизируется в стандартные текстовые эмбеддинги.

3. Мультимодальное ядро перекрёстного внимания (Gemma VLM) #

Визуальные токены, вектор проприоцептивного состояния и текстовые токены подаются в модель «зрение и язык» Gemma (2B параметров). Вместо того чтобы просто генерировать текстовые токены, Gemma VLM выполняет глубокое перекрёстное внимание по всем трём модальностям, сплавляя высокоуровневый смысловой замысел языковой инструкции с пространственной геометрией визуальной сцены и мгновенной механической конфигурацией манипулятора.

Результат этой объединённой базовой модели представляет собой плотное представление признаков задачи VLM, в котором заключено, что нужно сделать, с учётом того, где находятся предметы.

4. Action Expert: flow matching и диффузионные политики #

Признаки VLM подаются напрямую в Action Expert (300M параметров), работающий по принципам flow matching. В отличие от ранних подходов имитационного обучения, опиравшихся на наивную регрессию по среднеквадратичной ошибке (MSE), из-за которой модели выдают среднее противоречивых демонстраций и робот застывает в нерешительности, flow matching моделирует мультимодальное распределение траекторий действий человека.

С помощью дифференциальных уравнений выпрямленного потока, решаемых за десять шагов численного интегрирования, Action Expert очищает гауссов шум до связной траектории из 30 будущих действий с частотой управления 50 Гц.

5. Action Chunking с временным ансамблированием #

Предсказывая 30 последовательных шагов по времени (такой подход называют Action Chunking), политика устраняет высокочастотные рывки и узкие места задержки. Робот выполняет первый блок действий, пока в фоне рассчитывает следующий план, и добивается плавного, податливого и непрерывного движения, близкого к биологическому.

Техническое сравнение: классическая автоматизация и открытый физический ИИ #

Метрика / архитектурное измерение	Классическая промышленная робототехника (ROS / ПЛК / пульт обучения)	Проприетарный закрытый физический ИИ (гуманоидные стеки поставщиков)	Открытый физический ИИ (стек Hugging Face LeRobot)
Парадигма разработки	Процедурная; явные траектории суставов и конечные автоматы	Сквозное глубокое обучение; закрытые веса «чёрного ящика»; закрытые облачные API	Сквозная VLA; открытые веса, открытые наборы данных и открытые циклы обучения на PyTorch
Аппаратный порог входа	От 30 000 до 100 000+ фунтов за промышленный манипулятор (KUKA, FANUC, ABB)	От 150 000 до 350 000+ фунтов за проприетарного гуманоида	От менее $200 до $1500 на открытых конструкциях для 3D-печати (SO-100, Koch)
Устойчивость к среде	Сразу даёт сбой, если координаты детали смещаются на миллиметры	Высокая адаптивность, но поведение нельзя проверить или исправить на месте	Высокая визуальная адаптивность; политики можно дообучать локально на периферийных узлах в цеху
Формат данных и телеметрия	Закрытые проприетарные двоичные форматы и регистры ПЛК	Проприетарная зашифрованная облачная телеметрия	Стандартизированные наборы данных Apache Parquet, видеопотоки MP4 и Hugging Face Hub
Обобщение задач	Нулевое; каждая новая геометрия детали требует полного ручного перепрограммирования	Широкие заявления о задачах, но медленная адаптация к нестандартной промышленной оснастке	Быстрая адаптация по 50–100 демонстрациям человека, записанным на установках «ведущий–ведомый»
Аппаратные требования для вывода	Выделенный ПЛК или промышленный компьютер с Linux реального времени	Массивные бортовые мобильные кластеры GPU мощностью от 300 до 800 Вт	Вывод на потребительском периферийном кремнии (одна RTX 4070 или Apple Silicon серии M)

Источник: анализ материалов докладов, технических бенчмарков и живых демонстраций на саммите Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, Лондон, 13 октября 2026 года).

Что это значит по отраслям #

Подъём открытого физического ИИ, развиваемого сообществом, меняет коммерческий расчёт сразу в нескольких отраслях.

Малый и средний бизнес #

На малые и средние предприятия приходится более 80% производственных мощностей Европы и Великобритании, однако исторически автоматизацию могли позволить себе менее 5% из них. Развёртывание промышленной ячейки автоматизации требовало найма специализированных системных интеграторов, лицензионных платежей за ПО в шестизначные суммы и остановки цеха на время монтажа.

В экосистеме LeRobot малое предприятие, выпускающее штучные прецизионные кронштейны, может напечатать на 3D-принтере двуручную станцию SO-100 менее чем за 500 фунтов, оснастить её USB-камерами по 40 фунтов и записать пятьдесят демонстраций того, как рабочий загружает детали во фрезерный станок с ЧПУ с помощью напечатанного ведущего манипулятора. Уже через три часа дообучения на обычном настольном компьютере открытая политика способна самостоятельно обслуживать станок и окупается за считаные недели.

Академические исследования и высшее образование #

До недавнего времени университетские кафедры робототехники разделяла пропасть: хорошо финансируемые лаборатории могли позволить себе платформы Boston Dynamics или Willow Garage, а небольшие учреждения ограничивались чистыми симуляциями в Gazebo или MuJoCo.

Открытый физический ИИ сделал физические эксперименты доступными. Аспиранты по всему миру могут собирать одинаковые аппаратные платформы, делиться контрольными точками обученных политик в Hugging Face Hub и воспроизводить результаты бенчмарков со статистической строгостью. Kooijmans подчеркнул, что за несколько месяцев репозиторий LeRobot вырос от горстки европейских участников до тысяч активных робототехников по всему миру, доказав, что открытый доступ ускоряет эмпирическую проверку быстрее, чем закрытые корпоративные разработки.

Контрактная сборка широкой номенклатуры малыми сериями #

В сборке электроники и медицинских изделий варианты продукции меняются еженедельно. Жёстко запрограммированные линии экономически невыгодны, потому что затраты на переоснастку и перепрограммирование превышают маржу производственной партии.

Политики «зрение, язык, действие» снимают это ограничение за счёт обусловливания задачи естественным языком. Оператор может сменить процедуру сборки, просто введя новую команду или дважды показав новую подсборку. Механизмы перекрёстного внимания модели используют предобученные визуальные представления, чтобы распознавать новые компоненты без переобучения всей нейросети.

Преодолеть стену данных: телеуправление, Parquet и модели мира #

Главная мысль, которую Kooijmans донёс до руководителей компаний, такова: основное узкое место физического ИИ теперь не ёмкость моделей, а разнообразие демонстраций.

В обработке естественного языка модели обучались на триллионах токенов, собранных из открытого интернета. В физической робототехнике готового «интернета физической манипуляции» нет. Каждую демонстрацию того, как захват берёт предмет, поворачивает вентиль или складывает ткань, нужно записать в физическом мире через телеуправление с датчиками.

Hugging Face LeRobot решает эту задачу с помощью трёх ключевых инициатив:

Установки телеуправления «ведущий–ведомый»: недорогие напечатанные на 3D-принтере пассивные «ведущие» манипуляторы с магнитными энкодерами механически повторяют активного «ведомого» робота, поэтому операторы без усилий управляют роботом в реальном времени, одновременно записывая углы суставов, скорости и многоракурсное видео.
Стандартизированные схемы наборов данных Parquet: демонстрации упаковываются в стандартизированные высокопроизводительные таблицы Apache Parquet, связанные с фрагментированными видеопотоками MP4. Это позволяет стандартным инструментам инженерии данных (Polars, DuckDB, PyArrow) с высокой скоростью обрабатывать терабайты робототехнической телеметрии.
Переход из симуляции в реальность и дополнение моделями мира: чтобы выйти за пределы физического телеуправления, открытые модели мира изучают генеративную физическую динамику. Обученные на базовом наборе реальных демонстраций, модели мира моделируют миллионы контрфактических сценариев (меняя освещение, добавляя беспорядок, изменяя трение стола) прямо в латентном пространстве и проверяют политики на прочность до развёртывания в реальном мире.

Заключение #

Презентация Hugging Face LeRobot на саммите Economist Enterprise Physical AI and Robotics Summit обозначила решающий перелом в робототехнической отрасли. Эпоха, когда робототехника требовала капитальных бюджетов в миллионы фунтов, проприетарных языков программирования и жёстких заводских ограждений, уступает место открытой, совместной экосистеме, основанной на данных.

Соединяя мультимодальные базовые модели «зрение и язык» с Action Chunking на основе flow matching и доступным открытым оборудованием, открытый физический ИИ превращает роботов из хрупких автоматов в адаптивные обучающиеся системы. Для руководителей инженерных служб и технологических компаний стратегический вывод однозначен: конкурентное преимущество будет определяться уже не владением проприетарным механическим оборудованием, а мастерством в конвейерах данных, процессах сбора демонстраций и базовых моделях, которые учат машины осваивать физический мир.

Часто задаваемые вопросы #

Что такое Hugging Face LeRobot? Hugging Face LeRobot представляет собой открытый фреймворк и инициативу сообщества, призванные сделать робототехнику и физический ИИ доступными. Он предоставляет реализации передовых алгоритмов имитационного обучения на PyTorch, стандартизированные форматы наборов данных, предобученные базовые модели «зрение, язык, действие» (VLA) и открытые аппаратные конструкции (например, SO-100), чтобы снизить финансовые и технические барьеры входа в робототехнику.

Чем имитационное обучение отличается от классического программирования роботов? Классическое программирование роботов требует, чтобы инженер написал явный процедурный код с точными декартовыми координатами, решениями обратной кинематики и переходами состояний с помощью пультов обучения или скриптов ROS. Имитационное обучение, напротив, учит нейросети подражать поведению человека по записанным демонстрациям выполнения задачи через телеуправление и формирует политику, которая напрямую сопоставляет сенсорные наблюдения с моторными командами.

Какую роль играет Gemma VLM в конвейере физического ИИ? В современных архитектурах физического ИИ модель «зрение и язык» Gemma (VLM) служит мультимодальным механизмом рассуждения. Она принимает визуальные токены с камер (закодированные через SigLIP), вектор физического состояния суставов робота и инструкции на естественном языке. С помощью перекрёстного внимания она сплавляет смысловой замысел с визуальной геометрией и формирует высокоуровневые представления задачи, которые направляют Action Expert.

Что такое flow matching в предсказании действий роботов? Flow matching представляет собой метод генеративного моделирования, родственный непрерывным нормализующим потокам и диффузионным моделям. В робототехнике он превращает простой гауссов шум в сложные мультимодальные траектории действий, решая обыкновенные дифференциальные уравнения за несколько шагов. Это позволяет роботу справляться с неоднозначными ситуациями, где допустимо несколько движений, и избегать артефактов усреднения, из-за которых проваливаются более простые регрессионные модели.

Могут ли напечатанные на 3D-принтере манипуляторы дешевле $200 выполнять производственные задачи? Хотя манипуляторам дешевле $200, таким как SO-100, не хватает грузоподъёмности, конструктивной жёсткости и субмиллиметровой повторяемости, нужных для тяжёлой авиационной механообработки, они вполне способны выполнять деликатную манипуляцию, контроль, работу с жидкостями в лаборатории и комплектацию мелких деталей. Важнее другое: политики, обученные и проверенные на этих недорогих платформах, можно напрямую переносить на промышленные коллаборативные манипуляторы с минимальным дообучением.

Источники #

Economist Enterprise, (2026). Physical AI & Robotics Summit: операционное преимущество за счёт автономных систем ⧉. Economist Enterprise.
Kooijmans, P., (2026). Открыто для бизнеса: как открытый исходный код ускоряет физический ИИ ⧉. Hugging Face.
Hugging Face, (2026). LeRobot: передовое машинное обучение для реальной робототехники на PyTorch ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B., и Song, S., (2024). Diffusion Policy: обучение визуомоторных политик через диффузию действий ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S., и Finn, C., (2023). Обучение тонкой двуручной манипуляции на недорогом оборудовании ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A., и Beyer, L., (2023). Сигмоидная функция потерь для предобучения на изображениях и языке (SigLIP) ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M., и Le, M., (2023). Flow Matching для генеративного моделирования ⧉. Meta AI Research.

Последняя проверка 2026-10-13.

Последняя проверка 2026-10-27.

Опубликовать заново

Открытый физический ИИ: как LeRobot делает робототехнику доступной — Sebastien Rousseau

На саммите Economist Enterprise в Лондоне Pepijn Kooijmans из Hugging Face показал, как открытый LeRobot и оборудование за $200 снимают барьеры физического ИИ.

Эта статья распространяется по лицензии Creative Commons Attribution 4.0 International. При повторной публикации требуется указание канонической ссылки.

Открытый физический ИИ: как LeRobot делает робототехнику доступной — Sebastien Rousseau

На саммите Economist Enterprise в Лондоне Pepijn Kooijmans из Hugging Face показал, как открытый LeRobot и оборудование за $200 снимают барьеры физического ИИ.

Originally published at https://sebastienrousseau.com/ru/2026-10-13-otkrytyy-fizicheskiy-ii-lerobot-delaet-robototekhniku/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER