IA física de código aberto: como o LeRobot democratiza a robótica

TL;DR. No encontro de IA física da The Economist em Londres, Pepijn Kooijmans (Hugging Face) mostrou como LeRobot, modelos abertos e braços de US$ 200 abrem a robótica.

Principais conclusões

Do planejamento de movimento ao aprendizado por imitação: a virada de arquitetura. Em seu estudo de caso, Open for business: how open source is accelerating physical AI (Abertos para negócios: como o código aberto acelera a IA física), Pepijn Kooijmans percorreu sua trajetória da engenharia…
Por dentro da arquitetura VLA multimodal. Durante a palestra, Kooijmans detalhou o pipeline de rede neural de ponta a ponta que move as políticas modernas de IA física de código aberto, mostrando como entradas perceptivas de alta dimensão são traduzidas em…
Comparação técnica: automação clássica versus IA física de código aberto. Fonte: análise dos dados da apresentação, de benchmarks técnicos e de demonstrações ao vivo apresentados na cúpula Economist Enterprise Physical AI and Robotics (Convene 200 Aldersgate, Londres, 13 de outubro de 2026).
O que isso significa por setor. A ascensão de uma IA física aberta e movida pela comunidade está mudando a conta comercial em vários setores.

Durante seis décadas, a robótica industrial operou sob um paradigma implacável: um engenheiro programa explicitamente cada milímetro do movimento de uma máquina usando linguagens proprietárias, teach pendants e solucionadores cinemáticos rígidos. Se uma peça se desloca cinco milímetros ou a iluminação muda, o robô entra em falha. Na cúpula Economist Enterprise Physical AI and Robotics, em Londres, em 13 de outubro de 2026, Pepijn Kooijmans, líder do LeRobot na Hugging Face, apresentou uma arquitetura alternativa que está desmontando esse legado: “Os robôs do futuro não serão programados tarefa por tarefa. Eles vão aprender.”

Do planejamento de movimento ao aprendizado por imitação: a virada de arquitetura #

Em seu estudo de caso, Open for business: how open source is accelerating physical AI (Abertos para negócios: como o código aberto acelera a IA física), Pepijn Kooijmans percorreu sua trajetória da engenharia mecatrônica clássica até o aprendizado profundo. Durante décadas, os roboticistas foram treinados para decompor a manipulação em subproblemas discretos e isolados: segmentação de objetos, estimativa de pose 6D, transformações de sistemas de coordenadas, planejamento de trajetória com desvio de colisões e controle PID dos motores das juntas.

Essa decomposição analítica funciona bem em fábricas automotivas com ferramental rígido, onde as peças chegam em gabaritos de aço com precisão de mícron, mas desmorona em ambientes industriais existentes, laboratórios, armazéns e residências. No mundo real, os objetos se deformam, as superfícies refletem a luz de forma imprevisível e os colegas humanos introduzem obstáculos em movimento.

A tese central apresentada pela Hugging Face é que a destreza física não pode ser especificada analiticamente por regras codificadas à mão: ela precisa ser adquirida pela experiência. Assim como os grandes modelos de linguagem (LLMs) aprenderam gramática, raciocínio e conhecimento de mundo prevendo o próximo token em enormes corpora de texto, os agentes de IA física adquirem habilidades motoras aprendendo a distribuição das ações condicionada às observações visuais e sensoriais.

Essa passagem de programar cada movimento para ensinar por meio da demonstração humana marca a entrada da robótica na era dos modelos fundacionais.

Por dentro da arquitetura VLA multimodal #

Durante a palestra, Kooijmans detalhou o pipeline de rede neural de ponta a ponta que move as políticas modernas de IA física de código aberto, mostrando como entradas perceptivas de alta dimensão são traduzidas em manipulação física fluida.

Arquitetura de visão, linguagem e ação de ponta a ponta do Hugging Face LeRobot com tokens visuais do SigLIP, vetor de estado das juntas, instrução em linguagem natural, atenção cruzada do VLM Gemma e Action Expert com flow matching que emite 30 ações coordenadas das juntas .class="img-fluid clearfix"

A arquitetura funciona como um pipeline sensório-motor multimodal fortemente integrado:

1. Ingestão perceptiva em múltiplos fluxos #

O robô observa seu espaço de trabalho por meio de vários fluxos de câmera sincronizados (em geral, uma câmera de base no alto que dá o contexto espacial, ao lado de câmeras montadas no punho dos manipuladores esquerdo e direito para acompanhar os contatos em detalhe).

Esses fluxos de pixels brutos passam por um vision transformer SigLIP (400 milhões de parâmetros) congelado, que converte os quadros de vídeo em tokens visuais de alta densidade sem exigir, durante o ajuste fino da política, atualizações de gradiente de ponta a ponta caras pela rede de base visual.

2. Vetor de estado cinemático e condicionamento por tarefa #

Ao mesmo tempo, o sistema amostra o estado proprioceptivo interno do robô: um vetor de 16 dimensões que registra os 7 ângulos das juntas, as velocidades e a abertura das garras dos dois manipuladores.

O usuário define o objetivo por meio de uma instrução livre em linguagem natural (por exemplo, "dobre a camiseta", "pegue o parafuso sextavado M8 e coloque no suporte" ou "passe o cabo pelo conduíte"), que é tokenizada em embeddings de texto padrão.

3. Núcleo multimodal de atenção cruzada (Gemma VLM) #

Os tokens visuais, o vetor de estado proprioceptivo e os tokens de texto são injetados em um modelo de visão e linguagem Gemma (2 bilhões de parâmetros). Em vez de apenas gerar texto, o VLM Gemma aplica uma atenção cruzada profunda às três modalidades, fundindo a intenção semântica de alto nível da instrução com a geometria espacial da cena e a configuração mecânica instantânea do braço.

A saída desse modelo fundacional fundido é uma representação densa das características de tarefa do VLM, que reúne o que precisa ser feito em relação a onde os objetos estão.

4. O Action Expert: flow matching e diffusion policies #

As características do VLM seguem diretamente para um Action Expert (300 milhões de parâmetros) baseado em flow matching. As primeiras abordagens de aprendizado por imitação dependiam de uma regressão ingênua por erro quadrático médio (MSE), que faz os modelos emitirem a média de demonstrações conflitantes e resulta em robôs indecisos e travados; o flow matching, por sua vez, modela a distribuição multimodal das trajetórias de ação humanas.

Usando equações diferenciais de rectified flow resolvidas em dez passos de integração numérica, o Action Expert remove o ruído gaussiano até chegar a uma trajetória coerente de 30 ações futuras a uma frequência de controle de 50 Hz.

5. Action chunking com ensemble temporal #

Ao prever 30 passos de tempo consecutivos (uma abordagem conhecida como action chunking), a política elimina trancos de alta frequência e gargalos de latência. O robô executa o primeiro bloco de ações enquanto calcula o plano seguinte em segundo plano, e alcança um movimento suave, complacente e contínuo, de qualidade quase biológica.

Comparação técnica: automação clássica versus IA física de código aberto #

Métrica / vetor de arquitetura	Robótica industrial clássica (ROS / CLP / teach pendant)	IA física proprietária fechada (pilhas humanoides dos fornecedores)	IA física de código aberto (pilha Hugging Face LeRobot)
Paradigma de desenvolvimento	Procedural; trajetórias explícitas das juntas e máquinas de estados finitos	Aprendizado profundo de ponta a ponta; pesos fechados em caixa-preta; APIs de nuvem travadas	VLA de ponta a ponta; pesos abertos, conjuntos de dados abertos e laços de treinamento abertos em PyTorch
Barreira de entrada de hardware	De £ 30.000 a mais de £ 100.000 por braço industrial (KUKA, FANUC, ABB)	De £ 150.000 a mais de £ 350.000 por unidade humanoide proprietária	De menos de US$ 200 a US$ 1.500 com projetos de hardware aberto imprimíveis em 3D (SO-100, Koch)
Robustez ambiental	Falha na hora se as coordenadas da peça se desviam alguns milímetros	Alta adaptabilidade, mas o comportamento não pode ser inspecionado nem corrigido localmente	Alta adaptabilidade visual; as políticas podem ser ajustadas localmente em nós de borda no chão de fábrica
Formato de dados e telemetria	Formatos binários proprietários presos ao fornecedor e registradores de CLP	Telemetria proprietária criptografada na nuvem	Conjuntos de dados Apache Parquet padronizados, fluxos de vídeo MP4 e Hugging Face Hub
Generalização de tarefas	Nula; cada nova geometria de peça exige reprogramação manual completa	Promessas de tarefas amplas, mas adaptação lenta ao ferramental industrial sob medida	Adaptação rápida com 50 a 100 demonstrações humanas gravadas em montagens líder-seguidor
Pegada de hardware para inferência	CLP dedicado ou PC industrial com Linux em tempo real	Enormes clusters de GPU móveis embarcados que consomem de 300 W a 800 W	Inferência em silício de consumo na borda (uma única RTX 4070 ou Apple Silicon série M)

Fonte: análise dos dados da apresentação, de benchmarks técnicos e de demonstrações ao vivo apresentados na cúpula Economist Enterprise Physical AI and Robotics (Convene 200 Aldersgate, Londres, 13 de outubro de 2026).

O que isso significa por setor #

A ascensão de uma IA física aberta e movida pela comunidade está mudando a conta comercial em vários setores.

Pequenas e médias empresas (PMEs) #

As PMEs representam mais de 80% da capacidade industrial da Europa e do Reino Unido, mas historicamente menos de 5% conseguiam pagar pela automação. Implantar uma célula de automação industrial exigia contratar integradores de sistemas especializados, pagar licenças de software de seis dígitos e parar o chão de fábrica durante a instalação.

Com o ecossistema LeRobot, uma PME que fabrica suportes de precisão sob medida pode imprimir em 3D uma estação SO-100 de dois braços por menos de £ 500, equipá-la com webcams USB de £ 40 e gravar, com um braço líder impresso em 3D, cinquenta demonstrações de um operador carregando peças em uma fresadora CNC. Depois de três horas de ajuste fino em um computador de mesa comum, a política de código aberto consegue cuidar sozinha da alimentação da máquina, com retorno do investimento em poucas semanas.

Pesquisa acadêmica e ensino superior #

Até pouco tempo, os departamentos universitários de robótica enfrentavam um abismo existencial: laboratórios bem financiados podiam pagar plataformas da Boston Dynamics ou da Willow Garage, enquanto instituições menores ficavam restritas a simulações puras no Gazebo ou no MuJoCo.

A IA física de código aberto democratizou a experimentação física. Estudantes de pós-graduação no mundo todo podem construir plataformas de hardware idênticas, compartilhar checkpoints de políticas treinadas no Hugging Face Hub e reproduzir resultados de benchmark com rigor estatístico. Kooijmans destacou que o repositório do LeRobot passou, em poucos meses, de um punhado de colaboradores europeus para milhares de roboticistas ativos no mundo todo, prova de que o acesso aberto acelera a validação empírica mais do que os silos corporativos proprietários.

Montagem terceirizada de alto mix e baixo volume #

Na montagem de eletrônicos e de dispositivos médicos, as variantes de produto mudam toda semana. Linhas automatizadas codificadas à mão não são economicamente viáveis, porque os custos de reconfiguração e reprogramação superam a margem de lucro do lote.

As políticas de visão, linguagem e ação resolvem essa restrição por meio do condicionamento de tarefas em linguagem natural. Um operador pode mudar o procedimento de montagem apenas digitando um novo comando ou demonstrando duas iterações da nova submontagem. Os mecanismos de atenção cruzada do modelo aproveitam representações visuais pré-treinadas para identificar novos componentes sem retreinar toda a rede neural.

Derrubando o muro dos dados: teleoperação, Parquet e modelos de mundo #

A ideia central que Kooijmans levou aos líderes empresariais é que o principal gargalo da IA física já não é a capacidade dos modelos: é a diversidade das demonstrações.

No processamento de linguagem natural, os modelos foram treinados com trilhões de tokens coletados da web aberta. Na robótica física, não existe uma “internet da manipulação física” pronta. Cada demonstração de uma garra pegando um objeto, girando uma válvula ou dobrando um tecido precisa ser gravada no mundo físico por teleoperação instrumentada com sensores.

O Hugging Face LeRobot enfrenta esse desafio com três iniciativas centrais:

Montagens de teleoperação líder-seguidor: com braços “líderes” passivos de baixo custo, impressos em 3D e equipados com encoders magnéticos que espelham mecanicamente o robô “seguidor” ativo, operadores humanos conseguem teleoperar o robô sem esforço em tempo real, gravando ao mesmo tempo ângulos das juntas, velocidades e vídeo de vários ângulos.
Esquemas padronizados de conjuntos de dados Parquet: as demonstrações são empacotadas em tabelas Apache Parquet padronizadas e de alto desempenho, ligadas a fluxos de vídeo MP4 divididos em blocos. Assim, ferramentas comuns de engenharia de dados (Polars, DuckDB, PyArrow) conseguem processar terabytes de telemetria robótica em alta velocidade.
Da simulação ao real e ampliação com modelos de mundo: para ir além dos limites da teleoperação física, modelos de mundo de código aberto aprendem dinâmicas físicas generativas. Depois de treinados em um conjunto de dados básico de demonstrações reais, eles simulam milhões de cenários contrafactuais (iluminação variada, mais desordem, atrito da mesa alterado) diretamente no espaço latente, submetendo as políticas a testes de estresse antes da implantação real.

Conclusão #

A apresentação do Hugging Face LeRobot na cúpula Economist Enterprise Physical AI and Robotics cristalizou um ponto de inflexão decisivo para o setor de robótica. A era em que a robótica exigia orçamentos de investimento de milhões de libras, linguagens de programação proprietárias e gaiolas rígidas nas fábricas está dando lugar a um ecossistema aberto, colaborativo e orientado por dados.

Ao unir modelos fundacionais multimodais de visão e linguagem a action chunking baseado em flow matching e a hardware aberto acessível, a IA física de código aberto está transformando robôs de autômatos frágeis em sistemas adaptativos que aprendem. Para líderes de engenharia e executivos de tecnologia, o mandato estratégico é inequívoco: a vantagem competitiva não virá mais da posse de hardware mecânico proprietário, e sim do domínio dos pipelines de dados, dos fluxos de coleta de demonstrações e dos modelos fundacionais que ensinam as máquinas a dominar o mundo físico.

Perguntas frequentes #

O que é o Hugging Face LeRobot? O Hugging Face LeRobot é um framework de código aberto e uma iniciativa comunitária criados para democratizar a robótica e a IA física. Ele oferece implementações em PyTorch de algoritmos de aprendizado por imitação de ponta, formatos de conjuntos de dados padronizados, modelos fundacionais de visão, linguagem e ação (VLA) pré-treinados e projetos de hardware de código aberto (como o SO-100), para reduzir as barreiras financeiras e técnicas da robótica.

Em que o aprendizado por imitação difere da programação robótica clássica? A programação robótica clássica exige que um engenheiro escreva código procedural explícito especificando coordenadas cartesianas exatas, soluções de cinemática inversa e transições de estado, usando teach pendants ou scripts ROS. O aprendizado por imitação, por outro lado, treina redes neurais para imitar o comportamento humano observando demonstrações gravadas de pessoas executando a tarefa por teleoperação, e aprende uma política que liga diretamente as observações sensoriais aos comandos motores.

Qual é o papel do VLM Gemma no pipeline de IA física? Nas arquiteturas modernas de IA física, o modelo de visão e linguagem (VLM) Gemma funciona como motor de raciocínio multimodal. Ele recebe os tokens visuais das câmeras (codificados pelo SigLIP), o vetor de estado físico das juntas do robô e as instruções em linguagem natural. Com atenção cruzada, funde a intenção semântica e a geometria visual para produzir representações de tarefa de alto nível que orientam o Action Expert.

O que é flow matching na previsão de ações robóticas? Flow matching é uma técnica de modelagem generativa relacionada aos fluxos normalizadores contínuos e aos modelos de difusão. Na robótica, ela transforma um simples ruído gaussiano em trajetórias de ação complexas e multimodais resolvendo equações diferenciais ordinárias em vários passos. Isso permite ao robô lidar com situações ambíguas em que existem vários movimentos válidos, evitando os artefatos de média que fazem modelos de regressão mais simples falharem.

Braços robóticos impressos em 3D abaixo de US$ 200 conseguem executar tarefas de produção? Embora braços abaixo de US$ 200 como o SO-100 não tenham a capacidade de carga, a rigidez estrutural e a repetibilidade submilimétrica exigidas pela usinagem aeroespacial pesada, eles são plenamente capazes de executar manipulação delicada, inspeção, manuseio de líquidos em laboratório e montagem de kits de peças pequenas. Mais importante, políticas treinadas e validadas nessas plataformas de baixo custo podem ser transferidas diretamente para braços robóticos colaborativos de padrão industrial com ajuste fino mínimo.

Referências #

Economist Enterprise, (2026). Cúpula Physical AI & Robotics: vantagem operacional por meio de sistemas autônomos ⧉. Economist Enterprise.
Kooijmans, P., (2026). Abertos para negócios: como o código aberto acelera a IA física ⧉. Hugging Face.
Hugging Face, (2026). LeRobot: aprendizado de máquina de ponta para robótica real em PyTorch ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B. e Song, S., (2024). Diffusion Policy: aprendizado de políticas visuomotoras por difusão de ações ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S. e Finn, C., (2023). Aprendendo manipulação bimanual de precisão com hardware de baixo custo ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A. e Beyer, L., (2023). Perda sigmoide para o pré-treinamento de linguagem e imagem (SigLIP) ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M. e Le, M., (2023). Flow matching para modelagem generativa ⧉. Meta AI Research.

Última revisão 2026-10-13.

Última revisão 2026-10-27.

Republicar este artigo

IA física de código aberto: como o LeRobot democratiza a robótica — Sebastien Rousseau

No encontro de IA física da The Economist em Londres, Pepijn Kooijmans (Hugging Face) mostrou como LeRobot, modelos abertos e braços de US$ 200 abrem a robótica.

Este artigo está licenciado sob Creative Commons Attribution 4.0 International. A republicação exige atribuição à URL canônica.

IA física de código aberto: como o LeRobot democratiza a robótica — Sebastien Rousseau

No encontro de IA física da The Economist em Londres, Pepijn Kooijmans (Hugging Face) mostrou como LeRobot, modelos abertos e braços de US$ 200 abrem a robótica.

Originally published at https://sebastienrousseau.com/pt-br/2026-10-13-fisica-de-codigo-aberto-como-lerobot/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER