AI fizică open source: cum democratizează LeRobot robotica

TL;DR. La summitul The Economist despre AI fizică de la Londra, Pepijn Kooijmans a arătat cum LeRobot, modelele deschise și brațele de 200 USD reduc barierele din robotică.

Concluzii cheie

De la planificarea mișcării la învățarea prin imitație: schimbarea arhitecturală. În studiul de caz prezentat, Open for business: how open source is accelerating physical AI (Deschiși pentru afaceri: cum accelerează open source AI fizică), Pepijn Kooijmans și-a descris parcursul de la mecatronica…
În interiorul arhitecturii multimodale VLA. În prezentarea sa, Kooijmans a arătat în detaliu rețeaua neuronală end-to-end care alimentează politicile moderne de AI fizică open source și a ilustrat cum datele perceptuale de mare dimensiune sunt traduse într-o…
Comparație tehnică: automatizarea clasică față de AI fizică open source. Sursa: Analiza datelor din prezentare, a testelor tehnice și a demonstrațiilor live de la Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, Londra, 13 octombrie 2026).
Ce înseamnă acest lucru pe sectoare. Ascensiunea AI fizice deschise, dezvoltate de comunitate, schimbă calculul comercial în mai multe industrii.

Timp de șase decenii, robotica industrială a funcționat după o paradigmă necruțătoare: un inginer programează explicit fiecare milimetru din mișcarea unei mașini folosind limbaje proprietare, console de programare și solvere cinematice rigide. Dacă o piesă se deplasează cu cinci milimetri sau condițiile de iluminare se schimbă, robotul intră în eroare. La Economist Enterprise Physical AI and Robotics Summit, la Londra, pe 13 octombrie 2026, Pepijn Kooijmans, liderul LeRobot la Hugging Face, a prezentat o arhitectură alternativă care demontează această moștenire: „Roboții viitorului nu vor fi programați sarcină cu sarcină. Vor învăța.”

De la planificarea mișcării la învățarea prin imitație: schimbarea arhitecturală #

În studiul de caz prezentat, Open for business: how open source is accelerating physical AI (Deschiși pentru afaceri: cum accelerează open source AI fizică), Pepijn Kooijmans și-a descris parcursul de la mecatronica clasică la învățarea profundă. Timp de decenii, roboticienii au fost formați să descompună manipularea în subprobleme distincte și izolate: segmentarea obiectelor, estimarea poziției 6D, transformările între sisteme de coordonate, planificarea traiectoriei cu evitarea coliziunilor și controlul PID al motoarelor articulațiilor.

Această descompunere analitică funcționează bine în fabricile auto cu dispozitive rigide, unde piesele sosesc în montaje din oțel precise la micron, dar se prăbușește în mediile industriale existente, în laboratoare, depozite și locuințe. În lumea reală, obiectele se deformează, suprafețele reflectă lumina imprevizibil, iar colegii umani introduc obstacole în mișcare.

Teza fundamentală prezentată de Hugging Face este că dexteritatea fizică nu poate fi specificată analitic prin reguli scrise de mână; ea trebuie dobândită prin experiență. Așa cum modelele lingvistice mari (LLM) au învățat gramatica, raționamentul și cunoștințele despre lume prezicând următorul token în corpusuri uriașe de text, agenții AI fizici dobândesc abilități motorii învățând distribuția acțiunilor condiționată de observațiile vizuale și senzoriale.

Trecerea de la programarea fiecărei mișcări la predarea prin demonstrație umană marchează intrarea roboticii în era modelelor fundamentale.

În interiorul arhitecturii multimodale VLA #

În prezentarea sa, Kooijmans a arătat în detaliu rețeaua neuronală end-to-end care alimentează politicile moderne de AI fizică open source și a ilustrat cum datele perceptuale de mare dimensiune sunt traduse într-o manipulare fizică fluentă.

Arhitectura viziune-limbaj-acțiune end-to-end din Hugging Face LeRobot, cu tokeni vizuali SigLIP, vectorul de stare al articulațiilor, instrucțiunea în limbaj, atenția încrucișată Gemma VLM și Action Expert bazat pe flow matching care produce 30 de acțiuni coordonate ale articulațiilor .class="img-fluid clearfix"

Arhitectura funcționează ca un flux senzorimotor multimodal strâns integrat:

1. Preluarea perceptuală din mai multe fluxuri #

Robotul își observă spațiul de lucru prin mai multe fluxuri video sincronizate (de regulă o cameră de bază montată deasupra, care oferă contextul spațial, alături de camere montate pe încheieturile manipulatoarelor din stânga și din dreapta pentru urmărirea fină a contactului).

Fluxurile brute de pixeli intră într-un transformer vizual înghețat SigLIP (400M parametri), care transformă cadrele video în tokeni vizuali denși, fără actualizări de gradient prohibitive din punct de vedere computațional prin întreaga coloană vizuală în timpul ajustării fine a politicii.

2. Vectorul de stare cinematică și condiționarea sarcinii #

În paralel, sistemul eșantionează starea proprioceptivă internă a robotului: un vector cu 16 dimensiuni care cuprinde cele 7 unghiuri ale articulațiilor, vitezele și deschiderile gripperelor celor două manipulatoare.

Utilizatorul formulează obiectivul operațional printr-o instrucțiune arbitrară în limbaj natural (de exemplu "fold the t-shirt", "pick the M8 hex bolt and place it in the bracket" sau "route the cable through the conduit"), care este tokenizată în reprezentări vectoriale standard ale textului.

3. Nucleul multimodal cu atenție încrucișată (Gemma VLM) #

Tokenii vizuali, vectorul de stare proprioceptivă și tokenii de text sunt introduși într-un model viziune-limbaj Gemma (2B parametri). În loc să genereze doar tokeni de text, Gemma VLM aplică o atenție încrucișată profundă peste toate cele trei modalități, îmbinând intenția semantică de nivel înalt a instrucțiunii cu geometria spațială a scenei vizuale și configurația mecanică instantanee a brațului.

Rezultatul acestui model fundamental unificat este o reprezentare densă a trăsăturilor sarcinii din VLM, care surprinde ce trebuie făcut în raport cu unde se află obiectele.

4. Action Expert: flow matching și politici de difuzie #

Trăsăturile din VLM intră direct într-un Action Expert (300M parametri) care funcționează pe principiul flow matching. Spre deosebire de primele abordări ale învățării prin imitație, care se bazau pe o regresie naivă cu eroare pătratică medie (MSE), ce face modelele să producă media unor demonstrații contradictorii și duce la roboți nehotărâți, înțepeniți, flow matching modelează distribuția multimodală a traiectoriilor umane de acțiune.

Folosind ecuații diferențiale de flux rectificat rezolvate în zece pași de integrare numerică, Action Expert elimină zgomotul gaussian și obține o traiectorie coerentă de 30 de acțiuni viitoare la o frecvență de control de 50 Hz.

5. Action chunking cu ansamblare temporală #

Prezicând 30 de pași de timp consecutivi (o abordare numită action chunking), politica elimină smuciturile de înaltă frecvență și blocajele de latență. Robotul execută primul bloc de acțiuni în timp ce calculează în fundal planul următor, obținând o mișcare lină, complianță și continuă, de calitate biologică.

Comparație tehnică: automatizarea clasică față de AI fizică open source #

Metrică / dimensiune arhitecturală	Robotică industrială clasică (ROS / PLC / consolă de programare)	AI fizică proprietară închisă (stive umanoide ale furnizorilor)	AI fizică open source (stiva Hugging Face LeRobot)
Paradigma de dezvoltare	Procedurală; traiectorii explicite ale articulațiilor și mașini cu stări finite	Învățare profundă end-to-end; cutie neagră cu ponderi închise; API-uri cloud blocate	VLA end-to-end; ponderi deschise, seturi de date deschise și bucle de antrenare deschise în PyTorch
Bariera hardware de intrare	Între 30.000 și peste 100.000 GBP pe braț industrial (KUKA, FANUC, ABB)	Între 150.000 și peste 350.000 GBP pe unitate umanoidă proprietară	De la sub 200 USD la 1.500 USD, cu modele hardware deschise imprimabile 3D (SO-100, Koch)
Robustețe la mediu	Cedează imediat dacă coordonatele piesei se deplasează cu câțiva milimetri	Adaptabilitate ridicată, dar comportamentul nu poate fi inspectat sau corectat local	Adaptabilitate vizuală ridicată; politicile pot fi ajustate local pe noduri edge din hala de producție
Format de date și telemetrie	Formate binare proprietare și registre PLC blocate de furnizor	Telemetrie cloud proprietară criptată	Seturi de date Apache Parquet standardizate, fluxuri video MP4 și Hugging Face Hub
Generalizarea sarcinilor	Zero; fiecare geometrie nouă de componentă cere reprogramare manuală completă	Promisiuni largi privind sarcinile, dar adaptare lentă la sculele industriale personalizate	Adaptare rapidă prin 50 până la 100 de demonstrații umane înregistrate cu montaje lider-urmăritor
Amprenta hardware pentru inferență	PLC dedicat sau PC industrial cu Linux în timp real	Clustere GPU mobile masive la bord, care consumă între 300 și 800 W	Inferență pe siliciu edge de consum (un singur RTX 4070 sau Apple Silicon seria M)

Sursa: Analiza datelor din prezentare, a testelor tehnice și a demonstrațiilor live de la Economist Enterprise Physical AI and Robotics Summit (Convene 200 Aldersgate, Londra, 13 octombrie 2026).

Ce înseamnă acest lucru pe sectoare #

Ascensiunea AI fizice deschise, dezvoltate de comunitate, schimbă calculul comercial în mai multe industrii.

Întreprinderi mici și mijlocii (IMM-uri) #

IMM-urile reprezintă peste 80% din capacitatea de producție a Europei și a Regatului Unit, însă istoric mai puțin de 5% își permiteau automatizarea. Implementarea unei celule de automatizare industrială presupunea angajarea unor integratori de sisteme specializați, taxe de licență software de șase cifre și oprirea halei de producție pe durata instalării.

Cu ecosistemul LeRobot, un IMM care produce suporturi de precizie la comandă poate imprima 3D o stație de lucru SO-100 cu două brațe pentru mai puțin de 500 GBP, o poate echipa cu camere web USB de 40 GBP și poate înregistra cincizeci de demonstrații ale unui muncitor care încarcă piese într-o mașină de frezat CNC folosind un braț lider imprimat 3D. După trei ore de ajustare fină pe un calculator desktop obișnuit, politica open source poate deservi mașina autonom, iar investiția se recuperează în câteva săptămâni.

Cercetare academică și învățământ superior #

Până de curând, departamentele universitare de robotică se confruntau cu o falie existențială: laboratoarele bine finanțate își permiteau platforme Boston Dynamics sau Willow Garage, în timp ce instituțiile mai mici erau limitate la simulări pure în Gazebo sau MuJoCo.

AI fizică open source a democratizat experimentarea fizică. Doctoranzii din întreaga lume pot construi platforme hardware identice, pot partaja puncte de control ale politicilor antrenate pe Hugging Face Hub și pot reproduce rezultatele testelor de referință cu rigoare statistică. Kooijmans a subliniat că depozitul LeRobot a crescut în câteva luni de la o mână de contributori europeni la mii de roboticieni activi din toată lumea, dovedind că accesul deschis accelerează validarea empirică mai repede decât silozurile corporative proprietare.

Asamblare în regim de contract, cu mare diversitate și volume mici #

În asamblarea de electronice și dispozitive medicale, variantele de produs se schimbă săptămânal. Liniile de automatizare codificate rigid sunt neviabile economic, deoarece costurile de reechipare și reprogramare depășesc marja de profit a seriei de producție.

Politicile viziune-limbaj-acțiune elimină această constrângere prin condiționarea sarcinii în limbaj natural. Un operator poate schimba procedura de asamblare pur și simplu tastând o comandă nouă sau demonstrând de două ori noul subansamblu. Mecanismele de atenție încrucișată ale modelului folosesc reprezentări vizuale preantrenate pentru a identifica componente noi fără a reantrena întreaga rețea neuronală.

Spargerea zidului datelor: teleoperare, Parquet și modele ale lumii #

Ideea centrală pe care Kooijmans le-a transmis-o liderilor de companii este că principalul blocaj al AI fizice nu mai este capacitatea modelelor, ci diversitatea demonstrațiilor.

În procesarea limbajului natural, modelele au fost antrenate pe trilioane de tokeni colectați de pe webul deschis. În robotica fizică nu există un „internet al manipulării fizice” preexistent. Fiecare demonstrație a unui gripper care ridică un obiect, rotește o supapă sau pliază o țesătură trebuie înregistrată în lumea fizică prin teleoperare echipată cu senzori.

Hugging Face LeRobot abordează această provocare prin trei inițiative principale:

Montaje de teleoperare lider-urmăritor: Prin brațe „lider” pasive, ieftine și imprimate 3D, echipate cu encodere magnetice care oglindesc mecanic robotul activ „urmăritor”, operatorii umani pot teleopera robotul fără efort, în timp real, înregistrând simultan unghiurile articulațiilor, vitezele și video din mai multe unghiuri.
Scheme standardizate de seturi de date Parquet: Demonstrațiile sunt împachetate în tabele Apache Parquet standardizate, de înaltă performanță, asociate cu fluxuri video MP4 segmentate. Astfel, instrumentele standard de inginerie a datelor (Polars, DuckDB, PyArrow) pot procesa terabaiți de telemetrie robotică la viteze mari.
Sim-to-real și augmentare cu modele ale lumii: Pentru a depăși limitele teleoperării fizice, modelele open source ale lumii învață dinamica fizică generativă. Odată antrenate pe un set de bază de demonstrații reale, modelele lumii simulează milioane de scenarii contrafactuale (iluminare variabilă, dezordine adăugată, frecare modificată a mesei) direct în spațiul latent, testând politicile la stres înainte de implementarea în lumea reală.

Concluzie #

Prezentarea Hugging Face LeRobot la Economist Enterprise Physical AI and Robotics Summit a cristalizat un punct de inflexiune decisiv pentru industria roboticii. Era în care robotica cerea bugete de capital de milioane de lire sterline, limbaje de programare proprietare și cuști rigide în fabrici face loc unui ecosistem deschis, colaborativ și bazat pe date.

Unind modelele fundamentale multimodale viziune-limbaj cu action chunking bazat pe flow matching și cu hardware deschis accesibil, AI fizică open source transformă roboții din automate fragile în sisteme adaptive, care învață. Pentru liderii din inginerie și directorii de tehnologie, mandatul strategic este fără echivoc: avantajul competitiv nu va mai veni din deținerea de hardware mecanic proprietar, ci din stăpânirea fluxurilor de date, a proceselor de colectare a demonstrațiilor și a modelelor fundamentale care învață mașinile să stăpânească lumea fizică.

Întrebări frecvente #

Ce este Hugging Face LeRobot? Hugging Face LeRobot este un framework open source și o inițiativă comunitară menite să democratizeze robotica și AI fizică. Oferă implementări în PyTorch ale celor mai avansați algoritmi de învățare prin imitație, formate standardizate de seturi de date, modele fundamentale preantrenate viziune-limbaj-acțiune (VLA) și modele hardware open source (precum SO-100), pentru a reduce barierele financiare și tehnice de intrare în robotică.

Prin ce diferă învățarea prin imitație de programarea clasică a roboților? Programarea clasică a roboților cere unui inginer să scrie cod procedural explicit care specifică coordonate carteziene exacte, soluții de cinematică inversă și tranziții între stări, folosind console de programare sau scripturi ROS. Învățarea prin imitație, în schimb, antrenează rețele neuronale să imite comportamentul uman observând demonstrații înregistrate în care oamenii execută sarcina prin teleoperare și învață o politică ce asociază observațiile senzoriale direct cu comenzile motoare.

Ce rol are Gemma VLM în fluxul AI fizice? În arhitecturile moderne de AI fizică, modelul viziune-limbaj Gemma (VLM) servește drept motor multimodal de raționament. Primește tokeni vizuali de la camere (codificați prin SigLIP), vectorul de stare al articulațiilor robotului și instrucțiuni în limbaj natural. Prin atenție încrucișată, îmbină intenția semantică cu geometria vizuală și produce reprezentări ale sarcinii de nivel înalt, care ghidează Action Expert.

Ce este flow matching în predicția acțiunilor robotice? Flow matching este o tehnică de modelare generativă înrudită cu fluxurile normalizatoare continue și cu modelele de difuzie. În robotică, transformă zgomotul gaussian simplu în traiectorii de acțiune complexe și multimodale, rezolvând ecuații diferențiale ordinare în mai mulți pași. Astfel, robotul poate gestiona situații ambigue în care există mai multe mișcări valide, evitând artefactele de mediere care fac modelele de regresie mai simple să eșueze.

Pot brațele robotice imprimate 3D sub 200 USD să execute sarcini de nivel de producție? Deși brațele sub 200 USD, precum SO-100, nu au capacitatea de încărcare, rigiditatea structurală și repetabilitatea submilimetrică necesare prelucrărilor grele din industria aerospațială, ele pot executa pe deplin manipulări delicate, inspecții, manipularea lichidelor în laborator și pregătirea kiturilor de piese mici. Mai important, politicile antrenate și validate pe aceste platforme ieftine pot fi transferate direct pe brațe robotice colaborative de clasă industrială, cu o ajustare fină minimă.

Referințe #

Economist Enterprise, (2026). Physical AI & Robotics Summit: avantaj operațional prin sisteme autonome ⧉. Economist Enterprise.
Kooijmans, P., (2026). Deschiși pentru afaceri: cum accelerează open source AI fizică ⧉. Hugging Face.
Hugging Face, (2026). LeRobot: învățare automată de ultimă generație pentru robotica reală în PyTorch ⧉. GitHub.
Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B. și Song, S., (2024). Diffusion Policy: învățarea politicilor vizuomotorii prin difuzia acțiunilor ⧉. Columbia University & MIT.
Zhao, T. Z., Kumar, V., Levine, S. și Finn, C., (2023). Învățarea manipulării bimanuale fine cu hardware ieftin ⧉. Stanford University.
Zhai, X., Mustafa, B., Kolesnikov, A. și Beyer, L., (2023). Funcția de pierdere sigmoidă pentru preantrenarea limbaj-imagine (SigLIP) ⧉. Google DeepMind.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nicklas, M. și Le, M., (2023). Flow matching pentru modelarea generativă ⧉. Meta AI Research.

Ultima revizuire 2026-10-13.

Ultima revizuire 2026-10-27.

Republică acest articol

AI fizică open source: cum democratizează LeRobot robotica — Sebastien Rousseau

La summitul The Economist despre AI fizică de la Londra, Pepijn Kooijmans a arătat cum LeRobot, modelele deschise și brațele de 200 USD reduc barierele din robotică.

Acest articol este licențiat sub Creative Commons Attribution 4.0 International. Republicarea necesită atribuirea la URL-ul canonic.

AI fizică open source: cum democratizează LeRobot robotica — Sebastien Rousseau

La summitul The Economist despre AI fizică de la Londra, Pepijn Kooijmans a arătat cum LeRobot, modelele deschise și brațele de 200 USD reduc barierele din robotică.

Originally published at https://sebastienrousseau.com/ro/2026-10-13-fizica-open-source-cum-democratizeaza-lerobot/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER