Co obsah učebnice strojového učení prozrazuje o celém oboru

Foundations of Machine Learning (druhé vydání, MIT Press, 2018) od Mehryara Mohriho, Afshina Rostamizadeha a Ameeta Talwalkara definuje učení jako využívání zkušenosti k přesným předpovědím a staví důsledné kurikulum kolem výběrové složitosti, Rademacherových mezí a teoretických záruk.

Většina knih o strojovém učení začíná slibem toho, co budete schopni postavit. Tahle začíná definicí a seznamem veličin, které rozhodují o tom, zda učící se systém uspěje. Toto pořadí prozrazuje, za co autoři svůj předmět považují, a myslím si, že správně. Obor, který se prodává předpovědí, dluží čtenářům výklad o tom, kdy lze předpovědím věřit, a právě takový výklad si kniha klade za cíl podat.

Tento článek čte knihu podle toho, co skutečně říkají její úvodní strany, předmluva a první stránky. Je to užší cvičení než recenze každé kapitoly a otevřeně přiznává své meze: zdroji jsou titulní list, obsah, předmluva a první část úvodu. V těchto mezích je možné sledovat jasnou argumentaci. Týká se toho, co strojové učení je, na čem závisí, co se autoři rozhodli pokrýt a co vynechat.

Kniha s přesným rodokmenem #

Začněme fakty, která předmět ukotvují. Kniha se jmenuje Foundations of Machine Learning a jde o druhé vydání. Patří do řady Adaptive Computation and Machine Learning, jejímž editorem je Francis Bach. Autory jsou Mehryar Mohri, Afshin Rostamizadeh a Ameet Talwalkar. Vydavatelem je The MIT Press v Cambridge ve státě Massachusetts a autorská práva drží Massachusetts Institute of Technology s datem 2018. Vydání v pevné vazbě nese ISBN 9780262039406.

Dva výrobní detaily si zaslouží každý po jedné větě. Knihu v LaTeXu vysázeli sami autoři, což se hodí k textu hustému mezemi, definicemi a důkazy, a vytištěna a svázána byla ve Spojených státech. Ani jeden z těchto detailů nemění, jak matematiku čtete. Ale autoři, kteří si knihu sami sázejí, měli v rukou každou stránku, a u knihy tohoto druhu je to uklidňující.

Důležitější je původ látky. Většina z ní pochází z postgraduálního kurzu, rovněž nazvaného Foundations of Machine Learning, který první autor vyučoval na Courant Institute of Mathematical Sciences na New York University posledních čtrnáct let. To je konkrétní, ověřitelný původ. Učebnice, která vyrostla ze čtrnácti let výuky jednoho kurzu, byla nejspíš formována tím, co studenti považovali za obtížné, a cvičení i dodatky popsané níže na tom působí. Dal bych si ale pozor, abych závěr netlačil dál, než zdroj dovoluje. Předmluva říká, odkud látka pochází, ale neříká, kolika revizemi kurz prošel ani s čím studenti zápasili. To, co říká, stačí: jde o kurzový materiál, nikoli o přehled sestavený z literatury.

Definice, která nese celou váhu #

Všechno, co následuje, závisí na jediné větě. Strojové učení, píší autoři, lze obecně definovat jako výpočetní metody, které využívají zkušenost ke zlepšení výkonu nebo k přesným předpovědím.

Každé podstatné jméno v té větě má svůj úkol. „Výpočetní metody“ zařazují předmět do informatiky. „Zkušenost“ je pak upřesněna: označuje minulé informace, které má učící se systém k dispozici. Věta netvrdí, že učící se systém něčemu rozumí, a o inteligenci neříká nic. Učící se systém má minulé informace a cíl, tedy lepší výkon nebo přesné předpovědi, a celá disciplína se týká vztahu mezi nimi.

Tvrdil bych, že pro technické čtenáře a zakladatele je to užitečnější definice než ty velkolepější, které kolují, protože ukazuje přímo na páky, které máte v rukou. Je-li učení funkcí minulých informací, pak váš vliv na výsledek spočívá v tom, jaké informace sbíráte a kolik jich je. Další tvrzení v textu to říká přímo: kvalita a velikost dat jsou pro úspěch předpovědí učícího se systému zásadní. Text toto tvrzení předkládá jako prostý mechanismus, bez jakýchkoli výhrad.

Autoři popisují i samotné techniky. Jde o metody řízené daty, které spojují základní pojmy informatiky s myšlenkami ze statistiky, pravděpodobnosti a optimalizace. Tato věta slouží zároveň jako seznam předpokladů i jako mapa sousedů oboru. Tým, který chce stavět učící se systémy, čerpá z informatiky, statistiky, pravděpodobnosti a optimalizace současně. Pokládat kteroukoli z nich za volitelnou je volba, kterou kniha nepodporuje.

Jeden propočtený příklad: dokumenty a témata #

Úvod ukotvuje definici v konkrétní úloze učení. Vezměme konečný výběr náhodně vybraných dokumentů, z nichž každý je označen tématem. Úkolem je pomocí tohoto výběru předpovědět téma dokumentů, které dosud nikdo neviděl.

Toto zadání odměňuje pomalé čtení. Výběr je konečný, takže učící se systém nikdy nevidí všechno. Dokumenty jsou vybrány náhodně, a právě to umožňuje, aby konečný výběr řekl něco o těch neviděných. Každý je označen tématem, takže učící se systém má dohled. A cílem jsou dokumenty, které neviděl, což je rozdíl mezi předpovídáním a zapamatováním.

Autoři pak vytahují dvě věci, které úlohu usnadňují nebo ztěžují. První je velikost: je zřejmé, že čím větší výběr, tím snazší úloha. Druhou je kvalita štítků. Obtížnost úlohy závisí také na kvalitě štítků přiřazených dokumentům ve výběru, protože ne všechny štítky musejí být správné, a na počtu možných témat.

Ta věta obsahuje tři samostatné ovladače. Velikost výběru je jeden. Správnost štítků je druhý. Počet možných témat je třetí. Žádný z nich se netýká algoritmu. Všechny jsou vlastnostmi úlohy a dat a rozhodují o tom, jak těžká úloha je, ještě než je zvolena jakákoli metoda. Pro zakladatele, který rozhoduje, kam dát rozpočet, je to výstižný postřeh. Můžete-li zlepšit štítky nebo zvětšit výběr, působíte na faktory, které autoři výslovně jmenují jako určující pro obtížnost.

Příklad také pojmenovává svou vlastní úlohu. Předpovídání štítku dokumentu se rovněž nazývá klasifikace dokumentů a autoři hned dodávají, že to rozhodně není jediná úloha učení. Tuto výhradu je snadné přehlédnout. Příklad s dokumenty je jen nosičem a tvrzení pod ním je obecné.

Tři složitosti, nikoli dvě #

Tady kniha dělá svůj nejosobitější tah, a je snadné jej přehlédnout, protože přichází jako krátká poznámka. Strojové učení, říkají autoři, spočívá v návrhu efektivních a přesných predikčních algoritmů. Stejně jako v jiných oblastech informatiky jsou časová a paměťová složitost zásadními měřítky kvality takových algoritmů. Kdo studoval algoritmy, ty dvě pozná. Jak dlouho to trvá a kolik paměti je potřeba?

Pak přichází dodatek. Strojové učení navíc potřebuje pojem výběrové složitosti, aby bylo možné posoudit velikost výběru potřebnou k tomu, aby se algoritmus naučil rodinu konceptů. To je míra, která v řadicí rutině nemá obdobu. Řadicímu algoritmu nikdo nemusí říkat, kolik příkladů potřebuje. Učícímu se systému ano, protože jeho výstupem je předpověď o případech, které neviděl, a množství zkušenosti za touto předpovědí je součástí toho, za co platíte.

Řekl bych to takto: čas a paměť vám říkají, kolik algoritmus stojí spustit, a výběrová složitost vám říká, kolik stojí ho naučit. Učící se systém, který je rychlý, ale potřebuje nepraktickou velikost výběru, není efektivní v žádném smyslu, na kterém záleží tomu, kdo data sbírá. Postavit třetí míru vedle zbylých dvou je způsob, jakým kniha říká, že data jsou zdrojem s cenou, který je třeba rozpočtovat stejně jako výpočetní výkon a paměť.

Text pokračuje stejným směrem. Obecněji teoretické záruky učení pro algoritmus závisejí na složitosti uvažovaných tříd konceptů a na velikosti trénovacího výběru. To je stručný popis toho, z čeho se záruka skládá. Jsou dva vstupy, jak bohatá je rodina konceptů a kolik máte trénovacích dat, a záruka je tvrzení, které je dává do vztahu s výkonem. Všimněte si, co to znamená pro strukturu knihy. Kapitoly, které následují, musejí poskytnout způsoby, jak měřit složitost třídy konceptů, a obsah ukazuje, že to dělají.

Autoři také vysvětlují, proč obor leží tam, kde leží. Protože úspěch algoritmu učení závisí na použitých datech, je strojové učení ze své podstaty spjato s analýzou dat a statistikou. Mechanismus je vyslovený přímo: úspěch závisí na datech, a proto je předmět provázán s disciplínami, které data zkoumají. Považuji to za nejpoctivější větu úvodu. Nepředstavuje statistiku jako soupeře ani předka. Představuje ji jako důsledek toho, na čem učení závisí.

Rozměr	Časová složitost	Paměťová složitost	Výběrová složitost
Operační definice	Asymptotická doba běhu potřebná k vydání hypotézy $h$	Paměťová stopa nezbytná při trénování a vyhodnocování	Počet trénovacích příkladů $m$ potřebných k naučení rodiny konceptů
Řídicí teorie	Výpočetní složitost (P vs NP, obtížnost trénování)	Paměťová omezení architektury a lokalita cache	Učení PAC, Rademacherova složitost a VC dimenze
Nákladový dopad	Serverový výpočetní výkon a rozpočet na inferenci GPU/CPU	Kapacita RAM a SRAM na čipu	Náklady na sběr dat, anotaci a štítkování
Teoretická role	Měří efektivitu algoritmu z hlediska doby běhu	Měří efektivitu využití paměti	Určuje chybu zobecnění a meze pro neviděná data

Teoretická páteř #

Předmluva uvádí, jak je kniha postavena. První tři nebo čtyři kapitoly kladou teoretický základ pro další látku. Obsah nám dovoluje vidět, z čeho se tento základ skládá, alespoň podle názvů.

První kapitola v obsahu se jmenuje „The PAC Learning Framework“ (rámec učení PAC) a objevují se v ní oddíly nazvané „Guarantees for finite hypothesis sets - consistent case“ a „Guarantees for finite hypothesis sets - inconsistent case“, tedy záruky pro konečné množiny hypotéz v konzistentním a nekonzistentním případě. Názvy oddílů nám říkají dvě věci. První je, že rámec poskytuje záruky, což odpovídá důrazu úvodu. Druhá je, že záruky jsou rozděleny podle toho, zda je případ konzistentní, či nekonzistentní, a kniha oba pojednává zvlášť. Nebudu spekulovat o tom, co konzistentní a nekonzistentní případ obsahují, protože zdroje zde uvádějí jen názvy oddílů. Ale toto párování ukazuje, že autoři nepředloží jednu čistou větu a nepokračují dál. Těžšímu a nepřehlednějšímu případu dávají vlastní oddíl.

Další kapitola v seznamu je „Rademacher Complexity and VC-Dimension“. Její oddíly pokrývají Rademacherovu složitost, růstovou funkci, VC dimenzi a dolní meze. Čtena proti úvodu je tato kapitola přirozenou odpovědí na otázku, kterou úvod klade. Závisejí-li záruky na složitosti uvažovaných tříd konceptů, potřebujete nástroje k měření této složitosti. Rademacherova složitost, růstová funkce a VC dimenze jsou uvedeny jako oddíly, které tuto zátěž nesou. Za zmínku stojí i to, že mezi oddíly jsou dolní meze. Kniha, která předkládá jen horní meze, vám říká, čeho lze dosáhnout. Kniha, která zahrnuje i dolní meze, vám říká také, čeho dosáhnout nelze.

Pak přichází kapitola 4, „Model Selection“, s oddíly, které zahrnují mimo jiné minimalizaci empirického rizika (ERM) a strukturální minimalizaci rizika (SRM). K této kapitole se vrátíme, až se podíváme na druhé vydání, protože je to jedno z míst, kde nové vydání mění nejvíc.

Struktura je záměrná. Nejprve základy, pak aparát k měření složitosti, pak výběr modelu a teprve potom algoritmy. Je to obhajitelný způsob výuky a odpovídá tomu, jak kniha sama popisuje své fungování: úvodní kapitoly kladou teorii a zbytek na ní staví.

Od teorie k algoritmům: metody podpůrných vektorů a jádra #

Obsah jmenuje také algoritmické kapitoly, které následují. Jedna se jmenuje „Support Vector Machines“ a má oddíly pro separabilní a neseparabilní případ. Každý z těchto oddílů pokrývá primární optimalizační úlohu, podpůrné vektory a duální optimalizační úlohu. Další se jmenuje „Kernel Methods“.

Už samotná podoba kapitoly o metodách podpůrných vektorů je poučná. Stejná tři témata se objevují pod separabilním i neseparabilním záhlavím: primární optimalizační úloha, podpůrné vektory a duální optimalizační úloha. Toto opakování naznačuje souběžné pojednání, tytéž otázky položené dvakrát za různých předpokladů. Souběžnost zrcadlí rozdělení na konzistentní a nekonzistentní případ v kapitole o PAC, takže se napříč knihou vynořuje vzorec: nejprve čistý případ, pak případ, kdy čistý předpoklad neplatí.

Byl bych opatrný, abych z obsahu nevyčítal příliš mnoho. Obsah může říct, co kniha pokrývá a jak dělí látku. Nemůže říct, jak dobře je kterýkoli oddíl napsán, a nic v těchto zdrojích to neříká. Ukazuje však, že optimalizační jazyk v kapitole o metodách podpůrných vektorů, primární a duální, odkazuje zpět k popisu technik v úvodu jako spojení informatiky s myšlenkami ze statistiky, pravděpodobnosti a optimalizace. Optimalizační složka toho výčtu se v těchto názvech oddílů objevuje konkrétně.

Kniha také vyhrazuje samostatnou kapitolu každému z témat vícetřídní klasifikace, řazení a regrese. To je designové rozhodnutí, které stojí za obhajobu. Bylo by snadné je pojednat jako poznámky pod čarou k binární klasifikaci. Dát každému vlastní kapitolu signalizuje, že je autoři považují za odlišné problémy s vlastní analýzou, a odpovídá to deklarovanému cíli jednotného výkladu více témat místo výkladu, který upřednostňuje jedno hledisko.

Co se kniha rozhodla nepokrýt #

Nejzajímavější pasáž předmluvy se týká vynechaného. Kniha, říkají autoři, je obecným úvodem do strojového učení, který může sloužit jako referenční příručka pro výzkumníky a jako učebnice pro studenty. Po tomto širokém tvrzení přidávají mez: rozhodli se vynechat několik důležitých témat, mezi nimi grafické modely a neuronové sítě.

Málokterá učebnice to říká tak přímo, a tvrdil bych, že tato upřímnost je předností. Čtenář, který předem ví, co chybí, se tomu může přizpůsobit. Kdo potřebuje neuronové sítě, ví, že má hledat jinde, místo aby na mezeru narazil v deváté kapitole.

Uvedeny jsou i důvody. Vynechání je dáno jak snahou o stručnost, tak současným nedostatkem pevných teoretických záruk pro některé metody. Důvody jsou dva. Stručnost je praktickým omezením každé knihy. Druhý důvod je ten, který vypovídá o filozofii knihy.

Propojme to s úvodem. Teoretické záruky učení jsou tím, kolem čeho je tato kniha uspořádána. Záruky závisejí na složitosti tříd konceptů a na velikosti trénovacího výběru, a teoretické kapitoly jsou na začátku, protože všechno ostatní stojí na nich. Metoda, pro kterou pevné záruky v současnosti chybějí, do takto postavené knihy zapadá jen stěží. Vynechání tedy plyne z ústředního závazku knihy. Je v souladu s definicí předmětu, kterou autoři zvolili jako úvod.

Je tu bod, který vyžaduje pečlivost. Text říká „některé metody“, takže tvrzení se týká nedostatku pevných záruk pro některé metody, ne pro všechna vynechaná témata, a říká „současný“, což úsudek váže k době psaní. Odolal bych pokušení shrnout to jako „neuronové sítě nemají teorii“. To zdroj neříká. Říká, že záruky pro některé metody v současnosti chybějí a že to, spolu se stručností, byl důvod, proč byly grafické modely a neuronové sítě vynechány.

Pro technické čtenáře, kteří vybírají, co studovat, je praktický důsledek jednoduchý. Kniha vám dává slovník záruk a otevřeně říká, které oblasti nepokrývá.

Co mění druhé vydání #

Druhé vydání je víc než dotisk s opravami. Předmluva vyjmenovává doplňky a každý z nich prozrazuje, kde autoři považovali první vydání za slabé.

Hlavní změnou je celá kapitola o výběru modelu, kapitola 4, o tématu, které autoři označují za důležité a které bylo v předchozím vydání probráno jen stručně. Formulace je přímá. Netvrdí, že první vydání téma dobře pokrylo. Říkají, že bylo probráno jen stručně a že mu teď věnovali celou kapitolu. Oddíly zahrnují mimo jiné minimalizaci empirického rizika (ERM) a strukturální minimalizaci rizika (SRM), jak ukazuje obsah.

Proč si výběr modelu takové povýšení zaslouží? Zdroje to neříkají a já si za autory důvod vymýšlet nebudu. Ale umístění je výmluvné. Kapitola 4 následuje přímo po kapitolách o rámci PAC a o Rademacherově složitosti a VC dimenzi, což ji řadí do toho, co předmluva nazývá prvními třemi nebo čtyřmi kapitolami kladoucími teoretický základ. Autoři tedy výběr modelu nepřipojili jako dodatečný nápad. Zabudovali jej do teoretického základu.

Dalšími doplňky jsou nová kapitola o modelech maximální entropie, kapitola 12, a nová kapitola o podmíněných modelech maximální entropie, kapitola 13. Dvě zcela nové kapitoly jsou podstatné rozšíření a kniha nyní této dvojici věnuje dvě po sobě jdoucí kapitoly.

Mění se i dodatky. Autoři přidali celý oddíl o Fenchelově dualitě do dodatku B o konvexní optimalizaci a přidali dodatek E o teorii informace. Kniha obsahuje také rozsáhlý dodatek se stručným přehledem lineární algebry. Tyto změny míří jedním směrem: podpůrná matematika rostla spolu s kapitolami. Fenchelova dualita se připojuje k dodatku o konvexní optimalizaci a teorie informace dostává vlastní dodatek. Zdržel bych se tvrzení, že teorie informace je tam právě kvůli kapitolám o maximální entropii, protože zdroje žádnou takovou vazbu neuvádějí a oba doplňky stojí v předmluvě jako samostatné položky. To, že přišly ve stejném vydání, je shoda okolností, kterou jako shodu okolností ponechám.

Pro koho je kniha určena a jak počítá s tím, že bude čtena #

Kniha uvádí své publikum: je určena studentům a výzkumníkům ve strojovém učení, statistice a dalších příbuzných oborech. Tento výčet jmenuje statistiku výslovně, což je ozvěnou poznámky z úvodu, že strojové učení je ze své podstaty spjato s analýzou dat a statistikou.

Uvádí také, co předpokládá. Od čtenáře se očekává obeznámenost se základními pojmy lineární algebry, pravděpodobnosti a analýzy algoritmů. Je to krátký seznam a odpovídá výčtu složek v úvodu, i když ne přesně. Úvod jmenuje informatiku, statistiku, pravděpodobnost a optimalizaci jako zdroje technik. Předpoklady jmenují lineární algebru, pravděpodobnost a analýzu algoritmů. Optimalizace mezi předpoklady není a kniha to řeší z druhé strany: dodatek B pokrývá konvexní optimalizaci, s novým oddílem o Fenchelově dualitě. Lineární algebra se očekává jako základ, a kniha přesto poskytuje rozsáhlý dodatek, který ji opakuje. Předpoklady a dodatky se tedy záměrně překrývají a čtenář, jehož lineární algebra zrezivěla, má stručné opakování v týchž deskách.

Pedagogika je rovněž popsána přímo. Každá kapitola končí sérií cvičení a úplná řešení jsou předložena zvlášť. To je rozumné uspořádání pro knihu, která slouží dvěma publikům. Student si může cvičení vyzkoušet a porovnat s řešeními a výzkumník, který knihu používá jako referenční příručku, se nemusí na každé stránce prokousávat vyřešenými příklady. Zda řešení vycházejí jako samostatný svazek, nebo jako jiný dokument, zdroj neříká, jen že jsou předložena zvlášť, a tak to tak nechám.

Dohromady publikum, předpoklady, cvičení a dodatky popisují knihu navrženou k tomu, aby se jí člověk propracoval. Za tímto návrhem stojí čtrnáct let výuky na Courant Institute. Kurz, který se vyučuje opakovaně, mívá sklon vytvářet právě takový aparát, i když předmluva tuto souvislost výslovně neuvádí a já ji nabízím jen jako čtení podkladů, ne jako zjištění.

Aplikace jsou široké a kniha to říká #

Tak teoretickou knihu by bylo možné mylně pokládat za něco vzdáleného praxi. Úvod tomu předchází prostým konstatováním: strojové učení má velmi širokou škálu praktických aplikací. Jmenovaná je klasifikace textů neboli dokumentů, která zahrnuje detekci spamu.

Detekce spamu je dobrou volbou příkladu z důvodu, který vysvětluje rámec samotných autorů. Je to úloha klasifikace dokumentů přesně ve smyslu dřívějšího příkladu: označené dokumenty na vstupu, předpovědi o neviděných dokumentech na výstupu. Faktory velikosti výběru a kvality štítků na ni platí přímo. Větší výběr úlohu usnadňuje a špatně označené zprávy ji ztěžují. Počet možných kategorií je malý, což podle logiky dřívější pasáže rovněž ovlivňuje obtížnost. Aplikuji uvedené faktory knihy na její uvedený příklad a netvrdím nic o spamových filtrech v praxi.

V umístění této pasáže je i tichý argument. Autoři uvádějí klasifikaci dokumentů jako úlohu učení a hned poznamenávají, že rozhodně není jediná. Aplikace jsou široké, protože široká je definice, která je podkládá. Kvalifikuje se cokoli, co odpovídá „výpočetním metodám, které využívají zkušenost ke zlepšení výkonu nebo k přesným předpovědím“. Tato obecnost je také důvodem, proč se kniha teorií vůbec zabývá. Rámec, který má pokrýt velmi širokou škálu aplikací, nemůže být svázán s detaily kterékoli z nich, a záruky vyjádřené pomocí složitosti třídy konceptů a velikosti výběru jsou přesně ten druh, který se přenáší mezi úlohami.

Sázka, kterou kniha uzavírá #

Spojme vlákna a vynoří se soudržný postoj, což je víc, než může o sobě tvrdit obsah většiny učebnic. Kniha definuje učení pomocí zkušenosti a předpovědi. Jmenuje tři složitosti, časovou, paměťovou a výběrovou, jako měřítka kvality. Váže záruky na složitost třídy konceptů a velikost výběru a teorii, která tyto záruky poskytuje, staví na začátek. Na tomto základu pak staví algoritmické kapitoly a otevřeně říká, které populární oblasti vynechává, protože záruky pro některé metody zatím nejsou pevné.

Je to sázka na teorii jako na to, co přetrvá. Chápu, proč ji tým autorů, který léta vyučoval postgraduální kurz, uzavřel. Sázka má svou cenu a autoři ji pojmenovávají: vynechání grafických modelů a neuronových sítí je cenou za trvání na pevných zárukách. Čtenář by měl tuto cenu poctivě zvážit. Dominují-li vaší práci vynechané oblasti, je tato kniha spíš základem než příručkou. Potřebuje-li vaše práce uvažovat o tom, zda učící se systém zobecní z konečného výběru, je slovník knihy právě jejím smyslem.

Pro zakladatele je užitečné poučení to nejméně okouzlující. Kvalita a velikost dat jsou pro úspěch předpovědí zásadní a obtížnost úlohy závisí na kvalitě štítků a na počtu možných témat. To jsou tvrzení o vstupech, které často můžete ovlivnit. Kniha neslibuje, že nějaký konkrétní algoritmus zachrání slabý nebo špatně označený výběr, a dělá dobře, že to neslibuje.

Pro technické čtenáře je zajímavější otázka ta, kterou předmluva nechává otevřenou. Autoři vynechali některé metody kvůli současnému nedostatku pevných teoretických záruk. Slovo „současný“ to rámuje jako stav věcí v době psaní a zdroje neříkají, zda a jak se to může změnit. Co by bylo potřeba, aby se tyto záruky staly natolik pevnými, aby si zasloužily kapitolu? Kniha na to odpovědět nemůže. Tím, že je přesná v tom, co vynechává a proč, alespoň ukazuje, kde hledat.

Co to znamená pro jednotlivá odvětví #

Důraz na statistické záruky učení a výběrovou složitost poskytuje prakticky použitelné hranice v několika softwarových a výzkumných oblastech.

Akademické strojové učení a tvorba kurikula #

Vzdělávací programy musejí odolávat tlaku pojímat strojové učení jako empirické ladění promptů nebo instalatérství kolem frameworků. Ukotvení studentů v rámci PAC, Rademacherově složitosti a strukturální minimalizaci rizika buduje trvalé matematické instinkty, které přežijí střídání pomíjivých architektur hlubokého učení.

Podnikové inženýrství AI a oceňování dat #

Organizace nasazující prediktivní systémy často přidělují příliš mnoho kapitálu na výpočetní výkon (velikost modelu) a zanedbávají výběrovou složitost a věrnost štítků. Protože chyba zobecnění je striktně omezena složitostí třídy konceptů vůči velikosti výběru, dosahují týmy lepší návratnosti investicemi do čisté anotace a auditu výběrů než do větších neregularizovaných modelů.

Špičkový výzkum AI a audit modelů #

Když regulační rámce, jako je akt EU o umělé inteligenci, vyžadují předvídatelné meze pro automatizované rozhodovací systémy, stávají se statistické záruky učení formalizované v Foundations of Machine Learning nezbytností pro dodržování předpisů. Regulátoři a bezpečnostní auditoři vyžadují dokazatelné meze zobecnění a důsledné protokoly výběru modelu místo heuristických validačních skóre.

Závěr #

Foundations of Machine Learning zůstává nepostradatelnou kotvou v oboru, který často svádí čistý empirismus. Tím, že Mehryar Mohri, Afshin Rostamizadeh a Ameet Talwalkar staví celé kurikulum kolem učení PAC, Rademacherovy složitosti a VC dimenze, připomínají výzkumníkům, že algoritmická elegance nemůže nahradit matematické záruky. Otevřené vynechání neuronových sítí a grafických modelů pro absenci záruk v uzavřeném tvaru není vadou - je to určující síla knihy, která jasně odděluje to, co disciplína dokáže důsledně dokázat, od toho, co jen pozoruje.

Často kladené otázky #

Proč autoři ve druhém vydání vynechali neuronové sítě a grafické modely?

Autoři neuronové sítě a grafické modely vynechali záměrně kvůli stručnosti a kvůli současnému nedostatku pevných teoretických záruk pro několik z těchto metod. Kniha je striktně uspořádána kolem algoritmů, které připouštějí důsledné meze zobecnění.

Čím se výběrová složitost liší od časové a paměťové složitosti?

Zatímco časová složitost hodnotí rychlost provádění a paměťová složitost měří spotřebu paměti, výběrová složitost kvantifikuje matematický objem trénovacích dat, který algoritmus potřebuje, aby se naučil rodinu konceptů v rámci zadaných tolerancí chyby a spolehlivosti.

V čem je základní rozdíl mezi minimalizací empirického rizika a strukturální minimalizací rizika?

Minimalizace empirického rizika (ERM) volí hypotézu, která přímo minimalizuje trénovací chybu, a riskuje přeučení, je-li složitost hypotézy vysoká. Strukturální minimalizace rizika (SRM) vyvažuje trénovací chybu proti složitosti hypotézy (například VC dimenzi nebo Rademacherově složitosti) a poskytuje formální meze rizika zobecnění.

Literatura #

Mehryar Mohri, Afshin Rostamizadeh a Ameet Talwalkar, (2018). Foundations of Machine Learning, druhé vydání ⧉. The MIT Press.
Leslie G. Valiant, (1984). Teorie naučitelného ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Statistická teorie učení ⧉. John Wiley & Sons.

Naposledy revidováno 2026-10-10.

Naposledy revidováno 2026-10-27.

Znovu publikovat tento článek

Co obsah učebnice strojového učení prozrazuje o celém oboru — Sebastien Rousseau

Foundations of Machine Learning (druhé vydání, MIT Press, 2018) chápe strojové učení jako návrh efektivních a přesných predikčních algoritmů s teoretickými zárukami.

Tento článek je licencován pod Creative Commons Attribution 4.0 International. Při opětovné publikaci uveďte odkaz na kanonickou URL.

Co obsah učebnice strojového učení prozrazuje o celém oboru — Sebastien Rousseau

Foundations of Machine Learning (druhé vydání, MIT Press, 2018) chápe strojové učení jako návrh efektivních a přesných predikčních algoritmů s teoretickými zárukami.

Originally published at https://sebastienrousseau.com/cs/2026-10-10-obsah-ucebnice-strojoveho-uceni-prozrazuje-celem/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER