Wat de inhoudsopgave van een leerboek machine learning zegt

Foundations of Machine Learning (tweede editie, MIT Press, 2018) van Mehryar Mohri, Afshin Rostamizadeh en Ameet Talwalkar definieert leren als het gebruik van ervaring om nauwkeurige voorspellingen te doen, en bouwt een streng curriculum rond steekproefcomplexiteit, Rademacher-grenzen en theoretische garanties.

De meeste boeken over machine learning beginnen met een belofte over wat je ermee zult kunnen bouwen. Dit boek begint met een definitie en een lijst van de grootheden die bepalen of een lerende slaagt. Die volgorde laat zien wat de auteurs denken dat het vak is, en volgens mij is het de juiste keuze. Een vakgebied dat zichzelf verkoopt op voorspelling, is zijn lezers een verklaring schuldig van wanneer een voorspelling te vertrouwen is, en precies die verklaring wil het boek geven.

Dit artikel leest het boek via wat het voorwerk, het voorwoord en de eerste pagina's werkelijk zeggen. Dat is een smallere oefening dan elk hoofdstuk bespreken, en ze is eerlijk over haar grenzen: de bronnen zijn hier de titelpagina, de inhoudsopgave, het voorwoord en het eerste deel van de inleiding. Binnen die grenzen valt een helder betoog te volgen. Het gaat over wat machine learning is, waarvan het afhangt, wat de auteurs wilden behandelen en wat ze bewust hebben weggelaten.

Een boek met een precieze stamboom #

Begin bij de feiten die het object verankeren. Het boek heet Foundations of Machine Learning, en dit is de tweede editie. Het hoort bij de reeks Adaptive Computation and Machine Learning, met Francis Bach als redacteur. De auteurs zijn Mehryar Mohri, Afshin Rostamizadeh en Ameet Talwalkar. De uitgever is The MIT Press in Cambridge, Massachusetts, en het auteursrecht ligt bij het Massachusetts Institute of Technology, gedateerd 2018. De gebonden editie heeft ISBN 9780262039406.

Twee productiedetails verdienen elk een zin. Het boek is door de auteurs zelf in LaTeX gezet, wat past bij een tekst vol grenzen, definities en bewijzen, en het is in de Verenigde Staten gedrukt en gebonden. Geen van beide details verandert hoe je de wiskunde leest. Maar auteurs die hun eigen boek zetten, hebben elke pagina in handen gehad, en bij een boek van deze soort is dat geruststellend.

De herkomst van het materiaal weegt zwaarder. Het meeste is ontstaan uit een mastervak, eveneens Foundations of Machine Learning genaamd, dat de eerste auteur de afgelopen veertien jaar heeft gegeven aan het Courant Institute of Mathematical Sciences van New York University. Dat is een specifieke, controleerbare herkomst. Een leerboek dat voortkomt uit veertien jaar lesgeven in één vak is vermoedelijk gevormd door wat studenten moeilijk vonden, en de oefeningen en bijlagen die hieronder worden beschreven, lezen ook zo. Ik zou de gevolgtrekking niet verder doortrekken dan de bron toelaat. Het voorwoord zegt waar het materiaal vandaan komt, maar niet hoeveel revisies het vak heeft doorgemaakt of waar studenten mee worstelden. Wat het wel zegt, is genoeg: dit is collegemateriaal, geen overzicht dat uit de literatuur is samengesteld.

De definitie die het zware werk doet #

Alles wat volgt hangt af van één zin. Machine learning, schrijven de auteurs, kan in brede zin worden gedefinieerd als computationele methoden die ervaring gebruiken om prestaties te verbeteren of om nauwkeurige voorspellingen te doen.

Elk zelfstandig naamwoord in die zin heeft een taak. ‘Computationele methoden’ plaatst het vak binnen de informatica. ‘Ervaring’ wordt vervolgens vastgelegd: het verwijst naar de informatie uit het verleden waarover de lerende beschikt. De zin beweert niet dat de lerende iets begrijpt, en zegt niets over intelligentie. Een lerende heeft informatie uit het verleden en een doel, betere prestaties of nauwkeurige voorspelling, en de hele discipline draait om de relatie tussen die twee.

Ik zou zeggen dat deze definitie voor technische lezers en oprichters nuttiger is dan de grootsere die in omloop zijn, omdat ze rechtstreeks wijst naar de hefbomen die je zelf in handen hebt. Als leren een functie is van informatie uit het verleden, dan ligt je invloed op de uitkomst in welke informatie je verzamelt en hoeveel. De volgende bewering in de tekst zegt precies dat: de kwaliteit en omvang van de data zijn doorslaggevend voor het succes van de voorspellingen van de lerende. De tekst presenteert die bewering als een eenvoudig mechanisme, zonder enig voorbehoud.

De auteurs beschrijven ook de technieken zelf. Het zijn datagedreven methoden die fundamentele concepten uit de informatica combineren met ideeën uit de statistiek, de kansrekening en de optimalisatie. Die zin is tegelijk een lijst van voorkennis en een kaart van de buren van het vakgebied. Een team dat lerende systemen wil bouwen, put tegelijk uit informatica, statistiek, kansrekening en optimalisatie. Een van die vier als optioneel behandelen is een keuze die het boek niet onderschrijft.

Een uitgewerkt voorbeeld: documenten en onderwerpen #

De inleiding verankert de definitie in een concreet leerprobleem. Neem een eindige steekproef van willekeurig gekozen documenten, elk voorzien van een onderwerp als label. De taak is die steekproef te gebruiken om het onderwerp van nog ongeziene documenten te voorspellen.

De opzet loont een trage lezing. De steekproef is eindig, dus de lerende ziet nooit alles. De documenten zijn willekeurig gekozen, en dat maakt het mogelijk dat een eindige steekproef iets zegt over de ongeziene. Elk document heeft een onderwerplabel, dus de lerende krijgt begeleiding. En het doel zijn documenten die hij niet heeft gezien, wat het verschil is tussen voorspellen en uit het hoofd leren.

De auteurs halen er vervolgens twee dingen uit die de taak makkelijker of moeilijker maken. Het eerste is de omvang: hoe groter de steekproef, des te makkelijker de taak, uiteraard. Het tweede is de kwaliteit van de labels. De moeilijkheid van de taak hangt ook af van de kwaliteit van de labels die aan de documenten in de steekproef zijn toegekend, omdat ze niet allemaal correct hoeven te zijn, en van het aantal mogelijke onderwerpen.

Die zin bevat drie afzonderlijke knoppen. De steekproefomvang is er een. De juistheid van de labels een andere. Het aantal mogelijke onderwerpen de derde. Geen van drieën gaat over het algoritme. Het zijn allemaal eigenschappen van het probleem en de data, en ze bepalen hoe moeilijk het probleem is voordat er een methode is gekozen. Voor een oprichter die beslist waar een budget naartoe gaat, is dat een raak inzicht. Als je de labels kunt verbeteren of de steekproef kunt vergroten, werk je aan precies de factoren die de auteurs uitdrukkelijk noemen als bepalend voor de moeilijkheid.

Het voorbeeld benoemt ook zijn eigen taak. Het label van een document voorspellen heet ook documentclassificatie, en de auteurs voegen er meteen aan toe dat dit allerminst de enige leertaak is. Die kanttekening glipt makkelijk voorbij. Het documentvoorbeeld is een voertuig, en de bewering eronder is algemeen.

Drie complexiteiten, niet twee #

Hier zet het boek zijn meest kenmerkende stap, en die mis je makkelijk omdat hij als korte opmerking binnenkomt. Machine learning, zeggen de auteurs, bestaat uit het ontwerpen van efficiënte en nauwkeurige voorspellingsalgoritmen. Net als in andere delen van de informatica zijn tijd- en ruimtecomplexiteit cruciale maatstaven voor de kwaliteit van zulke algoritmen. Wie algoritmiek heeft gestudeerd, kent die twee. Hoe lang duurt het, en hoeveel geheugen is er nodig?

Dan volgt de toevoeging. Machine learning heeft daarnaast een begrip van steekproefcomplexiteit nodig om te beoordelen welke steekproefomvang het algoritme nodig heeft om een familie van concepten te leren. Dat is de maatstaf die geen tegenhanger heeft in een sorteerroutine. Een sorteeralgoritme hoeft niet te horen hoeveel voorbeelden het nodig heeft. Een lerende wel, want wat hij oplevert is een voorspelling over gevallen die hij niet heeft gezien, en de hoeveelheid ervaring achter die voorspelling hoort bij wat je betaalt.

Ik zou het zo zeggen: tijd en ruimte vertellen wat een algoritme kost om te draaien, en steekproefcomplexiteit vertelt wat het kost om het iets te leren. Een lerende die snel is maar een onpraktisch grote steekproef nodig heeft, is niet efficiënt in enige zin die ertoe doet voor degene die de data verzamelt. De derde maatstaf naast de andere twee zetten is de manier van het boek om te zeggen dat data een hulpbron met een prijs is, die je moet begroten zoals rekenkracht en geheugen.

De tekst gaat in dezelfde richting verder. Algemener hangen theoretische leergaranties voor een algoritme af van de complexiteit van de beschouwde conceptklassen en van de omvang van de trainingssteekproef. Dat is een compacte uitspraak over waar een garantie uit bestaat. Er zijn twee invoerwaarden, hoe rijk de familie van concepten is en hoeveel trainingsdata je hebt, en een garantie is een uitspraak die die twee aan prestaties koppelt. Let op wat dat betekent voor de opbouw van het boek. De volgende hoofdstukken moeten manieren aanreiken om de complexiteit van een conceptklasse te meten, en de inhoudsopgave laat zien dat ze dat doen.

De auteurs leggen ook uit waarom het vakgebied staat waar het staat. Omdat het succes van een leeralgoritme afhangt van de gebruikte data, is machine learning inherent verbonden met data-analyse en statistiek. Het mechanisme wordt kaal benoemd: succes hangt af van data, dus het vak is verweven met de disciplines die data bestuderen. Ik vind dit de eerlijkste zin van de inleiding. Hij presenteert statistiek niet als rivaal of voorouder. Hij presenteert statistiek als gevolg van waar leren van afhangt.

Dimensie	Tijdcomplexiteit	Ruimtecomplexiteit	Steekproefcomplexiteit
Operationele definitie	Asymptotische looptijd die nodig is om hypothese $h$ op te leveren	Geheugenbeslag tijdens training en evaluatie	Aantal trainingsvoorbeelden $m$ dat nodig is om een conceptfamilie te leren
Leidende theorie	Complexiteitstheorie (P tegenover NP, hardheid van training)	Geheugenbeperkingen van de architectuur en cachelokaliteit	PAC-leren, Rademacher-complexiteit en VC-dimensie
Kostenimplicatie	Serverrekenkracht en GPU/CPU-budget voor inferentie	RAM- en on-chip-SRAM-capaciteit	Kosten van dataverzameling, annotatie en labeling
Theoretische rol	Meet de efficiëntie van het algoritme in looptijd	Meet de efficiëntie in geheugengebruik	Bepaalt de generalisatiefout en de grenzen voor ongeziene data

De theoretische ruggengraat #

Het voorwoord vertelt hoe het boek is opgebouwd. De eerste drie of vier hoofdstukken leggen het theoretische fundament voor het latere materiaal. De inhoudsopgave laat zien waar dat fundament uit bestaat, althans afgaand op de titels.

Het eerste hoofdstuk in de inhoudsopgave heet ‘The PAC Learning Framework’ (het PAC-leerkader), en daarin staan paragrafen met de titels ‘Guarantees for finite hypothesis sets - consistent case’ en ‘Guarantees for finite hypothesis sets - inconsistent case’, dus garanties voor eindige hypotheseverzamelingen in het consistente en in het inconsistente geval. De paragraaftitels vertellen ons twee dingen. Het ene is dat het kader garanties oplevert, wat aansluit bij de nadruk van de inleiding. Het andere is dat de garanties worden opgesplitst naar of het geval consistent of inconsistent is, en dat het boek beide afzonderlijk behandelt. Ik ga niet speculeren over wat het consistente en het inconsistente geval inhouden, want de bronnen geven hier alleen de paragraaftitels. Maar het paar laat zien dat de auteurs niet één schone stelling presenteren en dan verdergaan. Ze geven het moeilijkere, rommeligere geval een eigen paragraaf.

Het volgende hoofdstuk in de lijst is ‘Rademacher Complexity and VC-Dimension’ (Rademacher-complexiteit en VC-dimensie). De paragrafen behandelen Rademacher-complexiteit, de groeifunctie, de VC-dimensie en ondergrenzen. Gelezen naast de inleiding is dit hoofdstuk het natuurlijke antwoord op een vraag die zij opwerpt. Als garanties afhangen van de complexiteit van de beschouwde conceptklassen, heb je gereedschap nodig om die complexiteit te meten. Rademacher-complexiteit, de groeifunctie en de VC-dimensie zijn de paragrafen die die last dragen. Ook het opnemen van ondergrenzen in de lijst verdient een opmerking. Een boek dat alleen bovengrenzen geeft, vertelt wat haalbaar is. Een boek met ondergrenzen vertelt ook wat dat niet is.

Dan komt hoofdstuk 4, ‘Model Selection’ (modelselectie), met onder meer paragrafen over empirische risicominimalisatie (ERM) en structurele risicominimalisatie (SRM). We komen op dit hoofdstuk terug bij de tweede editie, omdat het een van de plekken is waar de nieuwe editie het meest verandert.

De opbouw is bewust gekozen. Eerst de grondslagen, dan het gereedschap om complexiteit te meten, dan modelselectie, en pas daarna de algoritmen. Het is een verdedigbare manier van lesgeven, en ze klopt met het verhaal dat het boek over zichzelf vertelt: de eerste hoofdstukken leggen de theorie, en de rest bouwt daarop voort.

Van theorie naar algoritmen: support vector machines en kernels #

De inhoudsopgave noemt ook de algoritmische hoofdstukken die volgen. Een daarvan heet ‘Support Vector Machines’, met paragrafen voor het scheidbare en het niet-scheidbare geval. Elk van die paragrafen behandelt het primale optimalisatieprobleem, de support vectors en het duale optimalisatieprobleem. Een ander heet ‘Kernel Methods’ (kernelmethoden).

Alleen al de vorm van het hoofdstuk over support vector machines is veelzeggend. Onder beide kopjes, scheidbaar en niet-scheidbaar, verschijnen dezelfde drie onderwerpen: het primale optimalisatieprobleem, de support vectors en het duale optimalisatieprobleem. Die herhaling wijst op een parallelle behandeling, dezelfde vragen tweemaal gesteld onder verschillende aannames. De parallel weerspiegelt de splitsing in consistent en inconsistent in het PAC-hoofdstuk, zodat er een patroon door het boek loopt: eerst een schoon geval, dan het geval waarin de schone aanname niet opgaat.

Ik zou oppassen om te veel in een inhoudsopgave te lezen. Die kan vertellen wat het boek behandelt en hoe het de stof indeelt. Ze kan niet vertellen hoe goed een paragraaf geschreven is, en niets in deze bronnen zegt dat. Wat ze wel laat zien, is dat de optimalisatietaal in het hoofdstuk over support vector machines, primaal en duaal, terugverwijst naar de beschrijving in de inleiding van de technieken als een combinatie van informatica met ideeën uit statistiek, kansrekening en optimalisatie. De optimalisatiedraad uit die lijst duikt in deze paragraaftitels concreet op.

Het boek reserveert ook een afzonderlijk hoofdstuk voor meerklassenclassificatie, voor ranking en voor regressie. Dat is een ontwerpkeuze die het verdedigen waard is. Het zou makkelijk zijn geweest om ze als voetnoten bij binaire classificatie te behandelen. Door elk een eigen hoofdstuk te geven, laten de auteurs zien dat ze ze als afzonderlijke problemen met een eigen analyse zien, en dat sluit aan bij het verklaarde doel van een eenduidige presentatie van meerdere onderwerpen in plaats van een presentatie die één invalshoek bevoordeelt.

Wat het boek bewust niet behandelt #

De interessantste passage in het voorwoord gaat over weglating. Het boek, zeggen de auteurs, is een algemene inleiding in machine learning die onderzoekers als naslagwerk en studenten als leerboek kan dienen. Na die brede claim voegen ze een grens toe: ze hebben ervoor gekozen enkele belangrijke onderwerpen weg te laten, waaronder grafische modellen en neurale netwerken.

Weinig leerboeken zeggen dat zo direct, en ik zou zeggen dat die openheid een sterk punt is. Een lezer die vooraf weet wat ontbreekt, kan daar rekening mee houden. Wie neurale netwerken nodig heeft, weet dat hij elders moet zoeken, in plaats van het gat pas in hoofdstuk negen te ontdekken.

Ook de redenen worden gegeven. De weglating gebeurt zowel omwille van de beknoptheid als vanwege het huidige gebrek aan solide theoretische garanties voor sommige methoden. Er worden twee redenen gegeven. Beknoptheid is een praktische beperking van elk boek. De tweede reden is degene die iets zegt over de filosofie van het boek.

Verbind die met de inleiding. Theoretische leergaranties zijn waar dit boek omheen is georganiseerd. De garanties hangen af van de complexiteit van conceptklassen en van de omvang van de trainingssteekproef, en de theoretische hoofdstukken komen eerst omdat al het andere erop rust. Een methode waarvoor solide garanties momenteel ontbreken, past slecht in een boek dat zo is opgebouwd. De weglating volgt dus uit het centrale uitgangspunt van het boek. Ze is consistent met de definitie van het vak waarmee de auteurs ervoor kozen te openen.

Hier is voorzichtigheid op zijn plaats. De tekst zegt ‘sommige methoden’, dus de bewering gaat over het ontbreken van solide garanties voor sommige methoden, niet voor alle weggelaten onderwerpen, en hij zegt ‘huidige’, wat het oordeel aan het moment van schrijven koppelt. Ik zou de verleiding weerstaan om dit samen te vatten als ‘neurale netwerken hebben geen theorie’. Dat zegt de bron niet. Ze zegt dat de garanties voor sommige methoden momenteel ontbreken, en dat dit, samen met beknoptheid, de reden was om grafische modellen en neurale netwerken weg te laten.

Voor technische lezers die kiezen wat ze gaan bestuderen, is het praktische gevolg eenvoudig. Dit boek geeft je het vocabulaire van garanties, en het vertelt je duidelijk welke gebieden het niet behandelt.

Wat de tweede editie verandert #

De tweede editie is meer dan een herdruk met correcties. Het voorwoord somt toevoegingen op, en elke toevoeging laat zien waar de auteurs de eerste editie te mager vonden.

De belangrijkste verandering is een volledig hoofdstuk over modelselectie, hoofdstuk 4, over een onderwerp dat de auteurs belangrijk noemen en dat in de vorige editie slechts kort aan bod kwam. De formulering is direct. Ze beweren niet dat de eerste editie het goed behandelde. Ze zeggen dat het slechts kort aan bod kwam en dat ze het nu een volledig hoofdstuk hebben gegeven. De paragrafen omvatten empirische risicominimalisatie (ERM) en structurele risicominimalisatie (SRM), zoals de inhoudsopgave laat zien.

Waarom verdient modelselectie die promotie? De bronnen zeggen het niet, en ik ga namens de auteurs geen reden verzinnen. Maar de plaatsing zegt veel. Hoofdstuk 4 volgt direct op de hoofdstukken over het PAC-kader en over Rademacher-complexiteit en VC-dimensie, waardoor het valt binnen wat het voorwoord de eerste drie of vier hoofdstukken noemt die het theoretische fundament leggen. De auteurs hebben modelselectie dus niet achteraf toegevoegd. Ze hebben het in het theoretische fundament ingebouwd.

De volgende toevoegingen zijn een nieuw hoofdstuk over maximale-entropiemodellen, hoofdstuk 12, en een nieuw hoofdstuk over voorwaardelijke maximale-entropiemodellen, hoofdstuk 13. Twee volledig nieuwe hoofdstukken zijn een aanzienlijke uitbreiding, en het boek wijdt nu opeenvolgende hoofdstukken aan het paar.

Ook de bijlagen veranderen. De auteurs hebben een volledige paragraaf over Fenchel-dualiteit toegevoegd aan bijlage B over convexe optimalisatie, en ze hebben bijlage E over informatietheorie toegevoegd. Het boek bevat daarnaast een uitgebreide bijlage met een beknopte herhaling van lineaire algebra. Deze veranderingen wijzen in een consistente richting: de ondersteunende wiskunde is meegegroeid met de hoofdstukken. Fenchel-dualiteit komt bij de bijlage over convexe optimalisatie, en informatietheorie krijgt een eigen bijlage. Ik zou niet willen zeggen dat informatietheorie er specifiek is om de hoofdstukken over maximale entropie te ondersteunen, omdat de bronnen zo'n verband niet leggen en de twee toevoegingen in het voorwoord als afzonderlijke punten staan. Dat ze in dezelfde editie verschijnen, is een samenloop die ik als zodanig laat staan.

Voor wie het boek is en hoe het gelezen wil worden #

Het boek noemt zijn publiek: het is bedoeld voor studenten en onderzoekers in machine learning, statistiek en andere verwante gebieden. Die lijst noemt statistiek bij naam, wat de gedachte uit de inleiding herhaalt dat machine learning inherent verbonden is met data-analyse en statistiek.

Het zegt ook wat het veronderstelt. Van de lezer wordt verwacht dat hij vertrouwd is met basisbegrippen uit lineaire algebra, kansrekening en algoritmeanalyse. Die lijst is kort, en ze komt overeen met de ingrediëntenlijst van de inleiding, al is het niet precies. De inleiding noemt informatica, statistiek, kansrekening en optimalisatie als bronnen van de technieken. De voorkennis noemt lineaire algebra, kansrekening en algoritmeanalyse. Optimalisatie hoort niet bij de voorkennis, en het boek vangt dat van de andere kant op: bijlage B behandelt convexe optimalisatie, met de nieuwe paragraaf over Fenchel-dualiteit. Lineaire algebra wordt als achtergrond verwacht, en toch biedt het boek de uitgebreide bijlage die haar herhaalt. Voorkennis en bijlagen overlappen dus bewust, en een lezer wiens lineaire algebra wat is weggezakt, vindt een beknopte herhaling binnen dezelfde kaft.

Ook de didactiek wordt helder benoemd. Elk hoofdstuk eindigt met een reeks oefeningen, waarvan de volledige uitwerkingen apart worden gepresenteerd. Dat is een verstandige opzet voor een boek dat twee doelgroepen bedient. Een student kan de oefeningen proberen en met de uitwerkingen vergelijken, en een onderzoeker die het boek als naslagwerk gebruikt, hoeft niet op elke pagina langs uitgewerkte antwoorden. Of de uitwerkingen als apart deel of in een ander document verschijnen, zegt de bron niet, alleen dat ze apart worden gepresenteerd, dus daar laat ik het bij.

Samen beschrijven het publiek, de voorkennis, de oefeningen en de bijlagen een boek dat is ontworpen om doorgewerkt te worden. De veertien jaar lesgeven aan het Courant Institute staan achter dit ontwerp. Een vak dat herhaaldelijk wordt gegeven, levert doorgaans zo'n apparaat op, al claimt het voorwoord dat verband niet uitdrukkelijk, en ik bied het alleen aan als lezing van het bewijs, niet als bevinding.

De toepassingen zijn breed, en het boek zegt het #

Een zo theoretisch boek zou je kunnen aanzien voor iets wat ver van de praktijk staat. De inleiding voorkomt dat met een eenvoudige bewering: machine learning kent een zeer breed scala aan praktische toepassingen. De toepassing die ze noemt, is tekst- of documentclassificatie, waaronder spamdetectie.

Spamdetectie is een goede keuze als voorbeeld, om een reden die het kader van de auteurs zelf verklaart. Het is een documentclassificatieprobleem precies in de zin van het eerdere voorbeeld: gelabelde documenten erin, voorspellingen over ongeziene documenten eruit. De factoren steekproefomvang en labelkwaliteit gelden er direct voor. Een grotere steekproef maakt de taak makkelijker, en verkeerd gelabelde berichten maken haar moeilijker. Het aantal mogelijke categorieën is klein, wat volgens de logica van de eerdere passage ook de moeilijkheid beïnvloedt. Ik pas hier de door het boek genoemde factoren toe op het door het boek genoemde voorbeeld, en ik beweer niets over spamfilters in de praktijk.

Er zit ook een stil argument in de plaatsing van deze passage. De auteurs introduceren documentclassificatie als leertaak en merken direct op dat het allerminst de enige is. De toepassingen zijn breed omdat de onderliggende definitie breed is. Alles wat past bij ‘computationele methoden die ervaring gebruiken om prestaties te verbeteren of om nauwkeurige voorspellingen te doen’, telt mee. Die algemeenheid verklaart ook waarom het boek zich met theorie bezighoudt. Een kader dat een zeer breed scala aan toepassingen moet dekken, kan niet vastzitten aan de details van één toepassing, en garanties die zijn geformuleerd in termen van de complexiteit van conceptklassen en steekproefomvang, zijn precies het soort dat van het ene probleem naar het andere meereist.

De weddenschap van het boek #

Breng de draden samen en er tekent zich een samenhangende positie af, meer dan de inhoudsopgave van de meeste leerboeken kan claimen. Het boek definieert leren in termen van ervaring en voorspelling. Het noemt drie complexiteiten, tijd, ruimte en steekproef, als maatstaven van kwaliteit. Het koppelt garanties aan de complexiteit van conceptklassen en aan steekproefomvang, en het zet de theorie die die garanties levert vooraan. Daarna bouwt het de algoritmische hoofdstukken op dat fundament en zegt het openlijk welke populaire gebieden het weglaat omdat de garanties voor sommige methoden voorlopig niet solide zijn.

Dit is een weddenschap op theorie als datgene wat blijft. Ik begrijp waarom auteurs die jarenlang een mastervak hebben gegeven, die weddenschap aangaan. Ze heeft een prijs, en de auteurs benoemen die: het weglaten van grafische modellen en neurale netwerken is de prijs voor het vasthouden aan solide garanties. Een lezer moet die prijs eerlijk afwegen. Als je werk gedomineerd wordt door de weggelaten gebieden, is dit boek eerder een fundament dan een handleiding. Als je werk vraagt om te redeneren over de vraag of een lerende generaliseert vanuit een eindige steekproef, is het vocabulaire van het boek precies waar het om draait.

Voor oprichters is de nuttige les de minst spectaculaire. De kwaliteit en omvang van de data zijn doorslaggevend voor het succes van de voorspellingen, en de moeilijkheid van een taak hangt af van de labelkwaliteit en van het aantal mogelijke onderwerpen. Dat zijn uitspraken over invoer waar je vaak invloed op hebt. Het boek belooft niet dat een bepaald algoritme een magere of slecht gelabelde steekproef zal redden, en daar heeft het gelijk in.

Voor technische lezers is de interessantere vraag degene die het voorwoord open laat. De auteurs hebben sommige methoden weggelaten vanwege het huidige gebrek aan solide theoretische garanties. Het woord ‘huidige’ plaatst dat als stand van zaken op het moment van schrijven, en de bronnen zeggen niet of, of hoe, dat zou kunnen veranderen. Wat zou er nodig zijn om die garanties solide genoeg te maken voor een eigen hoofdstuk? Het boek kan dat niet beantwoorden. Maar door precies te zijn over wat het weglaat en waarom, laat het in elk geval zien waar je moet zoeken.

Wat dit betekent per sector #

De nadruk op statistische leergaranties en steekproefcomplexiteit stelt concrete grenzen in verschillende software- en onderzoeksdomeinen.

Academische machine learning en curriculumontwerp #

Onderwijsprogramma's moeten de druk weerstaan om machine learning te behandelen als empirische prompt engineering of als loodgieterswerk met frameworks. Studenten verankeren in het PAC-kader, Rademacher-complexiteit en structurele risicominimalisatie levert duurzame wiskundige intuïties op die de wisseling van kortstondige deep-learningarchitecturen overleven.

AI-engineering in bedrijven en waardering van data #

Engineeringorganisaties die voorspellende systemen inzetten, steken vaak te veel kapitaal in rekenkracht (modelschaal) en verwaarlozen steekproefcomplexiteit en labelbetrouwbaarheid. Omdat de generalisatiefout strikt wordt begrensd door de complexiteit van de conceptklasse ten opzichte van de steekproefomvang, behalen teams een beter rendement door te investeren in schone annotatie en steekproefaudits in plaats van in grotere, niet-geregulariseerde modellen.

Grensverleggend AI-onderzoek en modelaudits #

Nu regelgevende kaders zoals de Europese AI-verordening voorspelbare grenzen eisen voor geautomatiseerde beslissystemen, worden de statistische leergaranties die in Foundations of Machine Learning zijn geformaliseerd een noodzaak voor compliance. Toezichthouders en veiligheidsauditors eisen bewijsbare generalisatiegrenzen en strikte protocollen voor modelselectie in plaats van heuristische validatiescores.

Conclusie #

Foundations of Machine Learning blijft een onmisbaar anker in een vakgebied dat vaak in de verleiding komt van puur empirisme. Door een heel curriculum te bouwen rond PAC-leren, Rademacher-complexiteit en VC-dimensie, herinneren Mehryar Mohri, Afshin Rostamizadeh en Ameet Talwalkar onderzoekers eraan dat algoritmische elegantie geen vervanging is voor wiskundige garanties. Het openlijk weglaten van neurale netwerken en grafische modellen bij gebrek aan garanties in gesloten vorm is geen tekortkoming: het is de bepalende kracht van het boek, omdat het helder scheidt wat de discipline streng kan bewijzen van wat ze slechts waarneemt.

Veelgestelde vragen #

Waarom hebben de auteurs neurale netwerken en grafische modellen weggelaten uit de tweede editie?

De auteurs hebben neurale netwerken en grafische modellen bewust weggelaten omwille van de beknoptheid en vanwege het huidige gebrek aan solide theoretische garanties voor verschillende van die methoden. Het boek is strikt georganiseerd rond algoritmen die strenge generalisatiegrenzen toelaten.

Wat onderscheidt steekproefcomplexiteit van tijd- en ruimtecomplexiteit?

Waar tijdcomplexiteit de uitvoeringssnelheid beoordeelt en ruimtecomplexiteit het geheugengebruik meet, kwantificeert steekproefcomplexiteit de hoeveelheid trainingsdata die een algoritme nodig heeft om een familie van concepten te leren binnen vastgelegde fout- en betrouwbaarheidsmarges.

Wat is het kernverschil tussen empirische en structurele risicominimalisatie?

Empirische risicominimalisatie (ERM) kiest de hypothese die de trainingsfout direct minimaliseert, met het risico op overfitting wanneer de complexiteit van de hypothesen hoog is. Structurele risicominimalisatie (SRM) weegt de trainingsfout af tegen de complexiteit van de hypothesen (zoals de VC-dimensie of de Rademacher-complexiteit) en levert formele grenzen voor het generalisatierisico.

Bronnen #

Mehryar Mohri, Afshin Rostamizadeh en Ameet Talwalkar, (2018). Foundations of Machine Learning, tweede editie ⧉. The MIT Press.
Leslie G. Valiant, (1984). Een theorie van het leerbare ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Statistische leertheorie ⧉. John Wiley & Sons.

Laatst herzien 2026-10-10.

Laatst herzien 2026-10-27.

Dit artikel herpubliceren

Wat de inhoudsopgave van een leerboek machine learning zegt — Sebastien Rousseau

Het leerboek van Mohri, Rostamizadeh en Talwalkar (MIT Press, 2018) bouwt machine learning op steekproefcomplexiteit, grenzen en theoretische garanties.

Dit artikel valt onder de licentie Creative Commons Attribution 4.0 International. Herpublicatie vereist attributie aan de canonieke URL.

Wat de inhoudsopgave van een leerboek machine learning zegt — Sebastien Rousseau

Het leerboek van Mohri, Rostamizadeh en Talwalkar (MIT Press, 2018) bouwt machine learning op steekproefcomplexiteit, grenzen en theoretische garanties.

Originally published at https://sebastienrousseau.com/nl/2026-10-10-wat-de-inhoudsopgave-leerboek-machine-learning/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER