Vad en läroboks innehållsförteckning säger om maskininlärning

Foundations of Machine Learning (andra upplagan, MIT Press, 2018) av Mehryar Mohri, Afshin Rostamizadeh och Ameet Talwalkar definierar inlärning som att använda erfarenhet för att göra träffsäkra förutsägelser och bygger en stringent kursplan kring urvalskomplexitet, Rademacher-gränser och teoretiska garantier.

De flesta böcker om maskininlärning börjar med ett löfte om vad du kommer att kunna bygga. Den här börjar med en definition och en lista över de storheter som avgör om en inlärare lyckas. Den ordningen säger vad författarna anser att ämnet är, och jag tror att de har rätt. Ett fält som säljer in sig på förutsägelser är skyldigt sina läsare en redogörelse för när förutsägelser går att lita på, och det är just den redogörelsen boken sätter sig för att ge.

Den här artikeln läser boken utifrån vad dess förord, inledning och första sidor faktiskt säger. Det är en snävare övning än att recensera varje kapitel, och den är ärlig om sina gränser: källorna här är titelbladet, innehållsförteckningen, förordet och den första delen av inledningen. Inom de gränserna finns ett tydligt resonemang att följa. Det handlar om vad maskininlärning är, vad den är beroende av, vad författarna valde att ta med och vad de valde att utelämna.

En bok med tydlig härkomst #

Börja med fakta som förankrar föremålet. Boken heter Foundations of Machine Learning, och detta är andra upplagan. Den ingår i serien Adaptive Computation and Machine Learning, vars redaktör är Francis Bach. Författarna är Mehryar Mohri, Afshin Rostamizadeh och Ameet Talwalkar. Förlaget är The MIT Press i Cambridge, Massachusetts, och upphovsrätten innehas av Massachusetts Institute of Technology, daterad 2018. Den inbundna utgåvan har ISBN 9780262039406.

Två produktionsdetaljer förtjänar en mening var. Boken sattes i LaTeX av författarna själva, vilket passar en text tät av gränser, definitioner och bevis, och den trycktes och bands i USA. Ingen av detaljerna ändrar hur du läser matematiken. Men författare som sätter sin egen bok har haft händerna på varje sida, och i en bok av det här slaget är det betryggande.

Materialets ursprung väger tyngre. Det mesta har sitt ursprung i en forskarutbildningskurs, också den kallad Foundations of Machine Learning, som förstaförfattaren har undervisat vid Courant Institute of Mathematical Sciences vid New York University under de senaste fjorton åren. Det är en specifik härkomst som går att kontrollera. En lärobok som har vuxit fram ur fjorton års undervisning i en och samma kurs har sannolikt formats av det studenterna tyckte var svårt, och övningarna och bilagorna som beskrivs nedan ger det intrycket. Jag skulle akta mig för att dra slutsatsen längre än källan tillåter. Förordet säger var materialet kom ifrån, men inte hur många revideringar kursen gick igenom eller vad studenterna kämpade med. Det som sägs räcker: detta är kursmaterial, inte en översikt sammanställd ur litteraturen.

Definitionen som bär lasset #

Allt som följer vilar på en enda mening. Maskininlärning, skriver författarna, kan i stora drag definieras som beräkningsmetoder som använder erfarenhet för att förbättra prestanda eller göra träffsäkra förutsägelser.

Varje substantiv i den meningen har en uppgift. ”Beräkningsmetoder” placerar ämnet inom datavetenskapen. ”Erfarenhet” preciseras sedan: den avser den tidigare information som inläraren har tillgång till. Meningen gör inget anspråk på att inläraren förstår något, och den säger ingenting om intelligens. En inlärare har tidigare information och ett mål, nämligen bättre prestanda eller träffsäkra förutsägelser, och hela disciplinen handlar om förhållandet mellan de två.

Jag skulle hävda att detta är en mer användbar definition för tekniska läsare och grundare än de storslagnare som cirkulerar, eftersom den pekar rakt på de spakar du själv styr. Om inlärning är en funktion av tidigare information ligger ditt inflytande över resultatet i vilken information du samlar in och hur mycket av den. Nästa påstående i texten säger just det: datans kvalitet och omfång är avgörande för hur väl inlärarens förutsägelser lyckas. Det påståendet framställs i texten som en ren mekanism, utan förbehåll.

Författarna beskriver också själva teknikerna. Det är datadrivna metoder som förenar grundläggande begrepp inom datavetenskap med idéer från statistik, sannolikhetslära och optimering. Den meningen fungerar både som en förkunskapslista och som en karta över fältets grannar. Ett team som vill bygga inlärande system hämtar från datavetenskap, statistik, sannolikhetslära och optimering på samma gång. Att behandla någon av dem som valfri är ett val som boken inte ställer sig bakom.

Ett genomräknat exempel: dokument och ämnen #

Inledningen förankrar definitionen i ett konkret inlärningsproblem. Ta ett ändligt urval av slumpmässigt utvalda dokument, vart och ett märkt med ett ämne. Uppgiften är att använda urvalet för att förutsäga ämnet för dokument som inte setts tidigare.

Uppställningen förtjänar en långsam läsning. Urvalet är ändligt, så inläraren ser aldrig allt. Dokumenten är slumpmässigt utvalda, och det är det som gör att ett ändligt urval kan säga något om de osedda. Vart och ett är märkt med ett ämne, så inläraren har handledning. Och målet är dokument den inte har sett, vilket är skillnaden mellan att förutsäga och att memorera.

Författarna lyfter sedan fram två saker som gör uppgiften lättare eller svårare. Den första är storleken: ju större urval, desto lättare uppgift, helt klart. Den andra är etiketternas kvalitet. Uppgiftens svårighet beror också på kvaliteten hos de etiketter som tilldelats dokumenten i urvalet, eftersom alla etiketter inte nödvändigtvis är korrekta, och på antalet möjliga ämnen.

Den meningen innehåller tre separata reglage. Urvalsstorleken är ett. Etiketternas korrekthet är ett annat. Antalet möjliga ämnen är det tredje. Inget av dem handlar om algoritmen. Alla är egenskaper hos problemet och datan, och de avgör hur svårt problemet är innan någon metod har valts. För en grundare som ska bestämma var en budget ska läggas är detta en skarp iakttagelse. Om du kan förbättra etiketterna eller utöka urvalet påverkar du de faktorer som författarna uttryckligen pekar ut som avgörande för svårigheten.

Exemplet namnger också sin egen uppgift. Att förutsäga etiketten för ett dokument kallas även dokumentklassificering, och författarna skyndar sig att tillägga att det inte på något sätt är den enda inlärningsuppgiften. Den reservationen är lätt att hoppa över. Dokumentexemplet är ett fordon, och påståendet under det är generellt.

Tre komplexiteter, inte två #

Här gör boken sitt mest särpräglade drag, och det är lätt att missa eftersom det kommer som en kort anmärkning. Maskininlärning, säger författarna, består i att utforma effektiva och träffsäkra prediktionsalgoritmer. Som inom andra delar av datavetenskapen är tids- och minneskomplexitet avgörande mått på sådana algoritmers kvalitet. Den som har studerat algoritmer känner igen de två. Hur lång tid tar det, och hur mycket minne behövs?

Sedan kommer tillägget. Maskininlärning behöver dessutom ett begrepp om urvalskomplexitet för att bedöma den urvalsstorlek som krävs för att algoritmen ska lära sig en familj av begrepp. Det är måttet som saknar motsvarighet i en sorteringsrutin. En sorteringsalgoritm behöver inte få veta hur många exempel den kräver. En inlärare behöver det, eftersom dess utdata är en förutsägelse om fall den inte har sett, och mängden erfarenhet bakom förutsägelsen är en del av det du betalar för.

Jag skulle uttrycka det så här: tid och minne säger vad en algoritm kostar att köra, och urvalskomplexitet säger vad den kostar att lära upp. En inlärare som är snabb men behöver ett orimligt stort urval är inte effektiv i någon mening som spelar roll för den som samlar in datan. Att ställa det tredje måttet bredvid de andra två är bokens sätt att säga att data är en resurs med ett pris, som ska budgeteras precis som beräkningskraft och minne.

Texten fortsätter i samma riktning. Mer allmänt beror teoretiska inlärningsgarantier för en algoritm på komplexiteten hos de begreppsklasser som betraktas och på träningsurvalets storlek. Det är en kompakt beskrivning av vad en garanti består av. Det finns två indata, hur rik begreppsfamiljen är och hur mycket träningsdata du har, och en garanti är ett påstående som relaterar dem till prestanda. Lägg märke till vad detta innebär för bokens uppbyggnad. Kapitlen som följer måste tillhandahålla sätt att mäta en begreppsklass komplexitet, och innehållsförteckningen visar att de gör det.

Författarna förklarar också varför fältet ligger där det ligger. Eftersom en inlärningsalgoritms framgång beror på den data som används är maskininlärning till sin natur förbunden med dataanalys och statistik. Mekanismen anges rakt ut: framgången beror på data, alltså är ämnet sammanflätat med de discipliner som studerar data. Jag tycker att detta är den ärligaste meningen i inledningen. Den framställer inte statistiken som en rival eller en förfader. Den framställer statistiken som en följd av vad inlärning är beroende av.

Dimension	Tidskomplexitet	Minneskomplexitet	Urvalskomplexitet
Operativ definition	Asymptotisk körtid som krävs för att ta fram hypotesen $h$	Minnesavtryck som behövs under träning och utvärdering	Antal träningsexempel $m$ som krävs för att lära sig en begreppsfamilj
Styrande teori	Beräkningskomplexitet (P mot NP, träningens svårighet)	Arkitekturens minnesbegränsningar och cachelokalitet	PAC-inlärning, Rademacher-komplexitet och VC-dimension
Kostnadskonsekvens	Serverberäkning och budget för GPU/CPU-inferens	RAM och kapacitet för SRAM på chipet	Kostnad för datainsamling, annotering och märkning
Teoretisk roll	Mäter algoritmens effektivitet i körtid	Mäter effektiviteten i minnesresurser	Avgör generaliseringsfel och gränser för osedd data

Den teoretiska ryggraden #

Förordet anger hur boken är uppbyggd. De första tre eller fyra kapitlen lägger den teoretiska grunden för materialet som följer. Innehållsförteckningen låter oss se vad den grunden består av, åtminstone till rubrikerna.

Det första kapitlet i innehållsförteckningen heter ”The PAC Learning Framework” (ramverket för PAC-inlärning), och i det finns avsnitt med rubrikerna ”Guarantees for finite hypothesis sets - consistent case” och ”Guarantees for finite hypothesis sets - inconsistent case”, alltså garantier för ändliga hypotesmängder i det konsistenta respektive det inkonsistenta fallet. Avsnittsrubrikerna säger oss två saker. Den ena är att ramverket ger garantier, vilket stämmer med inledningens betoning. Den andra är att garantierna delas upp efter om fallet är konsistent eller inkonsistent, och boken behandlar de två var för sig. Jag tänker inte spekulera i vad det konsistenta och det inkonsistenta fallet innehåller, eftersom källorna här bara ger avsnittsrubrikerna. Men parningen visar att författarna inte lägger fram ett enda rent teorem och går vidare. De ger det svårare, rörigare fallet ett eget avsnitt.

Nästa kapitel i listan är ”Rademacher Complexity and VC-Dimension”. Dess avsnitt behandlar Rademacher-komplexitet, tillväxtfunktion, VC-dimension och undre gränser. Läst mot inledningen är kapitlet det naturliga svaret på en fråga som inledningen väcker. Om garantierna beror på komplexiteten hos de begreppsklasser som betraktas behöver man verktyg för att mäta den komplexiteten. Rademacher-komplexiteten, tillväxtfunktionen och VC-dimensionen står listade som de avsnitt som bär den lasten. Att undre gränser finns med bland avsnitten är också värt att notera. En bok som bara lägger fram övre gränser säger vad som går att uppnå. En som också tar med undre gränser säger dessutom vad som inte går.

Därefter kommer kapitel 4, ”Model Selection”, med avsnitt som bland annat tar upp empirisk riskminimering (ERM) och strukturell riskminimering (SRM). Vi återkommer till det kapitlet när vi tittar på andra upplagan, eftersom det är ett av de ställen där den nya upplagan förändras mest.

Strukturen är medveten. Först grunderna, sedan maskineriet för att mäta komplexitet, sedan modellval och först därefter algoritmerna. Det är ett försvarbart sätt att undervisa, och det stämmer med bokens egen beskrivning av hur den fungerar: de inledande kapitlen lägger teorin, och resten bygger på den.

Från teori till algoritmer: stödvektormaskiner och kärnor #

Innehållsförteckningen namnger också de algoritmiska kapitel som följer. Ett heter ”Support Vector Machines”, med avsnitt för det separerbara och det icke-separerbara fallet. Vart och ett av de avsnitten behandlar det primala optimeringsproblemet, stödvektorerna och det duala optimeringsproblemet. Ett annat heter ”Kernel Methods”.

Formen på kapitlet om stödvektormaskiner är i sig upplysande. Samma tre ämnen förekommer under både den separerbara och den icke-separerbara rubriken: det primala optimeringsproblemet, stödvektorerna och det duala optimeringsproblemet. Upprepningen antyder en parallell behandling, samma frågor ställda två gånger under olika antaganden. Parallellen speglar uppdelningen i konsistent och inkonsistent fall i PAC-kapitlet, så ett mönster framträder genom boken: först ett rent fall, sedan fallet där det rena antagandet inte håller.

Jag skulle vara försiktig med att läsa för mycket ur en innehållsförteckning. Den kan säga vad boken täcker och hur den delar upp materialet. Den kan inte säga hur väl något avsnitt är skrivet, och ingenting i de här källorna säger det. Vad den visar är att optimeringsspråket i kapitlet om stödvektormaskiner, primalt och dualt, knyter tillbaka till inledningens beskrivning av teknikerna som en förening av datavetenskap med idéer från statistik, sannolikhetslära och optimering. Optimeringsdelen av den listan syns konkret i de här avsnittsrubrikerna.

Boken reserverar också ett eget kapitel vardera för klassificering med flera klasser, rangordning och regression. Det är ett designbeslut värt att försvara. Det hade varit lätt att behandla dem som fotnoter till binär klassificering. Att ge var och en ett eget kapitel signalerar att författarna ser dem som skilda problem med egen analys, och det stämmer med det uttalade målet om en enhetlig framställning av flera ämnen snarare än en framställning som gynnar ett synsätt.

Vad boken väljer att inte täcka #

Det mest intressanta stycket i förordet handlar om utelämnanden. Boken, säger författarna, är en allmän introduktion till maskininlärning som kan tjäna som referensbok för forskare och som lärobok för studenter. Efter det breda anspråket lägger de till en gräns: de har valt att utelämna några viktiga ämnen, bland dem grafiska modeller och neurala nätverk.

Få läroböcker säger detta så rakt ut, och jag skulle hävda att uppriktigheten är en styrka. En läsare som i förväg vet vad som saknas kan planera kring det. Den som behöver neurala nätverk vet att söka på annat håll, i stället för att upptäcka luckan i kapitel nio.

Skälen anges också. Utelämnandet görs både för korthetens skull och för att solida teoretiska garantier för vissa metoder för närvarande saknas. Två skäl ges. Korthet är en praktisk begränsning för varje bok. Det andra skälet är det som säger något om bokens filosofi.

Knyt det tillbaka till inledningen. Teoretiska inlärningsgarantier är det som boken är organiserad kring. Garantierna beror på begreppsklassernas komplexitet och på träningsurvalets storlek, och de teoretiska kapitlen kommer först eftersom allt annat bygger på dem. En metod för vilken solida garantier i dag saknas passar illa i en bok som är byggd på det sättet. Utelämnandet följer alltså av bokens centrala åtagande. Det är förenligt med den definition av ämnet som författarna valde att inleda med.

Här finns en punkt som kräver omsorg. Texten säger ”vissa metoder”, så påståendet gäller avsaknaden av solida garantier för vissa metoder, inte för alla de utelämnade ämnena, och den säger ”för närvarande”, vilket knyter bedömningen till tidpunkten då den skrevs. Jag skulle motstå frestelsen att sammanfatta detta som ”neurala nätverk saknar teori”. Det är inte vad källan säger. Den säger att garantierna för vissa metoder för närvarande saknas, och att detta, tillsammans med korthet, var skälet till att grafiska modeller och neurala nätverk lämnades utanför.

För tekniska läsare som väljer vad de ska studera är den praktiska följden enkel. Boken ger dig garantiernas vokabulär, och den säger rakt ut vilka områden den inte täcker.

Vad andra upplagan förändrar #

Andra upplagan är mer än ett omtryck med rättelser. Förordet räknar upp tilläggen, och vart och ett säger var författarna ansåg att första upplagan var tunn.

Den största förändringen är ett helt kapitel om modellval, kapitel 4, ett ämne som författarna beskriver som viktigt och som bara diskuterades kort i den förra upplagan. Formuleringen är rak. De påstår inte att första upplagan behandlade ämnet väl. De säger att det bara diskuterades kort och att de nu har gett det ett helt kapitel. Avsnitten tar bland annat upp empirisk riskminimering (ERM) och strukturell riskminimering (SRM), som innehållsförteckningen visar.

Varför förtjänar modellval uppflyttningen? Källorna säger det inte, och jag tänker inte hitta på ett skäl åt författarna. Men placeringen säger något. Kapitel 4 följer direkt efter kapitlen om PAC-ramverket och om Rademacher-komplexitet och VC-dimension, vilket placerar det inom det som förordet kallar de första tre eller fyra kapitlen som lägger den teoretiska grunden. Författarna lade alltså inte till modellval som en eftertanke. De byggde in det i den teoretiska grunden.

Nästa tillägg är ett nytt kapitel om Maximum Entropy-modeller, kapitel 12, och ett nytt kapitel om villkorliga Maximum Entropy-modeller, kapitel 13. Två helt nya kapitel är en betydande utvidgning, och boken ägnar nu två kapitel i följd åt paret.

Även bilagorna förändras. Författarna har lagt till ett helt avsnitt om Fenchel-dualitet i bilaga B om konvex optimering, och de har lagt till bilaga E om informationsteori. Boken innehåller också en omfattande bilaga med en koncis genomgång av linjär algebra. Förändringarna pekar i en och samma riktning: den stödjande matematiken har vuxit i takt med kapitlen. Fenchel-dualiteten ansluter till bilagan om konvex optimering, och informationsteorin får en egen bilaga. Jag skulle avstå från att säga att informationsteorin finns där just för att stödja kapitlen om Maximum Entropy, eftersom källorna inte anger något sådant samband, och de två tilläggen står som separata punkter i förordet. Att de kom i samma upplaga är ett sammanträffande som jag låter förbli ett.

Vem boken är till för, och hur den förväntar sig att bli läst #

Boken anger sin publik: den är avsedd för studenter och forskare inom maskininlärning, statistik och andra närliggande områden. Listan nämner statistik vid namn, vilket ekar inledningens poäng att maskininlärning till sin natur är förbunden med dataanalys och statistik.

Den anger också vad den förutsätter. Läsaren förväntas vara förtrogen med grundläggande begrepp inom linjär algebra, sannolikhetslära och algoritmanalys. Det är en kort lista, och den stämmer med inledningens lista över ingredienser, om än inte exakt. Inledningen nämner datavetenskap, statistik, sannolikhetslära och optimering som teknikernas källor. Förkunskaperna nämner linjär algebra, sannolikhetslära och algoritmanalys. Optimering finns inte bland förkunskaperna, och boken hanterar det från andra hållet: bilaga B behandlar konvex optimering, med det nya avsnittet om Fenchel-dualitet. Linjär algebra förväntas som bakgrund, och boken tillhandahåller ändå den omfattande bilagan som repeterar den. Förkunskaperna och bilagorna överlappar alltså avsiktligt, och en läsare vars linjära algebra har rostat har en koncis repetition inom samma pärmar.

Pedagogiken anges lika rakt. Varje kapitel avslutas med en serie övningar, med fullständiga lösningar som presenteras separat. Det är ett förnuftigt upplägg för en bok som tjänar två publiker. En student kan försöka sig på övningarna och kontrollera mot lösningarna, och en forskare som använder boken som referens behöver inte ta sig förbi genomräknade svar på varje sida. Om lösningarna kommer som en separat volym eller som något annat dokument säger källan inte, bara att de presenteras separat, så jag lämnar det där.

Sammantaget beskriver publiken, förkunskaperna, övningarna och bilagorna en bok som är gjord för att arbetas igenom. Fjorton års undervisning vid Courant Institute står bakom den utformningen. En kurs som har getts gång på gång brukar ge upphov till den här sortens apparat, men förordet gör inte uttryckligen det sambandet, och jag erbjuder det bara som en läsning av underlaget, inte som en slutsats.

Tillämpningarna är breda, och boken säger det #

En så teoretisk bok skulle kunna misstas för något fjärran från praktiken. Inledningen förebygger det med ett rakt konstaterande: maskininlärning har en mycket bred uppsättning praktiska tillämpningar. Den som nämns är text- eller dokumentklassificering, som omfattar skräppostdetektering.

Skräppostdetektering är ett bra val av exempel av ett skäl som författarnas eget ramverk förklarar. Det är ett dokumentklassificeringsproblem precis i det tidigare exemplets mening: märkta dokument in, förutsägelser om osedda dokument ut. Faktorerna urvalsstorlek och etikettkvalitet gäller direkt. Ett större urval gör uppgiften lättare, och felmärkta meddelanden gör den svårare. Antalet möjliga kategorier är litet, vilket enligt logiken i det tidigare stycket också påverkar svårigheten. Jag tillämpar bokens uttalade faktorer på dess uttalade exempel, och jag påstår ingenting om skräppostfilter ute i verkligheten.

Det finns också ett tyst argument i styckets placering. Författarna introducerar dokumentklassificering som en inlärningsuppgift och påpekar genast att den inte på något sätt är den enda. Tillämpningarna är breda eftersom den underliggande definitionen är bred. Allt som passar in på ”beräkningsmetoder som använder erfarenhet för att förbättra prestanda eller göra träffsäkra förutsägelser” räknas. Den generaliteten är också skälet till att boken lägger ner möda på teori. Ett ramverk som ska täcka en mycket bred uppsättning tillämpningar kan inte bindas till detaljerna i någon enskild, och garantier uttryckta i termer av begreppsklassens komplexitet och urvalsstorlek är precis den sort som går att flytta mellan problem.

Bokens vadslagning #

Knyt ihop trådarna så framträder en sammanhängande hållning, vilket är mer än innehållsförteckningen i de flesta läroböcker kan göra anspråk på. Boken definierar inlärning i termer av erfarenhet och förutsägelse. Den namnger tre komplexiteter, tid, minne och urval, som kvalitetsmått. Den knyter garantier till begreppsklassens komplexitet och urvalsstorleken, och den placerar teorin som ger dessa garantier först. Sedan bygger den de algoritmiska kapitlen på den grunden och säger öppet vilka populära områden den lämnar utanför, eftersom garantierna för vissa metoder ännu inte är solida.

Detta är en satsning på teorin som det som består. Jag förstår varför ett författarlag som har ägnat år åt att undervisa en forskarutbildningskurs skulle göra den. Satsningen har ett pris, och författarna namnger det: utelämnandet av grafiska modeller och neurala nätverk är priset för att insistera på solida garantier. En läsare bör väga det priset ärligt. Om ditt arbete domineras av de utelämnade områdena är den här boken en grund snarare än en handbok. Om ditt arbete kräver att du resonerar om huruvida en inlärare kommer att generalisera från ett ändligt urval är bokens vokabulär själva poängen.

För grundare är den användbara lärdomen den minst glamorösa. Datans kvalitet och omfång är avgörande för hur väl förutsägelserna lyckas, och en uppgifts svårighet beror på etiketternas kvalitet och på antalet möjliga ämnen. Det är påståenden om indata som du ofta kan påverka. Boken lovar inte att någon viss algoritm ska rädda ett tunt eller felmärkt urval, och den gör rätt i att låta bli.

För tekniska läsare är den intressantare frågan den som förordet lämnar öppen. Författarna utelämnade vissa metoder på grund av den nuvarande avsaknaden av solida teoretiska garantier. Ordet ”nuvarande” ramar in det som ett läge vid tidpunkten för skrivandet, och källorna säger inte om eller hur det kan förändras. Vad skulle krävas för att de garantierna ska bli solida nog att förtjäna ett kapitel? Boken kan inte svara på det. Genom att vara exakt om vad den utelämnar och varför visar den åtminstone var man ska leta.

Vad detta innebär per sektor #

Insisterandet på statistiska inlärningsgarantier och urvalskomplexitet ger handfasta gränser inom flera program- och forskningsområden.

Akademisk maskininlärning och kursplanering #

Utbildningsprogram måste stå emot trycket att behandla maskininlärning som empirisk promptkonstruktion eller ramverksrörmokeri. Att förankra studenterna i PAC-ramverket, Rademacher-komplexitet och strukturell riskminimering ger varaktiga matematiska instinkter som överlever omsättningen av kortlivade arkitekturer för djupinlärning.

AI-utveckling i företag och värdering av data #

Organisationer som driftsätter prediktiva system lägger ofta för mycket kapital på beräkningskraft (modellstorlek) och försummar urvalskomplexitet och etiketternas tillförlitlighet. Eftersom generaliseringsfelet begränsas strikt av begreppsklassens komplexitet i förhållande till urvalsstorleken får team bättre avkastning genom att investera i ren annotering och granskning av urval än i större oregulariserade modeller.

Spetsforskning inom AI och modellgranskning #

När regelverk som EU:s AI-förordning kräver förutsägbara gränser för automatiserade beslutssystem blir de statistiska inlärningsgarantier som formaliseras i Foundations of Machine Learning en nödvändighet för regelefterlevnad. Tillsynsmyndigheter och säkerhetsgranskare kräver bevisbara generaliseringsgränser och stringenta protokoll för modellval snarare än heuristiska valideringsvärden.

Slutsats #

Foundations of Machine Learning förblir ett oumbärligt ankare i ett fält som ofta frestas av ren empirism. Genom att bygga en hel kursplan kring PAC-inlärning, Rademacher-komplexitet och VC-dimension påminner Mehryar Mohri, Afshin Rostamizadeh och Ameet Talwalkar forskare om att algoritmisk elegans inte kan ersätta matematiska garantier. Författarnas öppna utelämnande av neurala nätverk och grafiska modeller i brist på slutna garantier är ingen brist - det är bokens avgörande styrka, som tydligt skiljer det disciplinen kan bevisa stringent från det den bara observerar.

Vanliga frågor #

Varför utelämnade författarna neurala nätverk och grafiska modeller i andra upplagan?

Författarna utelämnade medvetet neurala nätverk och grafiska modeller för korthetens skull och för att solida teoretiska garantier för flera av dessa metoder i dag saknas. Boken är strikt organiserad kring algoritmer som medger stringenta generaliseringsgränser.

Vad skiljer urvalskomplexitet från tids- och minneskomplexitet?

Medan tidskomplexitet bedömer exekveringshastighet och minneskomplexitet mäter minnesförbrukning kvantifierar urvalskomplexitet den mängd träningsdata som en algoritm matematiskt behöver för att lära sig en familj av begrepp inom angivna toleranser för fel och konfidens.

Vad är den grundläggande skillnaden mellan empirisk och strukturell riskminimering?

Empirisk riskminimering (ERM) väljer den hypotes som direkt minimerar träningsfelet och riskerar överanpassning när hypotesens komplexitet är hög. Strukturell riskminimering (SRM) väger träningsfelet mot hypotesens komplexitet (till exempel VC-dimension eller Rademacher-komplexitet) och ger formella gränser för generaliseringsrisken.

Källor #

Mehryar Mohri, Afshin Rostamizadeh och Ameet Talwalkar, (2018). Foundations of Machine Learning, andra upplagan ⧉. The MIT Press.
Leslie G. Valiant, (1984). En teori om det inlärbara ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Statistisk inlärningsteori ⧉. John Wiley & Sons.

Senast granskad 2026-10-10.

Senast granskad 2026-10-27.

Återpublicera den här artikeln

Vad en läroboks innehållsförteckning säger om maskininlärning — Sebastien Rousseau

Foundations of Machine Learning (andra upplagan, MIT Press, 2018) behandlar maskininlärning som konsten att bygga effektiva och träffsäkra prediktionsalgoritmer.

Den här artikeln är licensierad under Creative Commons Attribution 4.0 International. Återpublicering kräver attribution till den kanoniska URL:en.

Vad en läroboks innehållsförteckning säger om maskininlärning — Sebastien Rousseau

Foundations of Machine Learning (andra upplagan, MIT Press, 2018) behandlar maskininlärning som konsten att bygga effektiva och träffsäkra prediktionsalgoritmer.

Originally published at https://sebastienrousseau.com/sv/2026-10-10-vad-en-laroboks-innehallsforteckning-sager/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER