Was ein Lehrbuch-Inhaltsverzeichnis über maschinelles Lernen verrät

Foundations of Machine Learning (zweite Auflage, MIT Press, 2018) von Mehryar Mohri, Afshin Rostamizadeh und Ameet Talwalkar definiert Lernen als die Nutzung von Erfahrung für genaue Vorhersagen und baut einen strengen Lehrplan um Stichprobenkomplexität, Rademacher-Schranken und theoretische Garantien.

Die meisten Bücher über maschinelles Lernen beginnen mit einem Versprechen, was man damit bauen kann. Dieses beginnt mit einer Definition und einer Liste der Größen, die darüber entscheiden, ob ein Lernender Erfolg hat. Diese Reihenfolge verrät, was die Autoren für ihr Fach halten, und ich halte sie für richtig. Ein Feld, das sich über Vorhersage verkauft, schuldet seinen Lesern eine Erklärung, wann man Vorhersagen trauen kann, und genau diese Erklärung will das Buch liefern.

Dieser Artikel liest das Buch über das, was Titelei, Vorwort und erste Seiten tatsächlich sagen. Das ist enger als eine Besprechung jedes Kapitels, und es benennt seine Grenzen offen: Die Quellen sind hier die Titelseite, das Inhaltsverzeichnis, das Vorwort und der erste Teil der Einleitung. Innerhalb dieser Grenzen lässt sich ein klares Argument verfolgen. Es geht darum, was maschinelles Lernen ist, wovon es abhängt, was die Autoren behandeln wollten und was sie bewusst weggelassen haben.

Ein Buch mit genauer Herkunft #

Beginnen wir mit den Fakten, die den Gegenstand verankern. Das Buch heißt Foundations of Machine Learning, und es handelt sich um die zweite Auflage. Es gehört zur Reihe Adaptive Computation and Machine Learning, deren Herausgeber Francis Bach ist. Die Autoren sind Mehryar Mohri, Afshin Rostamizadeh und Ameet Talwalkar. Verlag ist The MIT Press in Cambridge, Massachusetts, das Urheberrecht liegt beim Massachusetts Institute of Technology, datiert auf 2018. Die gebundene Ausgabe trägt die ISBN 9780262039406.

Zwei Details der Herstellung verdienen je einen Satz. Die Autoren haben das Buch selbst in LaTeX gesetzt, was zu einem Text voller Schranken, Definitionen und Beweise passt, und es wurde in den Vereinigten Staaten gedruckt und gebunden. Keines der beiden Details ändert, wie man die Mathematik liest. Aber Autoren, die ihr Buch selbst setzen, hatten jede Seite in der Hand, und bei einem Buch dieser Art ist das beruhigend.

Wichtiger ist die Herkunft des Stoffs. Der größte Teil stammt aus einer Graduiertenvorlesung, die ebenfalls Foundations of Machine Learning heißt und die der Erstautor in den vergangenen vierzehn Jahren am Courant Institute of Mathematical Sciences der New York University gehalten hat. Das ist eine konkrete, überprüfbare Herkunft. Ein Lehrbuch, das aus vierzehn Jahren Lehre in einer einzigen Vorlesung hervorgegangen ist, wurde vermutlich von dem geprägt, was Studierende schwierig fanden, und die weiter unten beschriebenen Übungen und Anhänge lesen sich auch so. Ich würde die Folgerung aber nicht weiter treiben, als die Quelle erlaubt. Das Vorwort sagt, woher der Stoff stammt, nicht aber, wie viele Überarbeitungen die Vorlesung durchlief oder womit die Studierenden kämpften. Was es sagt, genügt: Dies ist Vorlesungsstoff und keine aus der Literatur zusammengestellte Übersicht.

Die Definition, die die Hauptlast trägt #

Alles Weitere hängt an einem einzigen Satz. Maschinelles Lernen, schreiben die Autoren, lässt sich allgemein als rechnergestützte Methoden definieren, die Erfahrung nutzen, um ihre Leistung zu verbessern oder genaue Vorhersagen zu treffen.

Jedes Substantiv in diesem Satz hat eine Aufgabe. „Rechnergestützte Methoden“ verortet das Fach in der Informatik. „Erfahrung“ wird dann präzisiert: Gemeint sind die vergangenen Informationen, die dem Lernenden zur Verfügung stehen. Der Satz behauptet nicht, dass der Lernende irgendetwas versteht, und er sagt nichts über Intelligenz. Ein Lernender hat vergangene Informationen und ein Ziel, nämlich bessere Leistung oder genaue Vorhersage, und die ganze Disziplin dreht sich um das Verhältnis zwischen beiden.

Ich halte diese Definition für technische Leser und Gründer für nützlicher als die großspurigeren, die im Umlauf sind, weil sie direkt auf die Hebel zeigt, die man selbst in der Hand hat. Wenn Lernen eine Funktion vergangener Informationen ist, dann liegt der eigene Einfluss auf das Ergebnis darin, welche Informationen man sammelt und wie viele. Die nächste Aussage im Text sagt genau das: Qualität und Umfang der Daten sind entscheidend für den Erfolg der Vorhersagen des Lernenden. Der Text stellt das als schlichten Mechanismus dar, ohne jede Einschränkung.

Die Autoren beschreiben auch die Techniken selbst. Es sind datengetriebene Methoden, die grundlegende Konzepte der Informatik mit Ideen aus Statistik, Wahrscheinlichkeitstheorie und Optimierung verbinden. Dieser Satz ist zugleich eine Liste der Voraussetzungen und eine Karte der Nachbarfächer. Ein Team, das lernende Systeme bauen will, greift auf Informatik, Statistik, Wahrscheinlichkeitstheorie und Optimierung zugleich zurück. Eines davon als verzichtbar zu behandeln, ist eine Entscheidung, die das Buch nicht stützt.

Ein durchgerechnetes Beispiel: Dokumente und Themen #

Die Einleitung erdet die Definition in einem konkreten Lernproblem. Man nehme eine endliche Stichprobe zufällig ausgewählter Dokumente, jedes mit einem Thema beschriftet. Die Aufgabe besteht darin, mit dieser Stichprobe das Thema noch ungesehener Dokumente vorherzusagen.

Der Aufbau lohnt eine langsame Lektüre. Die Stichprobe ist endlich, der Lernende sieht also nie alles. Die Dokumente sind zufällig ausgewählt, und genau das erlaubt einer endlichen Stichprobe, etwas über die ungesehenen auszusagen. Jedes trägt ein Thema als Label, der Lernende wird also überwacht. Und das Ziel sind Dokumente, die er nicht gesehen hat, was den Unterschied zwischen Vorhersagen und Auswendiglernen ausmacht.

Die Autoren arbeiten dann zwei Dinge heraus, die die Aufgabe leichter oder schwerer machen. Das erste ist der Umfang: Je größer die Stichprobe, desto leichter offensichtlich die Aufgabe. Das zweite ist die Qualität der Labels. Die Schwierigkeit hängt auch von der Qualität der Labels ab, die den Dokumenten der Stichprobe zugewiesen wurden, da nicht alle korrekt sein müssen, und von der Zahl der möglichen Themen.

Dieser Satz enthält drei getrennte Stellschrauben. Der Stichprobenumfang ist eine. Die Korrektheit der Labels eine andere. Die Zahl der möglichen Themen die dritte. Keine davon betrifft den Algorithmus. Es sind allesamt Eigenschaften des Problems und der Daten, und sie entscheiden über die Schwierigkeit, bevor überhaupt eine Methode gewählt ist. Für einen Gründer, der entscheidet, wofür er sein Budget ausgibt, ist das eine treffende Beobachtung. Wer die Labels verbessern oder die Stichprobe vergrößern kann, wirkt auf genau die Faktoren ein, die die Autoren ausdrücklich als bestimmend für die Schwierigkeit nennen.

Das Beispiel benennt auch seine eigene Aufgabe. Das Label eines Dokuments vorherzusagen, heißt auch Dokumentklassifikation, und die Autoren fügen sofort hinzu, dass dies keineswegs die einzige Lernaufgabe ist. Dieser Vorbehalt wird leicht überlesen. Das Dokumentbeispiel ist nur ein Vehikel, und die Aussage dahinter ist allgemein.

Drei Komplexitäten, nicht zwei #

Hier macht das Buch seinen eigenständigsten Schritt, und man übersieht ihn leicht, weil er als kurze Bemerkung daherkommt. Maschinelles Lernen, sagen die Autoren, besteht im Entwurf effizienter und genauer Vorhersagealgorithmen. Wie in anderen Bereichen der Informatik sind Zeit- und Platzkomplexität entscheidende Maße für die Qualität solcher Algorithmen. Wer Algorithmik studiert hat, kennt diese beiden. Wie lange dauert es, und wie viel Speicher braucht es?

Dann kommt die Ergänzung. Maschinelles Lernen braucht zusätzlich einen Begriff der Stichprobenkomplexität, um den Stichprobenumfang zu bewerten, den der Algorithmus braucht, um eine Familie von Konzepten zu lernen. Dieses Maß hat keine Entsprechung in einer Sortierroutine. Einem Sortieralgorithmus muss man nicht sagen, wie viele Beispiele er braucht. Einem Lernenden schon, denn sein Ergebnis ist eine Vorhersage über Fälle, die er nicht gesehen hat, und die Menge an Erfahrung hinter dieser Vorhersage gehört zu dem, wofür man bezahlt.

Ich würde es so sagen: Zeit und Platz sagen, was ein Algorithmus im Betrieb kostet, und die Stichprobenkomplexität sagt, was es kostet, ihn anzulernen. Ein Lernender, der schnell ist, aber eine unpraktikabel große Stichprobe braucht, ist in keinem Sinne effizient, der für die Person zählt, die die Daten sammelt. Das dritte Maß neben die anderen beiden zu stellen, ist die Art des Buches zu sagen, dass Daten eine Ressource mit Preis sind, die man wie Rechenleistung und Speicher budgetieren muss.

Der Text setzt diese Richtung fort. Allgemeiner hängen theoretische Lerngarantien für einen Algorithmus von der Komplexität der betrachteten Konzeptklassen und vom Umfang der Trainingsstichprobe ab. Das ist eine knappe Aussage darüber, woraus eine Garantie besteht. Es gibt zwei Eingaben, wie reich die Familie der Konzepte ist und wie viele Trainingsdaten man hat, und eine Garantie ist eine Aussage, die beide mit der Leistung verknüpft. Man beachte, was das für den Aufbau des Buches bedeutet. Die folgenden Kapitel müssen Wege liefern, die Komplexität einer Konzeptklasse zu messen, und das Inhaltsverzeichnis zeigt, dass sie das tun.

Die Autoren erklären auch, warum das Feld dort steht, wo es steht. Da der Erfolg eines Lernalgorithmus von den verwendeten Daten abhängt, ist maschinelles Lernen von Natur aus mit Datenanalyse und Statistik verbunden. Der Mechanismus ist schlicht benannt: Der Erfolg hängt von Daten ab, also ist das Fach mit den Disziplinen verflochten, die Daten untersuchen. Ich halte das für den ehrlichsten Satz der Einleitung. Er stellt die Statistik weder als Rivalin noch als Vorfahrin dar. Er stellt sie als Folge dessen dar, wovon Lernen abhängt.

Dimension	Zeitkomplexität	Platzkomplexität	Stichprobenkomplexität
Operative Definition	Asymptotische Laufzeit bis zur Ausgabe der Hypothese $h$	Speicherbedarf während Training und Auswertung	Zahl der Trainingsbeispiele $m$, die nötig sind, um eine Konzeptfamilie zu lernen
Maßgebliche Theorie	Komplexitätstheorie (P gegen NP, Schwere des Trainings)	Speichergrenzen der Architektur und Cache-Lokalität	PAC-Lernen, Rademacher-Komplexität und VC-Dimension
Kostenfolge	Server-Rechenleistung und GPU/CPU-Budget für Inferenz	RAM- und On-Chip-SRAM-Kapazität	Kosten für Datenerhebung, Annotation und Labeling
Theoretische Rolle	Misst die Laufzeiteffizienz des Algorithmus	Misst die Effizienz beim Speicherverbrauch	Bestimmt Generalisierungsfehler und Schranken für ungesehene Daten

Das theoretische Rückgrat #

Das Vorwort sagt, wie das Buch aufgebaut ist. Die ersten drei oder vier Kapitel legen das theoretische Fundament für den späteren Stoff. Das Inhaltsverzeichnis lässt erkennen, woraus dieses Fundament besteht, zumindest den Titeln nach.

Das erste Kapitel im Inhaltsverzeichnis heißt „The PAC Learning Framework“ (der PAC-Lernrahmen), und darin stehen Abschnitte mit den Titeln „Guarantees for finite hypothesis sets - consistent case“ und „Guarantees for finite hypothesis sets - inconsistent case“, also Garantien für endliche Hypothesenmengen im konsistenten und im inkonsistenten Fall. Die Abschnittstitel verraten zweierlei. Erstens liefert der Rahmen Garantien, was zur Betonung in der Einleitung passt. Zweitens werden die Garantien danach getrennt, ob der Fall konsistent oder inkonsistent ist, und das Buch behandelt beide gesondert. Ich spekuliere nicht darüber, was die beiden Fälle enthalten, denn die Quellen geben hier nur die Abschnittstitel. Aber das Paar zeigt, dass die Autoren nicht einen einzigen sauberen Satz präsentieren und weitergehen. Sie geben dem schwierigeren, unordentlicheren Fall einen eigenen Abschnitt.

Das nächste Kapitel in der Liste ist „Rademacher Complexity and VC-Dimension“ (Rademacher-Komplexität und VC-Dimension). Seine Abschnitte behandeln Rademacher-Komplexität, Wachstumsfunktion, VC-Dimension und untere Schranken. Vor dem Hintergrund der Einleitung ist dieses Kapitel die natürliche Antwort auf eine Frage, die sie aufwirft. Wenn Garantien von der Komplexität der betrachteten Konzeptklassen abhängen, braucht man Werkzeuge, um diese Komplexität zu messen. Rademacher-Komplexität, Wachstumsfunktion und VC-Dimension sind die Abschnitte, die diese Last tragen. Bemerkenswert ist auch, dass untere Schranken in der Liste stehen. Ein Buch, das nur obere Schranken bringt, sagt, was erreichbar ist. Eines, das auch untere Schranken bringt, sagt außerdem, was nicht erreichbar ist.

Dann folgt Kapitel 4, „Model Selection“ (Modellauswahl), mit Abschnitten unter anderem zur empirischen Risikominimierung (ERM) und zur strukturellen Risikominimierung (SRM). Auf dieses Kapitel kommen wir bei der zweiten Auflage zurück, denn hier ändert die neue Auflage besonders viel.

Der Aufbau ist bewusst gewählt. Erst die Grundlagen, dann das Werkzeug zur Messung von Komplexität, dann die Modellauswahl und erst danach die Algorithmen. Das ist eine vertretbare Art zu lehren, und sie entspricht der Selbstbeschreibung des Buches: Die ersten Kapitel legen die Theorie, und der Rest baut darauf auf.

Von der Theorie zu den Algorithmen: Support-Vector-Maschinen und Kerne #

Das Inhaltsverzeichnis nennt auch die algorithmischen Kapitel, die folgen. Eines heißt „Support Vector Machines“ (Support-Vector-Maschinen), mit Abschnitten zum separierbaren und zum nicht separierbaren Fall. Jeder dieser Abschnitte behandelt das primale Optimierungsproblem, die Stützvektoren und das duale Optimierungsproblem. Ein weiteres heißt „Kernel Methods“ (Kernmethoden).

Schon die Gestalt des Kapitels zu Support-Vector-Maschinen ist aufschlussreich. Unter beiden Überschriften, separierbar und nicht separierbar, erscheinen dieselben drei Themen: das primale Optimierungsproblem, die Stützvektoren und das duale Optimierungsproblem. Diese Wiederholung deutet auf eine parallele Behandlung hin, dieselben Fragen zweimal unter verschiedenen Annahmen. Die Parallele spiegelt die Trennung in konsistenten und inkonsistenten Fall im PAC-Kapitel, sodass sich ein Muster durch das Buch zieht: erst ein sauberer Fall, dann der Fall, in dem die saubere Annahme nicht trägt.

Ich wäre vorsichtig, zu viel in ein Inhaltsverzeichnis hineinzulesen. Es kann sagen, was das Buch abdeckt und wie es den Stoff gliedert. Es kann nicht sagen, wie gut ein Abschnitt geschrieben ist, und nichts in diesen Quellen sagt das. Es zeigt aber, dass die Optimierungssprache des Kapitels zu Support-Vector-Maschinen, primal und dual, auf die Beschreibung der Techniken in der Einleitung zurückverweist, die Informatik mit Ideen aus Statistik, Wahrscheinlichkeitstheorie und Optimierung verbinden. Der Optimierungsstrang dieser Liste taucht in diesen Abschnittstiteln konkret auf.

Das Buch reserviert außerdem je ein eigenes Kapitel für Mehrklassenklassifikation, Ranking und Regression. Diese Gestaltungsentscheidung ist gut zu verteidigen. Es wäre leicht gewesen, sie als Fußnoten zur binären Klassifikation zu behandeln. Indem jedes ein eigenes Kapitel erhält, zeigen die Autoren, dass sie sie als eigenständige Probleme mit eigener Analyse betrachten, und das passt zum erklärten Ziel einer einheitlichen Darstellung mehrerer Themen statt einer Darstellung, die einen Blickwinkel bevorzugt.

Was das Buch bewusst nicht behandelt #

Die interessanteste Passage des Vorworts handelt vom Weglassen. Das Buch, sagen die Autoren, ist eine allgemeine Einführung in das maschinelle Lernen, die Forschenden als Nachschlagewerk und Studierenden als Lehrbuch dienen kann. Nach dieser breiten Aussage setzen sie eine Grenze: Sie haben sich entschieden, einige wichtige Themen wegzulassen, darunter graphische Modelle und neuronale Netze.

Nur wenige Lehrbücher sagen das so direkt, und ich halte die Offenheit für eine Stärke. Wer im Voraus weiß, was fehlt, kann sich darauf einstellen. Wer neuronale Netze braucht, weiß, dass er anderswo suchen muss, statt die Lücke in Kapitel neun zu entdecken.

Auch die Gründe werden genannt. Die Auslassung geschieht sowohl der Kürze halber als auch wegen des derzeitigen Mangels an soliden theoretischen Garantien für manche Methoden. Es sind zwei Gründe. Kürze ist eine praktische Beschränkung jedes Buches. Der zweite Grund ist der, der etwas über die Philosophie des Buches verrät.

Verbinden wir ihn mit der Einleitung. Theoretische Lerngarantien sind das, worum dieses Buch organisiert ist. Die Garantien hängen von der Komplexität der Konzeptklassen und vom Umfang der Trainingsstichprobe ab, und die theoretischen Kapitel kommen zuerst, weil alles andere auf ihnen aufbaut. Eine Methode, für die derzeit solide Garantien fehlen, passt schlecht in ein so gebautes Buch. Die Auslassung folgt also aus dem zentralen Anspruch des Buches. Sie ist stimmig mit der Definition des Fachs, mit der die Autoren beginnen.

Hier ist Sorgfalt geboten. Der Text sagt „manche Methoden“, die Aussage betrifft also fehlende solide Garantien für manche Methoden, nicht für alle ausgelassenen Themen, und er sagt „derzeit“, was das Urteil an den Zeitpunkt der Abfassung bindet. Ich würde der Versuchung widerstehen, das als „neuronale Netze haben keine Theorie“ zusammenzufassen. Das sagt die Quelle nicht. Sie sagt, dass die Garantien für manche Methoden derzeit fehlen und dass dies zusammen mit der Kürze der Grund war, graphische Modelle und neuronale Netze wegzulassen.

Für technische Leser, die entscheiden, was sie lernen wollen, ist die praktische Folge einfach. Dieses Buch gibt einem das Vokabular der Garantien, und es sagt klar, welche Gebiete es nicht abdeckt.

Was die zweite Auflage ändert #

Die zweite Auflage ist mehr als ein korrigierter Nachdruck. Das Vorwort listet Ergänzungen auf, und jede zeigt, wo die Autoren die erste Auflage für zu dünn hielten.

Die wichtigste Änderung ist ein ganzes Kapitel zur Modellauswahl, Kapitel 4, zu einem Thema, das die Autoren als wichtig bezeichnen und das in der vorigen Auflage nur kurz behandelt wurde. Die Formulierung ist direkt. Sie behaupten nicht, die erste Auflage habe es gut abgedeckt. Sie sagen, es sei nur kurz behandelt worden und erhalte nun ein ganzes Kapitel. Zu den Abschnitten gehören die empirische Risikominimierung (ERM) und die strukturelle Risikominimierung (SRM), wie das Inhaltsverzeichnis zeigt.

Warum verdient die Modellauswahl diese Aufwertung? Die Quellen sagen es nicht, und ich erfinde keinen Grund im Namen der Autoren. Aber die Platzierung spricht für sich. Kapitel 4 folgt direkt auf die Kapitel zum PAC-Rahmen und zu Rademacher-Komplexität und VC-Dimension und steht damit innerhalb dessen, was das Vorwort die ersten drei oder vier Kapitel nennt, die das theoretische Fundament legen. Die Autoren haben die Modellauswahl also nicht nachträglich angehängt. Sie haben sie ins theoretische Fundament eingebaut.

Die nächsten Ergänzungen sind ein neues Kapitel über Maximum-Entropie-Modelle, Kapitel 12, und ein neues Kapitel über bedingte Maximum-Entropie-Modelle, Kapitel 13. Zwei vollständig neue Kapitel sind eine beträchtliche Erweiterung, und das Buch widmet dem Paar nun zwei aufeinanderfolgende Kapitel.

Auch die Anhänge ändern sich. Die Autoren haben Anhang B zur konvexen Optimierung um einen vollständigen Abschnitt zur Fenchel-Dualität ergänzt und einen Anhang E zur Informationstheorie hinzugefügt. Das Buch enthält zudem einen umfangreichen Anhang mit einer knappen Wiederholung der linearen Algebra. Diese Änderungen weisen in dieselbe Richtung: Die stützende Mathematik ist mit den Kapiteln gewachsen. Die Fenchel-Dualität kommt zum Anhang über konvexe Optimierung, und die Informationstheorie erhält einen eigenen Anhang. Ich würde nicht behaupten, dass die Informationstheorie eigens zur Unterstützung der Maximum-Entropie-Kapitel dabei ist, denn die Quellen stellen keine solche Verbindung her, und die beiden Ergänzungen stehen im Vorwort als getrennte Punkte. Dass sie in derselben Auflage kommen, ist ein Zusammentreffen, das ich als solches stehen lasse.

Für wen das Buch ist und wie es gelesen werden will #

Das Buch nennt sein Publikum: Es richtet sich an Studierende und Forschende im maschinellen Lernen, in der Statistik und in verwandten Gebieten. Diese Liste nennt die Statistik ausdrücklich, was den Gedanken der Einleitung aufgreift, dass maschinelles Lernen von Natur aus mit Datenanalyse und Statistik verbunden ist.

Es sagt auch, was es voraussetzt. Vom Leser wird erwartet, dass er mit Grundbegriffen der linearen Algebra, der Wahrscheinlichkeitstheorie und der Algorithmenanalyse vertraut ist. Die Liste ist kurz, und sie deckt sich mit der Zutatenliste der Einleitung, wenn auch nicht genau. Die Einleitung nennt Informatik, Statistik, Wahrscheinlichkeitstheorie und Optimierung als Quellen der Techniken. Die Voraussetzungen nennen lineare Algebra, Wahrscheinlichkeitstheorie und Algorithmenanalyse. Optimierung gehört nicht zu den Voraussetzungen, und das Buch geht das von der anderen Seite an: Anhang B behandelt konvexe Optimierung, mit dem neuen Abschnitt zur Fenchel-Dualität. Lineare Algebra wird als Vorwissen erwartet, und das Buch liefert trotzdem den umfangreichen Anhang, der sie wiederholt. Voraussetzungen und Anhänge überschneiden sich also gewollt, und wer seine lineare Algebra hat einrosten lassen, findet eine knappe Wiederholung zwischen denselben Buchdeckeln.

Auch die Didaktik wird klar benannt. Jedes Kapitel endet mit einer Reihe von Übungen, deren vollständige Lösungen gesondert vorgelegt werden. Für ein Buch mit zwei Zielgruppen ist das eine sinnvolle Anordnung. Studierende können sich an den Übungen versuchen und mit den Lösungen abgleichen, und Forschende, die das Buch als Nachschlagewerk nutzen, müssen nicht auf jeder Seite an ausgearbeiteten Antworten vorbei. Ob die Lösungen als eigener Band oder in anderer Form erscheinen, sagt die Quelle nicht, nur dass sie gesondert vorgelegt werden, und dabei belasse ich es.

Zusammengenommen beschreiben Publikum, Voraussetzungen, Übungen und Anhänge ein Buch, das zum Durcharbeiten gemacht ist. Hinter dieser Anlage stehen die vierzehn Jahre Lehre am Courant Institute. Eine wiederholt gehaltene Vorlesung bringt typischerweise solch einen Apparat hervor, auch wenn das Vorwort diesen Zusammenhang nicht ausdrücklich behauptet, und ich biete ihn nur als Lesart der Belege an, nicht als Befund.

Die Anwendungen sind breit, und das Buch sagt es #

Ein so theoretisches Buch könnte man für praxisfern halten. Die Einleitung beugt dem mit einer schlichten Aussage vor: Maschinelles Lernen erlaubt ein sehr breites Spektrum praktischer Anwendungen. Die eine, die sie nennt, ist Text- oder Dokumentklassifikation, wozu die Spam-Erkennung gehört.

Spam-Erkennung ist ein gutes Beispiel, aus einem Grund, den der Rahmen der Autoren selbst erklärt. Es ist ein Problem der Dokumentklassifikation genau im Sinne des früheren Beispiels: beschriftete Dokumente hinein, Vorhersagen über ungesehene Dokumente heraus. Die Faktoren Stichprobenumfang und Label-Qualität gelten unmittelbar. Eine größere Stichprobe macht die Aufgabe leichter, falsch beschriftete Nachrichten machen sie schwerer. Die Zahl der möglichen Kategorien ist klein, was nach der Logik der früheren Passage ebenfalls die Schwierigkeit beeinflusst. Ich wende hier die genannten Faktoren des Buches auf sein genanntes Beispiel an und behaupte nichts über Spamfilter im realen Einsatz.

In der Platzierung dieser Passage steckt auch ein leises Argument. Die Autoren führen die Dokumentklassifikation als Lernaufgabe ein und merken sofort an, dass sie keineswegs die einzige ist. Die Anwendungen sind breit, weil die zugrunde liegende Definition breit ist. Alles, was zu „rechnergestützte Methoden, die Erfahrung nutzen, um ihre Leistung zu verbessern oder genaue Vorhersagen zu treffen“ passt, gehört dazu. Diese Allgemeinheit erklärt auch, warum sich das Buch mit Theorie abgibt. Ein Rahmen, der ein sehr breites Spektrum an Anwendungen abdecken soll, kann nicht an die Details einer einzigen gebunden sein, und Garantien, die über die Komplexität von Konzeptklassen und den Stichprobenumfang formuliert sind, lassen sich genau deshalb von einem Problem aufs andere übertragen.

Die Wette des Buches #

Führt man die Fäden zusammen, zeigt sich eine stimmige Position, mehr als das Inhaltsverzeichnis der meisten Lehrbücher für sich beanspruchen kann. Das Buch definiert Lernen über Erfahrung und Vorhersage. Es nennt drei Komplexitäten, Zeit, Platz und Stichprobe, als Maße der Qualität. Es bindet Garantien an die Komplexität von Konzeptklassen und den Stichprobenumfang, und es stellt die Theorie, die diese Garantien liefert, an den Anfang. Darauf baut es die algorithmischen Kapitel und sagt offen, welche populären Gebiete es auslässt, weil die Garantien für manche Methoden vorerst nicht solide sind.

Das ist eine Wette auf Theorie als das, was Bestand hat. Ich verstehe, warum Autoren, die jahrelang eine Graduiertenvorlesung gehalten haben, sie eingehen. Die Wette hat ihren Preis, und die Autoren benennen ihn: Das Weglassen graphischer Modelle und neuronaler Netze ist der Preis für das Beharren auf soliden Garantien. Leser sollten diesen Preis ehrlich abwägen. Wenn die eigene Arbeit von den ausgelassenen Gebieten dominiert wird, ist dieses Buch ein Fundament und kein Handbuch. Wenn die eigene Arbeit verlangt, darüber nachzudenken, ob ein Lernender aus einer endlichen Stichprobe verallgemeinert, ist das Vokabular des Buches genau der Punkt.

Für Gründer ist die nützliche Lehre die unspektakulärste. Qualität und Umfang der Daten sind entscheidend für den Erfolg der Vorhersagen, und die Schwierigkeit einer Aufgabe hängt von der Qualität der Labels und von der Zahl der möglichen Themen ab. Das sind Aussagen über Eingaben, die man oft beeinflussen kann. Das Buch verspricht nicht, dass irgendein bestimmter Algorithmus eine dünne oder falsch beschriftete Stichprobe rettet, und es tut recht daran.

Für technische Leser ist die interessantere Frage die, die das Vorwort offen lässt. Die Autoren haben manche Methoden wegen des derzeitigen Mangels an soliden theoretischen Garantien ausgelassen. Das Wort „derzeit“ rahmt das als Sachstand zum Zeitpunkt der Abfassung, und die Quellen sagen nicht, ob oder wie es sich ändern könnte. Was wäre nötig, damit diese Garantien solide genug für ein eigenes Kapitel werden? Das Buch kann das nicht beantworten. Indem es genau sagt, was es auslässt und warum, zeigt es aber zumindest, wo man suchen muss.

Was das für die einzelnen Sektoren bedeutet #

Das Beharren auf statistischen Lerngarantien und Stichprobenkomplexität setzt in mehreren Software- und Forschungsfeldern handfeste Grenzen.

Akademisches maschinelles Lernen und Lehrplangestaltung #

Lehrprogramme müssen dem Druck widerstehen, maschinelles Lernen als empirisches Prompt-Engineering oder als Framework-Klempnerei zu behandeln. Studierende im PAC-Rahmen, in der Rademacher-Komplexität und in der strukturellen Risikominimierung zu verankern, schafft beständige mathematische Instinkte, die den Wechsel kurzlebiger Deep-Learning-Architekturen überdauern.

KI-Engineering in Unternehmen und Bewertung von Daten #

Engineering-Organisationen, die prädiktive Systeme einsetzen, stecken oft zu viel Kapital in Rechenleistung (Modellgröße) und vernachlässigen Stichprobenkomplexität und Label-Treue. Weil der Generalisierungsfehler streng durch die Komplexität der Konzeptklasse im Verhältnis zum Stichprobenumfang beschränkt ist, erzielen Teams eine bessere Rendite, wenn sie in saubere Annotation und Stichprobenprüfung investieren statt in größere, nicht regularisierte Modelle.

KI-Spitzenforschung und Modellprüfung #

Da Regelwerke wie der EU AI Act vorhersehbare Schranken für automatisierte Entscheidungssysteme verlangen, werden die in Foundations of Machine Learning formalisierten statistischen Lerngarantien zu einer Notwendigkeit der Compliance. Aufsichtsbehörden und Sicherheitsprüfer verlangen beweisbare Generalisierungsschranken und strenge Protokolle zur Modellauswahl statt heuristischer Validierungswerte.

Fazit #

Foundations of Machine Learning bleibt ein unverzichtbarer Anker in einem Feld, das oft dem reinen Empirismus erliegt. Indem Mehryar Mohri, Afshin Rostamizadeh und Ameet Talwalkar einen ganzen Lehrplan um PAC-Lernen, Rademacher-Komplexität und VC-Dimension bauen, erinnern sie Forschende daran, dass algorithmische Eleganz mathematische Garantien nicht ersetzen kann. Das offene Weglassen neuronaler Netze und graphischer Modelle mangels Garantien in geschlossener Form ist kein Mangel: Es ist die prägende Stärke des Buches, weil es klar trennt, was die Disziplin streng beweisen kann und was sie bloß beobachtet.

Häufig gestellte Fragen #

Warum haben die Autoren neuronale Netze und graphische Modelle in der zweiten Auflage weggelassen?

Die Autoren haben neuronale Netze und graphische Modelle bewusst weggelassen, der Kürze halber und wegen des derzeitigen Mangels an soliden theoretischen Garantien für mehrere dieser Methoden. Das Buch ist strikt um Algorithmen herum aufgebaut, die strenge Generalisierungsschranken zulassen.

Was unterscheidet die Stichprobenkomplexität von Zeit- und Platzkomplexität?

Während die Zeitkomplexität die Ausführungsgeschwindigkeit bewertet und die Platzkomplexität den Speicherverbrauch misst, beziffert die Stichprobenkomplexität die Menge an Trainingsdaten, die ein Algorithmus braucht, um eine Familie von Konzepten innerhalb vorgegebener Fehler- und Konfidenztoleranzen zu lernen.

Worin liegt der Kernunterschied zwischen empirischer und struktureller Risikominimierung?

Die empirische Risikominimierung (ERM) wählt die Hypothese, die den Trainingsfehler direkt minimiert, und riskiert Überanpassung, wenn die Komplexität der Hypothesen hoch ist. Die strukturelle Risikominimierung (SRM) wägt den Trainingsfehler gegen die Komplexität der Hypothesen ab (etwa die VC-Dimension oder die Rademacher-Komplexität) und liefert formale Schranken für das Generalisierungsrisiko.

Quellen #

Mehryar Mohri, Afshin Rostamizadeh und Ameet Talwalkar, (2018). Foundations of Machine Learning, zweite Auflage ⧉. The MIT Press.
Leslie G. Valiant, (1984). Eine Theorie des Lernbaren ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Statistische Lerntheorie ⧉. John Wiley & Sons.

Zuletzt überprüft 2026-10-10.

Zuletzt überprüft 2026-10-27.

Diesen Artikel republizieren

Was ein Lehrbuch-Inhaltsverzeichnis über maschinelles Lernen verrät — Sebastien Rousseau

Das Lehrbuch von Mohri, Rostamizadeh und Talwalkar (MIT Press, 2018) baut maschinelles Lernen auf Stichprobenkomplexität, Schranken und Garantien auf.

Dieser Artikel ist lizenziert unter Creative Commons Attribution 4.0 International. Eine Republikation erfordert Attribution zur kanonischen URL.

Was ein Lehrbuch-Inhaltsverzeichnis über maschinelles Lernen verrät — Sebastien Rousseau

Das Lehrbuch von Mohri, Rostamizadeh und Talwalkar (MIT Press, 2018) baut maschinelles Lernen auf Stichprobenkomplexität, Schranken und Garantien auf.

Originally published at https://sebastienrousseau.com/de/2026-10-10-was-ein-lehrbuch-inhaltsverzeichnis-uber-maschinelles/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER