Co spis treści podręcznika uczenia maszynowego mówi o tej dziedzinie

Foundations of Machine Learning (drugie wydanie, MIT Press, 2018) autorstwa Mehryara Mohriego, Afshina Rostamizadeha i Ameeta Talwalkara definiuje uczenie jako wykorzystywanie doświadczenia do trafnych przewidywań i buduje rygorystyczny program nauczania wokół złożoności próbkowej, ograniczeń Rademachera i gwarancji teoretycznych.

Większość książek o uczeniu maszynowym zaczyna się od obietnicy tego, co będziesz w stanie zbudować. Ta zaczyna się od definicji i listy wielkości, które decydują o tym, czy uczeń odniesie sukces. Ta kolejność mówi, czym według autorów jest ten przedmiot, i moim zdaniem to trafny wybór. Dziedzina, która sprzedaje się przez predykcję, winna jest czytelnikom wyjaśnienie, kiedy predykcji można ufać, i właśnie takie wyjaśnienie książka stara się dać.

Ten artykuł czyta książkę przez to, co faktycznie mówią jej strony tytułowe, przedmowa i pierwsze strony. To węższe ćwiczenie niż recenzja każdego rozdziału i uczciwie przyznaje swoje granice: źródłami są tu strona tytułowa, spis treści, przedmowa i pierwsza część wstępu. W tych granicach jest wyraźny wywód do prześledzenia. Dotyczy tego, czym jest uczenie maszynowe, od czego zależy, co autorzy postanowili omówić, a co pominąć.

Książka o precyzyjnym rodowodzie #

Zacznijmy od faktów, które zakotwiczają przedmiot. Książka nosi tytuł Foundations of Machine Learning i jest to drugie wydanie. Należy do serii Adaptive Computation and Machine Learning, której redaktorem jest Francis Bach. Autorami są Mehryar Mohri, Afshin Rostamizadeh i Ameet Talwalkar. Wydawcą jest The MIT Press z Cambridge w stanie Massachusetts, a prawa autorskie należą do Massachusetts Institute of Technology, z datą 2018. Wydanie w twardej oprawie ma numer ISBN 9780262039406.

Dwa szczegóły wydawnicze zasługują na zdanie każdy. Książkę złożyli w LaTeX-u sami autorzy, co pasuje do tekstu gęstego od ograniczeń, definicji i dowodów, a wydrukowano ją i oprawiono w Stanach Zjednoczonych. Żaden z tych szczegółów nie zmienia sposobu czytania matematyki. Ale autorzy, którzy sami składają swoją książkę, mieli w rękach każdą stronę, a w książce tego rodzaju to uspokaja.

Ważniejsze jest pochodzenie materiału. Większość z niego wywodzi się z kursu dla doktorantów, również noszącego nazwę Foundations of Machine Learning, prowadzonego przez pierwszego autora w Courant Institute of Mathematical Sciences na New York University przez ostatnie czternaście lat. To konkretne, sprawdzalne pochodzenie. Podręcznik, który wyrósł z czternastu lat prowadzenia jednego kursu, został zapewne ukształtowany przez to, co studenci uznawali za trudne, i opisane niżej ćwiczenia oraz dodatki sprawiają takie wrażenie. Uważałbym jednak, by nie posuwać wniosku dalej, niż pozwala źródło. Przedmowa mówi, skąd pochodzi materiał, ale nie mówi, ile poprawek przeszedł kurs ani z czym zmagali się studenci. To, co mówi, wystarcza: to materiał kursowy, a nie przegląd złożony z literatury.

Definicja, która dźwiga cały ciężar #

Wszystko, co następuje, zależy od jednego zdania. Uczenie maszynowe, piszą autorzy, można ogólnie zdefiniować jako metody obliczeniowe wykorzystujące doświadczenie do poprawy działania lub do trafnych przewidywań.

Każdy rzeczownik w tym zdaniu ma swoje zadanie. „Metody obliczeniowe” umieszczają przedmiot w obrębie informatyki. „Doświadczenie” zostaje następnie doprecyzowane: odnosi się do wcześniejszych informacji dostępnych dla ucznia. Zdanie nie twierdzi, że uczeń cokolwiek rozumie, i nie mówi nic o inteligencji. Uczeń ma wcześniejsze informacje i cel, czyli lepsze działanie lub trafne przewidywania, a cała dyscyplina dotyczy relacji między nimi.

Twierdziłbym, że dla czytelników technicznych i założycieli to bardziej użyteczna definicja niż te bardziej wzniosłe, które krążą w obiegu, bo wskazuje wprost dźwignie, które sam kontrolujesz. Jeśli uczenie jest funkcją wcześniejszych informacji, to twój wpływ na wynik leży w tym, jakie informacje zbierasz i ile ich masz. Następne twierdzenie w tekście mówi właśnie to: jakość i rozmiar danych mają kluczowe znaczenie dla powodzenia przewidywań ucznia. Tekst przedstawia to twierdzenie jako prosty mechanizm, bez żadnych zastrzeżeń.

Autorzy opisują też same techniki. To metody oparte na danych, łączące podstawowe pojęcia informatyki z ideami ze statystyki, rachunku prawdopodobieństwa i optymalizacji. To zdanie służy zarazem jako lista wymagań wstępnych i jako mapa sąsiadów dziedziny. Zespół, który chce budować systemy uczące się, czerpie jednocześnie z informatyki, statystyki, rachunku prawdopodobieństwa i optymalizacji. Traktowanie którejkolwiek z nich jako opcjonalnej to wybór, którego książka nie popiera.

Jeden rozpracowany przykład: dokumenty i tematy #

Wstęp osadza definicję w konkretnym problemie uczenia. Weźmy skończoną próbę losowo wybranych dokumentów, z których każdy jest oznaczony tematem. Zadanie polega na wykorzystaniu tej próby do przewidzenia tematu dokumentów, których wcześniej nie widziano.

To ujęcie wynagradza powolną lekturę. Próba jest skończona, więc uczeń nigdy nie widzi wszystkiego. Dokumenty są wybrane losowo, i to właśnie pozwala skończonej próbie powiedzieć coś o tych niewidzianych. Każdy jest oznaczony tematem, więc uczeń ma nadzór. A celem są dokumenty, których nie widział, i na tym polega różnica między przewidywaniem a zapamiętywaniem.

Autorzy wyciągają następnie dwie rzeczy, które czynią zadanie łatwiejszym lub trudniejszym. Pierwszą jest rozmiar: oczywiście im większa próba, tym łatwiejsze zadanie. Drugą jest jakość etykiet. Trudność zadania zależy także od jakości etykiet przypisanych dokumentom w próbie, ponieważ nie wszystkie etykiety muszą być poprawne, oraz od liczby możliwych tematów.

To zdanie zawiera trzy osobne pokrętła. Rozmiar próby jest jednym. Poprawność etykiet drugim. Liczba możliwych tematów trzecim. Żadne z nich nie dotyczy algorytmu. Wszystkie są właściwościami problemu i danych, i decydują o tym, jak trudny jest problem, zanim wybierze się jakąkolwiek metodę. Dla założyciela, który decyduje, na co wydać budżet, to trafna obserwacja. Jeśli możesz poprawić etykiety albo powiększyć próbę, działasz na czynniki, które autorzy wprost wskazują jako decydujące o trudności.

Przykład nazywa też swoje własne zadanie. Przewidywanie etykiety dokumentu nazywa się także klasyfikacją dokumentów, a autorzy szybko dodają, że nie jest to bynajmniej jedyne zadanie uczenia. To zastrzeżenie łatwo przeoczyć. Przykład z dokumentami jest środkiem przekazu, a twierdzenie, które się pod nim kryje, ma charakter ogólny.

Trzy złożoności, nie dwie #

Tu książka wykonuje swój najbardziej charakterystyczny ruch, i łatwo go przeoczyć, bo pojawia się jako krótka uwaga. Uczenie maszynowe, mówią autorzy, polega na projektowaniu wydajnych i trafnych algorytmów predykcyjnych. Jak w innych obszarach informatyki, złożoność czasowa i pamięciowa są kluczowymi miarami jakości takich algorytmów. Każdy, kto studiował algorytmy, rozpozna te dwie. Ile to trwa i ile pamięci potrzeba?

Potem pojawia się dodatek. Uczenie maszynowe potrzebuje ponadto pojęcia złożoności próbkowej, by ocenić rozmiar próby wymagany, aby algorytm nauczył się rodziny pojęć. To miara, która nie ma odpowiednika w procedurze sortowania. Algorytmowi sortowania nie trzeba mówić, ilu przykładów potrzebuje. Uczniowi trzeba, bo jego wynikiem jest przewidywanie dotyczące przypadków, których nie widział, a ilość doświadczenia stojąca za tym przewidywaniem jest częścią tego, za co płacisz.

Ująłbym to tak: czas i pamięć mówią, ile algorytm kosztuje w działaniu, a złożoność próbkowa mówi, ile kosztuje jego nauczenie. Uczeń, który jest szybki, ale potrzebuje niepraktycznie dużej próby, nie jest wydajny w żadnym sensie, który ma znaczenie dla osoby zbierającej dane. Postawienie trzeciej miary obok dwóch pozostałych to sposób, w jaki książka mówi, że dane są zasobem z ceną, który trzeba budżetować tak jak moc obliczeniową i pamięć.

Tekst idzie dalej w tym samym kierunku. Bardziej ogólnie, teoretyczne gwarancje uczenia dla algorytmu zależą od złożoności rozważanych klas pojęć i od rozmiaru próby uczącej. To zwięzłe ujęcie tego, z czego składa się gwarancja. Są dwa wejścia, bogactwo rodziny pojęć i ilość danych uczących, a gwarancja jest twierdzeniem wiążącym je z jakością działania. Zwróćmy uwagę, co to oznacza dla struktury książki. Kolejne rozdziały muszą dostarczyć sposobów mierzenia złożoności klasy pojęć, a spis treści pokazuje, że to robią.

Autorzy wyjaśniają też, dlaczego dziedzina leży tam, gdzie leży. Ponieważ powodzenie algorytmu uczącego zależy od użytych danych, uczenie maszynowe jest z natury związane z analizą danych i statystyką. Mechanizm podano wprost: sukces zależy od danych, więc przedmiot jest spleciony z dyscyplinami, które badają dane. Uważam to za najuczciwsze zdanie we wstępie. Nie przedstawia statystyki jako rywala ani przodka. Przedstawia ją jako konsekwencję tego, od czego zależy uczenie.

Wymiar	Złożoność czasowa	Złożoność pamięciowa	Złożoność próbkowa
Definicja operacyjna	Asymptotyczny czas działania potrzebny do wyznaczenia hipotezy $h$	Zużycie pamięci niezbędne podczas uczenia i ewaluacji	Liczba przykładów uczących $m$ potrzebna do nauczenia się rodziny pojęć
Teoria wiodąca	Złożoność obliczeniowa (P a NP, trudność uczenia)	Ograniczenia pamięciowe architektury i lokalność pamięci podręcznej	Uczenie PAC, złożoność Rademachera i wymiar VC
Skutki kosztowe	Moc obliczeniowa serwerów i budżet wnioskowania GPU/CPU	Pojemność RAM i pamięci SRAM w układzie	Koszt zbierania danych, adnotacji i etykietowania
Rola teoretyczna	Mierzy wydajność czasową algorytmu	Mierzy wydajność wykorzystania pamięci	Określa błąd uogólnienia i ograniczenia dla niewidzianych danych

Teoretyczny kręgosłup #

Przedmowa mówi, jak zbudowana jest książka. Pierwsze trzy lub cztery rozdziały kładą teoretyczny fundament pod dalszy materiał. Spis treści pozwala zobaczyć, z czego ten fundament się składa, przynajmniej na poziomie tytułów.

Pierwszy rozdział w spisie treści nosi tytuł „The PAC Learning Framework” (ramy uczenia PAC), a w nim pojawiają się podrozdziały zatytułowane „Guarantees for finite hypothesis sets - consistent case” i „Guarantees for finite hypothesis sets - inconsistent case”, czyli gwarancje dla skończonych zbiorów hipotez w przypadku zgodnym i niezgodnym. Nazwy podrozdziałów mówią nam dwie rzeczy. Po pierwsze, ramy te dają gwarancje, co zgadza się z naciskiem wstępu. Po drugie, gwarancje są podzielone według tego, czy przypadek jest zgodny czy niezgodny, i książka traktuje oba osobno. Nie będę spekulował, co zawierają przypadek zgodny i niezgodny, bo źródła podają tu tylko tytuły podrozdziałów. Ale to zestawienie pokazuje, że autorzy nie przedstawiają jednego czystego twierdzenia, by potem przejść dalej. Trudniejszemu, bardziej zagmatwanemu przypadkowi dają osobny podrozdział.

Następny rozdział na liście to „Rademacher Complexity and VC-Dimension”. Jego podrozdziały obejmują złożoność Rademachera, funkcję wzrostu, wymiar VC i ograniczenia dolne. Czytany na tle wstępu, ten rozdział jest naturalną odpowiedzią na pytanie, które wstęp stawia. Jeśli gwarancje zależą od złożoności rozważanych klas pojęć, potrzebne są narzędzia do mierzenia tej złożoności. Złożoność Rademachera, funkcja wzrostu i wymiar VC figurują jako podrozdziały, które dźwigają ten ciężar. Warto też odnotować obecność ograniczeń dolnych na liście podrozdziałów. Książka przedstawiająca tylko ograniczenia górne mówi, co jest osiągalne. Taka, która zawiera też ograniczenia dolne, mówi również, co osiągalne nie jest.

Potem przychodzi rozdział 4, „Model Selection”, z podrozdziałami obejmującymi m.in. minimalizację ryzyka empirycznego (ERM) i strukturalną minimalizację ryzyka (SRM). Wrócimy do tego rozdziału, gdy przyjrzymy się drugiemu wydaniu, bo to jedno z miejsc, w których nowe wydanie zmienia najwięcej.

Struktura jest przemyślana. Najpierw podstawy, potem narzędzia do mierzenia złożoności, potem wybór modelu, a dopiero potem algorytmy. To obronny sposób nauczania i zgadza się z tym, jak książka sama opisuje swoje działanie: początkowe rozdziały kładą teorię, a reszta na niej buduje.

Od teorii do algorytmów: maszyny wektorów nośnych i jądra #

Spis treści wymienia też rozdziały algorytmiczne, które następują dalej. Jeden nosi tytuł „Support Vector Machines”, z podrozdziałami dla przypadku separowalnego i nieseparowalnego. Każdy z tych podrozdziałów obejmuje prymalny problem optymalizacyjny, wektory nośne i dualny problem optymalizacyjny. Inny nosi tytuł „Kernel Methods”.

Kształt rozdziału o maszynach wektorów nośnych sam w sobie jest pouczający. Te same trzy tematy pojawiają się zarówno pod nagłówkiem przypadku separowalnego, jak i nieseparowalnego: prymalny problem optymalizacyjny, wektory nośne i dualny problem optymalizacyjny. To powtórzenie sugeruje równoległe ujęcie, te same pytania zadane dwa razy przy różnych założeniach. Ta równoległość odzwierciedla podział na przypadek zgodny i niezgodny w rozdziale o PAC, więc w całej książce wyłania się wzorzec: najpierw przypadek czysty, potem przypadek, w którym czyste założenie zawodzi.

Byłbym ostrożny z wyczytywaniem zbyt wiele ze spisu treści. Może on powiedzieć, co książka obejmuje i jak dzieli materiał. Nie może powiedzieć, jak dobrze napisany jest którykolwiek podrozdział, i nic w tych źródłach tego nie mówi. Pokazuje natomiast, że język optymalizacji w rozdziale o maszynach wektorów nośnych, prymalny i dualny, nawiązuje do opisu technik we wstępie jako łączących informatykę z ideami ze statystyki, rachunku prawdopodobieństwa i optymalizacji. Optymalizacyjny wątek tej listy pojawia się konkretnie w tych tytułach podrozdziałów.

Książka rezerwuje też osobny rozdział dla każdego z tematów: klasyfikacji wieloklasowej, rankingu i regresji. To decyzja projektowa, której warto bronić. Łatwo byłoby potraktować je jako przypisy do klasyfikacji binarnej. Przyznanie każdemu osobnego rozdziału sygnalizuje, że autorzy uważają je za odrębne problemy z własną analizą, i zgadza się z deklarowanym celem jednolitego przedstawienia wielu tematów zamiast przedstawienia faworyzującego jeden punkt widzenia.

Czego książka postanawia nie omawiać #

Najciekawszy fragment przedmowy dotyczy pominięć. Książka, mówią autorzy, jest ogólnym wprowadzeniem do uczenia maszynowego, które może służyć jako pozycja referencyjna dla badaczy i jako podręcznik dla studentów. Po tym szerokim zastrzeżeniu dodają granicę: postanowili pominąć kilka ważnych tematów, w tym modele grafowe i sieci neuronowe.

Niewiele podręczników mówi to tak wprost, i twierdziłbym, że ta szczerość jest zaletą. Czytelnik, który z góry wie, czego brakuje, może się do tego przygotować. Ktoś, kto potrzebuje sieci neuronowych, wie, że trzeba szukać gdzie indziej, zamiast odkrywać lukę w rozdziale dziewiątym.

Podano też powody. Pominięcie wynika zarówno z dążenia do zwięzłości, jak i z obecnego braku solidnych gwarancji teoretycznych dla niektórych metod. Podano dwa powody. Zwięzłość to praktyczne ograniczenie każdej książki. Drugi powód jest tym, który mówi coś o filozofii książki.

Połączmy to ze wstępem. Teoretyczne gwarancje uczenia są tym, wokół czego zorganizowana jest ta książka. Gwarancje zależą od złożoności klas pojęć i od rozmiaru próby uczącej, a rozdziały teoretyczne są na początku, bo wszystko inne na nich się opiera. Metoda, dla której solidnych gwarancji obecnie brakuje, źle pasuje do książki zbudowanej w ten sposób. Pominięcie wynika więc z centralnego zobowiązania książki. Jest spójne z definicją przedmiotu, od której autorzy postanowili zacząć.

Jest tu punkt wymagający ostrożności. Tekst mówi „niektórych metod”, więc twierdzenie dotyczy braku solidnych gwarancji dla niektórych metod, a nie dla wszystkich pominiętych tematów, i mówi „obecnego”, co wiąże ocenę z czasem pisania. Oparłbym się pokusie, by streścić to jako „sieci neuronowe nie mają teorii”. Źródło tego nie mówi. Mówi, że gwarancji dla niektórych metod obecnie brakuje i że to, razem ze zwięzłością, było powodem pominięcia modeli grafowych i sieci neuronowych.

Dla czytelników technicznych, którzy wybierają, czego się uczyć, praktyczna konsekwencja jest prosta. Ta książka daje słownictwo gwarancji i mówi wprost, których obszarów nie obejmuje.

Co zmienia drugie wydanie #

Drugie wydanie to coś więcej niż przedruk z poprawkami. Przedmowa wymienia uzupełnienia, a każde z nich mówi, gdzie autorzy uważali pierwsze wydanie za skąpe.

Najważniejszą zmianą jest pełny rozdział o wyborze modelu, rozdział 4, na temat, który autorzy określają jako ważny i który w poprzednim wydaniu był omówiony tylko pobieżnie. Język jest bezpośredni. Nie twierdzą, że pierwsze wydanie dobrze ten temat ujmowało. Mówią, że był omówiony tylko pobieżnie i że teraz poświęcili mu pełny rozdział. Podrozdziały obejmują m.in. minimalizację ryzyka empirycznego (ERM) i strukturalną minimalizację ryzyka (SRM), jak pokazuje spis treści.

Dlaczego wybór modelu zasługuje na ten awans? Źródła tego nie mówią, a ja nie będę wymyślał powodu w imieniu autorów. Ale umiejscowienie jest wymowne. Rozdział 4 następuje bezpośrednio po rozdziałach o ramach PAC oraz o złożoności Rademachera i wymiarze VC, co umieszcza go w obrębie tego, co przedmowa nazywa pierwszymi trzema lub czterema rozdziałami kładącymi teoretyczny fundament. Autorzy nie dołączyli więc wyboru modelu jako dodatku po namyśle. Wbudowali go w teoretyczny fundament.

Kolejne uzupełnienia to nowy rozdział o modelach maksymalnej entropii, rozdział 12, i nowy rozdział o warunkowych modelach maksymalnej entropii, rozdział 13. Dwa całkowicie nowe rozdziały to istotne rozszerzenie, a książka poświęca teraz tej parze dwa kolejne rozdziały.

Zmieniają się też dodatki. Autorzy dodali pełny podrozdział o dualności Fenchela do dodatku B o optymalizacji wypukłej oraz dodatek E z teorii informacji. Książka zawiera też obszerny dodatek ze zwięzłym przeglądem algebry liniowej. Te zmiany wskazują spójny kierunek: matematyka pomocnicza rosła razem z rozdziałami. Dualność Fenchela dołącza do dodatku o optymalizacji wypukłej, a teoria informacji dostaje własny dodatek. Powstrzymałbym się od twierdzenia, że teoria informacji jest tam po to, by wspierać rozdziały o maksymalnej entropii, bo źródła nie podają takiego związku, a oba uzupełnienia figurują w przedmowie jako osobne pozycje. To, że pojawiły się w tym samym wydaniu, jest zbiegiem okoliczności, który zostawiam jako zbieg okoliczności.

Dla kogo jest ta książka i jak ma być czytana #

Książka określa swoich odbiorców: jest przeznaczona dla studentów i badaczy uczenia maszynowego, statystyki i innych pokrewnych dziedzin. Ta lista wymienia statystykę z nazwy, co jest echem uwagi ze wstępu, że uczenie maszynowe jest z natury związane z analizą danych i statystyką.

Określa też, co zakłada. Od czytelnika oczekuje się znajomości podstawowych pojęć algebry liniowej, rachunku prawdopodobieństwa i analizy algorytmów. To krótka lista i zgadza się z listą składników we wstępie, choć nie dokładnie. Wstęp wymienia informatykę, statystykę, rachunek prawdopodobieństwa i optymalizację jako źródła technik. Wymagania wstępne wymieniają algebrę liniową, rachunek prawdopodobieństwa i analizę algorytmów. Optymalizacji nie ma wśród wymagań wstępnych, a książka zajmuje się tym od drugiej strony: dodatek B omawia optymalizację wypukłą, z nowym podrozdziałem o dualności Fenchela. Algebra liniowa jest oczekiwana jako podstawa, a mimo to książka zawiera obszerny dodatek, który ją przypomina. Wymagania wstępne i dodatki zachodzą więc na siebie celowo, a czytelnik, którego algebra liniowa zardzewiała, ma zwięzłą powtórkę w tych samych okładkach.

Pedagogika też jest opisana wprost. Każdy rozdział kończy się serią ćwiczeń, a pełne rozwiązania przedstawiono osobno. To rozsądny układ dla książki służącej dwóm grupom odbiorców. Student może spróbować swoich sił w ćwiczeniach i sprawdzić wynik w rozwiązaniach, a badacz korzystający z książki jako pozycji referencyjnej nie musi przedzierać się przez rozwiązane zadania na każdej stronie. Czy rozwiązania ukazują się jako osobny tom, czy jako inny dokument, źródło nie mówi, tylko że są przedstawione osobno, więc na tym poprzestanę.

Razem wzięte, odbiorcy, wymagania wstępne, ćwiczenia i dodatki opisują książkę przeznaczoną do przepracowania. Za tym projektem stoi czternaście lat nauczania w Courant Institute. Kurs prowadzony wielokrotnie zwykle wytwarza tego rodzaju aparat, choć przedmowa nie wskazuje tego związku wprost, a ja przedstawiam go wyłącznie jako odczytanie materiału, a nie jako ustalenie.

Zastosowania są szerokie i książka to mówi #

Tak teoretyczną książkę można by wziąć za coś odległego od praktyki. Wstęp zapobiega temu prostym stwierdzeniem: uczenie maszynowe ma bardzo szeroki zakres praktycznych zastosowań. Wymienione to klasyfikacja tekstów lub dokumentów, która obejmuje wykrywanie spamu.

Wykrywanie spamu to dobry wybór przykładu z powodu, który wyjaśniają ramy samych autorów. To problem klasyfikacji dokumentów dokładnie w sensie wcześniejszego przykładu: oznaczone dokumenty na wejściu, przewidywania dotyczące niewidzianych dokumentów na wyjściu. Czynniki rozmiaru próby i jakości etykiet stosują się do niego bezpośrednio. Większa próba ułatwia zadanie, a błędnie oznaczone wiadomości je utrudniają. Liczba możliwych kategorii jest mała, co zgodnie z logiką wcześniejszego fragmentu także wpływa na trudność. Stosuję deklarowane czynniki książki do jej deklarowanego przykładu i nie twierdzę niczego o filtrach antyspamowych w praktyce.

W umiejscowieniu tego fragmentu kryje się też ciche argumentowanie. Autorzy przedstawiają klasyfikację dokumentów jako zadanie uczenia i od razu zaznaczają, że nie jest to bynajmniej jedyne takie zadanie. Zastosowania są szerokie, bo szeroka jest definicja leżąca u ich podstaw. Kwalifikuje się wszystko, co pasuje do „metod obliczeniowych wykorzystujących doświadczenie do poprawy działania lub do trafnych przewidywań”. Ta ogólność jest też powodem, dla którego książka zajmuje się teorią. Ramy mające obejmować bardzo szeroki zakres zastosowań nie mogą być związane ze szczegółami żadnego z nich, a gwarancje wyrażone przez złożoność klasy pojęć i rozmiar próby są dokładnie tym rodzajem, który przenosi się między problemami.

Zakład, który robi książka #

Zbierzmy wątki, a wyłoni się spójne stanowisko, co jest więcej, niż może o sobie powiedzieć spis treści większości podręczników. Książka definiuje uczenie przez doświadczenie i przewidywanie. Wskazuje trzy złożoności, czasową, pamięciową i próbkową, jako miary jakości. Wiąże gwarancje ze złożonością klasy pojęć i rozmiarem próby, a teorię, która dostarcza tych gwarancji, umieszcza na początku. Następnie buduje na tej podstawie rozdziały algorytmiczne i mówi otwarcie, które popularne obszary pomija, bo gwarancje dla niektórych metod nie są na razie solidne.

To zakład o teorię jako o to, co przetrwa. Rozumiem, dlaczego zespół autorów, który latami prowadził kurs dla doktorantów, go zawarł. Zakład ma swoją cenę, a autorzy ją nazywają: pominięcie modeli grafowych i sieci neuronowych to cena upierania się przy solidnych gwarancjach. Czytelnik powinien uczciwie tę cenę zważyć. Jeśli w twojej pracy dominują pominięte obszary, ta książka jest fundamentem, a nie podręcznikiem praktycznym. Jeśli twoja praca wymaga rozumowania o tym, czy uczeń uogólni wiedzę ze skończonej próby, słownictwo książki jest właśnie jej sensem.

Dla założycieli użyteczny wniosek jest najmniej efektowny. Jakość i rozmiar danych mają kluczowe znaczenie dla powodzenia przewidywań, a trudność zadania zależy od jakości etykiet i od liczby możliwych tematów. To twierdzenia o danych wejściowych, na które często masz wpływ. Książka nie obiecuje, że jakikolwiek konkretny algorytm uratuje skąpą lub błędnie oznaczoną próbę, i słusznie tego nie robi.

Dla czytelników technicznych ciekawsze jest pytanie, które przedmowa pozostawia otwarte. Autorzy pominęli niektóre metody z powodu obecnego braku solidnych gwarancji teoretycznych. Słowo „obecnego” ujmuje to jako stan rzeczy w chwili pisania, a źródła nie mówią, czy i jak może się to zmienić. Czego trzeba by, żeby te gwarancje stały się na tyle solidne, by zasłużyć na rozdział? Książka nie może na to odpowiedzieć. Będąc dokładną co do tego, co pomija i dlaczego, pokazuje przynajmniej, gdzie szukać.

Co to oznacza dla poszczególnych sektorów #

Nacisk na statystyczne gwarancje uczenia i złożoność próbkową wyznacza praktyczne granice w kilku obszarach oprogramowania i badań.

Akademickie uczenie maszynowe i projektowanie programów nauczania #

Programy dydaktyczne muszą opierać się presji traktowania uczenia maszynowego jako empirycznej inżynierii promptów albo hydrauliki frameworków. Ugruntowanie studentów w ramach PAC, złożoności Rademachera i strukturalnej minimalizacji ryzyka buduje trwałe matematyczne intuicje, które przetrwają rotację przemijających architektur głębokiego uczenia.

Inżynieria AI w przedsiębiorstwach i wycena danych #

Organizacje wdrażające systemy predykcyjne często przeznaczają zbyt dużo kapitału na moc obliczeniową (skalę modelu), zaniedbując złożoność próbkową i wierność etykiet. Ponieważ błąd uogólnienia jest ściśle ograniczony przez złożoność klasy pojęć w stosunku do rozmiaru próby, zespoły osiągają lepszy zwrot z inwestycji, inwestując w czystą adnotację i audyt prób zamiast w większe modele bez regularyzacji.

Badania nad czołowymi modelami AI i audyt modeli #

Gdy ramy regulacyjne, takie jak unijny akt w sprawie sztucznej inteligencji, wymagają przewidywalnych granic dla zautomatyzowanych systemów decyzyjnych, statystyczne gwarancje uczenia sformalizowane w Foundations of Machine Learning stają się koniecznością w zakresie zgodności. Regulatorzy i audytorzy bezpieczeństwa wymagają dowodliwych ograniczeń uogólnienia i rygorystycznych protokołów wyboru modelu, a nie heurystycznych wyników walidacji.

Wnioski #

Foundations of Machine Learning pozostaje niezbędną kotwicą w dziedzinie, którą często kusi czysty empiryzm. Budując cały program nauczania wokół uczenia PAC, złożoności Rademachera i wymiaru VC, Mehryar Mohri, Afshin Rostamizadeh i Ameet Talwalkar przypominają badaczom, że elegancja algorytmiczna nie może zastąpić gwarancji matematycznych. Szczere pominięcie przez autorów sieci neuronowych i modeli grafowych z powodu braku gwarancji w postaci zamkniętej nie jest wadą - to cecha, która definiuje siłę książki, wyraźnie oddzielając to, co dyscyplina potrafi rygorystycznie udowodnić, od tego, co jedynie obserwuje.

Najczęściej zadawane pytania #

Dlaczego autorzy pominęli w drugim wydaniu sieci neuronowe i modele grafowe?

Autorzy celowo pominęli sieci neuronowe i modele grafowe dla zwięzłości i z powodu obecnego braku solidnych gwarancji teoretycznych dla kilku z tych metod. Książka jest ściśle zorganizowana wokół algorytmów, które dopuszczają rygorystyczne ograniczenia uogólnienia.

Czym złożoność próbkowa różni się od złożoności czasowej i pamięciowej?

Złożoność czasowa ocenia szybkość wykonania, a złożoność pamięciowa mierzy zużycie pamięci, natomiast złożoność próbkowa określa ilościowo, ile danych uczących algorytm matematycznie potrzebuje, by nauczyć się rodziny pojęć przy zadanych tolerancjach błędu i ufności.

Na czym polega zasadnicza różnica między minimalizacją ryzyka empirycznego a strukturalną minimalizacją ryzyka?

Minimalizacja ryzyka empirycznego (ERM) wybiera hipotezę, która bezpośrednio minimalizuje błąd uczenia, ryzykując nadmierne dopasowanie, gdy złożoność hipotezy jest wysoka. Strukturalna minimalizacja ryzyka (SRM) równoważy błąd uczenia ze złożonością hipotezy (taką jak wymiar VC lub złożoność Rademachera), dając formalne ograniczenia ryzyka uogólnienia.

Bibliografia #

Mehryar Mohri, Afshin Rostamizadeh i Ameet Talwalkar, (2018). Foundations of Machine Learning, wydanie drugie ⧉. The MIT Press.
Leslie G. Valiant, (1984). Teoria tego, co da się nauczyć ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Statystyczna teoria uczenia ⧉. John Wiley & Sons.

Ostatnia weryfikacja 2026-10-10.

Ostatnia weryfikacja 2026-10-27.

Opublikuj ponownie ten artykuł

Co spis treści podręcznika uczenia maszynowego mówi o tej dziedzinie — Sebastien Rousseau

Foundations of Machine Learning (drugie wydanie, MIT Press, 2018) traktuje uczenie maszynowe jako projektowanie wydajnych i trafnych algorytmów predykcyjnych.

Ten artykuł jest objęty licencją Creative Commons Attribution 4.0 International. Ponowna publikacja wymaga przypisania do kanonicznego adresu URL.

Co spis treści podręcznika uczenia maszynowego mówi o tej dziedzinie — Sebastien Rousseau

Foundations of Machine Learning (drugie wydanie, MIT Press, 2018) traktuje uczenie maszynowe jako projektowanie wydajnych i trafnych algorytmów predykcyjnych.

Originally published at https://sebastienrousseau.com/pl/2026-10-10-spis-tresci-podrecznika-uczenia-maszynowego-mowi/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER