Що зміст підручника з машинного навчання каже про саму галузь

TL;DR. Друге видання Foundations of Machine Learning (MIT Press, 2018) Морі, Ростамізаде й Талвалкара будує курс навколо вибіркової складності, оцінок Радемахера та гарантій.

Ключові висновки

Книжка з точним родоводом. Почнімо з фактів, які закріплюють предмет розмови.
Означення, яке несе основне навантаження. Усе подальше залежить від одного речення.
Один розібраний приклад: документи й теми. Вступ прив'язує означення до конкретного завдання навчання.
Три складності, а не дві. Тут книжка робить свій найхарактерніший хід, і його легко не помітити, бо його подано як коротке зауваження.

Друге видання Foundations of Machine Learning (MIT Press, 2018) Мехріара Морі, Афшина Ростамізаде та Аміта Талвалкара визначає навчання як використання досвіду для точних передбачень і будує строгий курс навколо вибіркової складності, оцінок Радемахера та теоретичних гарантій.

Більшість книжок про машинне навчання починаються з обіцянки того, що ви зможете збудувати. Ця починається з означення та переліку величин, від яких залежить, чи впорається алгоритм, що навчається. Такий порядок показує, чим автори вважають свій предмет, і, на мою думку, це слушне рішення. Галузь, яка продає себе через передбачення, мусить пояснити читачеві, коли передбаченням можна довіряти, і саме це пояснення книжка й береться дати.

Ця стаття читає книжку за тим, що насправді сказано в її вступних матеріалах, передмові та перших сторінках. Це вужче завдання, ніж рецензія на кожен розділ, і воно чесно визнає свої межі: джерела тут обмежені титульною сторінкою, змістом, передмовою та початком вступу. У цих межах є чітка лінія міркування. Вона стосується того, що таке машинне навчання, від чого воно залежить, що автори вирішили охопити і що вирішили залишити поза книжкою.

Книжка з точним родоводом #

Почнімо з фактів, які закріплюють предмет розмови. Книжка називається Foundations of Machine Learning, і це друге видання. Вона входить до серії Adaptive Computation and Machine Learning, редактор якої Франсіс Бах. Автори: Мехріар Морі, Афшин Ростамізаде та Аміт Талвалкар. Видавець: The MIT Press, Кембридж, Массачусетс, авторські права належать Массачусетському технологічному інституту, рік 2018. Видання у твердій обкладинці має ISBN 9780262039406.

Дві виробничі деталі заслуговують на речення кожна. Книжку зверстали в LaTeX самі автори, що пасує текстові, насиченому оцінками, означеннями та доведеннями, а надрукована й оправлена вона в Сполучених Штатах Америки. Жодна з цих деталей не змінює того, як читати математику. Але автори, які самі верстали книжку, тримали в руках кожну сторінку, і для книжки такого роду це обнадіює.

Походження матеріалу важливіше. Більша його частина бере початок з магістерського курсу, який теж називається Foundations of Machine Learning і який перший автор останні чотирнадцять років викладає в Курантівському інституті математичних наук Нью-Йоркського університету. Це конкретне й перевірне походження. Підручник, що виріс із чотирнадцяти років викладання одного курсу, найпевніше, сформований тим, що давалося студентам важко, і описані нижче вправи та додатки читаються саме так. Я б не просував цей висновок далі, ніж дозволяє джерело. Передмова каже, звідки взявся матеріал, але не каже, скільки переробок пройшов курс і з чим студенти боролися. Того, що сказано, досить: це матеріал курсу, а не огляд, зібраний з літератури.

Означення, яке несе основне навантаження #

Усе подальше залежить від одного речення. Машинне навчання, пишуть автори, можна в широкому сенсі означити як обчислювальні методи, що використовують досвід для поліпшення якості роботи або для точних передбачень.

Кожен іменник у цьому реченні виконує свою роботу. «Обчислювальні методи» розміщують предмет усередині інформатики. Далі уточнюється «досвід»: це минула інформація, доступна алгоритму, що навчається. У реченні немає твердження, що алгоритм щось розуміє, і нічого не сказано про інтелект. Алгоритм, що навчається, має минулу інформацію та мету, тобто поліпшення якості або точне передбачення, і вся дисципліна присвячена зв'язку між ними.

Я б сказав, що для технічних читачів і засновників компаній це означення корисніше за гучніші, що ходять довкола, бо воно прямо вказує на важелі, якими ви керуєте. Якщо навчання є функцією минулої інформації, то ваш вплив на результат полягає в тому, яку інформацію ви збираєте і скільки її. Наступне твердження тексту каже те саме: якість і обсяг даних вирішують успіх передбачень, які робить алгоритм, що навчається. У тексті це твердження подано як простий механізм, без жодних застережень.

Автори описують і самі методи. Це методи, керовані даними, які поєднують фундаментальні поняття інформатики з ідеями зі статистики, теорії ймовірностей та оптимізації. Це речення водночас слугує переліком попередніх знань і мапою сусідів галузі. Команда, яка хоче будувати системи, що навчаються, спирається одразу на інформатику, статистику, теорію ймовірностей та оптимізацію. Вважати будь-яку з них необов'язковою означає зробити вибір, якого книжка не схвалює.

Один розібраний приклад: документи й теми #

Вступ прив'язує означення до конкретного завдання навчання. Візьмімо скінченну вибірку випадково відібраних документів, кожен з яких позначено темою. Завдання полягає в тому, щоб за цією вибіркою передбачати тему ще не бачених документів.

Ця постановка винагороджує повільне читання. Вибірка скінченна, тож алгоритм ніколи не бачить усього. Документи відібрано випадково, і саме це дозволяє скінченній вибірці казати щось про небачені документи. Кожен позначено темою, тож алгоритм має розмітку. А метою є документи, яких він не бачив, і в цьому різниця між передбаченням і запам'ятовуванням.

Далі автори виокремлюють дві речі, які роблять завдання легшим або важчим. Перша з них розмір: очевидно, що більша вибірка, то легше завдання. Друга з них якість міток. Складність завдання залежить також від якості міток, присвоєних документам вибірки, оскільки не всі мітки можуть бути правильними, і від кількості можливих тем.

У цьому реченні три окремі регулятори. Один з них розмір вибірки. Другий правильність міток. Третій кількість можливих тем. Жоден не стосується алгоритму. Усі вони становлять властивості завдання й даних і визначають, наскільки складне завдання, ще до вибору методу. Для засновника, який вирішує, куди витрачати бюджет, це влучне спостереження. Якщо ви можете поліпшити мітки або збільшити вибірку, ви впливаєте на ті чинники, які автори прямо називають визначальними для складності.

Приклад називає і власне завдання. Передбачення мітки документа відоме також як класифікація документів, і автори одразу додають, що це зовсім не єдине завдання навчання. Це застереження легко пропустити. Приклад із документами слугує лише засобом, а твердження під ним загальне.

Три складності, а не дві #

Тут книжка робить свій найхарактерніший хід, і його легко не помітити, бо його подано як коротке зауваження. Машинне навчання, кажуть автори, полягає в розробці ефективних і точних алгоритмів передбачення. Як і в інших галузях інформатики, часова та просторова складність слугують ключовими мірами якості таких алгоритмів. Кожен, хто вивчав алгоритми, впізнає ці дві міри. Скільки часу це забирає і скільки пам'яті потрібно?

Потім іде доповнення. Машинному навчанню потрібне, крім того, поняття вибіркової складності, щоб оцінити розмір вибірки, потрібний алгоритму, щоб вивчити сімейство понять. Ця міра не має відповідника в процедурі сортування. Алгоритмові сортування не треба повідомляти, скільки прикладів йому потрібно. Алгоритмові, що навчається, треба, бо його результат становить передбачення щодо випадків, яких він не бачив, і обсяг досвіду за цим передбаченням входить у те, за що ви платите.

Я б сформулював так: час і пам'ять кажуть, у що обходиться запуск алгоритму, а вибіркова складність каже, у що обходиться його навчання. Алгоритм, який швидкий, але потребує непомірно великої вибірки, неефективний у будь-якому сенсі, важливому для того, хто збирає дані. Поставивши третю міру поруч із двома іншими, книжка каже, що дані становлять ресурс із ціною, який треба планувати в бюджеті так само, як обчислення та пам'ять.

Текст продовжує в тому самому напрямку. У загальнішому вигляді теоретичні гарантії навчання для алгоритму залежать від складності розглянутих класів понять і від розміру навчальної вибірки. Це стисле формулювання того, з чого складається гарантія. Є два входи, наскільки багате сімейство понять і скільки у вас навчальних даних, і гарантія пов'язує їх з якістю роботи. Зверніть увагу, що з цього випливає для структури книжки. Подальші розділи мають дати способи вимірювати складність класу понять, і зміст показує, що вони це роблять.

Автори пояснюють і те, чому галузь розташована там, де розташована. Оскільки успіх алгоритму, що навчається, залежить від використаних даних, машинне навчання за своєю природою пов'язане з аналізом даних і статистикою. Механізм названо прямо: успіх залежить від даних, отже, предмет переплетений з дисциплінами, які вивчають дані. На мою думку, це найчесніше речення у вступі. Воно не подає статистику ні суперницею, ні прародителькою. Воно подає статистику наслідком того, від чого залежить навчання.

Вимір	Часова складність	Просторова складність	Вибіркова складність
Операційне означення	Асимптотичний час роботи, потрібний, щоб видати гіпотезу $h$	Обсяг пам'яті, необхідний під час навчання та оцінювання	Кількість навчальних прикладів $m$, потрібна, щоб вивчити сімейство понять
Визначальна теорія	Обчислювальна складність (P проти NP, складність навчання)	Обмеження пам'яті архітектури та локальність кешу	PAC-навчання, складність Радемахера та VC-розмірність
Наслідок для витрат	Серверні обчислення та бюджет виведення на GPU/CPU	Обсяг RAM і вбудованої SRAM	Витрати на збирання, анотування та розмічання даних
Теоретична роль	Вимірює ефективність алгоритму за часом роботи	Вимірює ефективність використання пам'яті	Визначає похибку узагальнення та оцінки на небачених даних

Теоретичний хребет #

Передмова каже, як побудовано книжку. Перші три або чотири розділи закладають теоретичний фундамент для подальшого матеріалу. Зміст дає змогу побачити, з чого цей фундамент зроблено, принаймні за назвами.

Перший розділ у змісті називається «The PAC Learning Framework» (рамки PAC-навчання), і в ньому є підрозділи «Guarantees for finite hypothesis sets - consistent case» і «Guarantees for finite hypothesis sets - inconsistent case» (гарантії для скінченних множин гіпотез в узгодженому та неузгодженому випадках). Назви підрозділів повідомляють дві речі. По-перше, рамки дають гарантії, що збігається з акцентом вступу. По-друге, гарантії розділено за тим, узгоджений випадок чи ні, і книжка розглядає ці випадки окремо. Я не буду гадати, що містять узгоджений і неузгоджений випадки, бо джерела дають лише назви підрозділів. Але сама пара показує, що автори не видають одну чисту теорему й не йдуть далі. Складнішому й заплутанішому випадку вони відводять власний підрозділ.

Наступний розділ у переліку називається «Rademacher Complexity and VC-Dimension» (складність Радемахера та VC-розмірність). Його підрозділи охоплюють складність Радемахера, функцію зростання, VC-розмірність і нижні оцінки. Якщо читати його на тлі вступу, цей розділ природно відповідає на питання, яке вступ ставить. Якщо гарантії залежать від складності розглянутих класів понять, потрібні інструменти для вимірювання цієї складності. Складність Радемахера, функція зростання та VC-розмірність перелічені як підрозділи, що несуть це навантаження. Варто відзначити й те, що в переліку підрозділів є нижні оцінки. Книжка, яка наводить лише верхні оцінки, каже вам, що досяжне. Книжка, яка включає й нижні, каже ще й про те, що недосяжне.

Далі йде розділ 4, «Model Selection» (вибір моделі), з підрозділами, серед яких мінімізація емпіричного ризику (ERM) і мінімізація структурного ризику (SRM). Ми повернемося до цього розділу, коли дивитимемося на друге видання, бо саме тут нове видання змінює найбільше.

Структуру продумано. Спершу фундамент, потім апарат для вимірювання складності, потім вибір моделі, і лише після цього алгоритми. Це обґрунтований спосіб викладання, і він збігається з тим, як книжка сама описує свою будову: перші розділи закладають теорію, а решта будується на ній.

Від теорії до алгоритмів: опорні вектори та ядра #

Зміст називає й наступні алгоритмічні розділи. Один називається «Support Vector Machines» (метод опорних векторів) і містить підрозділи для роздільного та нероздільного випадків. Кожен із них охоплює пряму задачу оптимізації, опорні вектори та двоїсту задачу оптимізації. Інший називається «Kernel Methods» (ядрові методи).

Сама форма розділу про метод опорних векторів інформативна. Під заголовками роздільного та нероздільного випадків повторюються ті самі три теми: пряма задача оптимізації, опорні вектори та двоїста задача оптимізації. Таке повторення свідчить про паралельний виклад, коли ті самі питання ставлять двічі за різних припущень. Ця паралель повторює поділ на узгоджений і неузгоджений випадки в розділі про PAC, і в усій книжці проступає закономірність: спершу чистий випадок, потім випадок, у якому чисте припущення не виконується.

Я б остерігався вичитувати зі змісту забагато. Він може сказати, що охоплює книжка і як вона ділить матеріал. Він не може сказати, наскільки добре написано будь-який підрозділ, і в цих джерелах про це нічого немає. Проте він показує, що мова оптимізації в розділі про метод опорних векторів, пряма та двоїста задачі, відсилає до опису методів у вступі як поєднання інформатики з ідеями зі статистики, теорії ймовірностей та оптимізації. Оптимізаційна нитка цього переліку конкретно виявляється в назвах цих підрозділів.

Книжка також відводить окремий розділ багатокласовій класифікації, ранжуванню та регресії. Це проєктне рішення, яке варто захищати. Було б легко зробити їх виносками до бінарної класифікації. Окремий розділ для кожної показує, що автори вважають їх самостійними задачами з власним аналізом, і це збігається із заявленою метою єдиного викладу кількох тем замість викладу, що віддає перевагу одній точці зору.

Чого книжка вирішує не охоплювати #

Найцікавіший фрагмент передмови присвячено пропускам. Книжка, кажуть автори, становить загальний вступ до машинного навчання, який може слугувати довідником для дослідників і підручником для студентів. Зробивши цю широку заяву, вони додають обмеження: вони вирішили опустити кілька важливих тем, зокрема графічні моделі та нейронні мережі.

Небагато підручників кажуть це так прямо, і я б сказав, що ця відвертість є сильною стороною. Читач, який заздалегідь знає, чого бракує, може це врахувати. Той, кому потрібні нейронні мережі, знає, що шукати їх треба деінде, а не виявляє прогалину в дев'ятому розділі.

Причини теж названо. Пропуск зроблено і заради стислості, і через нинішню відсутність надійних теоретичних гарантій для деяких методів. Причин дві. Стислість становить практичне обмеження будь-якої книжки. Друга причина і каже дещо про філософію книжки.

Пов'яжіть це зі вступом. Книжку організовано навколо теоретичних гарантій навчання. Гарантії залежать від складності класів понять і розміру навчальної вибірки, а теоретичні розділи йдуть першими, бо на них будується все інше. Метод, для якого надійних гарантій зараз немає, погано вписується в книжку, побудовану так. Отже, пропуск випливає з центрального принципу книжки. Він узгоджується з тим означенням предмета, з якого автори вирішили почати.

Тут потрібна обережність. Текст каже «деяких методів», тож ідеться про відсутність надійних гарантій для деяких методів, а не для всіх опущених тем, і каже «нинішню», що прив'язує судження до часу написання. Я б утримався від спокуси звести це до фрази «нейронні мережі не мають теорії». Джерело каже не це. Воно каже, що гарантій для деяких методів зараз немає і що саме це разом зі стислістю стало причиною, з якої графічні моделі та нейронні мережі не ввійшли до книжки.

Для технічних читачів, які обирають, що вивчати, практичний висновок простий. Ця книжка дає вам словник гарантій і прямо каже, яких галузей вона не торкається.

Що змінює друге видання #

Друге видання становить щось більше, ніж передрук із виправленнями. Передмова перелічує доповнення, і кожне каже, де, на думку авторів, перше видання було тонким.

Головною зміною є повноцінний розділ про вибір моделі, розділ 4, присвячений темі, яку автори називають важливою і яку в попередньому виданні обговорювали лише коротко. Формулювання пряме. Автори не стверджують, що перше видання добре її охоплювало. Вони кажуть, що її обговорювали лише коротко і що тепер їй відведено цілий розділ. Серед підрозділів мінімізація емпіричного ризику (ERM) і мінімізація структурного ризику (SRM), як показує зміст.

Чому вибір моделі заслуговує на таке підвищення? Джерела цього не кажуть, і я не вигадуватиму причину за авторів. Але розташування показове. Розділ 4 іде одразу після розділів про рамки PAC і про складність Радемахера та VC-розмірність, тобто потрапляє до тих перших трьох або чотирьох розділів, які, за словами передмови, закладають теоретичний фундамент. Отже, автори не прилаштували вибір моделі як запізнілу думку. Вони вбудували його в теоретичний фундамент.

Наступні доповнення становлять новий розділ про моделі максимальної ентропії, розділ 12, і новий розділ про умовні моделі максимальної ентропії, розділ 13. Два зовсім нові розділи становлять суттєве розширення, і тепер книжка присвячує цій парі розділи, що йдуть поспіль.

Змінюються й додатки. Автори додали повний підрозділ про двоїстість Фенхеля до додатка B з опуклої оптимізації та додали додаток E з теорії інформації. У книжці є також великий додаток зі стислим оглядом лінійної алгебри. Ці зміни вказують в одному напрямку: допоміжна математика зросла разом із розділами. Двоїстість Фенхеля приєднується до додатка з опуклої оптимізації, а теорія інформації отримує власний додаток. Я б не стверджував, що теорія інформації з'явилася саме для підтримки розділів про максимальну ентропію, оскільки джерела такого зв'язку не вказують, а в передмові ці два доповнення йдуть окремими пунктами. Їхній збіг у часі, в одному й тому самому виданні, я так і залишу збігом.

Для кого книжка і як її передбачено читати #

Книжка називає свою аудиторію: вона призначена для студентів і дослідників у галузі машинного навчання, статистики та інших суміжних галузей. У цьому переліку статистику названо прямо, що перегукується з думкою вступу про те, що машинне навчання за своєю природою пов'язане з аналізом даних і статистикою.

Книжка каже й про те, що вона передбачає. Від читача очікують знайомства з основними поняттями лінійної алгебри, теорії ймовірностей та аналізу алгоритмів. Перелік короткий, і він збігається з переліком складників зі вступу, хоча й не повністю. Вступ називає джерелами методів інформатику, статистику, теорію ймовірностей та оптимізацію. Попередні вимоги називають лінійну алгебру, теорію ймовірностей та аналіз алгоритмів. Оптимізації серед вимог немає, і книжка закриває це з іншого боку: додаток B присвячено опуклій оптимізації, з новим підрозділом про двоїстість Фенхеля. Лінійну алгебру очікують як підготовку, і книжка все одно дає великий додаток з її оглядом. Тож вимоги й додатки перетинаються навмисно, і читач, чия лінійна алгебра заіржавіла, знайде стислий огляд під тією самою обкладинкою.

Педагогічний підхід теж викладено прямо. Кожен розділ завершується серією вправ, повні розв'язки яких наведено окремо. Для книжки, що обслуговує дві аудиторії, це розумний устрій. Студент може розв'язувати вправи й звірятися з розв'язками, а дослідник, який використовує книжку як довідник, не мусить на кожній сторінці продиратися крізь розібрані відповіді. Чи виходять розв'язки окремим томом, чи в якомусь іншому документі, джерело не каже, повідомляючи лише, що їх наведено окремо, тож на цьому я й зупинюся.

Разом аудиторія, вимоги, вправи та додатки описують книжку, розраховану на те, щоб її опрацьовували. За цим задумом стоять чотирнадцять років викладання в Курантівському інституті. Курс, який читають раз у раз, зазвичай породжує саме такий апарат, хоча передмова прямо цього зв'язку не стверджує, і я пропоную його лише як прочитання наявних даних, а не як висновок.

Застосування широкі, і книжка так і каже #

Таку теоретичну книжку можна сприйняти за щось далеке від практики. Вступ запобігає цьому простим твердженням: машинне навчання допускає дуже широке коло практичних застосувань. Назване застосування становить класифікація текстів або документів, що включає виявлення спаму.

Виявлення спаму слугує добрим прикладом з причини, яку пояснює власна схема авторів. Це задача класифікації документів точно в сенсі попереднього прикладу: на вході розмічені документи, на виході передбачення щодо небачених документів. Чинники розміру вибірки та якості міток застосовні до неї безпосередньо. Більша вибірка полегшує завдання, а неправильно розмічені повідомлення ускладнюють його. Кількість можливих категорій мала, і за логікою попереднього фрагмента це теж впливає на складність. Я застосовую заявлені в книжці чинники до заявленого в ній прикладу і нічого не стверджую про спам-фільтри в реальному житті.

У розташуванні цього фрагмента є й тихий аргумент. Автори вводять класифікацію документів як задачу навчання й одразу зазначають, що вона зовсім не єдина. Застосування широкі, бо широке вихідне означення. Підходить усе, що вкладається у формулу «обчислювальні методи, що використовують досвід для поліпшення якості роботи або для точних передбачень». Ця загальність і пояснює, навіщо книжці теорія. Схема, розрахована на дуже широке коло застосувань, не може бути прив'язана до деталей якогось одного, а гарантії, сформульовані через складність класу понять і розмір вибірки, якраз переносяться із задачі на задачу.

Ставка, яку робить книжка #

Зведіть нитки разом, і проступить послідовна позиція, а це більше, ніж може сказати про себе зміст більшості підручників. Книжка означує навчання через досвід і передбачення. Вона називає мірами якості три складності: час, пам'ять і вибірку. Вона пов'язує гарантії зі складністю класу понять і розміром вибірки й ставить теорію, що дає ці гарантії, на початок. Потім вона будує на цій основі алгоритмічні розділи й відкрито каже, які популярні галузі залишає поза книжкою, бо гарантії для деяких методів поки ненадійні.

Це ставка на теорію як на те, що залишається. Я розумію, чому її зробили автори, які роками викладали магістерський курс. Ставка має ціну, і автори її називають: пропуск графічних моделей і нейронних мереж стає платою за наполегливу вимогу надійних гарантій. Читачеві варто чесно зважити цю ціну. Якщо у вашій роботі переважають опущені галузі, ця книжка слугує фундаментом, а не посібником. Якщо вашій роботі потрібно міркувати про те, чи узагальнить алгоритм за скінченною вибіркою, словник книжки і становить її сенс.

Для засновників корисний висновок виявляється найбуденнішим. Якість і обсяг даних вирішують успіх передбачень, а складність завдання залежить від якості міток і від кількості можливих тем. Це твердження про вхідні дані, на які ви часто можете впливати. Книжка не обіцяє, що якийсь конкретний алгоритм урятує мізерну або неправильно розмічену вибірку, і слушно робить.

Для технічних читачів цікавіше питання, яке передмова залишає відкритим. Автори опустили деякі методи через нинішню відсутність надійних теоретичних гарантій. Слово «нинішню» позначає стан справ на момент написання, і джерела не кажуть, чи зміниться він і як. Що знадобилося б, щоб ці гарантії стали достатньо надійними й заслужили розділ? Книжка не може на це відповісти. Але, точно вказавши, що вона залишає поза собою і чому, вона принаймні показує, куди дивитися.

Що це означає для галузей #

Наполеглива вимога статистичних гарантій навчання та вибіркової складності задає практичні межі в низці галузей розробки програм і досліджень.

Академічне машинне навчання та розробка навчальних програм #

Освітні програми мають опиратися тиску, що перетворює машинне навчання на емпіричну інженерію промптів або на обв'язку фреймворків. Навчання студентів на основі рамок PAC, складності Радемахера та мінімізації структурного ризику формує стійку математичну інтуїцію, яка переживе зміну недовговічних архітектур глибокого навчання.

Корпоративна розробка ШІ та оцінювання вартості даних #

Інженерні організації, що впроваджують прогностичні системи, часто вкладають забагато капіталу в обчислення (масштаб моделі) і нехтують вибірковою складністю та точністю міток. Оскільки похибка узагальнення строго обмежена складністю класу понять відносно розміру вибірки, команди отримують вищу окупність, вкладаючи в чисту анотацію та аудит вибірок, а не в більші моделі без регуляризації.

Передові дослідження ШІ та аудит моделей #

Коли регуляторні рамки, як-от EU AI Act, вимагають передбачуваних меж для автоматизованих систем ухвалення рішень, статистичні гарантії навчання, формалізовані в Foundations of Machine Learning, стають необхідністю для відповідності вимогам. Регулятори та аудитори безпеки вимагають доказових оцінок узагальнення та строгих процедур вибору моделі, а не евристичних оцінок на валідації.

Висновок #

Foundations of Machine Learning залишається незамінною опорою в галузі, яку часто тягне до голого емпіризму. Побудувавши цілий курс навколо PAC-навчання, складності Радемахера та VC-розмірності, Мехріар Морі, Афшин Ростамізаде та Аміт Талвалкар нагадують дослідникам, що витонченість алгоритму не замінює математичних гарантій. Відвертий пропуск нейронних мереж і графічних моделей через відсутність гарантій у замкненій формі не вада, а визначальна сила книжки, яка чітко відокремлює те, що дисципліна може строго довести, від того, що вона лише спостерігає.

Часті запитання #

Чому автори не включили нейронні мережі та графічні моделі до другого видання?

Автори свідомо опустили нейронні мережі та графічні моделі заради стислості й через нинішню відсутність надійних теоретичних гарантій для низки цих методів. Книжку строго організовано навколо алгоритмів, для яких можливі строгі оцінки узагальнення.

Чим вибіркова складність відрізняється від часової та просторової?

Часова складність оцінює швидкість виконання, просторова вимірює споживання пам'яті, а вибіркова складність кількісно визначає математичний обсяг навчальних даних, потрібний алгоритму, щоб вивчити сімейство понять із заданими допусками на похибку та впевненість.

У чому головна відмінність між мінімізацією емпіричного ризику та мінімізацією структурного ризику?

Мінімізація емпіричного ризику (ERM) обирає гіпотезу, яка безпосередньо мінімізує похибку на навчанні, ризикуючи перенавчанням за високої складності гіпотез. Мінімізація структурного ризику (SRM) врівноважує похибку на навчанні та складність гіпотез (наприклад, VC-розмірність або складність Радемахера), даючи формальні оцінки ризику узагальнення.

Джерела #

Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). Foundations of Machine Learning, друге видання ⧉. The MIT Press.
Leslie G. Valiant, (1984). Теорія навчуваного ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Статистична теорія навчання ⧉. John Wiley & Sons.

Останній перегляд 2026-10-10.

Останній перегляд 2026-10-27.

Перевидати цю статтю

Що зміст підручника з машинного навчання каже про саму галузь — Sebastien Rousseau

Друге видання Foundations of Machine Learning (MIT Press, 2018) Морі, Ростамізаде й Талвалкара будує курс навколо вибіркової складності, оцінок Радемахера та гарантій.

Ця стаття поширюється за ліцензією Creative Commons Attribution 4.0 International. Перевидання вимагає посилання на канонічну URL-адресу.

Що зміст підручника з машинного навчання каже про саму галузь — Sebastien Rousseau

Друге видання Foundations of Machine Learning (MIT Press, 2018) Морі, Ростамізаде й Талвалкара будує курс навколо вибіркової складності, оцінок Радемахера та гарантій.

Originally published at https://sebastienrousseau.com/uk/2026-10-10-zmist-pidruchnyka-mashynnoho-navchannya-kazhe-pro/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER