머신러닝 교과서의 목차가 말해 주는 이 분야의 모습

Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar의 『Foundations of Machine Learning』 제2판(MIT Press, 2018)은 학습을 경험을 사용해 정확한 예측을 하는 것으로 정의하고, 표본 복잡도, 라데마허 상계, 이론적 보장을 중심으로 엄밀한 교과 과정을 짠다.

머신러닝 책은 대부분 무엇을 만들 수 있게 될지에 대한 약속으로 시작한다. 이 책은 정의로 시작하고, 학습기가 성공하는지를 좌우하는 양의 목록이 뒤따른다. 이 순서는 저자들이 이 분야를 무엇이라고 생각하는지 알려 주며, 나는 그것이 옳은 판단이라고 본다. 예측을 내세우는 분야라면 예측을 언제 믿을 수 있는지를 독자에게 설명할 책임이 있고, 이 책이 내놓으려는 것이 바로 그 설명이다.

이 글은 책의 앞부분, 서문, 첫 몇 쪽이 실제로 말하는 내용을 통해 책을 읽는다. 모든 장을 서평하는 것보다 좁은 작업이며, 그 한계를 숨기지 않겠다. 여기서 쓰는 자료는 속표지, 목차, 서문, 그리고 서론의 첫 부분이다. 그 범위 안에서도 따라갈 만한 분명한 논지가 있다. 머신러닝이 무엇인지, 그것이 무엇에 의존하는지, 저자들이 무엇을 다루고 무엇을 빼기로 했는지에 관한 논지다.

내력이 분명한 책 #

대상을 고정하는 사실부터 시작하자. 책 제목은 『Foundations of Machine Learning』이며 이것은 제2판이다. Adaptive Computation and Machine Learning 시리즈에 속하고, 시리즈 편집자는 Francis Bach다. 저자는 Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar다. 출판사는 매사추세츠주 케임브리지의 The MIT Press이고, 저작권은 매사추세츠 공과대학교가 보유하며 날짜는 2018년이다. 양장본의 ISBN은 9780262039406이다.

제작상의 세부 사항 두 가지는 한 문장씩 언급할 만하다. 이 책은 저자들이 직접 LaTeX로 조판했는데, 상계와 정의와 증명으로 빽빽한 책에 어울리는 일이다. 인쇄와 제본은 미국에서 이루어졌다. 어느 쪽도 수학을 읽는 방식을 바꾸지는 않는다. 하지만 자기 책을 직접 조판한 저자는 모든 쪽에 손을 댄 셈이고, 이런 종류의 책에서는 그것이 안심이 된다.

더 중요한 것은 내용의 출처다. 대부분의 내용은 역시 Foundations of Machine Learning이라는 이름의 대학원 강의에서 비롯되었으며, 이 강의는 제1저자가 뉴욕 대학교 쿠랑 수리과학연구소에서 지난 14년 동안 가르쳐 왔다. 구체적이고 확인할 수 있는 내력이다. 한 강의를 14년 동안 가르치며 자라난 교과서라면 학생들이 어려워한 부분에 의해 다듬어졌으리라 짐작할 수 있고, 아래에서 설명할 연습 문제와 부록도 그렇게 읽힌다. 다만 자료가 허락하는 범위를 넘어 이 추론을 밀어붙이지 않도록 조심하겠다. 서문은 내용이 어디에서 왔는지는 말하지만, 강의가 몇 번 개정되었는지나 학생들이 어디서 애를 먹었는지는 말하지 않는다. 그래도 서문이 말하는 것만으로 충분하다. 이것은 강의 교재이지, 문헌을 모아 엮은 개관서가 아니다.

무거운 짐을 지는 정의 #

그 뒤의 모든 것은 한 문장에 달려 있다. 저자들에 따르면 머신러닝은 넓게 보아 경험을 사용해 성능을 높이거나 정확한 예측을 하는 계산적 방법으로 정의할 수 있다.

이 문장의 명사마다 맡은 일이 있다. “계산적 방법”은 이 분야를 컴퓨터 과학 안에 놓는다. 이어서 “경험”이 정해진다. 그것은 학습기가 이용할 수 있는 과거의 정보를 가리킨다. 이 문장은 학습기가 무언가를 이해한다는 주장을 전혀 담고 있지 않으며, 지능에 대해서도 아무것도 말하지 않는다. 학습기에게는 과거의 정보와 목표, 곧 성능 향상이나 정확한 예측이 있을 뿐이고, 이 분야 전체는 그 둘의 관계를 다룬다.

기술 독자와 창업자에게는 이것이 세간에 도는 거창한 정의들보다 더 쓸모 있는 정의라고 나는 주장하고 싶다. 내가 조작할 수 있는 지렛대를 곧바로 가리키기 때문이다. 학습이 과거 정보의 함수라면, 결과에 대한 당신의 영향력은 어떤 정보를 얼마나 모으느냐에 있다. 본문의 다음 주장도 바로 그렇게 말한다. 데이터의 질과 양은 학습기가 하는 예측의 성공에 결정적이다. 이 진술은 본문에서 단서 없이 단순한 메커니즘으로 제시된다.

저자들은 기법 자체도 설명한다. 그것은 컴퓨터 과학의 기본 개념과 통계학, 확률론, 최적화의 아이디어를 결합한 데이터 기반 방법이다. 이 문장은 선수 지식 목록이자 이 분야의 이웃을 보여 주는 지도 역할을 한다. 학습 시스템을 만들려는 팀은 컴퓨터 과학, 통계학, 확률론, 최적화에 함께 기대게 된다. 그중 어느 하나를 선택 사항으로 여기는 것은 이 책이 지지하지 않는 선택이다.

하나의 실례: 문서와 주제 #

서론은 구체적인 학습 문제로 정의를 땅에 붙인다. 무작위로 고른 문서의 유한한 표본이 있고, 문서마다 주제 레이블이 붙어 있다고 하자. 과제는 그 표본을 사용해 아직 보지 않은 문서의 주제를 예측하는 것이다.

이 설정은 천천히 읽을 가치가 있다. 표본이 유한하므로 학습기는 결코 모든 것을 보지 못한다. 문서는 무작위로 골랐고, 그렇기 때문에 유한한 표본이 보지 않은 문서에 대해 무언가를 말할 수 있다. 문서마다 주제 레이블이 있으므로 학습기에게는 지도 정보가 있다. 그리고 목표는 학습기가 보지 않은 문서이며, 거기에 예측과 암기의 차이가 있다.

저자들은 여기서 과제를 쉽게도 어렵게도 만드는 두 가지를 끌어낸다. 첫째는 크기다. 당연히 표본이 클수록 과제는 쉬워진다. 둘째는 레이블의 질이다. 과제의 난이도는 표본 속 문서에 붙은 레이블의 질에도 달려 있는데, 레이블이 모두 옳지는 않을 수 있기 때문이다. 또 가능한 주제의 수에도 달려 있다.

이 문장에는 세 개의 다이얼이 따로 들어 있다. 표본 크기가 하나다. 레이블의 정확성이 또 하나다. 가능한 주제의 수가 세 번째다. 어느 것도 알고리즘에 관한 것이 아니다. 모두 문제와 데이터의 속성이며, 어떤 방법을 고르기도 전에 문제가 얼마나 어려운지를 정한다. 예산을 어디에 쓸지 정하는 창업자에게 이것은 날카로운 지적이다. 레이블을 개선하거나 표본을 늘릴 수 있다면, 당신은 저자들이 난이도를 결정한다고 명시한 바로 그 요인에 손을 쓰고 있는 것이다.

이 예는 자기 과제에 이름도 붙인다. 문서의 레이블을 예측하는 일은 문서 분류라고도 하며, 저자들은 그것이 결코 유일한 학습 과제가 아니라고 재빨리 덧붙인다. 이 단서는 그냥 지나치기 쉽다. 문서 예는 수단일 뿐이고, 그 밑에 깔린 주장은 일반적이다.

복잡도는 둘이 아니라 셋 #

여기서 이 책은 가장 독특한 수를 두는데, 짧은 한마디로 나오기 때문에 놓치기 쉽다. 저자들에 따르면 머신러닝은 효율적이고 정확한 예측 알고리즘을 설계하는 일이다. 컴퓨터 과학의 다른 분야에서처럼 시간 복잡도와 공간 복잡도는 그런 알고리즘의 질을 재는 중요한 척도다. 알고리즘을 공부한 사람이라면 누구나 이 둘을 알아볼 것이다. 시간이 얼마나 걸리는가, 그리고 메모리가 얼마나 필요한가.

그다음에 추가가 나온다. 머신러닝에는 그에 더해, 알고리즘이 개념족을 학습하는 데 필요한 표본 크기를 평가하는 표본 복잡도라는 개념이 필요하다. 이것은 정렬 루틴에는 대응물이 없는 척도다. 정렬 알고리즘에는 예가 몇 개 필요한지 알려 줄 필요가 없다. 학습기에는 필요하다. 그 출력은 보지 않은 사례에 대한 예측이고, 그 예측 뒤에 있는 경험의 양은 당신이 치르는 값의 일부이기 때문이다.

나라면 이렇게 말하겠다. 시간과 공간은 알고리즘을 돌리는 데 드는 비용을 알려 주고, 표본 복잡도는 그것을 가르치는 데 드는 비용을 알려 준다. 빠르지만 비현실적으로 큰 표본이 필요한 학습기는 데이터를 모으는 사람에게 의미 있는 어떤 뜻에서도 효율적이지 않다. 세 번째 척도를 다른 둘 옆에 놓는 것은, 데이터가 값이 매겨진 자원이며 연산과 메모리처럼 예산을 짜야 한다는 이 책 나름의 말하기 방식이다.

본문은 같은 방향으로 이어진다. 더 일반적으로, 알고리즘의 이론적 학습 보장은 고려하는 개념 클래스의 복잡도와 훈련 표본의 크기에 달려 있다. 보장이 무엇으로 이루어지는지를 간결하게 진술한 문장이다. 입력은 두 가지, 개념족이 얼마나 풍부한지와 훈련 데이터가 얼마나 있는지이며, 보장은 그것들을 성능과 연결하는 진술이다. 이것이 책의 구조에 대해 무엇을 뜻하는지 주목하자. 이어지는 장들은 개념 클래스의 복잡도를 재는 방법을 제공해야 하고, 목차는 실제로 그렇게 한다는 것을 보여 준다.

저자들은 이 분야가 왜 지금의 자리에 있는지도 설명한다. 학습 알고리즘의 성공은 사용하는 데이터에 달려 있으므로, 머신러닝은 본질적으로 데이터 분석 및 통계학과 관련되어 있다. 메커니즘은 분명하게 진술된다. 성공은 데이터에 달려 있고, 따라서 이 분야는 데이터를 연구하는 학문과 얽힌다. 나는 이것을 서론에서 가장 정직한 문장이라고 생각한다. 통계학을 경쟁자로도 조상으로도 제시하지 않는다. 통계학을 학습이 의존하는 것에서 나오는 귀결로 제시한다.

차원	시간 복잡도	공간 복잡도	표본 복잡도
조작적 정의	가설 $h$ 를 출력하는 데 필요한 점근적 실행 시간	훈련과 평가 중에 필요한 메모리 사용량	개념족을 학습하는 데 필요한 훈련 예의 수 $m$
지배하는 이론	계산 복잡도 이론(P 대 NP, 훈련의 어려움)	아키텍처의 메모리 제약과 캐시 지역성	PAC 학습, 라데마허 복잡도, VC 차원
비용상의 의미	서버 연산과 GPU/CPU 추론 예산	RAM과 온칩 SRAM 용량	데이터 수집, 주석, 레이블링 비용
이론적 역할	알고리즘 실행 시간의 효율을 잰다	공간 자원의 효율을 잰다	보지 않은 데이터에 대한 일반화 오차와 그 상계를 정한다

이론의 척추 #

서문은 책이 어떻게 짜여 있는지 말한다. 처음 세 개나 네 개의 장이 이후 내용의 이론적 토대를 놓는다. 목차를 보면, 적어도 제목 수준에서는 그 토대가 무엇으로 이루어지는지 알 수 있다.

목차의 첫 장은 “The PAC Learning Framework”(PAC 학습 프레임워크)이며, 그 안에 “Guarantees for finite hypothesis sets - consistent case”(유한 가설 집합에 대한 보장, 일관된 경우)와 “Guarantees for finite hypothesis sets - inconsistent case”(유한 가설 집합에 대한 보장, 일관되지 않은 경우)라는 절이 있다. 절 이름은 두 가지를 알려 준다. 하나는 이 프레임워크가 보장을 만들어 낸다는 것으로, 서론의 강조와 맞아떨어진다. 다른 하나는 보장이 일관된 경우와 일관되지 않은 경우로 나뉘고, 책이 이 둘을 따로 다룬다는 것이다. 일관된 경우와 일관되지 않은 경우에 무엇이 들어 있는지는 추측하지 않겠다. 여기서의 자료는 절 제목만 주기 때문이다. 하지만 이 짝은 저자들이 깔끔한 정리 하나를 내놓고 넘어가지 않는다는 것을 보여 준다. 더 어렵고 더 지저분한 경우에 따로 절을 내준다.

다음에 나오는 장은 “Rademacher Complexity and VC-Dimension”(라데마허 복잡도와 VC 차원)이다. 그 절들은 라데마허 복잡도, 성장 함수, VC 차원, 하계를 다룬다. 서론과 맞대어 읽으면 이 장은 서론이 던지는 질문에 대한 자연스러운 답이다. 보장이 고려하는 개념 클래스의 복잡도에 달려 있다면, 그 복잡도를 잴 도구가 필요하다. 라데마허 복잡도, 성장 함수, VC 차원이 그 짐을 지는 절로 나열되어 있다. 절 목록에 하계가 들어 있다는 점도 눈여겨볼 만하다. 상계만 제시하는 책은 무엇이 가능한지를 알려 준다. 하계까지 담은 책은 무엇이 불가능한지도 알려 준다.

이어서 4장 “Model Selection”(모델 선택)이 나오며, 그 절에는 경험적 위험 최소화(ERM)와 구조적 위험 최소화(SRM)가 들어 있다. 제2판을 살펴볼 때 이 장으로 돌아오겠다. 새 판에서 가장 많이 바뀐 곳 가운데 하나이기 때문이다.

이 구조는 의도된 것이다. 먼저 토대, 다음으로 복잡도를 재는 장치, 그다음 모델 선택, 그리고 그 뒤에야 알고리즘이다. 설득력 있는 가르침의 방식이며, 책 스스로 밝히는 작동 방식과도 일치한다. 첫 장들이 이론을 놓고, 나머지가 그 위에 쌓인다.

이론에서 알고리즘으로: 서포트 벡터 머신과 커널 #

목차에는 이어지는 알고리즘 장들도 나온다. 하나는 “Support Vector Machines”(서포트 벡터 머신)이며 분리 가능한 경우와 분리 불가능한 경우의 절이 있다. 각 절은 원 최적화 문제, 서포트 벡터, 쌍대 최적화 문제를 다룬다. 다른 하나는 “Kernel Methods”(커널 방법)다.

서포트 벡터 머신 장의 모양 자체가 많은 것을 알려 준다. 분리 가능과 분리 불가능 두 제목 아래에 같은 세 주제가 나온다. 원 최적화 문제, 서포트 벡터, 쌍대 최적화 문제다. 이 반복은 나란한 서술, 곧 다른 가정 아래에서 같은 질문을 두 번 던지는 방식을 시사한다. 이 평행 구조는 PAC 장의 일관된 경우와 일관되지 않은 경우의 구분과 겹치므로, 책 전체에서 하나의 패턴이 드러난다. 먼저 깔끔한 경우, 다음으로 그 깔끔한 가정이 무너지는 경우다.

목차에서 너무 많은 것을 읽어 내는 일은 경계하겠다. 목차는 책이 무엇을 다루고 내용을 어떻게 나누는지는 알려 준다. 어느 절이 얼마나 잘 쓰였는지는 알려 주지 못하고, 이 자료들도 그런 말을 하지 않는다. 목차가 보여 주는 것은 서포트 벡터 머신 장의 최적화 언어, 곧 원 문제와 쌍대 문제가, 기법을 컴퓨터 과학과 통계학, 확률론, 최적화의 아이디어의 결합으로 설명한 서론과 이어진다는 점이다. 그 목록의 최적화 갈래가 이 절 제목들에서 구체적으로 나타난다.

책은 또 다중 클래스 분류, 순위 매기기, 회귀에 각각 별도의 장을 할애한다. 옹호할 만한 설계상의 결정이다. 이것들을 이진 분류의 각주로 다루기는 쉬웠을 것이다. 각각에 독자적인 장을 주는 것은 저자들이 이것들을 고유한 분석이 필요한 별개의 문제로 본다는 신호이며, 하나의 관점에 치우친 제시가 아니라 여러 주제를 통일적으로 제시한다는 밝혀진 목표와도 맞는다.

이 책이 다루지 않기로 한 것 #

서문에서 가장 흥미로운 대목은 생략에 관한 것이다. 저자들에 따르면 이 책은 머신러닝에 대한 총론적 입문서로서, 연구자에게는 참고서로, 학생에게는 교과서로 쓰일 수 있다. 그렇게 넓은 주장을 한 뒤 그들은 한계를 덧붙인다. 그래프 모델과 신경망을 비롯한 몇 가지 중요한 주제를 빼기로 했다는 것이다.

이렇게 직접적으로 말하는 교과서는 드물며, 나는 그 솔직함이 강점이라고 주장하고 싶다. 무엇이 빠졌는지 미리 아는 독자는 그것을 감안해 계획을 세울 수 있다. 신경망이 필요한 사람은 9장에서 그 빈자리를 발견하는 대신 다른 곳을 찾아야 한다는 것을 안다.

이유도 밝혀져 있다. 생략은 간결함을 위한 것이기도 하고, 일부 방법에 현재 확실한 이론적 보장이 없기 때문이기도 하다. 이유는 두 가지다. 간결함은 어떤 책에나 있는 현실적 제약이다. 두 번째 이유야말로 이 책의 철학에 대해 무언가를 알려 준다.

그것을 서론과 다시 연결해 보자. 이론적 학습 보장은 이 책이 짜인 중심이다. 보장은 개념 클래스의 복잡도와 훈련 표본의 크기에 달려 있고, 이론 장들이 맨 앞에 오는 것은 나머지 모든 것이 그 위에 세워지기 때문이다. 확실한 보장이 현재 없는 방법은 이렇게 짜인 책에서 어색하게 자리한다. 그러므로 생략은 책의 핵심적인 원칙에서 따라 나온다. 저자들이 첫머리에 고른 이 분야의 정의와 일관된다.

여기에는 조심할 점이 있다. 본문은 “일부 방법”이라고 말하므로, 주장은 빠진 주제 전부가 아니라 일부 방법에 확실한 보장이 없다는 것이다. 그리고 “현재”라고 말해 판단을 집필 시점에 묶어 둔다. 이것을 “신경망에는 이론이 없다”로 요약하고 싶은 유혹은 물리치겠다. 자료는 그렇게 말하지 않는다. 자료가 말하는 것은 일부 방법에 보장이 현재 없으며, 그것이 간결함과 함께 그래프 모델과 신경망이 빠진 이유라는 것이다.

무엇을 공부할지 고르는 기술 독자에게 실제적인 귀결은 간단하다. 이 책은 보장의 어휘를 주고, 어떤 영역을 다루지 않는지도 분명히 알려 준다.

제2판에서 바뀐 것 #

제2판은 오류를 바로잡은 재판 이상이다. 서문은 추가된 사항을 나열하며, 하나하나가 저자들이 초판의 어디가 얇았다고 생각했는지를 알려 준다.

가장 큰 변화는 모델 선택을 다루는 장 하나 전체, 4장이다. 저자들은 이것을 중요한 주제이며 이전 판에서는 짧게만 다뤘다고 설명한다. 표현이 직설적이다. 초판이 그것을 잘 다뤘다고 주장하지 않는다. 짧게만 다뤘고 이제 장 하나 전체를 내주었다고 말한다. 목차가 보여 주듯 그 절에는 경험적 위험 최소화(ERM)와 구조적 위험 최소화(SRM)가 들어 있다.

모델 선택이 왜 이런 승격을 받을 만한가? 자료는 말하지 않고, 나도 저자들을 대신해 이유를 지어내지 않겠다. 하지만 배치가 많은 것을 말해 준다. 4장은 PAC 프레임워크 장과 라데마허 복잡도와 VC 차원 장 바로 뒤에 오며, 서문이 이론적 토대를 놓는다고 부르는 처음 세 개나 네 개의 장 안에 들어간다. 그러니 저자들은 모델 선택을 나중에 생각나 덧붙인 것이 아니다. 이론적 토대 안에 넣어 지었다.

다음 추가 사항은 최대 엔트로피 모델을 다루는 새 장인 12장과, 조건부 최대 엔트로피 모델을 다루는 새 장인 13장이다. 완전히 새로운 장 두 개는 상당한 확장이며, 책은 이제 이 둘에 연속된 장을 할애한다.

부록도 바뀌었다. 저자들은 볼록 최적화를 다루는 부록 B에 펜첼 쌍대성에 관한 절 하나를 통째로 더했고, 정보 이론을 다루는 부록 E를 추가했다. 책에는 선형대수를 간결하게 복습하는 충실한 부록도 들어 있다. 이 변화들은 일관된 방향을 가리킨다. 장들과 함께 그것을 받치는 수학도 자랐다. 펜첼 쌍대성은 볼록 최적화 부록에 합류했고, 정보 이론은 독자적인 부록을 얻었다. 정보 이론이 특별히 최대 엔트로피 장들을 받치려고 들어갔다고 말하는 것은 삼가겠다. 자료는 그런 연결을 말하지 않으며, 두 추가 사항은 서문에서 별개의 항목으로 나온다. 같은 판에 들어갔다는 시기의 일치는 일치로 남겨 두겠다.

누구를 위한 책이며, 어떻게 읽히기를 기대하는가 #

책은 독자층을 밝힌다. 머신러닝, 통계학, 그 밖의 관련 분야의 학생과 연구자를 위한 책이다. 이 목록에는 통계학이 이름으로 들어 있어, 머신러닝이 본질적으로 데이터 분석 및 통계학과 관련되어 있다는 서론의 지적과 호응한다.

전제하는 것도 밝힌다. 독자는 선형대수, 확률론, 알고리즘 분석의 기본 개념에 익숙할 것으로 기대된다. 짧은 목록이며, 서론이 꼽은 재료 목록과 정확히는 아니지만 맞아떨어진다. 서론은 기법의 원천으로 컴퓨터 과학, 통계학, 확률론, 최적화를 든다. 선수 지식으로는 선형대수, 확률론, 알고리즘 분석이 나온다. 최적화는 선수 지식에 들어 있지 않으며, 책은 이것을 반대쪽에서 채운다. 부록 B가 볼록 최적화를 다루고, 새로운 펜첼 쌍대성 절도 들어 있다. 선형대수는 배경지식으로 기대되지만, 책은 그래도 그것을 복습하는 충실한 부록을 제공한다. 그러니 선수 지식과 부록은 의도적으로 겹치고, 선형대수가 녹슨 독자는 같은 표지 안에서 간결한 복습을 할 수 있다.

가르치는 방식도 분명히 밝혀져 있다. 각 장은 일련의 연습 문제로 끝나며, 완전한 풀이는 따로 제시된다. 두 독자층을 상대하는 책으로서는 합리적인 배치다. 학생은 연습 문제를 풀고 풀이와 맞춰 볼 수 있고, 책을 참고서로 쓰는 연구자는 쪽마다 풀이를 지나쳐야 하는 일이 없다. 풀이가 별책으로 나오는지 다른 문서로 나오는지는 자료가 말하지 않고 따로 제시된다고만 하므로, 거기서 멈추겠다.

종합하면 독자층, 선수 지식, 연습 문제, 부록은 끝까지 풀어 나가도록 설계된 책을 그려 낸다. 쿠랑 연구소에서의 14년 강의가 이 설계 뒤에 있다. 거듭 가르쳐 온 강의는 이런 장치를 만들어 내기 마련이지만, 서문은 그 연결을 명시적으로 주장하지 않으며, 나는 이것을 발견이 아니라 증거를 읽는 하나의 방식으로 내놓을 뿐이다.

응용은 넓고, 책은 그렇게 말한다 #

이렇게 이론적인 책은 실무와 동떨어진 것으로 오해받을 수 있다. 서론은 단순한 진술로 이를 미리 막는다. 머신러닝에는 매우 넓은 실용적 응용이 있다. 서론이 드는 응용은 텍스트 또는 문서 분류이며, 여기에는 스팸 탐지가 포함된다.

스팸 탐지가 좋은 예인 이유는 저자들 자신의 틀로 설명된다. 그것은 앞의 예와 정확히 같은 의미의 문서 분류 문제다. 레이블이 붙은 문서가 들어가고, 보지 않은 문서에 대한 예측이 나온다. 표본 크기와 레이블 품질이라는 요인이 그대로 적용된다. 표본이 클수록 과제는 쉬워지고, 레이블이 잘못 붙은 메시지는 과제를 어렵게 한다. 가능한 범주의 수는 적은데, 앞 대목의 논리에 따르면 이것도 난이도에 영향을 준다. 나는 책이 밝힌 요인을 책이 밝힌 예에 적용하고 있을 뿐이며, 실제로 쓰이는 스팸 필터에 대해 무언가를 주장하는 것이 아니다.

이 대목의 배치에는 조용한 논증도 담겨 있다. 저자들은 문서 분류를 학습 과제의 하나로 소개하고 곧바로 그것이 결코 유일한 과제가 아니라고 덧붙인다. 응용이 넓은 것은 바탕에 있는 정의가 넓기 때문이다. “경험을 사용해 성능을 높이거나 정확한 예측을 하는 계산적 방법”에 들어맞는 것이라면 무엇이든 해당한다. 이 일반성이 바로 책이 굳이 이론을 다루는 이유이기도 하다. 매우 넓은 응용을 아우르려는 틀은 어느 한 응용의 세부에 묶일 수 없고, 개념 클래스의 복잡도와 표본 크기로 진술된 보장은 정확히 문제에서 문제로 옮겨 갈 수 있는 종류의 것이다.

이 책이 거는 내기 #

실마리를 모으면 일관된 입장이 드러나는데, 대부분의 교과서 목차가 내세울 수 있는 것 이상이다. 이 책은 학습을 경험과 예측의 관점에서 정의한다. 질의 척도로 세 가지 복잡도, 곧 시간, 공간, 표본을 든다. 보장을 개념 클래스의 복잡도와 표본 크기에 묶고, 그 보장을 제공하는 이론을 맨 앞에 둔다. 그리고 그 기반 위에 알고리즘 장들을 세우며, 일부 방법의 보장이 아직은 확실하지 않기 때문에 어떤 인기 분야를 빼는지 공개적으로 말한다.

이것은 오래 남는 것은 이론이라는 내기다. 대학원 강의를 여러 해 가르친 저자들이 왜 이런 내기를 하는지 이해할 수 있다. 이 내기에는 비용이 있고, 저자들은 그것을 밝힌다. 그래프 모델과 신경망의 생략은 확실한 보장을 고집하는 대가다. 독자는 그 비용을 정직하게 따져 봐야 한다. 당신의 일이 빠진 분야로 채워져 있다면 이 책은 매뉴얼이 아니라 토대다. 학습기가 유한한 표본에서 일반화할지를 따져야 하는 일이라면 이 책의 어휘가 바로 핵심이다.

창업자에게 쓸모 있는 교훈은 가장 화려하지 않은 것이다. 데이터의 질과 양은 예측의 성공에 결정적이며, 과제의 난이도는 레이블의 질과 가능한 주제의 수에 달려 있다. 이것들은 당신이 흔히 영향을 줄 수 있는 입력에 관한 진술이다. 이 책은 특정한 알고리즘이 빈약하거나 레이블이 잘못된 표본을 구해 주리라고 약속하지 않으며, 약속하지 않는 것이 옳다.

기술 독자에게 더 흥미로운 질문은 서문이 열어 둔 질문이다. 저자들은 현재 확실한 이론적 보장이 없다는 이유로 일부 방법을 뺐다. “현재”라는 단어는 그것을 집필 당시의 상태로 규정하며, 자료는 그것이 바뀔지, 또 어떻게 바뀔지 말하지 않는다. 그런 보장이 장 하나를 차지할 만큼 확실해지려면 무엇이 필요할까? 책은 거기에 답할 수 없다. 무엇을 빼고 왜 빼는지에 대해 정확함으로써, 적어도 어디를 봐야 하는지는 보여 준다.

산업별 의미 #

통계적 학습 보장과 표본 복잡도에 대한 고집은 여러 소프트웨어 및 연구 영역에 실행 가능한 경계선을 제공한다.

학계의 머신러닝과 교과 과정 설계 #

교육 프로그램은 머신러닝을 경험적인 프롬프트 엔지니어링이나 프레임워크 배관 작업으로 다루려는 압력에 맞서야 한다. 학생들의 기초를 PAC 프레임워크, 라데마허 복잡도, 구조적 위험 최소화에 두면, 덧없는 딥러닝 아키텍처의 교체를 견뎌 내는 오래가는 수학적 직관이 생긴다.

기업 AI 엔지니어링과 데이터 가치 평가 #

예측 시스템을 배치하는 엔지니어링 조직은 표본 복잡도와 레이블 충실도를 소홀히 하면서 연산(모델 규모)에 자본을 과도하게 배분하는 경우가 많다. 일반화 오차는 표본 크기에 대한 개념 클래스 복잡도에 의해 엄격하게 위로 제한되므로, 팀은 더 큰 비정규화 모델보다 깨끗한 주석과 표본 감사에 투자해 더 높은 ROI를 얻는다.

최전선 AI 연구와 모델 감사 #

EU AI 법과 같은 규제 체계가 자동화된 의사결정 시스템에 예측 가능한 상계를 요구함에 따라, 『Foundations of Machine Learning』에서 정식화된 통계적 학습 보장은 컴플라이언스의 필수 요건이 된다. 규제 기관과 안전 감사인은 경험적인 검증 점수가 아니라 증명 가능한 일반화 상계와 엄밀한 모델 선택 절차를 요구한다.

결론 #

『Foundations of Machine Learning』은 날것의 경험주의에 자주 끌리는 분야에서 여전히 없어서는 안 될 닻이다. PAC 학습, 라데마허 복잡도, VC 차원을 중심으로 교과 과정 전체를 짬으로써 Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar는 알고리즘의 우아함이 수학적 보장을 대신할 수 없다는 사실을 연구자들에게 일깨운다. 닫힌 형태의 보장이 없다는 이유로 저자들이 신경망과 그래프 모델을 솔직하게 뺀 것은 결함이 아니다. 그것은 이 책을 규정하는 강점이며, 이 분야가 엄밀하게 증명할 수 있는 것과 그저 관찰하는 것을 분명히 갈라놓는다.

자주 묻는 질문 #

저자들은 왜 제2판에서 신경망과 그래프 모델을 뺐나요?

저자들은 간결함을 위해, 그리고 그 방법들 가운데 몇몇에 현재 확실한 이론적 보장이 없다는 이유로 신경망과 그래프 모델을 의도적으로 뺐습니다. 이 책은 엄밀한 일반화 상계가 성립하는 알고리즘을 중심으로 엄격하게 구성되어 있습니다.

표본 복잡도는 시간 복잡도, 공간 복잡도와 무엇이 다른가요?

시간 복잡도가 실행 속도를, 공간 복잡도가 메모리 소비를 평가하는 반면, 표본 복잡도는 정해진 오차와 신뢰도의 허용 범위 안에서 개념족을 학습하는 데 알고리즘이 필요로 하는 훈련 데이터의 양을 수학적으로 정량화합니다.

경험적 위험 최소화와 구조적 위험 최소화의 핵심 차이는 무엇인가요?

경험적 위험 최소화(ERM)는 훈련 오차를 직접 최소화하는 가설을 고르므로, 가설의 복잡도가 높으면 과적합의 위험이 있습니다. 구조적 위험 최소화(SRM)는 훈련 오차와 가설의 복잡도(VC 차원이나 라데마허 복잡도 등) 사이의 균형을 맞추어 일반화 위험에 대한 형식적인 상계를 제공합니다.

참고문헌 #

Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). 머신러닝의 기초(Foundations of Machine Learning) 제2판 ⧉. The MIT Press.
Leslie G. Valiant, (1984). 학습 가능한 것의 이론 ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). 통계적 학습 이론 ⧉. John Wiley & Sons.

최종 검토 2026-10-10.

최종 검토 2026-10-27.

이 기사 재게시

머신러닝 교과서의 목차가 말해 주는 이 분야의 모습 — Sebastien Rousseau

Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar의 『Foundations of Machine Learning』 제2판(MIT Press, 2018)은 머신러닝을 효율적이고 정확한 예측 알고리즘의 설계로 다룬다.

이 기사의 라이선스는 Creative Commons Attribution 4.0 International. 재게시 시 정규 URL 출처 표시가 필요합니다.

머신러닝 교과서의 목차가 말해 주는 이 분야의 모습 — Sebastien Rousseau

Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar의 『Foundations of Machine Learning』 제2판(MIT Press, 2018)은 머신러닝을 효율적이고 정확한 예측 알고리즘의 설계로 다룬다.

Originally published at https://sebastienrousseau.com/ko/2026-10-10-meosinreoning-gyogwaseoui-mokchaga-malhae-juneun-bunyaui/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER