机器学习教科书的目录，如何描绘这个领域

TL;DR. Mehryar Mohri、Afshin Rostamizadeh与Ameet Talwalkar合著的《Foundations of Machine Learning》第二版（MIT Press，2018年）把机器学习视为设计高效而准确的预测算法。

核心要点

一本来历清楚的书. 先从确定对象的事实说起。书名是《Foundations of Machine Learning》，这是第二版。它属于Adaptive Computation and Machine Learning丛书，丛书主编是Francis Bach。作者是Mehryar Mohri、Afshin Rostamizadeh和Ameet Talwalkar。出版方是位于马萨诸塞州剑桥的The MIT…
承担重任的定义. 后面的一切都取决于一句话。作者写道，机器学习可以宽泛地定义为利用经验来提高性能或做出准确预测的计算方法。.
一个具体的例子：文档与主题. 导论用一个具体的学习问题让定义落地。取一个由随机选出的文档构成的有限样本，每篇文档都标有一个主题。任务是利用这个样本，预测未见过的文档的主题。.
是三种复杂度，而不是两种. 在这里，这本书走出了它最有特色的一步，而由于它只是以一句简短的评论出现，很容易被忽略。作者说，机器学习就是设计高效而准确的预测算法。和计算机科学的其他领域一样，时间复杂度和空间复杂度是衡量这类算法质量的关键指标。学过算法的人都认得这两个指标：要花多长时间，需要多少内存？.

Mehryar Mohri、Afshin Rostamizadeh与Ameet Talwalkar合著的《Foundations of Machine Learning》第二版（MIT Press，2018年）把学习定义为利用经验做出准确预测，并围绕样本复杂度、Rademacher界和理论保证搭建起一套严谨的课程体系。

大多数机器学习书籍都以一个承诺开篇：你将能做出什么。这本书则以一个定义开篇，随后列出决定学习器能否成功的那些量。这种顺序说明了作者认为这门学科是什么，而我认为这个选择是对的。一个以预测为卖点的领域，应当向读者说明预测在什么时候可以信赖，而这本书要给出的正是这样的说明。

本文通过这本书的前置部分、序言和开头几页实际说了什么来读这本书。这比逐章评论要窄，而且对自身的局限是坦诚的：这里的资料是扉页、目录、序言和导论的开头部分。在这个范围之内，有一条清晰的论证可以追随。它关乎机器学习是什么、它依赖于什么、作者选择涵盖什么，以及他们选择略去什么。

一本来历清楚的书 #

先从确定对象的事实说起。书名是《Foundations of Machine Learning》，这是第二版。它属于Adaptive Computation and Machine Learning丛书，丛书主编是Francis Bach。作者是Mehryar Mohri、Afshin Rostamizadeh和Ameet Talwalkar。出版方是位于马萨诸塞州剑桥的The MIT Press，版权归麻省理工学院所有，日期为2018年。精装版的ISBN是9780262039406。

有两个制作细节各值得一提。这本书由作者亲自用LaTeX排版，这与一本满是界、定义和证明的书相称；印刷和装订在美国完成。这两个细节都不会改变你读数学的方式。但亲自给自己的书排版的作者，经手过每一页，对这类书来说，这让人放心。

内容的来源更为重要。书中的大部分材料源自一门同样名为Foundations of Machine Learning的研究生课程，由第一作者在纽约大学柯朗数学科学研究所讲授了过去十四年。这是具体的、可以核查的来历。一本从一门课十四年的讲授中成长起来的教科书，想必经过了学生觉得难的地方的打磨，下文介绍的习题和附录读起来也正是如此。我会小心，不把这个推断推得比资料允许的更远。序言说明了材料从哪里来，但没有说这门课经历了多少次修订，也没有说学生在哪里遇到困难。它说了的已经足够：这是课程材料，而不是从文献里拼凑出来的综述。

承担重任的定义 #

后面的一切都取决于一句话。作者写道，机器学习可以宽泛地定义为利用经验来提高性能或做出准确预测的计算方法。

这句话里的每个名词都有用处。“计算方法”把这门学科放进计算机科学之中。接着，“经验”被明确下来：它指学习器可以获得的过去的信息。这句话没有任何关于学习器理解了什么的说法，也完全没有提到智能。学习器拥有过去的信息和一个目标，即提高性能或准确预测，而整门学科研究的就是这两者之间的关系。

我认为，对技术读者和创业者来说，这比流行的那些宏大定义更有用，因为它直接指向你能掌控的杠杆。如果学习是过去信息的函数，那么你对结果的影响力就在于收集什么信息、收集多少。书中接下来的论断也正是这么说的：数据的质量和规模对学习器所做预测的成败至关重要。这一论断在书中是作为一个朴素的机制给出的，没有附加任何限定。

作者还描述了这些技术本身。它们是数据驱动的方法，把计算机科学的基本概念与统计学、概率论和最优化的思想结合起来。这句话既是一份先修知识清单，也是一张这个领域邻近学科的地图。想要构建学习系统的团队，要同时借助计算机科学、统计学、概率论和最优化。把其中任何一项视为可有可无，都是这本书不认可的选择。

一个具体的例子：文档与主题 #

导论用一个具体的学习问题让定义落地。取一个由随机选出的文档构成的有限样本，每篇文档都标有一个主题。任务是利用这个样本，预测未见过的文档的主题。

这个设定值得慢慢读。样本是有限的，所以学习器永远看不到全部。文档是随机选出的，正因如此，有限的样本才能对未见过的文档说出些什么。每篇文档都标有主题，所以学习器有监督信息。而目标是它没见过的文档，这正是预测与死记之间的区别。

作者接着指出两个让任务变易或变难的因素。第一个是规模：显然，样本越大，任务越容易。第二个是标签质量。任务的难度还取决于样本中文档所标标签的质量，因为这些标签未必都正确，也取决于可能的主题数量。

这句话里有三个独立的旋钮。样本规模是一个。标签的正确性是另一个。可能的主题数量是第三个。它们都与算法无关。它们都是问题和数据的属性，在选择任何方法之前就决定了问题有多难。对一位决定把预算花在哪里的创业者来说，这是一个尖锐的观察。如果你能改进标签或扩大样本，你就是在作用于作者明确指出的决定难度的那些因素。

这个例子还给自己的任务起了名字。预测文档的标签也被称为文档分类，作者随即补充说，它绝不是唯一的学习任务。这个提醒很容易被略过。文档的例子只是一个载体，它背后的论断是普遍的。

是三种复杂度，而不是两种 #

在这里，这本书走出了它最有特色的一步，而由于它只是以一句简短的评论出现，很容易被忽略。作者说，机器学习就是设计高效而准确的预测算法。和计算机科学的其他领域一样，时间复杂度和空间复杂度是衡量这类算法质量的关键指标。学过算法的人都认得这两个指标：要花多长时间，需要多少内存？

然后是新增的一项。机器学习还需要一个样本复杂度的概念，用来评估算法学习一族概念所需的样本规模。这是排序程序里没有对应物的指标。排序算法不需要被告知它需要多少个例子。学习器需要，因为它的输出是对它没见过的情形的预测，而这一预测背后的经验数量，是你所付代价的一部分。

我会这样说：时间和空间告诉你运行一个算法要花多少成本，样本复杂度告诉你教会它要花多少成本。一个速度很快却需要大得不切实际的样本的学习器，对于收集数据的人来说，在任何有意义的层面上都谈不上高效。把第三个指标放在另外两个旁边，是这本书在说：数据是有价格的资源，要像算力和内存一样做预算。

书中沿着同一方向继续。更一般地说，一个算法的理论学习保证取决于所考虑的概念类的复杂度和训练样本的规模。这是对保证由什么构成的简洁陈述。有两个输入，概念族有多丰富，以及你有多少训练数据，而保证就是把它们与性能联系起来的陈述。请注意这对全书结构意味着什么。后面的章节必须提供衡量概念类复杂度的方法，而目录显示它们确实提供了。

作者还解释了这个领域为何处在它现在的位置。由于学习算法的成功取决于所用的数据，机器学习本质上与数据分析和统计学相关。机制说得很直白：成功取决于数据，因此这门学科与研究数据的学科交织在一起。我觉得这是导论中最诚实的一句话。它没有把统计学说成对手或祖先，而是把统计学说成学习所依赖之物的一个结果。

维度	时间复杂度	空间复杂度	样本复杂度
操作性定义	输出假设 $h$ 所需的渐近运行时间	训练和评估期间所需的内存占用	学习概念族所需的训练样例数 $m$
主导理论	计算复杂性理论（P与NP、训练的难度）	架构的内存约束与缓存局部性	PAC学习、Rademacher复杂度和VC维
成本影响	服务器算力与GPU/CPU推理预算	RAM与片上SRAM容量	数据收集、标注和打标签的成本
理论作用	衡量算法运行时间的效率	衡量空间资源的效率	决定在未见数据上的泛化误差及其界

理论的脊梁 #

序言说明了全书的构造。前三四章为后面的内容奠定理论基础。从目录中，我们至少可以按标题看出这个基础由什么构成。

目录里的第一章题为“The PAC Learning Framework”（PAC学习框架），其中有两节，题为“Guarantees for finite hypothesis sets - consistent case”（有限假设集的保证：一致情形）和“Guarantees for finite hypothesis sets - inconsistent case”（有限假设集的保证：不一致情形）。这些节名告诉我们两件事。一是这个框架产生保证，这与导论的强调相吻合。二是保证按一致还是不一致情形划分，书中把两者分开处理。我不会去推测一致和不一致情形里包含什么，因为这里的资料只给出了节的标题。但这种成对的安排表明，作者并没有给出一个干净的定理就往下走。他们给更难、更棘手的情形单独设了一节。

接下来列出的一章是“Rademacher Complexity and VC-Dimension”（Rademacher复杂度与VC维）。其中各节涵盖Rademacher复杂度、增长函数、VC维和下界。对照导论来读，这一章是对导论所提问题的自然回答。如果保证取决于所考虑的概念类的复杂度，你就需要衡量这种复杂度的工具。Rademacher复杂度、增长函数和VC维，正是列出来承担这一任务的几节。节目录中包括下界，这一点也值得注意。只给出上界的书告诉你什么是可以达到的；也给出下界的书，还会告诉你什么是达不到的。

然后是第4章“Model Selection”（模型选择），其中各节包括经验风险最小化（ERM）和结构风险最小化（SRM）。我们在看第二版时会回到这一章，因为它是新版改动最大的地方之一。

这种结构是有意为之的。先是基础，然后是衡量复杂度的工具，然后是模型选择，此后才是算法。这是一种站得住脚的教法，也与这本书对自身运作方式的说明一致：开头几章奠定理论，其余部分在其上展开。

从理论到算法：支持向量机与核方法 #

目录还列出了随后的算法章节。其中一章题为“Support Vector Machines”（支持向量机），分为可分情形和不可分情形两节。每一节都涵盖原始最优化问题、支持向量和对偶最优化问题。另一章题为“Kernel Methods”（核方法）。

支持向量机这一章的形状本身就很能说明问题。可分和不可分两个标题下出现的是同样的三个主题：原始最优化问题、支持向量和对偶最优化问题。这种重复意味着平行的处理，即在不同假设下把同样的问题问两遍。这种平行与PAC一章中一致与不一致的划分相呼应，于是全书浮现出一种模式：先讲干净的情形，再讲干净的假设失效的情形。

我会提防从目录里读出太多东西。目录能告诉我们书涵盖了什么、如何划分内容。它不能告诉我们哪一节写得好不好，这些资料也没有这样说。它确实表明的是，支持向量机一章中原始和对偶的最优化语言，与导论把这些技术描述为计算机科学与统计学、概率论和最优化思想相结合的说法相呼应。那份清单里最优化这一条，在这些节的标题中具体地体现了出来。

这本书还分别为多类分类、排序和回归各设一章。这是一个值得辩护的设计决定。把它们当作二分类的脚注来处理本来很容易。给每一个都设专章，表明作者把它们看作各自需要分析的独立问题，也符合其所宣称的目标：对多个主题作统一的阐述，而不是偏向某一种视角。

这本书选择不讲什么 #

序言中最有意思的一段是关于省略的。作者说，这本书是一本机器学习的综合性入门书，既可以作为研究者的参考书，也可以作为学生的教科书。在作出这一宽泛的论断之后，他们补充了一个限制：他们选择略去几个重要的主题，包括图模型和神经网络。

很少有教科书说得这么直接，我认为这种坦率是一个优点。事先知道缺什么的读者可以提前做好安排。需要神经网络的人知道要去别处找，而不是在第九章才发现这个空缺。

原因也说明了。略去它们既是为了简洁，也是因为某些方法目前缺乏可靠的理论保证。给出了两个原因。简洁是任何一本书都有的现实约束。第二个原因才透露出这本书的理念。

把它和导论联系起来。理论学习保证是这本书组织的核心。保证取决于概念类的复杂度和训练样本的规模，理论章节放在最前面，因为其他一切都建立在它们之上。一个目前缺乏可靠保证的方法，放在这样构造的书里会显得别扭。所以，省略是从这本书的核心立场中推出来的。它与作者选择用来开篇的学科定义是一致的。

这里有一点需要留意。书中说的是“某些方法”，所以论断是某些方法缺乏可靠的保证，而不是所有被略去的主题都如此；它还说的是“目前”，把这一判断与写作时间联系在一起。我会抵制把它概括为“神经网络没有理论”的诱惑。资料并不是这么说的。它说的是某些方法的保证目前还缺乏，而这一点与简洁一起，是图模型和神经网络被略去的原因。

对于正在选择学什么的技术读者来说，实际的结论很简单。这本书给你关于保证的词汇，也清楚地告诉你它不涵盖哪些领域。

第二版改了什么 #

第二版不只是附带勘误的重印。序言列出了新增内容，每一项都告诉我们作者认为第一版哪里单薄。

最主要的变化是关于模型选择的完整一章，即第4章。作者把这个主题描述为重要的主题，并说它在上一版中只是简要讨论过。措辞很直接。他们没有声称第一版讲得很好，而是说它只被简要讨论过，现在给了它完整的一章。如目录所示，其中各节包括经验风险最小化（ERM）和结构风险最小化（SRM）。

模型选择为什么值得这样升格？资料没有说，我也不会替作者编造理由。但位置很能说明问题。第4章紧跟在PAC框架一章和Rademacher复杂度与VC维一章之后，因而落在序言所说的奠定理论基础的前三四章之内。所以作者并不是事后才把模型选择附加上去，而是把它放进了理论基础之中。

接下来的新增内容是关于最大熵模型的新一章，即第12章，以及关于条件最大熵模型的新一章，即第13章。两个全新的章节是相当大的扩充，书中现在用相邻的两章来讲这一对模型。

附录也有变化。作者在讲凸优化的附录B中新增了完整的一节讲Fenchel对偶，并新增了关于信息论的附录E。书中还有一个内容详实的附录，对线性代数作了简明的复习。这些变化指向一致的方向：支撑性的数学与章节一同增长。Fenchel对偶加入了凸优化附录，信息论有了自己的附录。我不会说信息论是专门为支撑最大熵章节而放进来的，因为资料没有说明这种联系，而且这两项新增在序言中是作为不同的条目出现的。它们出现在同一版中，这种时间上的巧合，我就让它停留在巧合。

这本书写给谁，希望怎样被阅读 #

书中说明了它的读者对象：面向机器学习、统计学及其他相关领域的学生和研究者。这份名单点名包括了统计学，呼应了导论中机器学习本质上与数据分析和统计学相关的观点。

它也说明了它的预设。读者应当熟悉线性代数、概率论和算法分析的基本概念。这是一份很短的清单，与导论中的成分清单相对应，但并不完全一致。导论把计算机科学、统计学、概率论和最优化列为这些技术的来源。先修要求列出的是线性代数、概率论和算法分析。最优化不在先修要求之中，而书从另一侧弥补了这一点：附录B讲凸优化，还有新的Fenchel对偶一节。线性代数被期望作为背景知识，而书中仍然提供了复习它的详实附录。所以先修要求与附录是有意重叠的，线性代数已经生疏的读者，在同一本书里就能找到简明的复习。

教学方式也说得很清楚。每章都以一组习题结尾，完整的解答另行给出。对一本服务两类读者的书来说，这是合理的安排。学生可以先做习题，再对照解答；把书当参考书用的研究者，也不必在每一页都绕过解答。解答是以单独成册还是其他文件的形式提供，资料没有说，只说是另行给出，所以我就说到这里。

综合来看，读者对象、先修要求、习题和附录，描绘出一本设计来让人一步步做下去的书。柯朗研究所十四年的教学就在这种设计背后。反复讲授的课程往往会产生这样一套配置，不过序言并没有明确声称这种联系，我只是把它作为对证据的一种解读提出来，而不是作为一个结论。

应用范围很广，书里也这么说 #

一本如此理论化的书，可能会被误以为远离实践。导论用一句平实的话预先打消了这种看法：机器学习有非常广泛的实际应用。它点名的是文本或文档分类，其中包括垃圾邮件检测。

垃圾邮件检测是个好例子，原因可以用作者自己的框架来解释。它正是前面那个例子意义上的文档分类问题：输入带标签的文档，输出对未见文档的预测。样本规模和标签质量这两个因素直接适用于它。样本越大，任务越容易；标错的邮件会让任务更难。可能的类别数量很少，按照前面那段的逻辑，这同样关系到难度。我只是把书中陈述的因素套用到书中陈述的例子上，并不是在对实际使用中的垃圾邮件过滤器下任何论断。

这一段的位置里还藏着一个不动声色的论证。作者把文档分类作为一种学习任务来介绍，随即指出它绝不是唯一的一种。应用之所以广泛，是因为底层的定义很宽。任何符合“利用经验来提高性能或做出准确预测的计算方法”的东西都算在内。这种普遍性也正是这本书为什么要费心讲理论的原因。一个意在涵盖极广应用的框架，不能被任何一种应用的细节束缚，而以概念类复杂度和样本规模来表述的保证，恰恰是能在不同问题之间通用的那一类。

这本书押下的赌注 #

把这些线索拢到一起，就浮现出一个连贯的立场，这比大多数教科书的目录所能声称的要多。这本书用经验和预测来定义学习。它把时间、空间和样本这三种复杂度列为质量的指标。它把保证与概念类复杂度和样本规模联系起来，并把提供这些保证的理论放在最前面。然后它在这个基础上构建算法章节，并公开说明由于某些方法的保证目前还不可靠，它略去了哪些热门领域。

这是把赌注押在理论才能长久这件事上。我能理解，花了多年时间讲授一门研究生课程的作者团队为什么会这样押注。这个赌注有代价，作者也点明了：略去图模型和神经网络，是坚持可靠保证的代价。读者应当诚实地掂量这一代价。如果你的工作以被略去的领域为主，这本书是一块基石，而不是一本手册。如果你的工作需要推断一个学习器能否从有限样本中泛化，这本书的词汇正是它的意义所在。

对创业者来说，有用的启示是最不起眼的那一条。数据的质量和规模对预测的成败至关重要，任务的难度取决于标签质量和可能的主题数量。这些都是关于你往往能够施加影响的输入的陈述。这本书并没有承诺任何特定算法能挽救一个单薄或标错的样本，它不作这种承诺是对的。

对技术读者来说，更有意思的问题是序言留下的那个问题。作者因为某些方法目前缺乏可靠的理论保证而略去了它们。“目前”一词把这界定为写作时的状况，而资料没有说它是否会改变，或会怎样改变。要让这些保证可靠到足以单设一章，需要什么？这本书无法回答。但它准确地说明了自己略去了什么、为什么略去，至少指明了该往哪里看。

对各行业的意义 #

对统计学习保证和样本复杂度的坚持，为若干软件和研究领域提供了可操作的边界。

学术界的机器学习与课程设计 #

教学项目必须抵御把机器学习当作经验性的提示工程或框架管道活来对待的压力。让学生扎根于PAC框架、Rademacher复杂度和结构风险最小化，能建立起持久的数学直觉，经得住转瞬即逝的深度学习架构的更替。

企业AI工程与数据估值 #

部署预测系统的工程团队，往往把资本过度投向算力（模型规模），却忽视样本复杂度和标签保真度。由于泛化误差受概念类复杂度相对于样本规模的严格约束，团队把资金投入干净的标注和样本审计，而不是更大的未正则化模型，能获得更高的投资回报率。

前沿AI研究与模型审计 #

随着欧盟《人工智能法》等监管框架要求自动化决策系统具备可预测的界，《Foundations of Machine Learning》中形式化的统计学习保证成为合规的必需品。监管机构和安全审计人员要求的是可证明的泛化界和严谨的模型选择流程，而不是启发式的验证分数。

结论 #

在一个经常受到纯粹经验主义诱惑的领域里，《Foundations of Machine Learning》仍然是不可或缺的锚点。通过围绕PAC学习、Rademacher复杂度和VC维构建整套课程体系，Mehryar Mohri、Afshin Rostamizadeh和Ameet Talwalkar提醒研究者，算法上的优雅无法替代数学上的保证。作者因缺乏闭式保证而坦率地略去神经网络和图模型，这不是缺陷，而是这本书最鲜明的长处，它清楚地划分出这门学科能够严格证明的东西与它仅仅观察到的东西。

常见问题 #

作者为什么在第二版中略去了神经网络和图模型？

作者出于简洁的考虑，也因为其中若干方法目前缺乏可靠的理论保证，有意略去了神经网络和图模型。全书严格围绕那些能够给出严谨泛化界的算法来组织。

样本复杂度与时间复杂度和空间复杂度有什么区别？

时间复杂度评估执行速度，空间复杂度衡量内存消耗，而样本复杂度在给定的误差和置信度容许范围内，从数学上量化算法学习一族概念所需的训练数据量。

经验风险最小化与结构风险最小化的核心区别是什么？

经验风险最小化（ERM）直接选择使训练误差最小的假设，当假设复杂度较高时有过拟合的风险。结构风险最小化（SRM）在训练误差与假设复杂度（如VC维或Rademacher复杂度）之间取得平衡，为泛化风险提供形式化的界。

参考文献 #

Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). 机器学习基础（Foundations of Machine Learning）第二版 ⧉. The MIT Press.
Leslie G. Valiant, (1984). 可学习性理论 ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). 统计学习理论 ⧉. John Wiley & Sons.

最近审阅 2026-10-10.

最近审阅 2026-10-27.

重新发布本文

机器学习教科书的目录，如何描绘这个领域 — Sebastien Rousseau

Mehryar Mohri、Afshin Rostamizadeh与Ameet Talwalkar合著的《Foundations of Machine Learning》第二版（MIT Press，2018年）把机器学习视为设计高效而准确的预测算法。

本文采用以下许可协议 Creative Commons Attribution 4.0 International. 重新发布需注明原始 URL 出处。

机器学习教科书的目录，如何描绘这个领域 — Sebastien Rousseau

Mehryar Mohri、Afshin Rostamizadeh与Ameet Talwalkar合著的《Foundations of Machine Learning》第二版（MIT Press，2018年）把机器学习视为设计高效而准确的预测算法。

Originally published at https://sebastienrousseau.com/zh-hans/2026-10-10-jiqi-xuexi-jiaokeshu-mulu-ruhe-miaohui/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER