機器學習教科書的目錄，如何描繪這個領域

TL;DR. Mehryar Mohri、Afshin Rostamizadeh與Ameet Talwalkar合著的《Foundations of Machine Learning》第二版（MIT Press，2018年）把機器學習看作設計高效而準確的預測演算法。

核心要點

一本來歷清楚的書. 先從確立對象的事實談起。書名是《Foundations of Machine Learning》，這是第二版。它屬於Adaptive Computation and Machine Learning叢書，叢書主編是Francis Bach。作者是Mehryar Mohri、Afshin Rostamizadeh與Ameet Talwalkar。出版者是位於麻薩諸塞州劍橋的The MIT…
扛起重任的定義. 後面的一切都繫於一句話。作者寫道，機器學習可以廣義地定義為運用經驗來提升效能或做出準確預測的運算方法。.
一個具體的例子：文件與主題. 導論用一個具體的學習問題，讓定義落了地。取一個由隨機選出的文件構成的有限樣本，每份文件都標有一個主題。任務是運用這個樣本，預測尚未見過的文件的主題。.
是三種複雜度，而不是兩種. 在這裡，這本書走出了它最具特色的一步，而由於它只以一句簡短的評論出現，很容易錯過。作者說，機器學習就是設計高效而準確的預測演算法。和電腦科學的其他領域一樣，時間複雜度與空間複雜度是衡量這類演算法品質的關鍵指標。學過演算法的人都認得這兩項：要花多久時間，需要多少記憶體？.

Mehryar Mohri、Afshin Rostamizadeh與Ameet Talwalkar合著的《Foundations of Machine Learning》第二版（MIT Press，2018年）把學習定義為運用經驗做出準確預測，並圍繞樣本複雜度、Rademacher界與理論保證，建構出一套嚴謹的課程。

大多數機器學習的書，都以一個承諾開場：你將能打造出什麼。這本書則以一個定義開場，接著列出決定學習器能否成功的那些量。這樣的順序透露出作者認為這門學科是什麼，而我認為這個選擇是對的。一個以預測為賣點的領域，有責任向讀者說明預測在什麼時候可以信賴，而這本書要提供的，正是這樣的說明。

本文透過這本書的前置頁、序言與開頭幾頁實際寫了什麼來讀它。這比逐章評論更窄，而且坦白面對自身的限制：這裡的資料是書名頁、目錄、序言，以及導論的前半段。在這個範圍內，有一條清楚的論證可以跟隨。它關乎機器學習是什麼、它仰賴什麼、作者選擇涵蓋哪些內容，以及他們選擇略過哪些內容。

一本來歷清楚的書 #

先從確立對象的事實談起。書名是《Foundations of Machine Learning》，這是第二版。它屬於Adaptive Computation and Machine Learning叢書，叢書主編是Francis Bach。作者是Mehryar Mohri、Afshin Rostamizadeh與Ameet Talwalkar。出版者是位於麻薩諸塞州劍橋的The MIT Press，著作權屬於麻省理工學院，日期為2018年。精裝版的ISBN是9780262039406。

有兩個製作上的細節，各值得一句話。這本書由作者親自用LaTeX排版，這很適合一本滿是界、定義與證明的書；印刷與裝訂都在美國完成。這兩個細節都不會改變你讀數學的方式。但親手為自己的書排版的作者，等於摸過每一頁，對這類書來說，這讓人安心。

內容的來源更為重要。書中大部分材料源自一門同樣名為Foundations of Machine Learning的研究所課程，由第一作者在紐約大學柯朗數學科學研究所講授了過去十四年。這是具體、可以查證的來歷。一本從同一門課十四年的教學中長出來的教科書，想必經過學生覺得困難之處的打磨，下文介紹的習題與附錄讀起來也確實如此。我會小心，不把這個推論推得比資料允許的更遠。序言說明了材料從哪裡來，卻沒有說這門課經過多少次修訂，也沒有說學生卡在哪裡。它說了的已經足夠：這是課程教材，而不是從文獻拼湊而成的綜述。

扛起重任的定義 #

後面的一切都繫於一句話。作者寫道，機器學習可以廣義地定義為運用經驗來提升效能或做出準確預測的運算方法。

這句話裡的每個名詞都有任務。「運算方法」把這門學科放進電腦科學之中。接著，「經驗」被明確界定：它指學習器可取得的過去資訊。這句話完全沒有主張學習器理解了什麼，也絲毫未提到智慧。學習器擁有過去的資訊與一個目標，也就是提升效能或準確預測，而整門學科研究的，正是這兩者之間的關係。

我認為，對技術讀者與創業者來說，這比流傳中那些宏大的定義更有用，因為它直接指向你能掌控的槓桿。如果學習是過去資訊的函數，那麼你對結果的影響力，就在於蒐集哪些資訊、蒐集多少。書中接下來的論點正是這麼說的：資料的品質與規模，對學習器所做預測的成敗至關重要。這個論點在書中是以一個樸素的機制呈現，沒有附帶任何保留條件。

作者也描述了這些技術本身。它們是資料驅動的方法，把電腦科學的基本概念與統計學、機率論和最佳化的想法結合起來。這句話同時是一份先備知識清單，也是一張這個領域鄰近學科的地圖。想要打造學習系統的團隊，要同時借助電腦科學、統計學、機率論與最佳化。把其中任何一項視為可有可無，都是這本書不認同的選擇。

一個具體的例子：文件與主題 #

導論用一個具體的學習問題，讓定義落了地。取一個由隨機選出的文件構成的有限樣本，每份文件都標有一個主題。任務是運用這個樣本，預測尚未見過的文件的主題。

這個設定值得慢慢讀。樣本是有限的，所以學習器永遠看不到全部。文件是隨機選出的，正因如此，有限的樣本才能對未見過的文件說出一些東西。每份文件都標有主題，所以學習器有監督資訊。而目標是它沒見過的文件，這正是預測與死背之間的差別。

作者接著指出兩個讓任務變容易或變困難的因素。第一個是規模：顯然，樣本越大，任務越容易。第二個是標籤品質。任務的難度也取決於樣本中文件所標標籤的品質，因為這些標籤未必全都正確，同時也取決於可能的主題數量。

這句話裡有三個各自獨立的旋鈕。樣本規模是一個。標籤的正確性是另一個。可能的主題數量是第三個。它們都與演算法無關。它們都是問題與資料的屬性，在選擇任何方法之前，就已決定問題有多難。對一位要決定把預算花在哪裡的創業者來說，這是一針見血的觀察。如果你能改善標籤或擴大樣本，你就是在作用於作者明確指出、決定難度的那些因素。

這個例子也為自己的任務取了名字。預測文件的標籤也稱為文件分類，作者隨即補充，它絕不是唯一的學習任務。這個提醒很容易被跳過。文件的例子只是一個載體，它底下的論點是普遍的。

是三種複雜度，而不是兩種 #

在這裡，這本書走出了它最具特色的一步，而由於它只以一句簡短的評論出現，很容易錯過。作者說，機器學習就是設計高效而準確的預測演算法。和電腦科學的其他領域一樣，時間複雜度與空間複雜度是衡量這類演算法品質的關鍵指標。學過演算法的人都認得這兩項：要花多久時間，需要多少記憶體？

接著是新增的一項。機器學習還需要一個樣本複雜度的概念，用來評估演算法學習一族概念所需的樣本規模。這是排序程式裡找不到對應物的指標。排序演算法不需要被告知它需要多少個範例。學習器需要，因為它的輸出是對它沒見過的情況所做的預測，而這個預測背後的經驗多寡，正是你付出的代價的一部分。

我會這樣說：時間與空間告訴你執行一個演算法要花多少成本，樣本複雜度則告訴你教會它要花多少成本。一個速度很快、卻需要大得不切實際的樣本的學習器，對蒐集資料的人來說，在任何有意義的層面上都稱不上高效。把第三個指標放在另外兩個旁邊，是這本書在說：資料是有價格的資源，要像運算資源和記憶體一樣編列預算。

書中沿著同一方向繼續。更一般地說，一個演算法的理論學習保證，取決於所考量的概念類別的複雜度與訓練樣本的規模。這是對保證由什麼構成的精簡陳述。輸入有兩個，概念族有多豐富，以及你有多少訓練資料，而保證就是把它們與效能連結起來的陳述。請注意這對全書結構意味著什麼。後面的章節必須提供衡量概念類別複雜度的方法，而目錄顯示它們確實提供了。

作者也解釋了這個領域為何處在今天的位置。由於學習演算法的成功取決於所用的資料，機器學習在本質上與資料分析和統計學相關。機制說得很直白：成功取決於資料，因此這門學科與研究資料的學科交織在一起。我覺得這是導論中最誠實的一句話。它沒有把統計學說成對手或祖先，而是把統計學說成學習所仰賴之物的必然結果。

面向	時間複雜度	空間複雜度	樣本複雜度
操作型定義	輸出假設 $h$ 所需的漸近執行時間	訓練與評估期間所需的記憶體用量	學習概念族所需的訓練範例數 $m$
主導理論	計算複雜度理論（P與NP、訓練的困難度）	架構的記憶體限制與快取區域性	PAC學習、Rademacher複雜度與VC維度
成本意涵	伺服器運算資源與GPU/CPU推論預算	RAM與晶片上SRAM容量	資料蒐集、標註與貼標籤的成本
理論角色	衡量演算法執行時間的效率	衡量空間資源的效率	決定在未見資料上的泛化誤差及其界

理論的脊梁 #

序言說明了全書的架構。前三、四章為後續內容奠定理論基礎。從目錄中，我們至少可以依標題看出這個基礎由什麼構成。

目錄中的第一章題為「The PAC Learning Framework」（PAC學習框架），其中有兩節，題為「Guarantees for finite hypothesis sets - consistent case」（有限假設集的保證：一致情形）與「Guarantees for finite hypothesis sets - inconsistent case」（有限假設集的保證：不一致情形）。這些節名告訴我們兩件事。一是這個框架會產生保證，這與導論的強調相符。二是保證依一致或不一致情形區分，書中把兩者分開處理。我不會去臆測一致與不一致情形裡包含什麼，因為這裡的資料只提供了節的標題。但這種成對的安排顯示，作者並沒有拿出一個乾淨的定理就往下走。他們為更難、更棘手的情形另闢一節。

接下來列出的一章是「Rademacher Complexity and VC-Dimension」（Rademacher複雜度與VC維度）。其中各節涵蓋Rademacher複雜度、成長函數、VC維度與下界。對照導論來讀，這一章是對導論所提問題的自然回答。如果保證取決於所考量的概念類別的複雜度，你就需要衡量這種複雜度的工具。Rademacher複雜度、成長函數與VC維度，正是列出來承擔這項任務的幾節。節的清單中包含下界，這一點也值得留意。只提出上界的書，告訴你什麼是做得到的；也提出下界的書，還會告訴你什麼是做不到的。

然後是第4章「Model Selection」（模型選擇），其中各節包括經驗風險最小化（ERM）與結構風險最小化（SRM）。我們在看第二版時會回到這一章，因為它是新版改動最多的地方之一。

這樣的結構是刻意的。先是基礎，然後是衡量複雜度的工具，接著是模型選擇，之後才是演算法。這是站得住腳的教法，也與這本書對自身運作方式的說明一致：開頭幾章奠定理論，其餘部分在其上展開。

從理論到演算法：支援向量機與核方法 #

目錄也列出了接下來的演算法章節。其中一章題為「Support Vector Machines」（支援向量機），分為可分情形與不可分情形兩節。每一節都涵蓋原始最佳化問題、支援向量與對偶最佳化問題。另一章題為「Kernel Methods」（核方法）。

支援向量機這一章的形狀本身就很有啟發。可分與不可分兩個標題下，出現的是同樣三個主題：原始最佳化問題、支援向量與對偶最佳化問題。這種重複意味著平行的處理方式，也就是在不同假設下，把同樣的問題問兩次。這種平行與PAC一章中一致與不一致的區分相呼應，於是全書浮現出一個模式：先談乾淨的情形，再談乾淨的假設失效時的情形。

我會提防從目錄裡讀出太多東西。目錄能告訴我們書涵蓋了什麼、如何劃分內容。它無法告訴我們哪一節寫得好不好，這些資料也沒有這樣說。它確實顯示的是，支援向量機一章中原始與對偶的最佳化語言，與導論把這些技術描述為結合電腦科學與統計學、機率論和最佳化想法的說法相互呼應。那份清單裡最佳化這一項，在這些節的標題中具體地現身。

這本書也分別為多類別分類、排序與迴歸各設一章。這是值得辯護的設計決定。把它們當成二元分類的註腳來處理，原本很容易。為每一項都設專章，顯示作者把它們看作各自需要分析的獨立問題，也符合其宣示的目標：對多個主題做統一的呈現，而不是偏重某一種觀點。

這本書選擇不談什麼 #

序言中最有意思的一段，是關於省略的。作者說，這本書是一本機器學習的綜合性入門書，既能作為研究者的參考書，也能作為學生的教科書。在提出這個寬廣的主張之後，他們補上一個限制：他們選擇略過幾個重要主題，包括圖模型與神經網路。

很少有教科書說得這麼直接，我認為這份坦率是一項優點。事先知道缺了什麼的讀者，可以預先做好安排。需要神經網路的人知道要去別處找，而不是讀到第九章才發現這個缺口。

原因也交代了。略過它們既是為了簡潔，也是因為某些方法目前缺乏紮實的理論保證。理由有兩個。簡潔是任何一本書都有的現實限制。第二個理由，才透露出這本書的理念。

把它和導論連起來。理論學習保證是這本書組織的核心。保證取決於概念類別的複雜度與訓練樣本的規模，理論章節排在最前面，是因為其他一切都建立在它們之上。一個目前缺乏紮實保證的方法，放在這樣建構的書裡會顯得格格不入。所以，省略是從這本書的核心立場推導出來的。它與作者選擇用來開場的學科定義前後一致。

這裡有一點需要留意。書中說的是「某些方法」，所以主張是某些方法缺乏紮實的保證，而不是所有被略過的主題都如此；它也說的是「目前」，把這個判斷與寫作時間綁在一起。我會抗拒把它簡化成「神經網路沒有理論」的誘惑。資料並不是這麼說的。它說的是某些方法的保證目前仍付之闕如，而這一點與簡潔一起，構成圖模型與神經網路被略過的原因。

對於正在選擇要學什麼的技術讀者來說，實際的結論很簡單。這本書給你關於保證的詞彙，也清楚告訴你它不涵蓋哪些領域。

第二版改了什麼 #

第二版不只是附上勘誤的重印。序言列出了新增內容，每一項都告訴我們作者認為第一版哪裡單薄。

最主要的變動，是關於模型選擇的一整章，也就是第4章。作者把這個主題描述為重要的主題，並說它在上一版中只是簡短討論過。措辭很直接。他們沒有宣稱第一版處理得很好，而是說它只被簡短討論過，現在給了它一整章。如目錄所示，其中各節包括經驗風險最小化（ERM）與結構風險最小化（SRM）。

模型選擇為什麼值得這樣升格？資料沒有說，我也不會替作者編造理由。但它的位置很能說明問題。第4章緊接在PAC框架一章與Rademacher複雜度與VC維度一章之後，因而落在序言所說、奠定理論基礎的前三、四章之內。所以作者並不是事後才把模型選擇附加上去，而是把它納入了理論基礎之中。

接下來的新增內容，是關於最大熵模型的新一章，即第12章，以及關於條件最大熵模型的新一章，即第13章。兩個全新章節是相當大的擴充，書中現在以相鄰的兩章來處理這一對模型。

附錄也有變動。作者在談凸最佳化的附錄B中，新增了一整節談Fenchel對偶，並新增了關於資訊理論的附錄E。書中還有一個內容充實的附錄，對線性代數做了簡明的複習。這些變動指向一致的方向：支撐性的數學與章節一起成長。Fenchel對偶加入了凸最佳化附錄，資訊理論則有了自己的附錄。我不會說資訊理論是專門為了支撐最大熵章節而放進來的，因為資料沒有說明這種關聯，而且這兩項新增在序言中是以不同條目出現的。它們出現在同一版，這種時間上的巧合，我就讓它停留在巧合。

這本書寫給誰，又希望如何被閱讀 #

書中說明了它的讀者對象：適合機器學習、統計學及其他相關領域的學生與研究者。這份名單點名納入了統計學，呼應導論中機器學習在本質上與資料分析和統計學相關的觀點。

它也說明了它的預設。讀者應熟悉線性代數、機率論與演算法分析的基本概念。這是一份很短的清單，與導論中的成分清單相對應，但並不完全一致。導論把電腦科學、統計學、機率論與最佳化列為這些技術的來源。先備知識列出的則是線性代數、機率論與演算法分析。最佳化不在先備知識之中，而書從另一側補足了這一點：附錄B談凸最佳化，還有新的Fenchel對偶一節。線性代數被期待作為背景知識，書中仍然提供了複習它的充實附錄。所以先備知識與附錄是刻意重疊的，線性代數已經生疏的讀者，在同一本書裡就能找到簡明的複習。

教學方式也說得很清楚。每章都以一組習題作結，完整的解答另行提供。對一本服務兩類讀者的書來說，這是合理的安排。學生可以先做習題，再對照解答；把書當參考書用的研究者，也不必在每一頁都繞過解答。解答是以另冊或其他文件的形式提供，資料沒有說，只說是另行提供，所以我就說到這裡。

綜合來看，讀者對象、先備知識、習題與附錄，描繪出一本設計來讓人一步步做下去的書。柯朗研究所十四年的教學，就站在這個設計的背後。反覆講授的課程往往會產生這樣一套配置，不過序言並沒有明確主張這種關聯，我只是把它當作對證據的一種解讀提出來，而不是一個結論。

應用範圍很廣，書裡也這麼說 #

一本如此理論化的書，可能被誤以為遠離實務。導論用一句平實的話，預先化解了這種看法：機器學習有非常廣泛的實際應用。它點名的是文字或文件分類，其中包括垃圾郵件偵測。

垃圾郵件偵測是個好例子，原因可以用作者自己的框架來解釋。它正是前面那個例子意義下的文件分類問題：輸入有標籤的文件，輸出對未見文件的預測。樣本規模與標籤品質這兩個因素直接適用。樣本越大，任務越容易；標錯的郵件會讓任務更難。可能的類別數量很少，依前面那段的邏輯，這同樣會影響難度。我只是把書中陳述的因素套用到書中陳述的例子上，並不是在對實際運作中的垃圾郵件過濾器做任何主張。

這一段的位置裡，還藏著一個不動聲色的論證。作者把文件分類當作一種學習任務來介紹，隨即指出它絕不是唯一的一種。應用之所以廣泛，是因為底層的定義很寬。任何符合「運用經驗來提升效能或做出準確預測的運算方法」的東西都算在內。這種普遍性，也正是這本書為何要費心談理論的原因。一個意在涵蓋極廣應用的框架，不能被任何一種應用的細節綁住，而以概念類別複雜度與樣本規模表述的保證，恰恰是能在不同問題之間通用的那一類。

這本書押下的賭注 #

把這些線索收攏在一起，就浮現出一個連貫的立場，這比大多數教科書的目錄能宣稱的更多。這本書用經驗與預測來定義學習。它把時間、空間與樣本這三種複雜度列為品質的指標。它把保證與概念類別複雜度和樣本規模連結起來，並把提供這些保證的理論放在最前面。接著它在這個基礎上建構演算法章節，並公開說明，由於某些方法的保證目前仍不紮實，它略過了哪些熱門領域。

這是把賭注押在理論才能長久這件事上。我能理解，花了多年講授一門研究所課程的作者群，為什麼會這樣下注。這個賭注有代價，作者也點明了：略過圖模型與神經網路，是堅持紮實保證的代價。讀者應該誠實地掂量這個代價。如果你的工作以被略過的領域為主，這本書是一塊基石，而不是一本手冊。如果你的工作需要推斷一個學習器能否從有限樣本中泛化，這本書的詞彙正是它的價值所在。

對創業者來說，有用的啟示是最不起眼的那一條。資料的品質與規模對預測的成敗至關重要，任務的難度則取決於標籤品質與可能的主題數量。這些都是關於你往往能施加影響的輸入的陳述。這本書並沒有承諾任何特定演算法能挽救一個單薄或標錯的樣本，它不做這種承諾是對的。

對技術讀者來說，更有意思的問題，是序言留下的那個問題。作者因為某些方法目前缺乏紮實的理論保證，而略過了它們。「目前」一詞把這界定為寫作當時的狀況，而資料沒有說它是否會改變，或會如何改變。要讓這些保證紮實到足以獨立成章，需要什麼？這本書無法回答。但它精確說明自己略過了什麼、為何略過，至少指出了該往哪裡看。

對各產業的意義 #

對統計學習保證與樣本複雜度的堅持，為若干軟體與研究領域提供了可據以行動的邊界。

學術界的機器學習與課程設計 #

教育課程必須抵擋把機器學習當成經驗性的提示工程或框架管線工作的壓力。讓學生紮根於PAC框架、Rademacher複雜度與結構風險最小化，能建立持久的數學直覺，經得起曇花一現的深度學習架構不斷更替。

企業AI工程與資料價值評估 #

部署預測系統的工程團隊，常常把資本過度投入運算資源（模型規模），卻忽視樣本複雜度與標籤的忠實度。由於泛化誤差受到概念類別複雜度相對於樣本規模的嚴格約束，團隊把資金投入乾淨的標註與樣本稽核，而不是更大的未正則化模型，能獲得更高的投資報酬率。

前沿AI研究與模型稽核 #

隨著歐盟《人工智慧法》等監管框架要求自動化決策系統具備可預測的界，《Foundations of Machine Learning》中形式化的統計學習保證，成為法規遵循的必備條件。監管機關與安全稽核人員要求的是可證明的泛化界與嚴謹的模型選擇流程，而不是經驗法則式的驗證分數。

結論 #

在一個經常受到純粹經驗主義誘惑的領域裡，《Foundations of Machine Learning》仍是不可或缺的錨。透過圍繞PAC學習、Rademacher複雜度與VC維度建構整套課程，Mehryar Mohri、Afshin Rostamizadeh與Ameet Talwalkar提醒研究者，演算法上的優雅無法取代數學上的保證。作者因缺乏封閉形式的保證而坦率略過神經網路與圖模型，這不是缺陷，而是這本書最鮮明的長處，它清楚劃分出這門學科能夠嚴格證明的事物，與它僅僅觀察到的事物。

常見問題 #

作者為什麼在第二版中略過了神經網路與圖模型？

作者為求簡潔，也因為其中若干方法目前缺乏紮實的理論保證，刻意略過了神經網路與圖模型。全書嚴格圍繞那些能給出嚴謹泛化界的演算法來組織。

樣本複雜度與時間複雜度、空間複雜度有什麼不同？

時間複雜度評估執行速度，空間複雜度衡量記憶體消耗，而樣本複雜度則在給定的誤差與信賴度容許範圍內，以數學方式量化演算法學習一族概念所需的訓練資料量。

經驗風險最小化與結構風險最小化的核心差異是什麼？

經驗風險最小化（ERM）直接選擇使訓練誤差最小的假設，當假設複雜度偏高時，有過度擬合的風險。結構風險最小化（SRM）則在訓練誤差與假設複雜度（例如VC維度或Rademacher複雜度）之間取得平衡，為泛化風險提供形式化的界。

參考文獻 #

Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). 機器學習基礎（Foundations of Machine Learning）第二版 ⧉. The MIT Press.
Leslie G. Valiant, (1984). 可學習性理論 ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). 統計學習理論 ⧉. John Wiley & Sons.

最近審閱 2026-10-10.

最近審閱 2026-10-27.

重新發佈本文

機器學習教科書的目錄，如何描繪這個領域 — Sebastien Rousseau

Mehryar Mohri、Afshin Rostamizadeh與Ameet Talwalkar合著的《Foundations of Machine Learning》第二版（MIT Press，2018年）把機器學習看作設計高效而準確的預測演算法。

本文採用以下授權條款 Creative Commons Attribution 4.0 International. 重新發佈需註明原始 URL 出處。

機器學習教科書的目錄，如何描繪這個領域 — Sebastien Rousseau

Mehryar Mohri、Afshin Rostamizadeh與Ameet Talwalkar合著的《Foundations of Machine Learning》第二版（MIT Press，2018年）把機器學習看作設計高效而準確的預測演算法。

Originally published at https://sebastienrousseau.com/zh-hant/2026-10-10-jiqi-xuexi-jiaokeshu-mulu-ruhe-miaohui-tw/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER