機械学習の教科書の目次が語る、この分野の姿

TL;DR. Mehryar Mohri、Afshin Rostamizadeh、Ameet Talwalkarによる『Foundations of Machine Learning』第2版（MIT Press、2018年）は、機械学習を効率的で正確な予測アルゴリズムの設計として扱う。

主な要点

由来のはっきりした一冊. 対象を特定する事実から始めよう。書名は『Foundations of Machine Learning』で、これは第2版だ。Adaptive Computation and Machine Learningシリーズの一冊で、シリーズの編者はFrancis Bachである。著者はMehryar Mohri、Afshin Rostamizadeh、Ameet Talwalkarの3人。出版社はマサチューセッツ州ケンブリッジのThe…
重い役目を担う定義. その後のすべては一つの文にかかっている。著者たちによれば、機械学習とは広く、経験を使って性能を向上させたり正確な予測を行ったりする計算的手法と定義できる。.
一つの具体例: 文書とトピック. 序章は、具体的な学習問題で定義を地に足のついたものにしている。無作為に選ばれた文書の有限なサンプルがあり、それぞれにトピックのラベルが付いているとする。課題は、そのサンプルを使って、まだ見ていない文書のトピックを予測することだ。.
複雑さは二つではなく三つ. ここでこの本は最も特徴的な一手を打つが、短い一言として現れるので見落としやすい。著者たちによれば、機械学習とは効率的で正確な予測アルゴリズムを設計することだ。計算機科学のほかの分野と同じく、時間計算量と空間計算量はそうしたアルゴリズムの質を測る重要な尺度である。アルゴリズムを学んだ人なら誰でもこの二つを知っている。どれだけ時間がかかるのか、どれだけメモリが要るのか、だ。.

Mehryar Mohri、Afshin Rostamizadeh、Ameet Talwalkarによる『Foundations of Machine Learning』第2版（MIT Press、2018年）は、学習を経験を使って正確な予測を行うことと定義し、サンプル複雑度、ラデマッハ型の上界、理論的保証を軸に厳密なカリキュラムを組み立てている。

機械学習の本の多くは、何が作れるようになるかという約束から始まる。この本は定義から始まり、学習器が成功するかどうかを左右する量の一覧が続く。この順序は、著者たちがこの分野を何だと考えているかを物語っており、私はそれが正しい判断だと思う。予測を売りにする分野は、予測をいつ信頼してよいのかを読者に説明する責任を負う。この本が示そうとしているのは、まさにその説明だ。

本稿では、この本の前付け、序文、冒頭の数ページが実際に述べていることを通して本を読む。全章を書評するよりも狭い作業であり、その限界には正直でありたい。ここで使う資料は、扉、目次、序文、そして序章の最初の部分だ。その範囲の中にも、追うべき明確な議論がある。機械学習とは何か、それは何に依存するのか、著者たちは何を取り上げ、何を省くことにしたのか、という議論だ。

由来のはっきりした一冊 #

対象を特定する事実から始めよう。書名は『Foundations of Machine Learning』で、これは第2版だ。Adaptive Computation and Machine Learningシリーズの一冊で、シリーズの編者はFrancis Bachである。著者はMehryar Mohri、Afshin Rostamizadeh、Ameet Talwalkarの3人。出版社はマサチューセッツ州ケンブリッジのThe MIT Pressで、著作権はマサチューセッツ工科大学が保有し、日付は2018年だ。ハードカバー版のISBNは9780262039406である。

制作上の細部を二つ、一文ずつ挙げておく価値がある。本は著者自身がLaTeXで組版しており、上界、定義、証明が詰まったテキストにはふさわしい。印刷と製本はアメリカ合衆国で行われた。どちらの細部も数学の読み方を変えはしない。だが自分の本を自ら組版した著者は全ページに手を入れているわけで、この種の本ではそれが安心材料になる。

それより重要なのは内容の出自だ。その大部分は、同じく「Foundations of Machine Learning」という名の大学院の講義に端を発しており、第一著者がニューヨーク大学のクーラント数理科学研究所で過去14年にわたって教えてきたものだ。具体的で、確かめることのできる来歴である。一つの講義を14年教えるなかで育った教科書は、学生が難しいと感じたところによって形づくられてきたと考えるのが自然で、後で述べる演習や付録もそのように読める。ただし、資料が許す以上にこの推論を押し広げないよう注意したい。序文は内容の出どころを述べているが、講義が何度改訂されたのか、学生がどこでつまずいたのかは述べていない。それでも述べられていることだけで十分だ。これは講義の教材であり、文献から寄せ集めたサーベイではない。

重い役目を担う定義 #

その後のすべては一つの文にかかっている。著者たちによれば、機械学習とは広く、経験を使って性能を向上させたり正確な予測を行ったりする計算的手法と定義できる。

この文の名詞にはそれぞれ役目がある。「計算的手法」は、この分野を計算機科学の内側に置く。次に「経験」が定められる。それは学習器が利用できる過去の情報を指す。この文は、学習器が何かを理解しているという主張を一切含まず、知能についても何も言っていない。学習器が持っているのは過去の情報と目標、つまり性能の向上か正確な予測であり、この分野全体はその二つの関係を扱う。

技術系の読者や創業者にとって、これは世に出回っているもっと大げさな定義よりも役に立つ定義だと私は考える。自分が操作できるレバーをまっすぐに指し示しているからだ。学習が過去の情報の関数なら、結果に対するあなたの影響力は、どんな情報をどれだけ集めるかにある。テキストの次の主張もまさにそう言っている。データの質と量は、学習器が行う予測の成功にとって決定的に重要だ。この主張はテキストのなかで、ただし書きのない素朴な仕組みとして示されている。

著者たちは手法そのものも説明している。それは計算機科学の基本概念と、統計学、確率論、最適化の考え方を組み合わせたデータ駆動型の手法だ。この一文は、前提知識の一覧と、この分野の隣接領域の地図を兼ねている。学習システムを作ろうとするチームは、計算機科学、統計学、確率論、最適化を同時に頼ることになる。そのどれかを任意とみなすのは、この本が支持しない選択だ。

一つの具体例: 文書とトピック #

序章は、具体的な学習問題で定義を地に足のついたものにしている。無作為に選ばれた文書の有限なサンプルがあり、それぞれにトピックのラベルが付いているとする。課題は、そのサンプルを使って、まだ見ていない文書のトピックを予測することだ。

この設定はゆっくり読むだけの価値がある。サンプルは有限なので、学習器がすべてを見ることはない。文書は無作為に選ばれており、だからこそ有限のサンプルが未見の文書について何かを語れる。各文書にはトピックのラベルが付いているので、学習器には教師情報がある。そして目標はまだ見ていない文書であり、そこに予測と暗記の違いがある。

著者たちはそこから、課題を易しくも難しくもする二つの要因を引き出す。一つ目は大きさだ。当然ながら、サンプルが大きいほど課題は易しい。二つ目はラベルの質だ。課題の難しさは、サンプル中の文書に付けられたラベルの質にも依存する。ラベルがすべて正しいとは限らないからだ。さらに、ありうるトピックの数にも依存する。

この文には三つの別々のダイヤルがある。サンプルサイズが一つ。ラベルの正しさがもう一つ。ありうるトピックの数が三つ目だ。どれもアルゴリズムの話ではない。いずれも問題とデータの性質であり、手法を選ぶ前に問題の難しさを決めてしまう。予算をどこに使うかを決める創業者にとって、これは鋭い指摘だ。ラベルを改善したりサンプルを増やしたりできるなら、それは著者たちが難しさを決めるものとして明示した要因に働きかけていることになる。

この例は自分の課題に名前も付けている。文書のラベルを予測することは文書分類とも呼ばれ、著者たちはすぐに、それが学習課題のすべてではまったくないと付け加える。この注意は読み飛ばしやすい。文書の例は乗り物にすぎず、その下にある主張は一般的なものだ。

複雑さは二つではなく三つ #

ここでこの本は最も特徴的な一手を打つが、短い一言として現れるので見落としやすい。著者たちによれば、機械学習とは効率的で正確な予測アルゴリズムを設計することだ。計算機科学のほかの分野と同じく、時間計算量と空間計算量はそうしたアルゴリズムの質を測る重要な尺度である。アルゴリズムを学んだ人なら誰でもこの二つを知っている。どれだけ時間がかかるのか、どれだけメモリが要るのか、だ。

そこに追加がある。機械学習ではさらに、アルゴリズムがある概念族を学習するのに必要なサンプルサイズを評価するための、サンプル複雑度という概念が必要になる。これは並べ替えの処理には対応物のない尺度だ。ソートのアルゴリズムに、例がいくつ必要かを教える必要はない。学習器には必要だ。その出力はまだ見ていない事例についての予測であり、その予測の裏にある経験の量は、あなたが支払っているものの一部だからだ。

私ならこう言う。時間と空間はアルゴリズムを動かすのにかかるコストを教え、サンプル複雑度はそれを教えるのにかかるコストを教える。速くても現実的でないほど大きなサンプルを必要とする学習器は、データを集める人にとって意味のあるどんな意味でも効率的ではない。三つ目の尺度をほかの二つと並べることで、この本は、データは値段のついた資源であり、計算資源やメモリと同じように予算を組むべきものだと言っているのだ。

テキストは同じ方向に進む。より一般的には、あるアルゴリズムの理論的な学習保証は、扱う概念クラスの複雑さと訓練サンプルの大きさに依存する。保証が何でできているかを簡潔に述べた文だ。入力は二つ、概念族がどれだけ豊かか、そして訓練データがどれだけあるかであり、保証とはそれらを性能と結びつける言明だ。これが本の構成について何を意味するかに注目してほしい。続く章は概念クラスの複雑さを測る方法を提供しなければならず、目次はそれが実際に提供されていることを示している。

著者たちは、この分野がなぜ今の位置にあるのかも説明している。学習アルゴリズムの成功は使われるデータに依存するので、機械学習は本質的にデータ分析や統計学と関係している。仕組みははっきり述べられている。成功はデータに依存する、だからこの分野はデータを研究する学問と絡み合う。私はこれを序章で最も誠実な文だと思う。統計学を競争相手としても祖先としても示していない。統計学を、学習が依存するものから導かれる帰結として示しているのだ。

観点	時間計算量	空間計算量	サンプル複雑度
操作的定義	仮説 $h$ を出力するのに必要な漸近的実行時間	訓練と評価の間に必要なメモリ使用量	概念族を学習するのに必要な訓練例の数 $m$
支配する理論	計算複雑性理論（P対NP、訓練の困難さ）	アーキテクチャのメモリ制約とキャッシュの局所性	PAC学習、ラデマッハ複雑度、VC次元
コストへの影響	サーバーの計算資源とGPU/CPUの推論予算	RAMとオンチップSRAMの容量	データの収集、アノテーション、ラベル付けのコスト
理論上の役割	アルゴリズムの実行時間効率を測る	空間資源の効率を測る	未見のデータに対する汎化誤差とその上界を決める

理論の背骨 #

序文は本の構成を述べている。最初の三つか四つの章が、後に続く内容の理論的な土台を築く。目次を見れば、少なくとも章題のレベルでは、その土台が何でできているかがわかる。

目次の最初の章は「The PAC Learning Framework」（PAC学習の枠組み）と題され、その中に「Guarantees for finite hypothesis sets - consistent case」（有限仮説集合に対する保証、無矛盾な場合）と「Guarantees for finite hypothesis sets - inconsistent case」（有限仮説集合に対する保証、矛盾がある場合）という節がある。節の名前から二つのことがわかる。一つは、この枠組みが保証を生み出すことで、序章の強調と一致する。もう一つは、保証が無矛盾な場合と矛盾がある場合に分けられ、本がその二つを別々に扱っていることだ。無矛盾な場合と矛盾がある場合に何が含まれるのかについて推測はしない。ここでの資料は節の題しか与えていないからだ。だがこの組み合わせは、著者たちがきれいな定理を一つ示して先へ進むのではないことを示している。より難しく、より厄介な場合に独自の節を与えているのだ。

次に挙がっている章は「Rademacher Complexity and VC-Dimension」（ラデマッハ複雑度とVC次元）だ。その節はラデマッハ複雑度、成長関数、VC次元、下界を扱う。序章と照らし合わせて読むと、この章は序章が投げかける問いへの自然な答えになっている。保証が扱う概念クラスの複雑さに依存するなら、その複雑さを測る道具が必要だ。ラデマッハ複雑度、成長関数、VC次元が、その役目を担う節として並んでいる。節の一覧に下界が含まれていることも注目に値する。上界だけを示す本は何が達成できるかを教えてくれる。下界も含める本は、何が達成できないかも教えてくれる。

続いて第4章「Model Selection」（モデル選択）があり、その節には経験リスク最小化（ERM）と構造リスク最小化（SRM）が含まれる。第2版を見るときにこの章に戻ろう。新版で最も大きく変わった箇所の一つだからだ。

この構成は意図的なものだ。まず土台、次に複雑さを測る仕組み、次にモデル選択、そしてその後でようやくアルゴリズム。教え方として筋が通っており、本自身による説明とも一致している。冒頭の章が理論を築き、残りがその上に積み上がる。

理論からアルゴリズムへ: サポートベクターマシンとカーネル #

目次には続くアルゴリズムの章も挙がっている。一つは「Support Vector Machines」（サポートベクターマシン）と題され、分離可能な場合と分離不可能な場合の節がある。それぞれの節は主最適化問題、サポートベクター、双対最適化問題を扱う。もう一つは「Kernel Methods」（カーネル法）と題されている。

サポートベクターマシンの章の形そのものが示唆に富む。分離可能と分離不可能の両方の見出しの下に、同じ三つの話題が現れる。主最適化問題、サポートベクター、双対最適化問題だ。この繰り返しは並行した扱い、つまり異なる仮定の下で同じ問いを二度立てることを示唆している。この並行関係はPACの章の無矛盾と矛盾の区分と重なるので、本全体に一つのパターンが見えてくる。まずきれいな場合、次にそのきれいな仮定が崩れる場合だ。

目次から読み取りすぎることには慎重でありたい。目次は本が何を扱い、内容をどう区切っているかは教えてくれる。どの節がどれだけよく書かれているかは教えてくれないし、これらの資料にもそうした記述はない。目次が示しているのは、サポートベクターマシンの章の最適化の言葉、主問題と双対問題が、手法を計算機科学と統計学、確率論、最適化の考え方の組み合わせとした序章の説明に結びついていることだ。その一覧の最適化の筋が、これらの節の題に具体的に現れている。

本はまた、多クラス分類、ランキング、回帰のそれぞれに独立した章を割いている。これは擁護に値する設計上の判断だ。これらを二値分類の脚注として扱うのは簡単だっただろう。それぞれに独自の章を与えることは、著者たちがこれらを独自の分析を持つ別個の問題とみなしていることを示しており、一つの視点に偏った提示ではなく複数の話題を統一的に提示するという、掲げられた目標とも一致する。

この本があえて扱わないもの #

序文で最も興味深い一節は、省略についてのものだ。著者たちによれば、この本は機械学習への総合的な入門書であり、研究者には参考書として、学生には教科書として役立つ。その広い主張をしたうえで、彼らは限界を付け加える。グラフィカルモデルやニューラルネットワークを含む、いくつかの重要な話題を省くことにした、と。

これほど率直にそう言う教科書は少なく、その率直さは強みだと私は考える。何が欠けているかを前もって知っている読者は、それを見越して計画を立てられる。ニューラルネットワークが必要な人は、第9章でその欠落に気づくのではなく、ほかを当たるべきだとわかる。

理由も述べられている。省略は簡潔さのためであり、また一部の手法には現時点で確かな理論的保証がないためでもある。理由は二つ挙げられている。簡潔さはどんな本にもある実際的な制約だ。二つ目の理由こそ、本の哲学について何かを教えてくれる。

それを序章に結びつけてみよう。理論的な学習保証は、この本が組み立てられている中心だ。保証は概念クラスの複雑さと訓練サンプルの大きさに依存し、理論の章が最初に来るのは、ほかのすべてがその上に築かれるからだ。確かな保証が現時点で欠けている手法は、こう組み立てられた本のなかでは収まりが悪い。だから省略は、本の中心的な姿勢から導かれる。著者たちが冒頭に選んだこの分野の定義と整合しているのだ。

ここには注意すべき点がある。テキストは「一部の手法」と言っているので、主張は省いた話題のすべてではなく一部の手法について確かな保証が欠けているということだ。そして「現時点で」と言っており、判断を執筆時点に結びつけている。これを「ニューラルネットワークには理論がない」と要約したくなる誘惑には抵抗したい。資料はそうは言っていない。言っているのは、一部の手法には保証が現時点で欠けており、それが簡潔さとともに、グラフィカルモデルとニューラルネットワークが省かれた理由だということだ。

何を学ぶかを選ぶ技術系の読者にとって、実際的な帰結は単純だ。この本は保証の語彙を与えてくれ、どの領域を扱わないかもはっきり教えてくれる。

第2版で何が変わったか #

第2版は、訂正を加えた再版以上のものだ。序文は追加点を列挙しており、その一つひとつが、著者たちが初版のどこを手薄だと考えていたかを教えてくれる。

最大の変更は、モデル選択についての丸ごと一章、第4章だ。著者たちはこれを重要な話題であり、前の版では簡単に触れただけだったと説明している。言葉は率直だ。初版がそれをよく扱っていたとは言っていない。簡単に触れただけだったと言い、今回は丸ごと一章を割いたと言っている。目次が示すとおり、その節には経験リスク最小化（ERM）と構造リスク最小化（SRM）が含まれる。

なぜモデル選択が格上げに値するのか。資料はそれを述べておらず、私が著者たちに代わって理由をでっち上げることはしない。だが配置は多くを語る。第4章はPACの枠組みの章と、ラデマッハ複雑度とVC次元の章のすぐ後に来ており、序文が理論的な土台を築くと呼ぶ最初の三つか四つの章の内側に収まる。つまり著者たちはモデル選択を後付けで付け足したのではない。理論的な土台に組み込んだのだ。

次の追加は、最大エントロピーモデルについての新しい章、第12章と、条件付き最大エントロピーモデルについての新しい章、第13章だ。まったく新しい章が二つというのはかなりの拡張であり、本はいまやこの二つに連続した章を割いている。

付録も変わった。著者たちは凸最適化を扱う付録Bにフェンシェル双対性の節を丸ごと加え、情報理論についての付録Eを新設した。本には線形代数を簡潔に復習する充実した付録も含まれている。これらの変更は一貫した方向を指している。章とともに、それを支える数学も厚くなった。フェンシェル双対性は凸最適化の付録に加わり、情報理論は独自の付録を得た。情報理論が最大エントロピーの章を支えるためにわざわざ置かれていると言うのは控えたい。資料にそうしたつながりは述べられておらず、二つの追加は序文の中で別々の項目として挙がっているからだ。同じ版で加わったという時期の一致は、一致のままにしておく。

誰のための本で、どう読まれることを想定しているか #

本は読者層を明記している。機械学習、統計学、その他の関連分野の学生と研究者を対象とする。この一覧には統計学が名指しで含まれており、機械学習は本質的にデータ分析や統計学と関係しているという序章の指摘と響き合う。

前提とする知識も述べている。読者には線形代数、確率論、アルゴリズム解析の基本概念に親しんでいることが期待される。短い一覧であり、序章が挙げた材料の一覧と、正確にではないが対応している。序章は手法の源として計算機科学、統計学、確率論、最適化を挙げている。前提知識として挙がっているのは線形代数、確率論、アルゴリズム解析だ。最適化は前提知識に含まれておらず、本はそれを反対側から補っている。付録Bが凸最適化を扱い、新しいフェンシェル双対性の節も入っている。線形代数は予備知識として期待されているが、本はそれでも線形代数を復習する充実した付録を用意している。つまり前提知識と付録は意図的に重なっており、線形代数が錆びついた読者は同じ表紙の内側で簡潔な復習ができる。

教え方もはっきり述べられている。各章は一連の演習で締めくくられ、完全な解答は別に提示される。二つの読者層に応える本としては理にかなった仕組みだ。学生は演習に取り組んで解答と照らし合わせることができ、本を参考書として使う研究者は、ページごとに解答を読み飛ばさずに済む。解答が別冊なのか何か別の文書なのかについて資料は何も言っておらず、別に提示されるとしか述べていないので、そこまでにしておく。

まとめると、読者層、前提知識、演習、付録は、通して取り組むように設計された本を描き出している。クーラント研究所での14年の教育がこの設計の背後にある。繰り返し教えられてきた講義はこの種の仕掛けを生みがちだが、序文はそのつながりを明示的には主張しておらず、私はこれを発見としてではなく、証拠の一つの読み方として示しているにすぎない。

応用は幅広く、本はそう明言している #

これほど理論的な本は、実践から遠いものと誤解されかねない。序章はそれを素朴な言明で先回りして防ぐ。機械学習には非常に幅広い実用上の応用がある。挙げられているのはテキストや文書の分類で、スパム検出もそこに含まれる。

スパム検出が良い例である理由は、著者たち自身の枠組みで説明できる。これは先の例とまったく同じ意味での文書分類の問題だ。ラベル付きの文書が入り、未見の文書についての予測が出る。サンプルサイズとラベルの質という要因がそのまま当てはまる。サンプルが大きいほど課題は易しくなり、ラベルの誤ったメッセージは課題を難しくする。ありうるカテゴリーの数は少なく、それも先の一節の論理によれば難しさに関わる。私は本が述べた要因を本が述べた例に当てはめているだけで、現実に使われているスパムフィルターについて何かを主張しているわけではない。

この一節の配置には、静かな議論も込められている。著者たちは文書分類を一つの学習課題として紹介し、すぐにそれが唯一のものではまったくないと付け加える。応用が幅広いのは、根底にある定義が幅広いからだ。「経験を使って性能を向上させたり正確な予測を行ったりする計算的手法」に当てはまるものなら何でも該当する。この一般性こそ、本がわざわざ理論に取り組む理由でもある。非常に幅広い応用を扱うための枠組みは、どれか一つの細部に縛られるわけにはいかない。そして概念クラスの複雑さとサンプルサイズで述べられた保証は、まさに問題から問題へと持ち運べる種類のものだ。

この本が賭けているもの #

糸をまとめると、一貫した立場が浮かび上がる。これはたいていの教科書の目次が主張できる以上のことだ。この本は学習を経験と予測の観点から定義する。質の尺度として三つの複雑さ、時間、空間、サンプルを挙げる。保証を概念クラスの複雑さとサンプルサイズに結びつけ、その保証を与える理論を最初に置く。そしてその基盤の上にアルゴリズムの章を築き、一部の手法の保証が今のところ確かではないために、どの人気分野を省くのかを公然と述べる。

これは、長く残るのは理論だという賭けだ。大学院の講義を何年も教えてきた著者たちがこの賭けをする理由はよくわかる。この賭けにはコストがあり、著者たちはそれを名指ししている。グラフィカルモデルとニューラルネットワークの省略は、確かな保証にこだわることの代償だ。読者はそのコストを正直に量るべきだ。あなたの仕事が省かれた分野に占められているなら、この本はマニュアルではなく土台になる。学習器が有限のサンプルから汎化するかどうかを推論する必要がある仕事なら、この本の語彙こそが要点だ。

創業者にとって役に立つ教訓は、最も地味なものだ。データの質と量は予測の成功にとって決定的に重要であり、課題の難しさはラベルの質とありうるトピックの数に依存する。これらは、多くの場合あなたが影響を与えられる入力についての言明だ。この本は、何か特定のアルゴリズムが貧弱なサンプルやラベルの誤ったサンプルを救ってくれるとは約束しておらず、約束しないのは正しい。

技術系の読者にとって、より興味深い問いは序文が開いたままにしている問いだ。著者たちは、現時点で確かな理論的保証がないために一部の手法を省いた。「現時点で」という言葉はそれを執筆時点の状況として位置づけており、それが変わるのかどうか、どう変わりうるのかについて資料は何も言っていない。そうした保証が章を割くに値するほど確かなものになるには何が必要なのか。本はそれに答えられない。何を省き、なぜ省くのかについて正確であることで、少なくともどこを見ればよいかは示している。

業界別の意味 #

統計的な学習保証とサンプル複雑度へのこだわりは、いくつかのソフトウェアと研究の領域に実行可能な境界線を与える。

学術的な機械学習とカリキュラム設計 #

教育プログラムは、機械学習を経験的なプロンプトエンジニアリングやフレームワークの配管作業として扱う圧力に抵抗しなければならない。学生の基礎をPACの枠組み、ラデマッハ複雑度、構造リスク最小化に置くことで、移ろいやすい深層学習アーキテクチャの入れ替わりを生き延びる、長持ちする数学的直観が身につく。

企業のAIエンジニアリングとデータの価値評価 #

予測システムを導入するエンジニアリング組織は、サンプル複雑度とラベルの忠実度をおろそかにしながら、計算資源（モデルの規模）に資本を過剰に配分しがちだ。汎化誤差はサンプルサイズに対する概念クラスの複雑さによって厳密に上から抑えられるので、チームはより大きな正則化なしのモデルではなく、きれいなアノテーションとサンプルの監査に投資することで、より高いROIを得られる。

最先端のAI研究とモデル監査 #

EUのAI法のような規制の枠組みが自動意思決定システムに予測可能な上界を求めるにつれ、『Foundations of Machine Learning』で定式化された統計的学習保証はコンプライアンス上の必須事項になる。規制当局と安全性の監査人は、経験則的な検証スコアではなく、証明可能な汎化の上界と厳密なモデル選択の手順を求める。

結論 #

『Foundations of Machine Learning』は、むき出しの経験主義に誘惑されがちな分野において、今も欠かせない錨であり続けている。PAC学習、ラデマッハ複雑度、VC次元を軸にカリキュラム全体を組み立てることで、Mehryar Mohri、Afshin Rostamizadeh、Ameet Talwalkarは、アルゴリズムの優雅さが数学的保証の代わりにはならないことを研究者に思い出させる。閉じた形の保証がないことを理由に、著者たちがニューラルネットワークとグラフィカルモデルを率直に省いたことは欠点ではない。それはこの本を決定づける強みであり、この分野が厳密に証明できることと、単に観察しているにすぎないことをはっきりと区別している。

よくある質問 #

なぜ著者たちは第2版からニューラルネットワークとグラフィカルモデルを省いたのですか。

著者たちは簡潔さのため、そしてそれらの手法のいくつかには現時点で確かな理論的保証がないために、ニューラルネットワークとグラフィカルモデルを意図的に省きました。本は、厳密な汎化の上界が得られるアルゴリズムを軸に厳格に構成されています。

サンプル複雑度は時間計算量や空間計算量と何が違うのですか。

時間計算量が実行速度を、空間計算量がメモリ消費を評価するのに対し、サンプル複雑度は、指定された誤差と信頼度の許容範囲内である概念族を学習するのに、アルゴリズムが必要とする訓練データの量を数学的に定量化します。

経験リスク最小化と構造リスク最小化の核心的な違いは何ですか。

経験リスク最小化（ERM）は訓練誤差を直接最小化する仮説を選ぶため、仮説の複雑さが高いと過学習の危険があります。構造リスク最小化（SRM）は、訓練誤差と仮説の複雑さ（VC次元やラデマッハ複雑度など）の釣り合いを取り、汎化リスクに形式的な上界を与えます。

参考文献 #

Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). 機械学習の基礎（Foundations of Machine Learning）第2版 ⧉. The MIT Press.
Leslie G. Valiant, (1984). 学習可能なものの理論 ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). 統計的学習理論 ⧉. John Wiley & Sons.

最終確認日 2026-10-10.

最終確認日 2026-10-27.

この記事を転載

機械学習の教科書の目次が語る、この分野の姿 — Sebastien Rousseau

Mehryar Mohri、Afshin Rostamizadeh、Ameet Talwalkarによる『Foundations of Machine Learning』第2版（MIT Press、2018年）は、機械学習を効率的で正確な予測アルゴリズムの設計として扱う。

本記事のライセンスは Creative Commons Attribution 4.0 International. 転載の際は正規URLへの帰属表示が必要です。

機械学習の教科書の目次が語る、この分野の姿 — Sebastien Rousseau

Mehryar Mohri、Afshin Rostamizadeh、Ameet Talwalkarによる『Foundations of Machine Learning』第2版（MIT Press、2018年）は、機械学習を効率的で正確な予測アルゴリズムの設計として扱う。

Originally published at https://sebastienrousseau.com/ja/2026-10-10-kikai-gakushu-kyokasho-mokuji-kataru-bunya/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER