Apa kata daftar isi buku ajar pembelajaran mesin tentang bidangnya

Foundations of Machine Learning (edisi kedua, MIT Press, 2018) karya Mehryar Mohri, Afshin Rostamizadeh, dan Ameet Talwalkar mendefinisikan pembelajaran sebagai penggunaan pengalaman untuk membuat prediksi yang akurat, dan membangun kurikulum yang ketat di sekitar kompleksitas sampel, batas Rademacher, dan jaminan teoretis.

Sebagian besar buku tentang pembelajaran mesin dibuka dengan janji tentang apa yang akan bisa Anda bangun. Buku ini dibuka dengan sebuah definisi dan daftar besaran yang menentukan apakah seorang pembelajar berhasil. Urutan itu menunjukkan apa yang dianggap penulis sebagai pokok bahasannya, dan menurut saya itu keputusan yang tepat. Bidang yang menjual dirinya lewat prediksi berutang kepada pembacanya penjelasan tentang kapan prediksi bisa dipercaya, dan penjelasan itulah yang hendak diberikan buku ini.

Artikel ini membaca buku tersebut lewat apa yang sebenarnya dikatakan bagian awal, prakata, dan halaman pembukanya. Itu pekerjaan yang lebih sempit daripada mengulas setiap bab, dan pekerjaan ini jujur tentang batasnya: sumber di sini adalah halaman judul, daftar isi, prakata, dan bagian pertama pendahuluan. Dalam batas itu ada argumen yang jelas untuk diikuti. Argumen itu menyangkut apa itu pembelajaran mesin, apa yang menjadi sandarannya, apa yang dipilih penulis untuk dibahas, dan apa yang dipilih untuk ditinggalkan.

Buku dengan silsilah yang jelas #

Mulailah dengan fakta yang menambatkan objeknya. Judul bukunya Foundations of Machine Learning, dan ini edisi kedua. Buku ini termasuk seri Adaptive Computation and Machine Learning, dengan Francis Bach sebagai editor seri. Penulisnya Mehryar Mohri, Afshin Rostamizadeh, dan Ameet Talwalkar. Penerbitnya The MIT Press, Cambridge, Massachusetts, dan hak ciptanya dipegang Massachusetts Institute of Technology, bertanggal 2018. Edisi bersampul keras memiliki ISBN 9780262039406.

Dua detail produksi layak mendapat satu kalimat masing-masing. Buku ini disusun dalam LaTeX oleh para penulisnya sendiri, yang cocok untuk teks yang padat dengan batas, definisi, dan pembuktian, dan dicetak serta dijilid di Amerika Serikat. Kedua detail itu tidak mengubah cara Anda membaca matematikanya. Namun penulis yang menata huruf bukunya sendiri telah menyentuh setiap halaman, dan untuk buku semacam ini hal itu menenangkan.

Asal-usul materinya lebih penting. Sebagian besar berasal dari mata kuliah pascasarjana, yang juga bernama Foundations of Machine Learning, yang diajarkan penulis pertama di Courant Institute of Mathematical Sciences, New York University, selama empat belas tahun terakhir. Itu asal-usul yang spesifik dan bisa diperiksa. Buku ajar yang tumbuh dari empat belas tahun mengajar satu mata kuliah kemungkinan besar dibentuk oleh apa yang dianggap sulit oleh mahasiswa, dan latihan serta lampiran yang dijelaskan di bawah memang terbaca seperti itu. Saya berhati-hati untuk tidak mendorong kesimpulan itu lebih jauh daripada yang dimungkinkan sumbernya. Prakata menyebutkan dari mana materi itu berasal, tetapi tidak menyebutkan berapa kali mata kuliah itu direvisi atau di mana mahasiswa kesulitan. Yang disebutkannya sudah cukup: ini materi kuliah, bukan survei yang dirakit dari literatur.

Definisi yang memikul beban terberat #

Segala sesuatu sesudahnya bergantung pada satu kalimat. Pembelajaran mesin, tulis para penulis, dapat didefinisikan secara luas sebagai metode komputasi yang menggunakan pengalaman untuk meningkatkan kinerja atau untuk membuat prediksi yang akurat.

Setiap kata benda dalam kalimat itu punya tugas. “Metode komputasi” menempatkan pokok bahasan di dalam ilmu komputer. “Pengalaman” lalu ditetapkan: istilah itu merujuk pada informasi masa lalu yang tersedia bagi pembelajar. Kalimat itu tidak mengklaim bahwa pembelajar memahami apa pun, dan tidak menyebut kecerdasan sama sekali. Seorang pembelajar memiliki informasi masa lalu dan sebuah sasaran, yaitu kinerja yang meningkat atau prediksi yang akurat, dan seluruh disiplin ini membahas hubungan antara keduanya.

Saya berpendapat definisi ini lebih berguna bagi pembaca teknis dan pendiri perusahaan daripada definisi yang lebih megah yang beredar, karena definisi ini menunjuk langsung ke tuas yang Anda kendalikan. Jika pembelajaran adalah fungsi dari informasi masa lalu, maka pengaruh Anda atas hasilnya terletak pada informasi apa yang Anda kumpulkan dan seberapa banyak. Klaim berikutnya dalam teks mengatakan hal yang sama: kualitas dan ukuran data sangat menentukan keberhasilan prediksi yang dibuat pembelajar. Pernyataan itu disajikan dalam teks sebagai mekanisme yang lugas, tanpa syarat apa pun.

Para penulis juga menggambarkan tekniknya. Teknik itu adalah metode berbasis data yang memadukan konsep dasar ilmu komputer dengan gagasan dari statistika, probabilitas, dan optimisasi. Kalimat itu sekaligus berfungsi sebagai daftar prasyarat dan peta tetangga bidang ini. Tim yang ingin membangun sistem pembelajaran menimba dari ilmu komputer, statistika, probabilitas, dan optimisasi sekaligus. Menganggap salah satunya opsional adalah pilihan yang tidak didukung buku ini.

Satu contoh yang diuraikan: dokumen dan topik #

Pendahuluan menambatkan definisi itu pada masalah pembelajaran yang konkret. Ambil sampel hingga berupa dokumen yang dipilih secara acak, masing-masing diberi label sebuah topik. Tugasnya adalah memakai sampel itu untuk memprediksi topik dokumen yang belum pernah dilihat.

Susunan ini layak dibaca perlahan. Sampelnya hingga, jadi pembelajar tidak pernah melihat semuanya. Dokumennya dipilih secara acak, dan itulah yang memungkinkan sampel hingga mengatakan sesuatu tentang dokumen yang belum dilihat. Masing-masing diberi label topik, jadi pembelajar mendapat supervisi. Dan sasarannya adalah dokumen yang belum pernah dilihatnya, yang merupakan perbedaan antara memprediksi dan menghafal.

Para penulis lalu menunjukkan dua hal yang membuat tugas itu lebih mudah atau lebih sulit. Yang pertama adalah ukuran: jelas, semakin besar sampelnya, semakin mudah tugasnya. Yang kedua adalah kualitas label. Tingkat kesulitan tugas juga bergantung pada kualitas label yang diberikan pada dokumen dalam sampel, karena tidak semua label mungkin benar, dan pada jumlah topik yang mungkin.

Kalimat itu memuat tiga kenop terpisah. Ukuran sampel salah satunya. Ketepatan label yang lain. Jumlah topik yang mungkin yang ketiga. Tidak satu pun menyangkut algoritmenya. Semuanya adalah sifat masalah dan data, dan semuanya menentukan seberapa sulit masalahnya sebelum metode apa pun dipilih. Bagi pendiri yang memutuskan ke mana anggaran dibelanjakan, ini pengamatan yang tajam. Jika Anda bisa memperbaiki label atau memperbesar sampel, Anda sedang menggarap faktor yang disebut eksplisit oleh penulis sebagai penentu kesulitan.

Contoh itu juga menamai tugasnya sendiri. Memprediksi label sebuah dokumen juga dikenal sebagai klasifikasi dokumen, dan para penulis segera menambahkan bahwa itu sama sekali bukan satu-satunya tugas pembelajaran. Peringatan itu mudah terlewat. Contoh dokumen hanyalah kendaraan, dan klaim di baliknya bersifat umum.

Tiga kompleksitas, bukan dua #

Di sinilah buku ini membuat langkahnya yang paling khas, dan langkah itu mudah terlewat karena muncul sebagai catatan singkat. Pembelajaran mesin, kata para penulis, terdiri atas perancangan algoritme prediksi yang efisien dan akurat. Seperti di bidang lain ilmu komputer, kompleksitas waktu dan ruang adalah ukuran penting kualitas algoritme semacam itu. Siapa pun yang pernah mempelajari algoritme akan mengenali keduanya. Berapa lama waktunya, dan berapa banyak memori yang diperlukan?

Lalu datang tambahannya. Pembelajaran mesin juga membutuhkan gagasan kompleksitas sampel untuk menilai ukuran sampel yang diperlukan algoritme untuk mempelajari satu keluarga konsep. Inilah ukuran yang tidak punya padanan dalam rutin pengurutan. Algoritme pengurutan tidak perlu diberi tahu berapa banyak contoh yang dibutuhkannya. Pembelajar perlu, karena keluarannya adalah prediksi tentang kasus yang belum pernah dilihatnya, dan jumlah pengalaman di balik prediksi itu termasuk yang Anda bayar.

Saya akan merumuskannya begini: waktu dan ruang memberi tahu Anda biaya menjalankan sebuah algoritme, dan kompleksitas sampel memberi tahu biaya mengajarinya. Pembelajar yang cepat tetapi membutuhkan sampel yang terlalu besar untuk dipraktikkan tidak efisien dalam arti apa pun yang penting bagi orang yang mengumpulkan data. Menempatkan ukuran ketiga di samping dua yang lain adalah cara buku ini mengatakan bahwa data adalah sumber daya yang punya harga, yang harus dianggarkan seperti komputasi dan memori.

Teksnya berlanjut ke arah yang sama. Secara lebih umum, jaminan pembelajaran teoretis untuk sebuah algoritme bergantung pada kompleksitas kelas konsep yang ditinjau dan ukuran sampel pelatihan. Itu pernyataan ringkas tentang dari apa sebuah jaminan dibuat. Ada dua masukan, seberapa kaya keluarga konsepnya dan berapa banyak data pelatihan yang Anda punya, dan jaminan adalah pernyataan yang mengaitkan keduanya dengan kinerja. Perhatikan apa implikasinya bagi struktur buku ini. Bab-bab berikutnya harus menyediakan cara mengukur kompleksitas sebuah kelas konsep, dan daftar isi menunjukkan bahwa bab-bab itu memang melakukannya.

Para penulis juga menjelaskan mengapa bidang ini berada di tempatnya. Karena keberhasilan algoritme pembelajaran bergantung pada data yang dipakai, pembelajaran mesin pada dasarnya berkaitan dengan analisis data dan statistika. Mekanismenya dinyatakan terang: keberhasilan bergantung pada data, maka pokok bahasannya terjalin dengan disiplin yang mempelajari data. Menurut saya ini kalimat paling jujur dalam pendahuluan. Kalimat itu tidak menyajikan statistika sebagai saingan atau leluhur. Kalimat itu menyajikan statistika sebagai akibat dari apa yang menjadi sandaran pembelajaran.

Dimensi	Kompleksitas Waktu	Kompleksitas Ruang	Kompleksitas Sampel
Definisi Operasional	Waktu jalan asimtotik yang diperlukan untuk menghasilkan hipotesis $h$	Jejak memori yang diperlukan selama pelatihan dan evaluasi	Jumlah contoh pelatihan $m$ yang diperlukan untuk mempelajari keluarga konsep
Teori yang Mengatur	Kompleksitas komputasi (P vs NP, kesulitan pelatihan)	Batasan memori arsitektur dan lokalitas cache	Pembelajaran PAC, kompleksitas Rademacher, dan dimensi VC
Implikasi Biaya	Komputasi server dan anggaran inferensi GPU/CPU	Kapasitas RAM dan SRAM dalam cip	Biaya pengumpulan, anotasi, dan pelabelan data
Peran Teoretis	Mengukur efisiensi waktu jalan algoritme	Mengukur efisiensi sumber daya ruang	Menentukan galat generalisasi dan batasnya atas data yang belum dilihat

Tulang punggung teoretis #

Prakata menyatakan bagaimana buku ini disusun. Tiga atau empat bab pertama meletakkan landasan teoretis bagi materi berikutnya. Daftar isi memungkinkan kita melihat dari apa landasan itu dibuat, setidaknya menurut judulnya.

Bab pertama dalam daftar isi berjudul “The PAC Learning Framework” (kerangka pembelajaran PAC), dan di dalamnya ada subbab berjudul “Guarantees for finite hypothesis sets - consistent case” dan “Guarantees for finite hypothesis sets - inconsistent case” (jaminan untuk himpunan hipotesis hingga, kasus konsisten dan kasus tidak konsisten). Nama-nama subbab itu memberi tahu dua hal. Pertama, kerangka itu menghasilkan jaminan, yang sesuai dengan penekanan pendahuluan. Kedua, jaminannya dipisah menurut apakah kasusnya konsisten atau tidak konsisten, dan buku ini membahas keduanya secara terpisah. Saya tidak akan menebak isi kasus konsisten dan tidak konsisten, karena sumber di sini hanya memberikan judul subbab. Namun pasangan itu menunjukkan bahwa penulis tidak menyajikan satu teorema yang rapi lalu berlalu. Mereka memberi kasus yang lebih sulit dan lebih berantakan subbabnya sendiri.

Bab berikutnya dalam daftar adalah “Rademacher Complexity and VC-Dimension” (kompleksitas Rademacher dan dimensi VC). Subbabnya mencakup kompleksitas Rademacher, fungsi pertumbuhan, dimensi VC, dan batas bawah. Dibaca berdampingan dengan pendahuluan, bab ini adalah jawaban alami atas pertanyaan yang diajukan pendahuluan. Jika jaminan bergantung pada kompleksitas kelas konsep yang ditinjau, Anda memerlukan alat untuk mengukur kompleksitas itu. Kompleksitas Rademacher, fungsi pertumbuhan, dan dimensi VC tercantum sebagai subbab yang memikul beban ini. Dicantumkannya batas bawah dalam daftar subbab juga patut dicatat. Buku yang hanya menyajikan batas atas memberi tahu Anda apa yang bisa dicapai. Buku yang juga memuat batas bawah memberi tahu apa yang tidak bisa.

Lalu datang bab 4, “Model Selection” (pemilihan model), dengan subbab yang antara lain mencakup minimisasi risiko empiris (ERM) dan minimisasi risiko struktural (SRM). Kita akan kembali ke bab ini saat membahas edisi kedua, karena di sinilah salah satu perubahan terbesar edisi baru.

Strukturnya disengaja. Landasan dulu, lalu perangkat untuk mengukur kompleksitas, lalu pemilihan model, dan baru setelah itu algoritme. Itu cara mengajar yang bisa dipertanggungjawabkan, dan cocok dengan uraian buku ini sendiri tentang cara kerjanya: bab-bab pembuka meletakkan teori, dan sisanya dibangun di atasnya.

Dari teori ke algoritme: mesin vektor pendukung dan kernel #

Daftar isi juga menyebut bab-bab algoritmik yang menyusul. Salah satunya berjudul “Support Vector Machines” (mesin vektor pendukung), dengan subbab kasus terpisahkan dan kasus tak terpisahkan. Masing-masing subbab itu mencakup masalah optimisasi primal, vektor pendukung, dan masalah optimisasi dual. Bab lain berjudul “Kernel Methods” (metode kernel).

Bentuk bab mesin vektor pendukung itu sendiri informatif. Tiga topik yang sama muncul di bawah judul kasus terpisahkan maupun tak terpisahkan: masalah optimisasi primal, vektor pendukung, dan masalah optimisasi dual. Pengulangan itu menunjukkan penyajian paralel, pertanyaan yang sama diajukan dua kali di bawah asumsi yang berbeda. Paralel itu mencerminkan pembagian kasus konsisten dan tidak konsisten dalam bab PAC, sehingga muncul pola di sepanjang buku: kasus yang rapi dulu, lalu kasus ketika asumsi rapi itu gagal.

Saya waspada terhadap membaca terlalu banyak dari sebuah daftar isi. Daftar isi bisa memberi tahu apa yang dicakup buku dan bagaimana materinya dibagi. Daftar isi tidak bisa memberi tahu seberapa baik subbab mana pun ditulis, dan tidak ada apa pun dalam sumber ini yang mengatakannya. Yang ditunjukkannya adalah bahwa bahasa optimisasi dalam bab mesin vektor pendukung, primal dan dual, terhubung kembali ke uraian pendahuluan tentang teknik yang memadukan ilmu komputer dengan gagasan dari statistika, probabilitas, dan optimisasi. Untaian optimisasi dari daftar itu tampil secara konkret dalam judul-judul subbab ini.

Buku ini juga menyediakan bab tersendiri masing-masing untuk klasifikasi multikelas, pemeringkatan, dan regresi. Itu keputusan desain yang patut dibela. Akan mudah memperlakukan semuanya sebagai catatan kaki klasifikasi biner. Memberi masing-masing bab sendiri menandakan bahwa penulis menganggapnya masalah yang berbeda dengan analisisnya sendiri, dan itu sesuai dengan tujuan yang dinyatakan, yaitu penyajian terpadu atas beberapa topik alih-alih penyajian yang mengutamakan satu sudut pandang.

Yang dipilih buku ini untuk tidak dibahas #

Bagian paling menarik dari prakata adalah tentang apa yang dihilangkan. Buku ini, kata para penulis, adalah pengantar umum pembelajaran mesin yang dapat menjadi buku rujukan bagi peneliti dan buku ajar bagi mahasiswa. Setelah membuat klaim yang luas itu, mereka menambahkan batasan: mereka memilih untuk menghilangkan beberapa topik penting, termasuk model grafis dan jaringan saraf.

Sedikit buku ajar yang mengatakan ini sejelas itu, dan saya berpendapat keterusterangan itu adalah kekuatan. Pembaca yang tahu sejak awal apa yang tidak ada bisa merencanakan di sekitarnya. Orang yang membutuhkan jaringan saraf tahu harus mencari di tempat lain, alih-alih menemukan kekosongan itu di bab sembilan.

Alasannya juga dinyatakan. Penghilangan itu dilakukan demi keringkasan dan karena saat ini belum ada jaminan teoretis yang kokoh untuk sebagian metode. Ada dua alasan. Keringkasan adalah kendala praktis bagi buku apa pun. Alasan kedualah yang memberi tahu sesuatu tentang filosofi buku ini.

Kaitkan kembali dengan pendahuluan. Jaminan pembelajaran teoretis adalah poros pengorganisasian buku ini. Jaminan bergantung pada kompleksitas kelas konsep dan ukuran sampel pelatihan, dan bab-bab teoretis datang lebih dulu karena segala hal lain dibangun di atasnya. Metode yang saat ini belum memiliki jaminan kokoh akan canggung berada dalam buku yang disusun seperti ini. Jadi penghilangan itu mengikuti komitmen inti buku ini. Penghilangan itu konsisten dengan definisi pokok bahasan yang dipilih penulis sebagai pembuka.

Ada hal yang perlu dicermati di sini. Teksnya mengatakan “sebagian metode”, jadi klaimnya adalah tentang belum adanya jaminan kokoh untuk sebagian metode, bukan untuk semua topik yang dihilangkan, dan teksnya mengatakan “saat ini”, yang mengikat penilaian itu pada waktu penulisan. Saya menahan godaan untuk meringkasnya menjadi “jaringan saraf tidak punya teori”. Bukan itu yang dikatakan sumbernya. Sumbernya mengatakan bahwa jaminan untuk sebagian metode saat ini belum ada, dan bahwa hal itu, bersama keringkasan, menjadi alasan model grafis dan jaringan saraf ditinggalkan.

Bagi pembaca teknis yang memilih apa yang akan dipelajari, konsekuensi praktisnya sederhana. Buku ini memberi Anda kosakata jaminan, dan buku ini mengatakan terus terang bidang mana yang tidak dibahasnya.

Apa yang diubah edisi kedua #

Edisi kedua lebih dari sekadar cetak ulang dengan koreksi. Prakata mencantumkan tambahan-tambahannya, dan masing-masing memberi tahu di mana penulis menganggap edisi pertama masih tipis.

Perubahan utamanya adalah satu bab penuh tentang pemilihan model, bab 4, mengenai topik yang oleh penulis disebut penting dan yang hanya dibahas singkat dalam edisi sebelumnya. Bahasanya lugas. Mereka tidak mengklaim edisi pertama membahasnya dengan baik. Mereka mengatakan topik itu hanya dibahas singkat dan kini mereka memberinya satu bab penuh. Subbabnya mencakup minimisasi risiko empiris (ERM) dan minimisasi risiko struktural (SRM), seperti ditunjukkan daftar isi.

Mengapa pemilihan model layak dinaikkan derajatnya? Sumbernya tidak mengatakan, dan saya tidak akan mengarang alasan atas nama penulis. Namun penempatannya berbicara. Bab 4 langsung menyusul bab tentang kerangka PAC serta tentang kompleksitas Rademacher dan dimensi VC, yang menempatkannya di dalam apa yang disebut prakata sebagai tiga atau empat bab pertama yang meletakkan landasan teoretis. Jadi penulis tidak menempelkan pemilihan model sebagai renungan susulan. Mereka membangunnya ke dalam landasan teoretis.

Tambahan berikutnya adalah bab baru tentang model Entropi Maksimum, bab 12, dan bab baru tentang model Entropi Maksimum Bersyarat, bab 13. Dua bab yang sepenuhnya baru adalah perluasan yang besar, dan buku ini kini mencurahkan dua bab berurutan untuk pasangan itu.

Lampirannya juga berubah. Penulis menambahkan satu subbab penuh tentang dualitas Fenchel ke lampiran B tentang optimisasi konveks, dan menambahkan lampiran E tentang teori informasi. Buku ini juga memuat lampiran ekstensif yang menyajikan tinjauan ringkas aljabar linear. Perubahan ini menunjuk ke arah yang konsisten: matematika pendukung tumbuh seiring bab-babnya. Dualitas Fenchel bergabung dengan lampiran optimisasi konveks, dan teori informasi mendapat lampirannya sendiri. Saya menahan diri untuk tidak mengatakan bahwa teori informasi ada di sana khusus untuk mendukung bab-bab Entropi Maksimum, karena sumbernya tidak menyatakan kaitan semacam itu, dan kedua tambahan itu muncul di prakata sebagai butir terpisah. Waktu kemunculannya dalam edisi yang sama adalah kebetulan yang saya biarkan sebagai kebetulan.

Untuk siapa buku ini, dan bagaimana buku ini ingin dibaca #

Buku ini menyatakan pembacanya: buku ini ditujukan bagi mahasiswa dan peneliti di bidang pembelajaran mesin, statistika, dan bidang terkait lainnya. Daftar itu menyebut statistika secara eksplisit, yang menggemakan pokok pendahuluan bahwa pembelajaran mesin pada dasarnya berkaitan dengan analisis data dan statistika.

Buku ini juga menyatakan apa yang diasumsikannya. Pembaca diharapkan akrab dengan konsep dasar aljabar linear, probabilitas, dan analisis algoritme. Itu daftar yang pendek, dan cocok dengan daftar bahan pendahuluan, meski tidak persis. Pendahuluan menyebut ilmu komputer, statistika, probabilitas, dan optimisasi sebagai sumber tekniknya. Prasyaratnya menyebut aljabar linear, probabilitas, dan analisis algoritme. Optimisasi tidak termasuk prasyarat, dan buku ini menanganinya dari sisi lain: lampiran B membahas optimisasi konveks, dengan subbab baru tentang dualitas Fenchel. Aljabar linear diharapkan sebagai latar, dan buku ini tetap menyediakan lampiran ekstensif yang meninjaunya. Jadi prasyarat dan lampiran sengaja tumpang tindih, dan pembaca yang aljabar linearnya sudah berkarat mendapat tinjauan ringkas di dalam sampul yang sama.

Pedagoginya juga dinyatakan terang. Setiap bab diakhiri serangkaian latihan, dengan penyelesaian lengkap yang disajikan terpisah. Itu pengaturan yang masuk akal untuk buku yang melayani dua kalangan pembaca. Mahasiswa bisa mencoba latihan dan mencocokkan dengan penyelesaiannya, dan peneliti yang memakai buku ini sebagai rujukan tidak dipaksa melewati jawaban yang diuraikan di setiap halaman. Apakah penyelesaian itu terbit sebagai jilid terpisah atau dokumen lain, sumbernya tidak mengatakan, hanya bahwa penyelesaian itu disajikan terpisah, jadi saya berhenti di situ.

Bila disatukan, pembaca sasaran, prasyarat, latihan, dan lampiran menggambarkan buku yang dirancang untuk dikerjakan tahap demi tahap. Empat belas tahun mengajar di Courant Institute berdiri di belakang rancangan ini. Mata kuliah yang diajarkan berulang kali cenderung menghasilkan perangkat semacam ini, meski prakata tidak mengklaim kaitan itu secara eksplisit, dan saya menawarkannya hanya sebagai pembacaan atas bukti, bukan temuan.

Penerapannya luas, dan buku ini mengatakannya #

Buku seteoretis ini bisa disangka jauh dari praktik. Pendahuluan menangkalnya dengan pernyataan sederhana: pembelajaran mesin memungkinkan serangkaian penerapan praktis yang sangat luas. Yang disebutkannya adalah klasifikasi teks atau dokumen, yang mencakup deteksi spam.

Deteksi spam adalah pilihan contoh yang baik karena alasan yang dijelaskan oleh kerangka penulis sendiri. Ini masalah klasifikasi dokumen persis dalam arti contoh sebelumnya: dokumen berlabel masuk, prediksi tentang dokumen yang belum dilihat keluar. Faktor ukuran sampel dan kualitas label berlaku langsung padanya. Sampel yang lebih besar mempermudah tugas, dan pesan yang salah label mempersulitnya. Jumlah kategori yang mungkin sedikit, yang menurut logika bagian sebelumnya juga berpengaruh pada kesulitan. Saya menerapkan faktor yang dinyatakan buku ini pada contoh yang dinyatakannya, dan saya tidak mengklaim apa pun tentang filter spam di dunia nyata.

Ada juga argumen yang tersirat dalam penempatan bagian ini. Para penulis memperkenalkan klasifikasi dokumen sebagai tugas pembelajaran lalu segera mencatat bahwa itu sama sekali bukan satu-satunya. Penerapannya luas karena definisi dasarnya luas. Apa pun yang cocok dengan “metode komputasi yang menggunakan pengalaman untuk meningkatkan kinerja atau untuk membuat prediksi yang akurat” memenuhi syarat. Keumuman itu juga sebabnya buku ini repot-repot dengan teori. Kerangka yang dimaksudkan untuk mencakup serangkaian penerapan yang sangat luas tidak bisa terikat pada detail salah satunya, dan jaminan yang dinyatakan dalam istilah kompleksitas kelas konsep dan ukuran sampel justru jenis yang bisa berpindah antarmasalah.

Taruhan yang dipasang buku ini #

Satukan benang-benangnya dan muncul posisi yang koheren, yang lebih dari yang bisa diklaim daftar isi kebanyakan buku ajar. Buku ini mendefinisikan pembelajaran dalam istilah pengalaman dan prediksi. Buku ini menyebut tiga kompleksitas, waktu, ruang, dan sampel, sebagai ukuran kualitas. Buku ini mengaitkan jaminan dengan kompleksitas kelas konsep dan ukuran sampel, dan menempatkan teori yang menyediakan jaminan itu di depan. Lalu buku ini membangun bab-bab algoritmik di atas dasar itu dan mengatakan terbuka bidang populer mana yang ditinggalkannya karena jaminan untuk sebagian metode, untuk saat ini, belum kokoh.

Ini taruhan pada teori sebagai hal yang bertahan. Saya bisa memahami mengapa tim penulis yang bertahun-tahun mengajar mata kuliah pascasarjana memasangnya. Taruhan itu punya harga, dan penulis menyebutnya: dihilangkannya model grafis dan jaringan saraf adalah harga dari bersikeras pada jaminan yang kokoh. Pembaca sebaiknya menimbang harga itu dengan jujur. Jika pekerjaan Anda didominasi bidang yang dihilangkan, buku ini adalah landasan, bukan manual. Jika pekerjaan Anda perlu menalar apakah seorang pembelajar akan menggeneralisasi dari sampel hingga, kosakata buku inilah intinya.

Bagi pendiri, pelajaran yang berguna adalah yang paling tidak glamor. Kualitas dan ukuran data sangat menentukan keberhasilan prediksi, dan kesulitan sebuah tugas bergantung pada kualitas label dan jumlah topik yang mungkin. Itu pernyataan tentang masukan yang sering bisa Anda pengaruhi. Buku ini tidak menjanjikan bahwa algoritme tertentu akan menyelamatkan sampel yang tipis atau salah label, dan buku ini benar untuk tidak menjanjikannya.

Bagi pembaca teknis, pertanyaan yang lebih menarik adalah yang dibiarkan terbuka oleh prakata. Penulis menghilangkan sebagian metode karena saat ini belum ada jaminan teoretis yang kokoh. Kata “saat ini” membingkainya sebagai keadaan pada waktu penulisan, dan sumbernya tidak mengatakan apakah, atau bagaimana, hal itu bisa berubah. Apa yang diperlukan agar jaminan itu cukup kokoh untuk mendapat satu bab? Buku ini tidak bisa menjawabnya. Dengan tepat menyebut apa yang ditinggalkannya dan mengapa, buku ini setidaknya menunjukkan ke mana harus mencari.

Apa Artinya bagi Tiap Sektor #

Penekanan pada jaminan pembelajaran statistik dan kompleksitas sampel memberikan batas yang dapat ditindaklanjuti di sejumlah domain perangkat lunak dan riset.

Pembelajaran mesin akademis dan perancangan kurikulum #

Program pendidikan harus menahan tekanan untuk memperlakukan pembelajaran mesin sebagai rekayasa prompt empiris atau sekadar penyambungan framework. Membekali mahasiswa dengan kerangka PAC, kompleksitas Rademacher, dan minimisasi risiko struktural menumbuhkan naluri matematis yang tahan lama, yang bertahan melewati pergantian arsitektur deep learning yang sementara.

Rekayasa AI perusahaan dan valuasi data #

Organisasi rekayasa yang menerapkan sistem prediktif sering mengalokasikan modal berlebih untuk komputasi (skala model) sambil mengabaikan kompleksitas sampel dan ketepatan label. Karena galat generalisasi dibatasi ketat oleh kompleksitas kelas konsep relatif terhadap ukuran sampel, tim memperoleh ROI yang lebih tinggi dengan berinvestasi pada anotasi yang bersih dan audit sampel ketimbang model yang lebih besar tanpa regularisasi.

Riset AI terdepan dan audit model #

Seiring kerangka regulasi seperti EU AI Act mewajibkan batas yang dapat diprediksi pada sistem pengambilan keputusan otomatis, jaminan pembelajaran statistik yang diformalkan dalam Foundations of Machine Learning menjadi kebutuhan kepatuhan. Regulator dan auditor keselamatan menuntut batas generalisasi yang dapat dibuktikan dan protokol pemilihan model yang ketat, bukan skor validasi heuristik.

Kesimpulan #

Foundations of Machine Learning tetap menjadi jangkar yang tak tergantikan di bidang yang kerap tergoda oleh empirisme mentah. Dengan membangun seluruh kurikulum di sekitar pembelajaran PAC, kompleksitas Rademacher, dan dimensi VC, Mehryar Mohri, Afshin Rostamizadeh, dan Ameet Talwalkar mengingatkan peneliti bahwa keanggunan algoritmik tidak bisa menggantikan jaminan matematis. Penghilangan jaringan saraf dan model grafis secara terus terang oleh penulis karena tidak adanya jaminan bentuk tertutup bukanlah cacat, melainkan kekuatan yang menentukan buku ini, yang dengan jelas memisahkan apa yang dapat dibuktikan secara ketat oleh disiplin ini dari apa yang hanya diamatinya.

Pertanyaan yang Sering Diajukan #

Mengapa penulis menghilangkan jaringan saraf dan model grafis dari edisi kedua?

Penulis dengan sengaja menghilangkan jaringan saraf dan model grafis demi keringkasan dan karena saat ini belum ada jaminan teoretis yang kokoh untuk beberapa metode tersebut. Buku ini disusun ketat di sekitar algoritme yang memungkinkan batas generalisasi yang ketat.

Apa yang membedakan kompleksitas sampel dari kompleksitas waktu dan ruang?

Kompleksitas waktu menilai kecepatan eksekusi dan kompleksitas ruang mengukur konsumsi memori, sedangkan kompleksitas sampel mengukur volume matematis data pelatihan yang dibutuhkan algoritme untuk mempelajari satu keluarga konsep dalam toleransi galat dan keyakinan yang ditentukan.

Apa perbedaan inti antara minimisasi risiko empiris dan minimisasi risiko struktural?

Minimisasi risiko empiris (ERM) memilih hipotesis yang meminimalkan galat pelatihan secara langsung, dengan risiko overfitting bila kompleksitas hipotesis tinggi. Minimisasi risiko struktural (SRM) menyeimbangkan galat pelatihan dengan kompleksitas hipotesis (seperti dimensi VC atau kompleksitas Rademacher), sehingga memberikan batas formal atas risiko generalisasi.

Referensi #

Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). Foundations of Machine Learning, Edisi Kedua ⧉. The MIT Press.
Leslie G. Valiant, (1984). Sebuah Teori tentang yang Dapat Dipelajari ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Teori Pembelajaran Statistik ⧉. John Wiley & Sons.

Terakhir ditinjau 2026-10-10.

Terakhir ditinjau 2026-10-27.

Terbitkan ulang artikel ini

Apa kata daftar isi buku ajar pembelajaran mesin tentang bidangnya — Sebastien Rousseau

Foundations of Machine Learning (edisi kedua, MIT Press, 2018) karya Mohri, Rostamizadeh dan Talwalkar menyusun kurikulum di sekitar kompleksitas sampel dan jaminan.

Artikel ini berlisensi Creative Commons Attribution 4.0 International. Penerbitan ulang memerlukan atribusi ke URL kanonis.

Apa kata daftar isi buku ajar pembelajaran mesin tentang bidangnya — Sebastien Rousseau

Foundations of Machine Learning (edisi kedua, MIT Press, 2018) karya Mohri, Rostamizadeh dan Talwalkar menyusun kurikulum di sekitar kompleksitas sampel dan jaminan.

Originally published at https://sebastienrousseau.com/id/2026-10-10-apa-kata-daftar-isi-buku-ajar/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER