Apa kata halaman kandungan buku teks pembelajaran mesin tentang bidang

Foundations of Machine Learning (edisi kedua, MIT Press, 2018) oleh Mehryar Mohri, Afshin Rostamizadeh dan Ameet Talwalkar mentakrifkan pembelajaran sebagai penggunaan pengalaman untuk membuat ramalan yang tepat, dan membina kurikulum yang rapi di sekitar kerumitan sampel, batas Rademacher dan jaminan teori.

Kebanyakan buku tentang pembelajaran mesin bermula dengan janji tentang apa yang akan dapat anda bina. Buku ini bermula dengan satu takrif dan senarai kuantiti yang menentukan sama ada pelajar mesin berjaya. Susunan itu menunjukkan apa yang difikirkan oleh penulis tentang subjeknya, dan pada pendapat saya itu keputusan yang betul. Bidang yang menjual dirinya melalui ramalan berhutang kepada pembacanya penjelasan tentang bila ramalan boleh dipercayai, dan penjelasan itulah yang hendak diberikan oleh buku ini.

Artikel ini membaca buku itu melalui apa yang sebenarnya dikatakan oleh bahagian depan, prakata dan halaman pembukaannya. Itu kerja yang lebih sempit daripada mengulas setiap bab, dan kerja ini jujur tentang batasnya: sumber di sini ialah halaman judul, senarai kandungan, prakata dan bahagian pertama pengenalan. Dalam batas itu ada hujah yang jelas untuk diikuti. Hujah itu berkenaan apa itu pembelajaran mesin, apa yang menjadi sandarannya, apa yang dipilih oleh penulis untuk diliputi dan apa yang dipilih untuk ditinggalkan.

Buku dengan salasilah yang tepat #

Mulakan dengan fakta yang menambat objeknya. Judul buku ini Foundations of Machine Learning, dan ini edisi kedua. Buku ini tergolong dalam siri Adaptive Computation and Machine Learning, dengan Francis Bach sebagai editornya. Penulisnya Mehryar Mohri, Afshin Rostamizadeh dan Ameet Talwalkar. Penerbitnya The MIT Press, Cambridge, Massachusetts, dan hak ciptanya dipegang oleh Massachusetts Institute of Technology, bertarikh 2018. Edisi kulit kerasnya membawa ISBN 9780262039406.

Dua butiran pengeluaran wajar diberi satu ayat setiap satu. Buku ini disusun atur dalam LaTeX oleh penulisnya sendiri, yang sesuai dengan teks yang padat dengan batas, takrif dan bukti, dan ia dicetak serta dijilid di Amerika Syarikat. Kedua-dua butiran itu tidak mengubah cara anda membaca matematiknya. Tetapi penulis yang menyusun atur buku mereka sendiri telah menyentuh setiap halaman, dan bagi buku seperti ini hal itu menenangkan.

Asal usul bahannya lebih penting. Sebahagian besarnya berasal daripada kursus siswazah, yang juga bernama Foundations of Machine Learning, yang diajar oleh penulis pertama di Courant Institute of Mathematical Sciences, New York University, sepanjang empat belas tahun yang lalu. Itu asal usul yang khusus dan boleh disemak. Buku teks yang tumbuh daripada empat belas tahun mengajar satu kursus berkemungkinan dibentuk oleh apa yang dianggap sukar oleh pelajar, dan latihan serta lampiran yang diterangkan di bawah memang dibaca begitu. Saya berhati-hati agar tidak menolak inferens itu lebih jauh daripada yang dibenarkan oleh sumbernya. Prakata menyatakan dari mana bahan itu datang, tetapi tidak menyatakan berapa kali kursus itu disemak semula atau di mana pelajar bergelut. Apa yang dinyatakannya sudah memadai: ini bahan kursus, bukan tinjauan yang dihimpun daripada literatur.

Takrif yang memikul beban paling berat #

Segala-galanya selepas ini bergantung pada satu ayat. Pembelajaran mesin, tulis penulis, boleh ditakrifkan secara luas sebagai kaedah pengiraan yang menggunakan pengalaman untuk meningkatkan prestasi atau untuk membuat ramalan yang tepat.

Setiap kata nama dalam ayat itu ada tugasnya. “Kaedah pengiraan” meletakkan subjek ini dalam sains komputer. “Pengalaman” kemudian ditetapkan: ia merujuk kepada maklumat lampau yang tersedia kepada pelajar mesin. Ayat itu tidak mendakwa bahawa pelajar mesin memahami apa-apa, dan tidak menyebut kecerdasan langsung. Pelajar mesin mempunyai maklumat lampau dan satu sasaran, iaitu prestasi yang meningkat atau ramalan yang tepat, dan seluruh disiplin ini berkenaan hubungan antara kedua-duanya.

Saya berhujah bahawa takrif ini lebih berguna kepada pembaca teknikal dan pengasas syarikat daripada takrif yang lebih gah yang beredar, kerana ia menunjuk terus kepada tuil yang anda kawal. Jika pembelajaran ialah fungsi maklumat lampau, maka pengaruh anda terhadap hasilnya terletak pada maklumat apa yang anda kumpul dan berapa banyak. Dakwaan seterusnya dalam teks menyatakan hal yang sama: kualiti dan saiz data amat penting bagi kejayaan ramalan yang dibuat oleh pelajar mesin. Kenyataan itu ditunjukkan dalam teks sebagai mekanisme yang mudah, tanpa sebarang syarat.

Penulis juga menerangkan tekniknya sendiri. Teknik itu ialah kaedah berasaskan data yang menggabungkan konsep asas sains komputer dengan idea daripada statistik, kebarangkalian dan pengoptimuman. Ayat itu sekali gus berfungsi sebagai senarai prasyarat dan peta jiran bidang ini. Pasukan yang ingin membina sistem pembelajaran menimba daripada sains komputer, statistik, kebarangkalian dan pengoptimuman serentak. Menganggap mana-mana satu daripadanya sebagai pilihan ialah keputusan yang tidak disokong oleh buku ini.

Satu contoh yang dihuraikan: dokumen dan topik #

Pengenalan menambat takrif itu pada masalah pembelajaran yang konkrit. Ambil sampel terhingga dokumen yang dipilih secara rawak, setiap satu dilabel dengan satu topik. Tugasnya ialah menggunakan sampel itu untuk meramal topik dokumen yang belum dilihat.

Susunan ini berbaloi dibaca perlahan-lahan. Sampelnya terhingga, jadi pelajar mesin tidak pernah melihat semuanya. Dokumennya dipilih secara rawak, dan itulah yang membolehkan sampel terhingga mengatakan sesuatu tentang dokumen yang belum dilihat. Setiap satu dilabel dengan topik, jadi pelajar mesin mempunyai penyeliaan. Dan sasarannya ialah dokumen yang belum dilihatnya, iaitu perbezaan antara meramal dan menghafal.

Penulis kemudian menonjolkan dua perkara yang menjadikan tugas itu lebih mudah atau lebih sukar. Yang pertama ialah saiz: jelas, semakin besar sampel, semakin mudah tugasnya. Yang kedua ialah kualiti label. Kesukaran tugas juga bergantung pada kualiti label yang diberikan kepada dokumen dalam sampel, kerana tidak semua label mungkin betul, dan pada bilangan topik yang mungkin.

Ayat itu mengandungi tiga tombol yang berasingan. Saiz sampel salah satunya. Ketepatan label yang lain. Bilangan topik yang mungkin yang ketiga. Tiada satu pun berkenaan algoritma. Kesemuanya sifat masalah dan data, dan kesemuanya menentukan betapa sukar masalah itu sebelum sebarang kaedah dipilih. Bagi pengasas yang memutuskan ke mana bajet dibelanjakan, ini pemerhatian yang tajam. Jika anda boleh memperbaiki label atau membesarkan sampel, anda sedang bertindak pada faktor yang dinamakan secara jelas oleh penulis sebagai penentu kesukaran.

Contoh itu juga menamakan tugasnya sendiri. Meramal label sesuatu dokumen juga dikenali sebagai pengelasan dokumen, dan penulis segera menambah bahawa itu sama sekali bukan satu-satunya tugas pembelajaran. Amaran itu mudah terlepas pandang. Contoh dokumen hanyalah kenderaan, dan dakwaan di sebaliknya bersifat umum.

Tiga kerumitan, bukan dua #

Di sinilah buku ini membuat langkahnya yang paling tersendiri, dan ia mudah terlepas kerana muncul sebagai catatan ringkas. Pembelajaran mesin, kata penulis, terdiri daripada mereka bentuk algoritma ramalan yang cekap dan tepat. Seperti dalam bidang lain sains komputer, kerumitan masa dan ruang ialah ukuran kritikal kualiti algoritma sedemikian. Sesiapa yang pernah mempelajari algoritma akan mengenali kedua-duanya. Berapa lama masa yang diambil, dan berapa banyak memori yang diperlukan?

Kemudian datang tambahannya. Pembelajaran mesin juga memerlukan tanggapan kerumitan sampel untuk menilai saiz sampel yang diperlukan oleh algoritma untuk mempelajari satu keluarga konsep. Inilah ukuran yang tiada padanannya dalam rutin pengisihan. Algoritma pengisihan tidak perlu diberitahu berapa banyak contoh yang diperlukannya. Pelajar mesin perlu, kerana outputnya ialah ramalan tentang kes yang belum dilihatnya, dan jumlah pengalaman di sebalik ramalan itu termasuk dalam apa yang anda bayar.

Saya akan merumuskannya begini: masa dan ruang memberitahu anda kos menjalankan sesuatu algoritma, dan kerumitan sampel memberitahu kos mengajarnya. Pelajar mesin yang pantas tetapi memerlukan sampel yang terlalu besar untuk dilaksanakan tidak cekap dalam apa jua erti yang penting kepada orang yang mengumpul data. Meletakkan ukuran ketiga di sebelah dua yang lain ialah cara buku ini menyatakan bahawa data ialah sumber yang ada harganya, yang perlu dibajetkan seperti pengiraan dan memori.

Teksnya bersambung ke arah yang sama. Secara lebih umum, jaminan pembelajaran teori bagi sesuatu algoritma bergantung pada kerumitan kelas konsep yang dipertimbangkan dan saiz sampel latihan. Itu kenyataan ringkas tentang apa yang membentuk sesuatu jaminan. Ada dua input, betapa kayanya keluarga konsep dan berapa banyak data latihan yang anda miliki, dan jaminan ialah kenyataan yang mengaitkan kedua-duanya dengan prestasi. Perhatikan apa implikasinya terhadap struktur buku ini. Bab-bab seterusnya perlu menyediakan cara untuk mengukur kerumitan sesuatu kelas konsep, dan senarai kandungan menunjukkan bahawa bab-bab itu memang berbuat demikian.

Penulis juga menerangkan mengapa bidang ini berada di tempatnya. Oleh sebab kejayaan algoritma pembelajaran bergantung pada data yang digunakan, pembelajaran mesin secara semula jadi berkait dengan analisis data dan statistik. Mekanismenya dinyatakan dengan jelas: kejayaan bergantung pada data, oleh itu subjek ini berjalin dengan disiplin yang mengkaji data. Saya mendapati ini ayat paling jujur dalam pengenalan. Ia tidak membentangkan statistik sebagai saingan atau nenek moyang. Ia membentangkan statistik sebagai akibat daripada apa yang menjadi sandaran pembelajaran.

Dimensi	Kerumitan Masa	Kerumitan Ruang	Kerumitan Sampel
Takrif Operasi	Masa larian asimptotik yang diperlukan untuk mengeluarkan hipotesis $h$	Jejak memori yang perlu semasa latihan dan penilaian	Bilangan contoh latihan $m$ yang diperlukan untuk mempelajari keluarga konsep
Teori yang Menguasai	Kerumitan pengiraan (P lawan NP, kesukaran latihan)	Kekangan memori seni bina dan lokaliti cache	Pembelajaran PAC, kerumitan Rademacher dan dimensi VC
Implikasi Kos	Pengiraan pelayan dan bajet inferens GPU/CPU	Kapasiti RAM dan SRAM dalam cip	Kos pengumpulan, anotasi dan pelabelan data
Peranan Teori	Mengukur kecekapan masa larian algoritma	Mengukur kecekapan sumber ruang	Menentukan ralat generalisasi dan batasnya atas data yang belum dilihat

Tulang belakang teori #

Prakata menyatakan bagaimana buku ini dibina. Tiga atau empat bab pertama meletakkan asas teori bagi bahan seterusnya. Senarai kandungan membolehkan kita melihat daripada apa asas itu dibuat, sekurang-kurangnya mengikut judulnya.

Bab pertama dalam senarai kandungan berjudul “The PAC Learning Framework” (rangka kerja pembelajaran PAC), dan di dalamnya terdapat bahagian berjudul “Guarantees for finite hypothesis sets - consistent case” dan “Guarantees for finite hypothesis sets - inconsistent case” (jaminan bagi set hipotesis terhingga, kes konsisten dan kes tidak konsisten). Nama bahagian itu memberitahu dua perkara. Pertama, rangka kerja itu menghasilkan jaminan, yang selaras dengan penekanan pengenalan. Kedua, jaminannya dipecahkan mengikut sama ada kesnya konsisten atau tidak konsisten, dan buku ini membincangkan kedua-duanya secara berasingan. Saya tidak akan meneka isi kes konsisten dan tidak konsisten, kerana sumber di sini hanya memberikan judul bahagian. Tetapi pasangan itu menunjukkan bahawa penulis tidak membentangkan satu teorem yang kemas lalu beralih. Mereka memberikan kes yang lebih sukar dan lebih berselerak bahagiannya sendiri.

Bab seterusnya dalam senarai ialah “Rademacher Complexity and VC-Dimension” (kerumitan Rademacher dan dimensi VC). Bahagiannya meliputi kerumitan Rademacher, fungsi pertumbuhan, dimensi VC dan batas bawah. Dibaca bersama pengenalan, bab ini ialah jawapan semula jadi kepada soalan yang ditimbulkan oleh pengenalan. Jika jaminan bergantung pada kerumitan kelas konsep yang dipertimbangkan, anda memerlukan alat untuk mengukur kerumitan itu. Kerumitan Rademacher, fungsi pertumbuhan dan dimensi VC disenaraikan sebagai bahagian yang memikul beban ini. Kemasukan batas bawah dalam senarai bahagian juga wajar diberi perhatian. Buku yang hanya membentangkan batas atas memberitahu anda apa yang boleh dicapai. Buku yang turut memasukkan batas bawah memberitahu juga apa yang tidak boleh.

Kemudian datang bab 4, “Model Selection” (pemilihan model), dengan bahagian yang antara lain merangkumi peminimuman risiko empirik (ERM) dan peminimuman risiko struktur (SRM). Kita akan kembali ke bab ini apabila melihat edisi kedua, kerana di sinilah salah satu perubahan terbesar edisi baharu.

Strukturnya disengajakan. Asas dahulu, kemudian jentera untuk mengukur kerumitan, kemudian pemilihan model, dan hanya selepas itu algoritma. Itu cara mengajar yang boleh dipertahankan, dan ia sepadan dengan huraian buku ini sendiri tentang cara ia berfungsi: bab-bab pembukaan meletakkan teori, dan selebihnya dibina di atasnya.

Daripada teori kepada algoritma: mesin vektor sokongan dan kernel #

Senarai kandungan juga menamakan bab-bab algoritma yang menyusul. Salah satunya berjudul “Support Vector Machines” (mesin vektor sokongan), dengan bahagian kes boleh dipisahkan dan kes tidak boleh dipisahkan. Setiap bahagian itu meliputi masalah pengoptimuman primal, vektor sokongan dan masalah pengoptimuman dual. Satu lagi berjudul “Kernel Methods” (kaedah kernel).

Bentuk bab mesin vektor sokongan itu sendiri bermaklumat. Tiga topik yang sama muncul di bawah kedua-dua judul kes boleh dipisahkan dan tidak boleh dipisahkan: masalah pengoptimuman primal, vektor sokongan dan masalah pengoptimuman dual. Pengulangan itu menunjukkan pembentangan selari, soalan yang sama ditanya dua kali di bawah andaian yang berbeza. Keselarian itu mencerminkan pembahagian kes konsisten dan tidak konsisten dalam bab PAC, maka muncul satu corak di sepanjang buku: kes yang kemas dahulu, kemudian kes apabila andaian kemas itu gagal.

Saya berhati-hati daripada membaca terlalu banyak daripada senarai kandungan. Ia boleh memberitahu apa yang diliputi buku dan bagaimana bahannya dibahagikan. Ia tidak boleh memberitahu betapa baiknya mana-mana bahagian ditulis, dan tiada apa-apa dalam sumber ini yang menyatakannya. Apa yang ditunjukkannya ialah bahasa pengoptimuman dalam bab mesin vektor sokongan, primal dan dual, berkait semula dengan huraian pengenalan tentang teknik yang menggabungkan sains komputer dengan idea daripada statistik, kebarangkalian dan pengoptimuman. Lembaran pengoptimuman daripada senarai itu muncul secara konkrit dalam judul-judul bahagian ini.

Buku ini juga menyediakan bab berasingan bagi setiap satu daripada pengelasan berbilang kelas, penarafan dan regresi. Itu keputusan reka bentuk yang wajar dipertahankan. Mudah sahaja untuk menganggap semuanya sebagai nota kaki kepada pengelasan binari. Memberikan setiap satu babnya sendiri menandakan bahawa penulis menganggapnya masalah tersendiri dengan analisisnya sendiri, dan ia sepadan dengan matlamat yang dinyatakan, iaitu pembentangan bersepadu beberapa topik dan bukannya pembentangan yang memihak kepada satu sudut pandangan.

Apa yang dipilih buku ini untuk tidak diliputi #

Petikan paling menarik dalam prakata adalah tentang perkara yang ditinggalkan. Buku ini, kata penulis, ialah pengenalan umum kepada pembelajaran mesin yang boleh menjadi buku rujukan bagi penyelidik dan buku teks bagi pelajar. Setelah membuat dakwaan yang luas itu, mereka menambah satu had: mereka memilih untuk meninggalkan beberapa topik penting, termasuk model grafik dan rangkaian neural.

Sedikit buku teks yang menyatakan perkara ini secara terus, dan saya berhujah bahawa keterusterangan itu ialah kekuatan. Pembaca yang tahu terlebih dahulu apa yang tiada boleh merancang di sekelilingnya. Seseorang yang memerlukan rangkaian neural tahu untuk mencari di tempat lain, dan bukannya menemui jurang itu di bab sembilan.

Sebab-sebabnya juga dinyatakan. Peninggalan itu dibuat demi keringkasan dan kerana ketiadaan jaminan teori yang kukuh buat masa ini bagi sesetengah kaedah. Dua sebab diberikan. Keringkasan ialah kekangan praktikal bagi mana-mana buku. Sebab kedualah yang memberitahu sesuatu tentang falsafah buku ini.

Kaitkan semula dengan pengenalan. Jaminan pembelajaran teori ialah paksi yang menyusun buku ini. Jaminan bergantung pada kerumitan kelas konsep dan saiz sampel latihan, dan bab-bab teori datang dahulu kerana segala yang lain dibina di atasnya. Kaedah yang buat masa ini tiada jaminan kukuh akan janggal dalam buku yang dibina begini. Jadi peninggalan itu berpunca daripada komitmen teras buku ini. Ia konsisten dengan takrif subjek yang dipilih oleh penulis sebagai pembuka.

Ada perkara yang perlu diberi perhatian di sini. Teksnya menyebut “sesetengah kaedah”, jadi dakwaannya ialah tentang ketiadaan jaminan kukuh bagi sesetengah kaedah, bukan bagi semua topik yang ditinggalkan, dan ia menyebut “buat masa ini”, yang mengikat penilaian itu pada masa penulisan. Saya menahan godaan untuk meringkaskannya sebagai “rangkaian neural tiada teori”. Bukan itu yang dikatakan oleh sumbernya. Sumbernya mengatakan bahawa jaminan bagi sesetengah kaedah buat masa ini tiada, dan bahawa hal itu, bersama keringkasan, ialah sebab model grafik dan rangkaian neural ditinggalkan.

Bagi pembaca teknikal yang memilih apa yang hendak dipelajari, akibat praktikalnya mudah. Buku ini memberi anda perbendaharaan kata jaminan, dan ia memberitahu anda secara terus bidang mana yang tidak diliputinya.

Apa yang diubah oleh edisi kedua #

Edisi kedua lebih daripada cetakan semula dengan pembetulan. Prakata menyenaraikan tambahannya, dan setiap satu memberitahu di mana penulis menganggap edisi pertama masih nipis.

Perubahan utamanya ialah satu bab penuh tentang pemilihan model, bab 4, mengenai topik yang digambarkan oleh penulis sebagai penting dan yang hanya dibincangkan secara ringkas dalam edisi sebelumnya. Bahasanya terus terang. Mereka tidak mendakwa edisi pertama meliputinya dengan baik. Mereka mengatakan topik itu hanya dibincangkan secara ringkas dan kini mereka memberinya satu bab penuh. Bahagiannya merangkumi peminimuman risiko empirik (ERM) dan peminimuman risiko struktur (SRM), seperti yang ditunjukkan oleh senarai kandungan.

Mengapa pemilihan model layak dinaikkan taraf? Sumbernya tidak menyatakan, dan saya tidak akan mereka sebab bagi pihak penulis. Tetapi penempatannya berbicara. Bab 4 terus menyusul bab tentang rangka kerja PAC serta tentang kerumitan Rademacher dan dimensi VC, yang meletakkannya dalam apa yang disebut oleh prakata sebagai tiga atau empat bab pertama yang meletakkan asas teori. Jadi penulis tidak melampirkan pemilihan model sebagai fikiran susulan. Mereka membinanya ke dalam asas teori.

Tambahan seterusnya ialah bab baharu tentang model Entropi Maksimum, bab 12, dan bab baharu tentang model Entropi Maksimum Bersyarat, bab 13. Dua bab yang sepenuhnya baharu ialah peluasan yang besar, dan buku ini kini menumpukan dua bab berturut-turut kepada pasangan itu.

Lampirannya juga berubah. Penulis menambah satu bahagian penuh tentang kedualan Fenchel pada lampiran B tentang pengoptimuman cembung, dan menambah lampiran E tentang teori maklumat. Buku ini juga mengandungi lampiran yang luas yang membentangkan ulasan ringkas tentang algebra linear. Perubahan ini menunjuk ke arah yang konsisten: matematik sokongan berkembang seiring bab-babnya. Kedualan Fenchel menyertai lampiran pengoptimuman cembung, dan teori maklumat mendapat lampirannya sendiri. Saya menahan diri daripada mengatakan bahawa teori maklumat ada di situ khusus untuk menyokong bab-bab Entropi Maksimum, kerana sumbernya tidak menyatakan kaitan sedemikian, dan kedua-dua tambahan itu muncul dalam prakata sebagai butiran berasingan. Masa kemunculannya dalam edisi yang sama ialah kebetulan yang saya biarkan sebagai kebetulan.

Untuk siapa buku ini, dan bagaimana ia mahu dibaca #

Buku ini menyatakan khalayaknya: ia ditujukan kepada pelajar dan penyelidik dalam pembelajaran mesin, statistik dan bidang berkaitan yang lain. Senarai itu menyebut statistik secara nyata, yang menggemakan titik pengenalan bahawa pembelajaran mesin secara semula jadi berkait dengan analisis data dan statistik.

Ia juga menyatakan apa yang diandaikannya. Pembaca dijangka biasa dengan konsep asas dalam algebra linear, kebarangkalian dan analisis algoritma. Itu senarai yang pendek, dan ia sepadan dengan senarai ramuan dalam pengenalan, walaupun tidak tepat. Pengenalan menamakan sains komputer, statistik, kebarangkalian dan pengoptimuman sebagai sumber tekniknya. Prasyaratnya menamakan algebra linear, kebarangkalian dan analisis algoritma. Pengoptimuman tidak termasuk dalam prasyarat, dan buku ini menanganinya dari sisi lain: lampiran B meliputi pengoptimuman cembung, dengan bahagian baharu tentang kedualan Fenchel. Algebra linear dijangka sebagai latar, dan buku ini masih menyediakan lampiran luas yang mengulasnya. Jadi prasyarat dan lampiran bertindih dengan sengaja, dan pembaca yang algebra linearnya sudah berkarat mendapat ulasan ringkas dalam kulit buku yang sama.

Pedagoginya juga dinyatakan dengan jelas. Setiap bab diakhiri dengan satu siri latihan, dengan penyelesaian penuh dibentangkan secara berasingan. Itu susunan yang munasabah bagi buku yang melayani dua khalayak. Pelajar boleh mencuba latihan dan menyemak dengan penyelesaiannya, dan penyelidik yang menggunakan buku ini sebagai rujukan tidak dipaksa melalui jawapan yang dihuraikan pada setiap halaman. Sama ada penyelesaian itu terbit sebagai jilid berasingan atau dokumen lain, sumbernya tidak menyatakan, hanya bahawa ia dibentangkan secara berasingan, jadi saya berhenti di situ.

Apabila dihimpunkan, khalayak, prasyarat, latihan dan lampiran menggambarkan buku yang direka untuk diusahakan langkah demi langkah. Empat belas tahun mengajar di Courant Institute berdiri di belakang reka bentuk ini. Kursus yang diajar berulang kali cenderung menghasilkan perkakas seperti ini, walaupun prakata tidak mendakwa kaitan itu secara nyata, dan saya menawarkannya hanya sebagai bacaan bukti, bukan dapatan.

Aplikasinya luas, dan buku ini menyatakannya #

Buku yang begitu teori boleh disangka jauh daripada amalan. Pengenalan menangkisnya dengan kenyataan mudah: pembelajaran mesin membolehkan set aplikasi praktikal yang sangat luas. Yang dinamakannya ialah pengelasan teks atau dokumen, yang merangkumi pengesanan spam.

Pengesanan spam ialah pilihan contoh yang baik atas sebab yang dijelaskan oleh rangka kerja penulis sendiri. Ia masalah pengelasan dokumen tepat dalam erti contoh sebelumnya: dokumen berlabel masuk, ramalan tentang dokumen yang belum dilihat keluar. Faktor saiz sampel dan kualiti label terpakai terus kepadanya. Sampel yang lebih besar memudahkan tugas, dan mesej yang salah label menyukarkannya. Bilangan kategori yang mungkin adalah kecil, yang mengikut logik petikan sebelumnya turut mempengaruhi kesukaran. Saya menerapkan faktor yang dinyatakan buku ini pada contoh yang dinyatakannya, dan saya tidak mendakwa apa-apa tentang penapis spam di dunia sebenar.

Ada juga hujah yang tersirat dalam penempatan petikan ini. Penulis memperkenalkan pengelasan dokumen sebagai tugas pembelajaran lalu segera menyatakan bahawa itu sama sekali bukan satu-satunya. Aplikasinya luas kerana takrif asasnya luas. Apa sahaja yang sesuai dengan “kaedah pengiraan yang menggunakan pengalaman untuk meningkatkan prestasi atau untuk membuat ramalan yang tepat” layak. Keumuman itu juga sebab buku ini bersusah payah dengan teori. Rangka kerja yang bertujuan meliputi set aplikasi yang sangat luas tidak boleh terikat pada butiran mana-mana satu, dan jaminan yang dinyatakan dari segi kerumitan kelas konsep dan saiz sampel ialah jenis yang boleh berpindah antara masalah.

Taruhan yang dibuat buku ini #

Himpunkan benang-benangnya dan muncul satu kedudukan yang koheren, yang lebih daripada apa yang boleh didakwa oleh senarai kandungan kebanyakan buku teks. Buku ini mentakrifkan pembelajaran dari segi pengalaman dan ramalan. Ia menamakan tiga kerumitan, masa, ruang dan sampel, sebagai ukuran kualiti. Ia mengaitkan jaminan dengan kerumitan kelas konsep dan saiz sampel, dan meletakkan teori yang membekalkan jaminan itu di hadapan. Kemudian ia membina bab-bab algoritma di atas asas itu dan menyatakan secara terbuka bidang popular mana yang ditinggalkannya kerana jaminan bagi sesetengah kaedah, buat masa ini, belum kukuh.

Ini taruhan pada teori sebagai perkara yang kekal. Saya faham mengapa pasukan penulis yang bertahun-tahun mengajar kursus siswazah membuatnya. Taruhan itu ada harganya, dan penulis menamakannya: peninggalan model grafik dan rangkaian neural ialah harga bertegas pada jaminan yang kukuh. Pembaca harus menimbang harga itu dengan jujur. Jika kerja anda dikuasai oleh bidang yang ditinggalkan, buku ini ialah asas, bukan manual. Jika kerja anda perlu menaakul sama ada pelajar mesin akan membuat generalisasi daripada sampel terhingga, perbendaharaan kata buku inilah intipatinya.

Bagi pengasas, iktibar yang berguna ialah yang paling tidak glamor. Kualiti dan saiz data amat penting bagi kejayaan ramalan, dan kesukaran sesuatu tugas bergantung pada kualiti label dan bilangan topik yang mungkin. Itu kenyataan tentang input yang sering boleh anda pengaruhi. Buku ini tidak menjanjikan bahawa mana-mana algoritma tertentu akan menyelamatkan sampel yang nipis atau salah label, dan ia betul kerana tidak menjanjikannya.

Bagi pembaca teknikal, soalan yang lebih menarik ialah soalan yang dibiarkan terbuka oleh prakata. Penulis meninggalkan sesetengah kaedah kerana ketiadaan jaminan teori yang kukuh buat masa ini. Frasa “buat masa ini” membingkaikannya sebagai keadaan pada masa penulisan, dan sumbernya tidak menyatakan sama ada, atau bagaimana, ia mungkin berubah. Apakah yang diperlukan agar jaminan itu cukup kukuh untuk mendapat satu bab? Buku ini tidak dapat menjawabnya. Dengan tepat menyatakan apa yang ditinggalkannya dan mengapa, ia sekurang-kurangnya menunjukkan ke mana hendak mencari.

Maksudnya bagi Setiap Sektor #

Penegasan pada jaminan pembelajaran statistik dan kerumitan sampel memberikan sempadan yang boleh diambil tindakan merentasi beberapa domain perisian dan penyelidikan.

Pembelajaran mesin akademik dan reka bentuk kurikulum #

Program pendidikan mesti menahan tekanan untuk menganggap pembelajaran mesin sebagai kejuruteraan prompt empirik atau sekadar penyambungan rangka kerja perisian. Mengasaskan pelajar dalam rangka kerja PAC, kerumitan Rademacher dan peminimuman risiko struktur membina naluri matematik yang tahan lama, yang bertahan melangkaui pertukaran seni bina pembelajaran mendalam yang sementara.

Kejuruteraan AI perusahaan dan penilaian data #

Organisasi kejuruteraan yang menggunakan sistem ramalan sering memperuntukkan modal berlebihan kepada pengiraan (skala model) sambil mengabaikan kerumitan sampel dan ketepatan label. Oleh sebab ralat generalisasi dibatasi dengan ketat oleh kerumitan kelas konsep berbanding saiz sampel, pasukan mencapai pulangan pelaburan yang lebih tinggi dengan melabur dalam anotasi yang bersih dan audit sampel berbanding model yang lebih besar tanpa regularisasi.

Penyelidikan AI barisan hadapan dan audit model #

Apabila rangka kerja kawal selia seperti EU AI Act mewajibkan batas yang boleh dijangka pada sistem keputusan automatik, jaminan pembelajaran statistik yang diformalkan dalam Foundations of Machine Learning menjadi keperluan pematuhan. Pengawal selia dan juruaudit keselamatan memerlukan batas generalisasi yang boleh dibuktikan dan protokol pemilihan model yang rapi, bukan skor pengesahan heuristik.

Kesimpulan #

Foundations of Machine Learning kekal sebagai sauh yang amat diperlukan dalam bidang yang kerap tergoda oleh empirisme mentah. Dengan membina seluruh kurikulum di sekitar pembelajaran PAC, kerumitan Rademacher dan dimensi VC, Mehryar Mohri, Afshin Rostamizadeh dan Ameet Talwalkar mengingatkan penyelidik bahawa keanggunan algoritma tidak dapat menggantikan jaminan matematik. Peninggalan rangkaian neural dan model grafik secara terus terang oleh penulis kerana ketiadaan jaminan bentuk tertutup bukanlah kecacatan, tetapi kekuatan yang menentukan buku ini, yang dengan jelas memisahkan apa yang dapat dibuktikan secara rapi oleh disiplin ini daripada apa yang hanya diperhatikannya.

Soalan Lazim #

Mengapa penulis meninggalkan rangkaian neural dan model grafik daripada edisi kedua?

Penulis dengan sengaja meninggalkan rangkaian neural dan model grafik demi keringkasan dan kerana ketiadaan jaminan teori yang kukuh buat masa ini bagi beberapa kaedah tersebut. Buku ini disusun dengan ketat di sekitar algoritma yang membenarkan batas generalisasi yang rapi.

Apakah yang membezakan kerumitan sampel daripada kerumitan masa dan ruang?

Kerumitan masa menilai kelajuan pelaksanaan dan kerumitan ruang mengukur penggunaan memori, manakala kerumitan sampel mengkuantifikasi isi padu matematik data latihan yang diperlukan oleh algoritma untuk mempelajari satu keluarga konsep dalam toleransi ralat dan keyakinan yang ditetapkan.

Apakah perbezaan teras antara peminimuman risiko empirik dan peminimuman risiko struktur?

Peminimuman risiko empirik (ERM) memilih hipotesis yang meminimumkan ralat latihan secara langsung, dengan risiko penyuaian lampau apabila kerumitan hipotesis tinggi. Peminimuman risiko struktur (SRM) mengimbangi ralat latihan dengan kerumitan hipotesis (seperti dimensi VC atau kerumitan Rademacher), lalu memberikan batas formal ke atas risiko generalisasi.

Rujukan #

Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). Foundations of Machine Learning, Edisi Kedua ⧉. The MIT Press.
Leslie G. Valiant, (1984). Satu Teori tentang yang Boleh Dipelajari ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Teori Pembelajaran Statistik ⧉. John Wiley & Sons.

Semakan terakhir 2026-10-10.

Semakan terakhir 2026-10-27.

Terbit semula artikel ini

Apa kata halaman kandungan buku teks pembelajaran mesin tentang bidang — Sebastien Rousseau

Foundations of Machine Learning (edisi kedua, MIT Press, 2018) oleh Mohri, Rostamizadeh dan Talwalkar membina kurikulum di sekitar kerumitan sampel dan jaminan teori.

Artikel ini dilesenkan di bawah Creative Commons Attribution 4.0 International. Penerbitan semula memerlukan atribusi kepada URL kanonik.

Apa kata halaman kandungan buku teks pembelajaran mesin tentang bidang — Sebastien Rousseau

Foundations of Machine Learning (edisi kedua, MIT Press, 2018) oleh Mohri, Rostamizadeh dan Talwalkar membina kurikulum di sekitar kerumitan sampel dan jaminan teori.

Originally published at https://sebastienrousseau.com/ms/2026-10-10-apa-kata-halaman-kandungan-buku-teks/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER