Talaan ng nilalaman ng aklat sa machine learning: ano ang sinasabi

Binibigyang-kahulugan ng Foundations of Machine Learning (ikalawang edisyon, MIT Press, 2018) nina Mehryar Mohri, Afshin Rostamizadeh at Ameet Talwalkar ang pagkatuto bilang paggamit ng karanasan upang makagawa ng tumpak na prediksiyon, at bumubuo ito ng mahigpit na kurikulum sa paligid ng sample complexity, mga Rademacher bound at mga teoretikal na garantiya.

Karamihan sa mga aklat tungkol sa machine learning ay nagsisimula sa isang pangako tungkol sa kung ano ang kaya mong buuin. Ang isang ito ay nagsisimula sa isang depinisyon at isang listahan ng mga sukat na nagpapasya kung magtatagumpay ang isang learner. Sinasabi ng pagkakasunod-sunod na iyon kung ano sa palagay ng mga awtor ang paksa, at sa tingin ko tama ang pasyang iyon. Ang isang larangang ipinagmamalaki ang prediksiyon ay may utang sa mga mambabasa nito na ipaliwanag kung kailan mapagkakatiwalaan ang prediksiyon, at iyon mismo ang paliwanag na sinisikap ibigay ng aklat.

Binabasa ng artikulong ito ang aklat sa pamamagitan ng aktuwal na sinasabi ng front matter, paunang salita at mga unang pahina nito. Mas makitid itong gawain kaysa repasuhin ang bawat kabanata, at tapat ito sa mga hangganan nito: ang mga pinagkunan dito ay ang title page, ang talaan ng nilalaman, ang paunang salita at ang unang bahagi ng panimula. Sa loob ng mga hangganang iyon, may malinaw na argumentong masusundan. Tungkol ito sa kung ano ang machine learning, saan ito nakasalalay, ano ang piniling saklawin ng mga awtor at ano ang piniling iwanan.

Isang aklat na may tiyak na pinagmulan #

Magsimula sa mga katotohanang nag-aangkla sa bagay na ito. Ang pamagat ng aklat ay Foundations of Machine Learning, at ito ang ikalawang edisyon. Bahagi ito ng seryeng Adaptive Computation and Machine Learning, na ang editor ay si Francis Bach. Ang mga awtor ay sina Mehryar Mohri, Afshin Rostamizadeh at Ameet Talwalkar. Ang tagapaglathala ay The MIT Press, Cambridge, Massachusetts, at ang copyright ay hawak ng Massachusetts Institute of Technology, na may petsang 2018. Ang hardcover na edisyon ay may ISBN 9780262039406.

Dalawang detalye ng produksiyon ang karapat-dapat sa tig-isang pangungusap. Ang aklat ay itinipa sa LaTeX ng mga awtor mismo, na angkop sa isang tekstong siksik sa mga bound, depinisyon at patunay, at inilimbag at pinagtahi ito sa Estados Unidos ng Amerika. Wala sa dalawang detalyeng ito ang nagbabago sa kung paano mo babasahin ang matematika. Pero ang mga awtor na nagtipa ng sarili nilang aklat ay humawak sa bawat pahina, at sa ganitong uri ng aklat, nakapagpapanatag iyon.

Mas mahalaga ang pinagmulan ng materyal. Karamihan dito ay nagmula sa isang graduate course, na tinatawag ding Foundations of Machine Learning, na itinuro ng unang awtor sa Courant Institute of Mathematical Sciences ng New York University sa nakalipas na labing-apat na taon. Iyan ay isang tiyak at masusuring pinagmulan. Ang isang aklat-aralin na lumago mula sa labing-apat na taon ng pagtuturo ng iisang kurso ay malamang na hinubog ng mga bagay na nahirapan ang mga estudyante, at ganoon ang dating ng mga ehersisyo at apendiks na inilalarawan sa ibaba. Mag-iingat ako na huwag itulak ang hinuha nang lampas sa pinahihintulutan ng pinagkunan. Sinasabi ng paunang salita kung saan nagmula ang materyal, at hindi nito sinasabi kung ilang rebisyon ang dinaanan ng kurso o kung saan nahirapan ang mga estudyante. Sapat na ang sinasabi nito: materyal ito ng isang kurso, hindi isang survey na binuo mula sa literatura.

Ang depinisyong gumagawa ng mabigat na trabaho #

Nakasalalay ang lahat ng kasunod sa iisang pangungusap. Ang machine learning, ayon sa mga awtor, ay maaaring malawak na bigyang-kahulugan bilang mga computational na pamamaraang gumagamit ng karanasan upang mapabuti ang performance o makagawa ng tumpak na prediksiyon.

May trabaho ang bawat pangngalan sa pangungusap na iyon. Inilalagay ng “computational na pamamaraan” ang paksa sa loob ng computer science. Pagkatapos ay tinitiyak ang “karanasan”: tumutukoy ito sa nakaraang impormasyong makukuha ng learner. Walang sinasabi ang pangungusap na may nauunawaan ang learner, at wala itong sinasabi tungkol sa talino. May nakaraang impormasyon ang learner at may target, na pinabuting performance o tumpak na prediksiyon, at ang buong disiplina ay tungkol sa ugnayan ng dalawang iyon.

Masasabi kong mas kapaki-pakinabang ang depinisyong ito para sa mga teknikal na mambabasa at mga founder kaysa sa mas engrandeng mga depinisyong umiikot, dahil tuwiran itong tumuturo sa mga pingga na hawak mo. Kung ang pagkatuto ay function ng nakaraang impormasyon, ang impluwensiya mo sa kalalabasan ay nasa kung anong impormasyon ang kinokolekta mo at kung gaano karami. Ganoon din ang sinasabi ng kasunod na pahayag sa teksto: mahalaga ang kalidad at laki ng datos sa tagumpay ng mga prediksiyong ginagawa ng learner. Ipinapakita ang pahayag na iyon sa teksto bilang isang payak na mekanismo, nang walang anumang pasubali.

Inilalarawan din ng mga awtor ang mga teknik mismo. Ang mga ito ay mga data-driven na pamamaraang pinagsasama ang mga pundamental na konsepto ng computer science at mga ideya mula sa estadistika, probabilidad at optimization. Nagsisilbi ang pangungusap na iyon bilang listahan ng mga kinakailangang kaalaman at mapa ng mga kapitbahay ng larangan. Ang isang team na gustong bumuo ng mga learning system ay humuhugot nang sabay-sabay sa computer science, estadistika, probabilidad at optimization. Ang pagturing sa alinman sa mga ito bilang opsiyonal ay isang pasyang hindi sinusuportahan ng aklat.

Isang halimbawa: mga dokumento at paksa #

Inaangkla ng panimula ang depinisyon sa isang kongkretong problema sa pagkatuto. Kumuha ng isang may-hangganang sample ng mga dokumentong pinili nang random, na bawat isa ay may label na paksa. Ang gawain ay gamitin ang sample na iyon upang hulaan ang paksa ng mga dokumentong hindi pa nakikita.

Sulit basahin nang dahan-dahan ang ayos na ito. May hangganan ang sample, kaya hindi kailanman nakikita ng learner ang lahat. Pinili nang random ang mga dokumento, at iyon ang nagpapahintulot sa isang may-hangganang sample na magsabi ng isang bagay tungkol sa mga hindi pa nakikita. May label na paksa ang bawat isa, kaya may gabay ang learner. At ang target ay mga dokumentong hindi pa nito nakikita, na siyang pagkakaiba ng paghula at pagsasaulo.

Pagkatapos ay inilalabas ng mga awtor ang dalawang bagay na nagpapadali o nagpapahirap sa gawain. Ang una ay laki: malinaw na kung mas malaki ang sample, mas madali ang gawain. Ang ikalawa ay kalidad ng label. Nakadepende rin ang hirap ng gawain sa kalidad ng mga label na itinalaga sa mga dokumento sa sample, dahil maaaring hindi lahat ng label ay tama, at sa bilang ng mga posibleng paksa.

May tatlong magkakahiwalay na pihitan ang pangungusap na iyon. Ang laki ng sample ay isa. Ang kawastuhan ng label ay isa pa. Ang bilang ng mga posibleng paksa ang ikatlo. Wala sa mga ito ang tungkol sa algorithm. Lahat ay katangian ng problema at ng datos, at sila ang nagpapasya kung gaano kahirap ang problema bago pa pumili ng anumang pamamaraan. Para sa isang founder na nagpapasya kung saan gagastusin ang badyet, matalas ang obserbasyong ito. Kung mapapabuti mo ang mga label o mapalalaki ang sample, kumikilos ka sa mga salik na tahasang pinangalanan ng mga awtor bilang nagtatakda ng hirap.

Pinangangalanan din ng halimbawa ang sarili nitong gawain. Ang paghula sa label ng isang dokumento ay kilala rin bilang document classification, at agad idinadagdag ng mga awtor na hindi ito ang tanging gawain sa pagkatuto. Madaling lampasan ang pag-iingat na iyon. Sasakyan lamang ang halimbawa ng dokumento, at pangkalahatan ang pahayag na nasa ilalim nito.

Tatlong complexity, hindi dalawa #

Dito ginagawa ng aklat ang pinakanatatangi nitong hakbang, at madali itong makaligtaan dahil dumarating ito bilang maikling puna. Ang machine learning, sabi ng mga awtor, ay binubuo ng pagdidisenyo ng episyente at tumpak na mga algorithm ng prediksiyon. Gaya sa ibang larangan ng computer science, kritikal na sukat ng kalidad ng gayong mga algorithm ang time at space complexity. Makikilala ng sinumang nag-aral ng mga algorithm ang dalawang iyon. Gaano katagal ito, at gaano karaming memorya ang kailangan nito?

Pagkatapos ay dumarating ang dagdag. Kailangan din ng machine learning ng konsepto ng sample complexity upang tasahin ang laki ng sample na kailangan ng algorithm upang matutuhan ang isang pamilya ng mga konsepto. Ito ang sukat na walang katapat sa isang sorting routine. Hindi kailangang sabihan ang isang sorting algorithm kung ilang halimbawa ang kailangan nito. Kailangan iyon ng learner, dahil ang output nito ay prediksiyon tungkol sa mga kasong hindi pa nito nakikita, at ang dami ng karanasan sa likod ng prediksiyong iyon ay bahagi ng binabayaran mo.

Ganito ko ito sasabihin: sinasabi ng time at space kung magkano ang gastos sa pagpapatakbo ng isang algorithm, at sinasabi ng sample complexity kung magkano ang gastos sa pagtuturo dito. Ang learner na mabilis pero nangangailangan ng di-praktikal na laking sample ay hindi episyente sa anumang kahulugang mahalaga sa taong nangongolekta ng datos. Ang paglalagay ng ikatlong sukat katabi ng dalawa pa ay paraan ng aklat ng pagsasabing ang datos ay rekursong may presyo, na dapat ibadyet gaya ng compute at memorya.

Nagpapatuloy ang teksto sa parehong direksiyon. Sa mas pangkalahatan, nakadepende ang mga teoretikal na garantiya sa pagkatuto para sa isang algorithm sa complexity ng mga concept class na isinasaalang-alang at sa laki ng training sample. Iyan ay maikling pahayag ng kung saan gawa ang isang garantiya. May dalawang input, kung gaano kayaman ang pamilya ng mga konsepto at kung gaano karami ang training data mo, at ang garantiya ay pahayag na nag-uugnay sa mga ito sa performance. Pansinin ang ipinahihiwatig nito tungkol sa estruktura ng aklat. Kailangang magbigay ang mga kasunod na kabanata ng mga paraan ng pagsukat sa complexity ng isang concept class, at ipinapakita ng talaan ng nilalaman na ginagawa nga nila iyon.

Ipinaliliwanag din ng mga awtor kung bakit nasa kinalalagyan nito ang larangan. Dahil nakadepende ang tagumpay ng isang learning algorithm sa datos na ginamit, likas na kaugnay ng machine learning ang data analysis at estadistika. Payak na sinasabi ang mekanismo: nakadepende sa datos ang tagumpay, kaya nakapulupot ang paksa sa mga disiplinang nag-aaral ng datos. Ito sa tingin ko ang pinakatapat na pangungusap sa panimula. Hindi nito inihaharap ang estadistika bilang karibal o ninuno. Inihaharap nito ang estadistika bilang bunga ng kung saan nakasalalay ang pagkatuto.

Dimensiyon	Time Complexity	Space Complexity	Sample Complexity
Operational na depinisyon	Asymptotic na running time na kailangan upang mailabas ang hypothesis $h$	Memoryang kailangan habang nagte-training at nag-e-evaluate	Bilang ng training example $m$ na kailangan upang matutuhan ang pamilya ng konsepto
Namamahalang teorya	Computational complexity (P vs NP, hirap ng training)	Mga limitasyon sa memorya ng arkitektura at cache locality	PAC learning, Rademacher complexity at VC-dimension
Implikasyon sa gastos	Badyet sa server compute at GPU/CPU inference	Kapasidad ng RAM at on-chip SRAM	Gastos sa pangongolekta ng datos, anotasyon at paglalagay ng label
Teoretikal na papel	Sinusukat ang episyensiya ng runtime ng algorithm	Sinusukat ang episyensiya sa paggamit ng espasyo	Tinutukoy ang generalization error at mga bound sa datos na hindi pa nakikita

Ang teoretikal na gulugod #

Sinasabi ng paunang salita kung paano binuo ang aklat. Inilalatag ng unang tatlo o apat na kabanata ang teoretikal na pundasyon para sa kasunod na materyal. Ipinapakita sa atin ng talaan ng nilalaman kung saan gawa ang pundasyong iyon, kahit man lang ayon sa pamagat.

Ang unang kabanata sa listahan ng nilalaman ay may pamagat na “The PAC Learning Framework”, at nasa loob nito ang mga seksiyong may pamagat na “Guarantees for finite hypothesis sets - consistent case” at “Guarantees for finite hypothesis sets - inconsistent case”. Dalawang bagay ang sinasabi sa atin ng mga pangalan ng seksiyon. Una, naglalabas ang framework ng mga garantiya, na tugma sa diin ng panimula. Ikalawa, hinahati ang mga garantiya ayon sa kung consistent o inconsistent ang kaso, at hiwalay na tinatalakay ng aklat ang dalawa. Hindi ako manghuhula tungkol sa laman ng consistent at inconsistent na mga kaso, dahil mga pamagat lamang ng seksiyon ang ibinibigay ng mga pinagkunan dito. Pero ipinapakita ng pagpapares na hindi naghaharap ang mga awtor ng iisang malinis na teorema at saka lilipat. Binibigyan nila ng sariling seksiyon ang mas mahirap at mas magulong kaso.

Ang kasunod na kabanata sa listahan ay “Rademacher Complexity and VC-Dimension”. Saklaw ng mga seksiyon nito ang Rademacher complexity, growth function, VC-dimension at mga lower bound. Kapag binasa kasabay ng panimula, ang kabanatang ito ang natural na sagot sa isang tanong na itinataas ng panimula. Kung nakadepende ang mga garantiya sa complexity ng mga concept class na isinasaalang-alang, kailangan mo ng mga kasangkapan upang sukatin ang complexity na iyon. Ang Rademacher complexity, ang growth function at ang VC-dimension ay nakalista bilang mga seksiyong nagdadala ng pasaning ito. Kapansin-pansin din ang pagsasama ng mga lower bound sa listahan ng seksiyon. Ang aklat na naghaharap lamang ng mga upper bound ay nagsasabi kung ano ang kayang makamit. Ang aklat na may kasamang mga lower bound ay nagsasabi rin kung ano ang hindi.

Pagkatapos ay dumarating ang kabanata 4, “Model Selection”, na may mga seksiyong kinabibilangan ng empirical risk minimization (ERM) at structural risk minimization (SRM). Babalikan natin ang kabanatang ito kapag tiningnan natin ang ikalawang edisyon, dahil isa ito sa mga lugar na pinakamalaki ang binago ng bagong edisyon.

Sinadya ang estrukturang ito. Pundasyon muna, pagkatapos ay ang makinarya sa pagsukat ng complexity, pagkatapos ay model selection, at saka pa lamang ang mga algorithm. Maipagtatanggol na paraan ito ng pagtuturo, at tugma ito sa sariling paliwanag ng aklat kung paano ito gumagana: inilalatag ng mga unang kabanata ang teorya, at itinatayo ang natitira sa ibabaw nito.

Mula teorya tungo sa mga algorithm: support vector machines at kernels #

Pinangangalanan din ng listahan ng nilalaman ang mga kabanata ng algorithm na kasunod. Ang isa ay may pamagat na “Support Vector Machines”, na may mga seksiyon para sa separable at non-separable na kaso. Saklaw ng bawat isa sa mga seksiyong iyon ang primal optimization problem, ang mga support vector at ang dual optimization problem. Ang isa pa ay may pamagat na “Kernel Methods”.

Nagbibigay-impormasyon ang hugis mismo ng kabanata sa support vector machines. Lumilitaw ang parehong tatlong paksa sa ilalim ng separable at non-separable na heading: ang primal optimization problem, ang mga support vector at ang dual optimization problem. Nagmumungkahi ang pag-uulit na iyon ng magkahanay na pagtalakay, ang parehong mga tanong na itinatanong nang dalawang beses sa ilalim ng magkaibang palagay. Sinasalamin ng pagkakahanay ang paghahati sa consistent at inconsistent sa kabanata ng PAC, kaya may lumilitaw na padron sa buong aklat: malinis na kaso muna, pagkatapos ay ang kasong bumibigay ang malinis na palagay.

Mag-iingat ako sa labis na pagbasa sa isang talaan ng nilalaman. Masasabi nito kung ano ang saklaw ng aklat at kung paano nito hinahati ang materyal. Hindi nito masasabi kung gaano kahusay ang pagkakasulat ng anumang seksiyon, at walang sinasabi tungkol doon ang mga pinagkunang ito. Ang ipinapakita nito ay na ang wika ng optimization sa kabanata sa support vector machines, primal at dual, ay nag-uugnay pabalik sa paglalarawan ng panimula sa mga teknik bilang pagsasama ng computer science at mga ideya mula sa estadistika, probabilidad at optimization. Kongkretong lumilitaw sa mga pamagat ng seksiyong ito ang hibla ng optimization sa listahang iyon.

Naglalaan din ang aklat ng hiwalay na kabanata para sa bawat isa sa multi-class classification, ranking at regression. Disenyong pasya iyan na sulit ipagtanggol. Madali sanang ituring ang mga ito bilang talababa sa binary classification. Ang pagbibigay sa bawat isa ng sariling kabanata ay hudyat na itinuturing sila ng mga awtor bilang magkakaibang problema na may sariling pagsusuri, at tugma ito sa ipinahayag na layunin ng isang pinag-isang presentasyon ng maraming paksa sa halip na presentasyong pumapabor sa iisang pananaw.

Ang piniling hindi saklawin ng aklat #

Ang pinakakawili-wiling bahagi ng paunang salita ay tungkol sa hindi isinama. Ang aklat, sabi ng mga awtor, ay pangkalahatang panimula sa machine learning na maaaring magsilbing reference book para sa mga mananaliksik at aklat-aralin para sa mga estudyante. Matapos gawin ang malawak na pahayag na iyon, nagdaragdag sila ng hangganan: pinili nilang iwanan ang ilang mahahalagang paksa, kabilang ang graphical models at neural networks.

Iilang aklat-aralin ang nagsasabi nito nang ganito katuwiran, at masasabi kong lakas ang katapatang ito. Ang mambabasang alam nang maaga kung ano ang kulang ay makapagpaplano sa paligid nito. Alam ng isang taong nangangailangan ng neural networks na sa iba siya maghahanap, sa halip na matuklasan ang puwang sa ikasiyam na kabanata.

Ipinahahayag din ang mga dahilan. Ang pag-iwan ay kapwa alang-alang sa kaiklian at dahil sa kasalukuyang kakulangan ng matibay na teoretikal na garantiya para sa ilang pamamaraan. Dalawang dahilan ang ibinigay. Praktikal na limitasyon sa anumang aklat ang kaiklian. Ang ikalawang dahilan ang nagsasabi ng isang bagay tungkol sa pilosopiya ng aklat.

Iugnay ito pabalik sa panimula. Ang mga teoretikal na garantiya sa pagkatuto ang pinag-oorganisahan ng aklat na ito. Nakadepende ang mga garantiya sa complexity ng mga concept class at sa laki ng training sample, at nauuna ang mga teoretikal na kabanata dahil itinatayo ang lahat ng iba pa sa ibabaw nila. Ang isang pamamaraang kasalukuyang kulang sa matibay na garantiya ay alanganin sa isang aklat na binuo nang ganito. Kaya ang pag-iwan ay sumusunod sa pangunahing paninindigan ng aklat. Tugma ito sa depinisyon ng paksa na piniling gamitin ng mga awtor sa pagbubukas.

May dapat pag-ingatan dito. Sinasabi ng teksto na “some methods”, kaya ang pahayag ay tungkol sa kakulangan ng matibay na garantiya para sa ilang pamamaraan, hindi para sa lahat ng paksang hindi isinama, at sinasabi nitong “current”, na nag-uugnay sa paghatol sa panahon ng pagsulat. Lalabanan ko ang tuksong ibuod ito bilang “walang teorya ang neural networks”. Hindi iyon ang sinasabi ng pinagkunan. Sinasabi nitong kasalukuyang kulang ang mga garantiya para sa ilang pamamaraan, at ito, kasama ng kaiklian, ang dahilan kung bakit iniwan ang graphical models at neural networks.

Para sa mga teknikal na mambabasang pumipili kung ano ang pag-aaralan, simple ang praktikal na bunga. Binibigyan ka ng aklat na ito ng bokabularyo ng mga garantiya, at malinaw nitong sinasabi kung aling mga larangan ang hindi nito saklaw.

Ang binago ng ikalawang edisyon #

Higit pa sa muling paglilimbag na may mga pagwawasto ang ikalawang edisyon. Naglilista ang paunang salita ng mga dagdag, at bawat isa ay nagsasabi kung saan sa palagay ng mga awtor manipis ang unang edisyon.

Ang pangunahing pagbabago ay isang buong kabanata sa model selection, ang kabanata 4, sa isang paksang inilalarawan ng mga awtor bilang mahalaga at maikli lamang na tinalakay sa nakaraang edisyon. Tuwiran ang wika. Hindi nila sinasabing mahusay itong nasaklaw ng unang edisyon. Sinasabi nilang maikli lamang itong tinalakay at na binigyan na nila ito ngayon ng buong kabanata. Kabilang sa mga seksiyon ang empirical risk minimization (ERM) at structural risk minimization (SRM), gaya ng ipinapakita ng listahan ng nilalaman.

Bakit karapat-dapat sa promosyon ang model selection? Hindi sinasabi ng mga pinagkunan, at hindi ako mag-iimbento ng dahilan para sa mga awtor. Pero makahulugan ang pagkakalagay. Kasunod mismo ng kabanata 4 ang mga kabanata sa PAC framework at sa Rademacher complexity at VC-dimension, kaya nasa loob ito ng tinatawag ng paunang salita na unang tatlo o apat na kabanatang naglalatag ng teoretikal na pundasyon. Kaya hindi idinugtong ng mga awtor ang model selection bilang nahuling isip. Isinama nila ito sa teoretikal na pundasyon.

Ang mga kasunod na dagdag ay isang bagong kabanata sa mga Maximum Entropy model, ang kabanata 12, at isang bagong kabanata sa mga Conditional Maximum Entropy model, ang kabanata 13. Ang dalawang ganap na bagong kabanata ay malaking pagpapalawak, at naglalaan na ngayon ang aklat ng magkasunod na kabanata para sa magkapares na ito.

Nagbabago rin ang mga apendiks. Nagdagdag ang mga awtor ng buong seksiyon sa Fenchel duality sa apendiks B tungkol sa convex optimization, at nagdagdag sila ng apendiks E tungkol sa information theory. May kasama ring malawak na apendiks ang aklat na naghaharap ng maikling repaso ng linear algebra. Tumuturo sa iisang direksiyon ang mga pagbabagong ito: lumago ang sumusuportang matematika kasabay ng mga kabanata. Sumasali ang Fenchel duality sa apendiks ng convex optimization, at nagkakaroon ng sariling apendiks ang information theory. Iiwasan kong sabihing naroon ang information theory partikular upang suportahan ang mga kabanata ng Maximum Entropy, dahil walang ganoong ugnayan na sinasabi ang mga pinagkunan, at lumilitaw ang dalawang dagdag sa paunang salita bilang magkahiwalay na aytem. Ang pagsasabay nila sa iisang edisyon ay isang pagkakataong iiwan kong ganoon.

Para kanino ang aklat, at kung paano nito inaasahang basahin ito #

Ipinahahayag ng aklat ang mambabasa nito: inilaan ito para sa mga estudyante at mananaliksik sa machine learning, estadistika at iba pang kaugnay na larangan. Tahasang kasama sa listahang iyon ang estadistika, na umaalingawngaw sa punto ng panimula na likas na kaugnay ng machine learning ang data analysis at estadistika.

Ipinahahayag din nito kung ano ang ipinagpapalagay nito. Inaasahang pamilyar ang mambabasa sa mga batayang konsepto ng linear algebra, probabilidad at analysis of algorithms. Maikli ang listahang iyon, at tugma ito sa listahan ng mga sangkap sa panimula, bagaman hindi eksakto. Pinangangalanan ng panimula ang computer science, estadistika, probabilidad at optimization bilang pinagmumulan ng mga teknik. Pinangangalanan naman ng mga kinakailangang kaalaman ang linear algebra, probabilidad at analysis of algorithms. Wala ang optimization sa mga kinakailangang kaalaman, at tinutugunan iyon ng aklat mula sa kabilang panig: saklaw ng apendiks B ang convex optimization, kasama ang bagong seksiyon sa Fenchel duality. Inaasahan ang linear algebra bilang dating kaalaman, at nagbibigay pa rin ang aklat ng malawak na apendiks na nagrerepaso rito. Kaya sinadyang magpatong ang mga kinakailangang kaalaman at ang mga apendiks, at ang mambabasang kinakalawang na ang linear algebra ay may maikling repaso sa loob ng parehong aklat.

Payak ding ipinahahayag ang pedagohiya. Nagtatapos ang bawat kabanata sa isang serye ng mga ehersisyo, na ang buong mga solusyon ay hiwalay na inihaharap. Makatwirang ayos iyon para sa aklat na naglilingkod sa dalawang uri ng mambabasa. Masusubukan ng estudyante ang mga ehersisyo at maikukumpara sa mga solusyon, at ang mananaliksik na gumagamit sa aklat bilang reference ay hindi napipilitang dumaan sa mga sagot sa bawat pahina. Kung ang mga solusyon ay nasa hiwalay na tomo o ibang dokumento, hindi sinasabi ng pinagkunan, kundi hiwalay lamang ang paghaharap sa mga ito, kaya iiwan ko iyon doon.

Kapag pinagsama-sama, inilalarawan ng mambabasa, ng mga kinakailangang kaalaman, ng mga ehersisyo at ng mga apendiks ang isang aklat na dinisenyo upang pag-aralan nang buo. Nasa likod ng disenyong ito ang labing-apat na taon ng pagtuturo sa Courant Institute. Ang isang kursong paulit-ulit na itinuturo ay may hilig na lumikha ng ganitong kagamitan, bagaman hindi tahasang inaangkin ng paunang salita ang ugnayang iyon, at iniaalok ko lamang ito bilang pagbasa sa ebidensiya, hindi bilang natuklasan.

Malawak ang mga aplikasyon, at sinasabi iyon ng aklat #

Ang isang aklat na ganito katoretikal ay maaaring mapagkamalang malayo sa praktika. Hinaharang iyon ng panimula sa isang payak na pahayag: may napakalawak na hanay ng praktikal na aplikasyon ang machine learning. Ang pinangangalanan nito ay text o document classification, na kinabibilangan ng spam detection.

Mahusay na halimbawa ang spam detection sa isang dahilang ipinaliliwanag ng sariling framework ng mga awtor. Problema ito ng document classification sa eksaktong kahulugan ng naunang halimbawa: may label na mga dokumento ang pumapasok, at mga prediksiyon tungkol sa mga hindi pa nakikitang dokumento ang lumalabas. Tuwirang umiiral dito ang mga salik ng laki ng sample at kalidad ng label. Pinadadali ng mas malaking sample ang gawain, at pinahihirap ito ng mga mensaheng mali ang label. Maliit ang bilang ng mga posibleng kategorya, na, ayon sa lohika ng naunang bahagi, may epekto rin sa hirap. Inilalapat ko ang mga ipinahayag na salik ng aklat sa ipinahayag nitong halimbawa, at wala akong inaangkin tungkol sa mga spam filter sa totoong mundo.

May tahimik ding argumento sa pagkakalagay ng bahaging ito. Ipinakikilala ng mga awtor ang document classification bilang gawain sa pagkatuto at agad nilang binabanggit na hindi ito ang tanging isa. Malawak ang mga aplikasyon dahil malawak ang depinisyong nasa ilalim. Anumang umaangkop sa “mga computational na pamamaraang gumagamit ng karanasan upang mapabuti ang performance o makagawa ng tumpak na prediksiyon” ay kuwalipikado. Ang pagiging pangkalahatang iyon din ang dahilan kung bakit nag-aabala ang aklat sa teorya. Ang framework na nilalayong saklawin ang napakalawak na hanay ng mga aplikasyon ay hindi maitatali sa mga detalye ng iisa, at ang mga garantiyang ipinahayag ayon sa complexity ng concept class at laki ng sample ay eksaktong uri na naglalakbay sa pagitan ng mga problema.

Ang taya ng aklat #

Pagsamahin ang mga hibla at may lumilitaw na magkakaugnay na posisyon, na higit pa sa maaangkin ng talaan ng nilalaman ng karamihan sa mga aklat-aralin. Binibigyang-kahulugan ng aklat ang pagkatuto ayon sa karanasan at prediksiyon. Pinangangalanan nito ang tatlong complexity, time, space at sample, bilang mga sukat ng kalidad. Itinatali nito ang mga garantiya sa complexity ng concept class at laki ng sample, at inilalagay nito sa unahan ang teoryang nagbibigay ng mga garantiyang iyon. Pagkatapos ay itinatayo nito ang mga kabanata ng algorithm sa batayang iyon at hayagang sinasabi kung aling mga popular na larangan ang iniiwan nito dahil ang mga garantiya para sa ilang pamamaraan ay, sa ngayon, hindi matibay.

Isa itong taya sa teorya bilang bagay na nagtatagal. Nauunawaan ko kung bakit gagawin ito ng isang pangkat ng mga awtor na gumugol ng mga taon sa pagtuturo ng isang graduate course. May gastos ang taya, at pinangangalanan ito ng mga awtor: ang pag-iwan sa graphical models at neural networks ang presyo ng paggigiit sa matibay na garantiya. Dapat timbangin nang tapat ng mambabasa ang gastos na iyon. Kung pinangingibabawan ng mga iniwang larangan ang trabaho mo, pundasyon ang aklat na ito at hindi manwal. Kung kailangan ng trabaho mo na mangatwiran kung makapag-generalize ang isang learner mula sa may-hangganang sample, ang bokabularyo ng aklat ang mismong punto nito.

Para sa mga founder, ang kapaki-pakinabang na aral ay ang pinakamaliit ang kinang. Mahalaga ang kalidad at laki ng datos sa tagumpay ng mga prediksiyon, at nakadepende ang hirap ng isang gawain sa kalidad ng label at sa bilang ng mga posibleng paksa. Mga pahayag iyan tungkol sa mga input na madalas mong maiimpluwensiyahan. Hindi nangangako ang aklat na sasagipin ng anumang partikular na algorithm ang isang manipis o maling-label na sample, at tama ito na hindi mangako.

Para sa mga teknikal na mambabasa, ang mas kawili-wiling tanong ay ang iniiwang bukas ng paunang salita. Iniwan ng mga awtor ang ilang pamamaraan dahil sa kasalukuyang kakulangan ng matibay na teoretikal na garantiya. Inilalarawan ng salitang “current” iyon bilang kalagayan sa panahon ng pagsulat, at hindi sinasabi ng mga pinagkunan kung magbabago ito, o kung paano. Ano ang kakailanganin upang maging sapat na matibay ang mga garantiyang iyon para magkaroon ng sariling kabanata? Hindi iyon masasagot ng aklat. Sa pagiging eksakto tungkol sa iniiwan nito at kung bakit, ipinapakita man lang nito kung saan dapat tumingin.

Ano ang Ibig Sabihin Nito sa Bawat Sektor #

Nagbibigay ang paggigiit sa mga garantiya ng statistical learning at sa sample complexity ng mga hangganang maaaring kumilos sa ilang larangan ng software at pananaliksik.

Akademikong machine learning at disenyo ng kurikulum #

Dapat labanan ng mga programang pang-edukasyon ang presyur na ituring ang machine learning bilang empirical na prompt engineering o pagtutubero ng framework. Ang pagsasalig sa mga estudyante sa PAC framework, Rademacher complexity at structural risk minimization ay bumubuo ng matatag na instinct sa matematika na nakaliligtas sa pagpapalit-palit ng panandaliang mga arkitektura ng deep learning.

Enterprise AI engineering at pagpapahalaga sa datos #

Madalas na labis na naglalaan ng kapital sa compute (laki ng model) ang mga organisasyong nagde-deploy ng mga predictive system habang pinababayaan ang sample complexity at katapatan ng label. Dahil mahigpit na nakatali ang generalization error sa complexity ng concept class kaugnay ng laki ng sample, mas mataas na ROI ang nakakamit ng mga team kapag namumuhunan sa malinis na anotasyon at pag-audit ng sample kaysa sa mas malalaking model na walang regularization.

Frontier AI research at pag-audit ng model #

Habang iniuutos ng mga regulatory framework gaya ng EU AI Act ang mahuhulaang mga hangganan sa mga automated decision system, nagiging pangangailangan sa pagsunod ang mga garantiya ng statistical learning na pinormal sa Foundations of Machine Learning. Humihingi ang mga regulator at safety auditor ng napatutunayang generalization bound at mahigpit na mga protokol sa model selection sa halip na heuristic na mga validation score.

Konklusyon #

Nananatiling di-mapapalitang angkla ang Foundations of Machine Learning sa isang larangang madalas matukso ng hilaw na empirisismo. Sa pagbuo ng buong kurikulum sa paligid ng PAC learning, Rademacher complexity at VC-dimension, ipinapaalala nina Mehryar Mohri, Afshin Rostamizadeh at Ameet Talwalkar sa mga mananaliksik na hindi kayang palitan ng kagandahan ng algorithm ang mga garantiyang matematikal. Ang tapat na pag-iwan ng mga awtor sa neural networks at graphical models dahil sa kawalan ng closed-form na garantiya ay hindi kapintasan - ito ang tumutukoy na lakas ng aklat, na malinaw na naghihiwalay sa kayang mahigpit na patunayan ng disiplina mula sa nakikita lamang nito.

Mga Madalas Itanong #

Bakit iniwan ng mga awtor ang neural networks at graphical models sa ikalawang edisyon?

Sinadyang iwanan ng mga awtor ang neural networks at graphical models alang-alang sa kaiklian at dahil sa kasalukuyang kakulangan ng matibay na teoretikal na garantiya para sa ilan sa mga pamamaraang iyon. Mahigpit na inorganisa ang aklat sa paligid ng mga algorithm na may mahigpit na generalization bound.

Ano ang pinagkaiba ng sample complexity sa time at space complexity?

Habang tinatasa ng time complexity ang bilis ng pagpapatakbo at sinusukat ng space complexity ang konsumo ng memorya, sinusukat ng sample complexity ang matematikal na dami ng training data na kailangan ng isang algorithm upang matutuhan ang isang pamilya ng mga konsepto sa loob ng itinakdang error at confidence tolerance.

Ano ang pangunahing pagkakaiba ng empirical risk minimization at structural risk minimization?

Pinipili ng empirical risk minimization (ERM) ang hypothesis na direktang nagpapaliit sa training error, na may panganib ng overfitting kapag mataas ang complexity ng hypothesis. Tinitimbang ng structural risk minimization (SRM) ang training error laban sa complexity ng hypothesis (gaya ng VC-dimension o Rademacher complexity), at nagbibigay ito ng pormal na bound sa generalization risk.

Mga Sanggunian #

Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). Foundations of Machine Learning, Ikalawang Edisyon ⧉. The MIT Press.
Leslie G. Valiant, (1984). Isang Teorya ng Natututuhan ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Teorya ng Statistical Learning ⧉. John Wiley & Sons.

Huling sinuri 2026-10-10.

Huling sinuri 2026-10-27.

Muling i-publish ang artikulong ito

Talaan ng nilalaman ng aklat sa machine learning: ano ang sinasabi — Sebastien Rousseau

Tinatrato ng Foundations of Machine Learning (MIT Press, 2018) ang machine learning bilang disenyo ng tumpak na prediksiyon, batay sa sample complexity at garantiya.

Ang artikulong ito ay nakapailalim sa lisensya ng Creative Commons Attribution 4.0 International. Kailangan ng pagkilala sa canonical URL para sa muling pag-publish.

Talaan ng nilalaman ng aklat sa machine learning: ano ang sinasabi — Sebastien Rousseau

Tinatrato ng Foundations of Machine Learning (MIT Press, 2018) ang machine learning bilang disenyo ng tumpak na prediksiyon, batay sa sample complexity at garantiya.

Originally published at https://sebastienrousseau.com/fil/2026-10-10-talaan-ng-nilalaman-aklat-machine-learning/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER