Àtòjọ àkóónú ìwé machine learning: ohun tí ó sọ nípa ẹ̀ka náà

TL;DR. Foundations of Machine Learning (MIT Press, 2018) wo machine learning gẹ́gẹ́ bí ṣíṣe àwọn algorithm àsọtẹ́lẹ̀ tó péye, lórí sample complexity àti ìdánilójú.

Awọn Pataki Ojulowo

Ìwé tí orísun rẹ̀ dájú. Bẹ̀rẹ̀ pẹ̀lú àwọn òtítọ́ tí ó so ohun náà mọ́lẹ̀.
Àlàyé ìtumọ̀ tí ó ń gbé ẹrù wúwo. Gbogbo ohun tí ó tẹ̀lé e gbára lé gbólóhùn kan.
Àpẹẹrẹ kan tí a ṣiṣẹ́ lé lórí: àwọn ìwé àti kókó-ọ̀rọ̀. Ìfáárà so àlàyé ìtumọ̀ náà mọ́ ìṣòro kíkọ́ gidi kan.
Ìdíjú mẹ́ta, kì í ṣe méjì. Níbí ni ìwé náà ti gbé ìgbésẹ̀ tí ó yàtọ̀ jùlọ, ó sì rọrùn láti fojú fò ó nítorí pé ó dé gẹ́gẹ́ bí àkíyèsí kúkúrú.

Foundations of Machine Learning (ẹ̀dà kejì, MIT Press, 2018) láti ọwọ́ Mehryar Mohri, Afshin Rostamizadeh àti Ameet Talwalkar ṣàlàyé kíkọ́ gẹ́gẹ́ bí lílo ìrírí láti ṣe àsọtẹ́lẹ̀ tí ó péye, ó sì kọ́ ètò-ẹ̀kọ́ tí ó le koko yí sample complexity, àwọn ààlà Rademacher àti àwọn ìdánilójú onímọ̀-ìjìnlẹ̀ ká.

Ọ̀pọ̀ àwọn ìwé nípa machine learning máa ń bẹ̀rẹ̀ pẹ̀lú ìlérí nípa ohun tí o lè kọ́. Èyí bẹ̀rẹ̀ pẹ̀lú àlàyé ìtumọ̀ kan àti àtòjọ àwọn ìwọ̀n tí ó ń pinnu bóyá learner yóò ṣàṣeyọrí. Ìtòlẹ́sẹẹsẹ yẹn sọ ohun tí àwọn òǹkọ̀wé rò pé kókó-ọ̀rọ̀ náà jẹ́, mo sì rò pé ìpinnu tó tọ́ ni. Ẹ̀ka tí ó ń polówó ara rẹ̀ pẹ̀lú àsọtẹ́lẹ̀ jẹ àwọn òǹkàwé rẹ̀ ní gbèsè àlàyé nípa ìgbà tí a lè gbẹ́kẹ̀lé àsọtẹ́lẹ̀, àlàyé yẹn sì ni ìwé náà gbéra láti fúnni.

Àpilẹ̀kọ yìí ka ìwé náà nípasẹ̀ ohun tí àwọn ojú-ewé ìbẹ̀rẹ̀ rẹ̀, ọ̀rọ̀ ìṣáájú (preface) àti àwọn ojú-ewé àkọ́kọ́ rẹ̀ sọ gan-an. Iṣẹ́ tí ó dín ju àgbéyẹ̀wò gbogbo orí lọ ni, ó sì jẹ́ olóòótọ́ nípa ààlà rẹ̀: àwọn orísun níbí ni ojú-ewé àkọlé, àtòjọ àkóónú, ọ̀rọ̀ ìṣáájú àti apá àkọ́kọ́ ìfáárà (introduction). Láàárín ààlà wọ̀nyẹn, àríyànjiyàn tí ó ṣe kedere wà láti tẹ̀lé. Ó jẹ mọ́ ohun tí machine learning jẹ́, ohun tí ó gbára lé, ohun tí àwọn òǹkọ̀wé yàn láti bò àti ohun tí wọ́n yàn láti fi sílẹ̀.

Ìwé tí orísun rẹ̀ dájú #

Bẹ̀rẹ̀ pẹ̀lú àwọn òtítọ́ tí ó so ohun náà mọ́lẹ̀. Àkọlé ìwé náà ni Foundations of Machine Learning, èyí sì ni ẹ̀dà kejì. Ó jẹ́ ara àwọn ìwé Adaptive Computation and Machine Learning, tí olóòtú rẹ̀ jẹ́ Francis Bach. Àwọn òǹkọ̀wé ni Mehryar Mohri, Afshin Rostamizadeh àti Ameet Talwalkar. Atẹ̀wé náà ni The MIT Press, Cambridge, Massachusetts, ẹ̀tọ́ àṣẹ-ìkọ̀wé sì wà lọ́wọ́ Massachusetts Institute of Technology, ní ọdún 2018. Ẹ̀dà hardcover ní ISBN 9780262039406.

Àwọn àlàyé ìṣelọ́pọ̀ méjì yẹ fún gbólóhùn kan ọ̀kọ̀ọ̀kan. Àwọn òǹkọ̀wé fúnra wọn ni wọ́n ṣètò ìwé náà nínú LaTeX, èyí tí ó bá ọ̀rọ̀ tí ó kún fún àwọn ààlà (bounds), àlàyé ìtumọ̀ àti ẹ̀rí mu, a sì tẹ̀ ẹ́, a sì dì í ní United States of America. Kò sí èyí tí ó yí bí o ṣe máa ka ìṣirò náà padà. Ṣùgbọ́n àwọn òǹkọ̀wé tí wọ́n ṣètò ìwé wọn fúnra wọn ti fọwọ́ kan gbogbo ojú-ewé, nínú irú ìwé báyìí, ìyẹn ń fini lọ́kàn balẹ̀.

Orísun àkóónú ṣe pàtàkì jù. Èyí tí ó pọ̀ jù nínú rẹ̀ ti ipilẹ̀ṣẹ̀ láti inú ẹ̀kọ́ gíga kan (graduate course), tí a tún ń pè ní Foundations of Machine Learning, tí òǹkọ̀wé àkọ́kọ́ ti kọ́ ní Courant Institute of Mathematical Sciences ní New York University ní ọdún mẹ́rìnlá sẹ́yìn. Orísun tí ó dájú tí a lè ṣàyẹ̀wò ni ìyẹn. Ìwé-ẹ̀kọ́ tí ó dàgbà láti inú ọdún mẹ́rìnlá ti kíkọ́ ẹ̀kọ́ kan ṣoṣo ṣeéṣe kí ohun tí ó ṣòro fún àwọn akẹ́kọ̀ọ́ ti ṣe àpẹẹrẹ rẹ̀, bẹ́ẹ̀ sì ni àwọn ìdánrawò (exercises) àti àfikún tí a ṣàpèjúwe nísàlẹ̀ ṣe kà. Màá ṣọ́ra láti má ti àbájáde ìrònú yìí kọjá ohun tí orísun gbà láàyè. Ọ̀rọ̀ ìṣáájú sọ ibi tí àkóónú ti wá, kò sì sọ iye ìgbà tí a tún ẹ̀kọ́ náà ṣe tàbí ohun tí ó ṣòro fún àwọn akẹ́kọ̀ọ́. Ohun tí ó sọ tó: àkóónú ẹ̀kọ́ ni èyí, kì í ṣe àkójọ ìwádìí láti inú àwọn ìwé tí a ti tẹ̀ jáde.

Àlàyé ìtumọ̀ tí ó ń gbé ẹrù wúwo #

Gbogbo ohun tí ó tẹ̀lé e gbára lé gbólóhùn kan. Machine learning, gẹ́gẹ́ bí àwọn òǹkọ̀wé ṣe kọ, ni a lè ṣàlàyé ní gbòòrò gẹ́gẹ́ bí àwọn ọ̀nà ìṣirò kọ̀ǹpútà tí ó ń lo ìrírí láti mú iṣẹ́ sunwọ̀n sí i tàbí láti ṣe àsọtẹ́lẹ̀ tí ó péye.

Gbogbo orúkọ nínú gbólóhùn yẹn ló ní iṣẹ́ láti ṣe. “Àwọn ọ̀nà ìṣirò kọ̀ǹpútà” fi kókó-ọ̀rọ̀ náà sínú sáyẹ́ǹsì kọ̀ǹpútà. Lẹ́yìn náà a ṣàlàyé “ìrírí” dáadáa: ó túmọ̀ sí ìsọfúnni àtẹ̀yìnwá tí ó wà lọ́wọ́ learner. Gbólóhùn náà kò sọ pé learner lóye ohunkóhun, kò sì sọ nǹkan kan nípa òye. Learner ní ìsọfúnni àtẹ̀yìnwá àti àfojúsùn kan, èyí tí ó jẹ́ iṣẹ́ tí ó sunwọ̀n sí i tàbí àsọtẹ́lẹ̀ tí ó péye, gbogbo ẹ̀ka náà sì jẹ mọ́ ìbáṣepọ̀ láàárín àwọn méjèèjì.

Màá sọ pé àlàyé ìtumọ̀ yìí wúlò jù fún àwọn òǹkàwé ìmọ̀-ẹ̀rọ àti àwọn olùdásílẹ̀ ilé-iṣẹ́ ju àwọn àlàyé ńlá tí ó ń káàkiri lọ, nítorí pé ó tọ́ka tààrà sí àwọn ohun tí o ń darí. Bí kíkọ́ bá jẹ́ iṣẹ́ ìsọfúnni àtẹ̀yìnwá, nígbà náà agbára rẹ lórí àbájáde wà nínú irú ìsọfúnni tí o kó jọ àti iye rẹ̀. Ọ̀rọ̀ tí ó tẹ̀lé e nínú ìwé náà sọ bẹ́ẹ̀: dídára àti ìtóbi dátà ṣe pàtàkì gidigidi sí àṣeyọrí àwọn àsọtẹ́lẹ̀ tí learner ń ṣe. A fi ọ̀rọ̀ yẹn hàn nínú ìwé náà gẹ́gẹ́ bí ìlànà tí ó rọrùn, láìsí àfikún àyọkúrò kankan.

Àwọn òǹkọ̀wé tún ṣàpèjúwe àwọn ọ̀nà ìṣe fúnra wọn. Wọ́n jẹ́ àwọn ọ̀nà tí dátà ń darí (data-driven) tí ó so àwọn èrò ìpìlẹ̀ sáyẹ́ǹsì kọ̀ǹpútà pọ̀ mọ́ àwọn èrò láti inú statistics, ìṣeéṣe (probability) àti optimization. Gbólóhùn yẹn ṣiṣẹ́ gẹ́gẹ́ bí àtòjọ ohun tí a nílò ṣáájú àti máàpù àwọn aládùúgbò ẹ̀ka náà. Ẹgbẹ́ tí ó fẹ́ kọ́ ètò kíkọ́ ń lo sáyẹ́ǹsì kọ̀ǹpútà, statistics, ìṣeéṣe àti optimization papọ̀. Kíka èyíkéyìí nínú wọn sí àṣàyàn jẹ́ ìpinnu tí ìwé náà kò fọwọ́ sí.

Àpẹẹrẹ kan tí a ṣiṣẹ́ lé lórí: àwọn ìwé àti kókó-ọ̀rọ̀ #

Ìfáárà so àlàyé ìtumọ̀ náà mọ́ ìṣòro kíkọ́ gidi kan. Mú sample tí ó ní òpin ti àwọn ìwé (documents) tí a yàn láìsí ètò (randomly), ọ̀kọ̀ọ̀kan pẹ̀lú label kókó-ọ̀rọ̀. Iṣẹ́ náà ni láti lo sample yẹn láti sọ tẹ́lẹ̀ kókó-ọ̀rọ̀ àwọn ìwé tí a kò tíì rí.

Ìṣètò yìí yẹ fún kíkà pẹ̀lú ìfarabalẹ̀. Sample náà ní òpin, nítorí náà learner kì í rí gbogbo rẹ̀. A yan àwọn ìwé náà láìsí ètò, èyí sì ni ohun tí ó jẹ́ kí sample tí ó ní òpin lè sọ nǹkan kan nípa àwọn tí a kò rí. Ọ̀kọ̀ọ̀kan ní label kókó-ọ̀rọ̀, nítorí náà learner ní ìtọ́sọ́nà. Àfojúsùn náà sì ni àwọn ìwé tí kò tíì rí, èyí tí ó jẹ́ ìyàtọ̀ láàárín àsọtẹ́lẹ̀ àti ìhá sórí.

Lẹ́yìn náà àwọn òǹkọ̀wé mú nǹkan méjì jáde tí ó ń mú iṣẹ́ náà rọrùn tàbí le. Àkọ́kọ́ ni ìtóbi: ó hàn gbangba pé bí sample bá ṣe tóbi tó, bẹ́ẹ̀ ni iṣẹ́ náà ṣe rọrùn tó. Èkejì ni dídára label. Ìṣòro iṣẹ́ náà tún dá lórí dídára àwọn label tí a fún àwọn ìwé tí ó wà nínú sample, nítorí pé gbogbo label lè má tọ̀nà, àti lórí iye àwọn kókó-ọ̀rọ̀ tí ó ṣeéṣe.

Gbólóhùn yẹn ní àwọn bọ́tìnì ìtúnṣe mẹ́ta tí ó yàtọ̀ síra. Ìtóbi sample jẹ́ ọ̀kan. Ìpéye label jẹ́ òmíràn. Iye àwọn kókó-ọ̀rọ̀ tí ó ṣeéṣe ni ẹ̀kẹta. Kò sí èyí tí ó jẹ mọ́ algorithm. Gbogbo wọn jẹ́ àbùdá ìṣòro náà àti dátà, àwọn ló sì ń pinnu bí ìṣòro náà ṣe le tó kí a tó yan ọ̀nà kankan. Fún olùdásílẹ̀ ilé-iṣẹ́ tí ó ń pinnu ibi tí yóò ná owó ìnáwó sí, àkíyèsí tí ó mú ni èyí. Bí o bá lè mú àwọn label sunwọ̀n sí i tàbí mú sample tóbi sí i, ò ń ṣiṣẹ́ lórí àwọn nǹkan tí àwọn òǹkọ̀wé dárúkọ ní gbangba gẹ́gẹ́ bí ohun tí ó ń pinnu ìṣòro.

Àpẹẹrẹ náà tún dárúkọ iṣẹ́ tirẹ̀. Sísọ label ìwé kan tẹ́lẹ̀ ni a tún mọ̀ sí document classification, àwọn òǹkọ̀wé sì yára fi kún un pé kì í ṣe iṣẹ́ kíkọ́ kan ṣoṣo. Ìkìlọ̀ yẹn rọrùn láti fò kọjá. Ọkọ̀ lásán ni àpẹẹrẹ ìwé náà, ọ̀rọ̀ tí ó wà nísàlẹ̀ rẹ̀ sì jẹ́ ti gbogbogbò.

Ìdíjú mẹ́ta, kì í ṣe méjì #

Níbí ni ìwé náà ti gbé ìgbésẹ̀ tí ó yàtọ̀ jùlọ, ó sì rọrùn láti fojú fò ó nítorí pé ó dé gẹ́gẹ́ bí àkíyèsí kúkúrú. Machine learning, gẹ́gẹ́ bí àwọn òǹkọ̀wé ṣe sọ, ní ṣíṣe àwọn algorithm àsọtẹ́lẹ̀ tí ó yára tí ó sì péye nínú. Bí ó ṣe rí ní àwọn agbègbè mìíràn sáyẹ́ǹsì kọ̀ǹpútà, time àti space complexity jẹ́ ìwọ̀n pàtàkì fún dídára irú àwọn algorithm bẹ́ẹ̀. Ẹnikẹ́ni tí ó ti kọ́ nípa algorithm yóò mọ àwọn méjèèjì yẹn. Báwo ni ó ṣe pẹ́ tó, báwo sì ni ìrántí (memory) tí ó nílò ṣe pọ̀ tó?

Lẹ́yìn náà ni àfikún dé. Machine learning tún nílò èrò sample complexity láti ṣe àgbéyẹ̀wò ìtóbi sample tí algorithm nílò láti kọ́ ìdílé àwọn èrò kan. Èyí ni ìwọ̀n tí kò ní ẹlẹgbẹ́ nínú iṣẹ́ sorting. Kò pọndandan láti sọ fún algorithm sorting iye àpẹẹrẹ tí ó nílò. Learner nílò rẹ̀, nítorí pé ohun tí ó ń mú jáde jẹ́ àsọtẹ́lẹ̀ nípa àwọn ọ̀ràn tí kò tíì rí, iye ìrírí tí ó wà lẹ́yìn àsọtẹ́lẹ̀ yẹn sì jẹ́ ara ohun tí ò ń sanwó fún.

Bí màá ṣe sọ ọ́ nìyí: time àti space ń sọ fún ọ iye tí algorithm ń ná láti ṣiṣẹ́, sample complexity sì ń sọ fún ọ iye tí ó ń ná láti kọ́ ọ. Learner tí ó yára ṣùgbọ́n tí ó nílò sample tí ó tóbi ju ohun tí ó ṣeéṣe lọ kò ní agbára iṣẹ́ ní ọ̀nà kankan tí ó ṣe pàtàkì fún ẹni tí ń kó dátà jọ. Gbígbé ìwọ̀n kẹta sí ẹ̀gbẹ́ àwọn méjì yòókù ni ọ̀nà ìwé náà láti sọ pé dátà jẹ́ ohun àlùmọ́nì tí ó ní iye, tí a gbọ́dọ̀ ṣètò ìnáwó rẹ̀ bí compute àti ìrántí.

Ìwé náà ń bá a lọ ní ìhà kan náà. Ní gbogbogbò, àwọn ìdánilójú kíkọ́ onímọ̀-ìjìnlẹ̀ fún algorithm dá lórí ìdíjú àwọn concept class tí a gbé yẹ̀wò àti ìtóbi training sample. Ìyẹn jẹ́ ọ̀rọ̀ ṣókí nípa ohun tí a fi ń ṣe ìdánilójú. Ìgbéwọlé méjì ló wà, bí ìdílé àwọn èrò ṣe lọ́rọ̀ tó àti iye training data tí o ní, ìdánilójú sì jẹ́ ọ̀rọ̀ tí ó so wọ́n mọ́ iṣẹ́. Ṣàkíyèsí ohun tí èyí túmọ̀ sí nípa ètò ìwé náà. Àwọn orí tí ó tẹ̀lé e gbọ́dọ̀ pèsè àwọn ọ̀nà láti wọn ìdíjú concept class, àtòjọ àkóónú sì fi hàn pé wọ́n ṣe bẹ́ẹ̀.

Àwọn òǹkọ̀wé tún ṣàlàyé ìdí tí ẹ̀ka náà fi wà níbi tí ó wà. Níwọ̀n bí àṣeyọrí algorithm kíkọ́ ti dá lórí dátà tí a lò, machine learning ní ìbáṣepọ̀ àbínibí pẹ̀lú ìtúpalẹ̀ dátà àti statistics. A sọ ìlànà náà ní kedere: àṣeyọrí dá lórí dátà, nítorí náà kókó-ọ̀rọ̀ náà wé mọ́ àwọn ẹ̀ka tí ó ń ṣe ìwádìí dátà. Mo rí èyí gẹ́gẹ́ bí gbólóhùn olóòótọ́ jùlọ nínú ìfáárà. Kò gbé statistics kalẹ̀ gẹ́gẹ́ bí abánidíje tàbí baba-ńlá. Ó gbé statistics kalẹ̀ gẹ́gẹ́ bí àbájáde ohun tí kíkọ́ gbára lé.

Ìwọ̀n	Time Complexity	Space Complexity	Sample Complexity
Àlàyé ìṣiṣẹ́	Àkókò ìṣiṣẹ́ asymptotic tí a nílò láti mú hypothesis $h$ jáde	Ìrántí tí a nílò nígbà training àti àgbéyẹ̀wò	Iye àpẹẹrẹ training $m$ tí a nílò láti kọ́ ìdílé èrò
Ìmọ̀-ìjìnlẹ̀ tí ó ń darí	Computational complexity (P vs NP, ìṣòro training)	Ààlà ìrántí architecture àti cache locality	PAC learning, Rademacher complexity àti VC-dimension
Ipa lórí ìnáwó	Ìnáwó compute server àti GPU/CPU inference	Agbára RAM àti SRAM inú chip	Iye owó kíkó dátà jọ, annotation àti fífi label sí i
Ipa onímọ̀-ìjìnlẹ̀	Ó ń wọn bí àkókò ìṣiṣẹ́ algorithm ṣe múná dóko	Ó ń wọn bí lílo àyè ṣe múná dóko	Ó ń pinnu generalization error àti ààlà lórí dátà tí a kò rí

Egungun ẹ̀yìn onímọ̀-ìjìnlẹ̀ #

Ọ̀rọ̀ ìṣáájú sọ bí a ṣe kọ́ ìwé náà. Orí mẹ́ta tàbí mẹ́rin àkọ́kọ́ fi ìpìlẹ̀ onímọ̀-ìjìnlẹ̀ lélẹ̀ fún àkóónú tí ó tẹ̀lé e. Àtòjọ àkóónú jẹ́ kí a rí ohun tí a fi ṣe ìpìlẹ̀ yẹn, ó kéré tán nípasẹ̀ àkọlé.

Orí àkọ́kọ́ nínú àtòjọ àkóónú ní àkọlé “The PAC Learning Framework”, nínú rẹ̀ sì ni àwọn abala tí àkọlé wọn jẹ́ “Guarantees for finite hypothesis sets - consistent case” àti “Guarantees for finite hypothesis sets - inconsistent case” wà. Orúkọ àwọn abala náà sọ nǹkan méjì fún wa. Ọ̀kan ni pé framework náà ń mú ìdánilójú jáde, èyí tí ó bá ìtẹnumọ́ ìfáárà mu. Èkejì ni pé a pín àwọn ìdánilójú náà gẹ́gẹ́ bí ọ̀ràn náà ṣe jẹ́ consistent tàbí inconsistent, ìwé náà sì ṣe ìtọ́jú àwọn méjèèjì lọ́tọ̀. Mi ò ní méfò nípa ohun tí ọ̀ràn consistent àti inconsistent ní nínú, nítorí pé àkọlé abala nìkan ni àwọn orísun níbí fúnni. Ṣùgbọ́n ìsopọ̀ méjì yìí fi hàn pé àwọn òǹkọ̀wé kò gbé theorem kan tí ó mọ́ kalẹ̀ kí wọ́n sì máa bá a lọ. Wọ́n fún ọ̀ràn tí ó le jù tí ó sì rúdurùdu jù ní abala tirẹ̀.

Orí tí ó tẹ̀lé e nínú àtòjọ ni “Rademacher Complexity and VC-Dimension”. Àwọn abala rẹ̀ bo Rademacher complexity, growth function, VC-dimension àti lower bounds. Nígbà tí a bá kà á pẹ̀lú ìfáárà, orí yìí ni ìdáhùn àdánidá sí ìbéèrè tí ìfáárà gbé dìde. Bí ìdánilójú bá dá lórí ìdíjú àwọn concept class tí a gbé yẹ̀wò, o nílò irinṣẹ́ láti wọn ìdíjú yẹn. Rademacher complexity, growth function àti VC-dimension ni a tò gẹ́gẹ́ bí àwọn abala tí ó ń gbé ẹrù yìí. Fífi lower bounds sínú àtòjọ abala tún yẹ fún àkíyèsí. Ìwé tí ó gbé upper bounds nìkan kalẹ̀ ń sọ fún ọ ohun tí ó ṣeéṣe láti ṣàṣeyọrí. Èyí tí ó ní lower bounds nínú tún ń sọ fún ọ ohun tí kò ṣeéṣe.

Lẹ́yìn náà ni orí 4 dé, “Model Selection”, pẹ̀lú àwọn abala tí ó ní empirical risk minimization (ERM) àti structural risk minimization (SRM) nínú. A ó padà sí orí yìí nígbà tí a bá wo ẹ̀dà kejì, nítorí pé ó jẹ́ ọ̀kan lára àwọn ibi tí ẹ̀dà tuntun yí padà jùlọ.

A mọ̀ọ́mọ̀ ṣe ètò náà bẹ́ẹ̀. Ìpìlẹ̀ lákọ̀ọ́kọ́, lẹ́yìn náà ẹ̀rọ fún wíwọn ìdíjú, lẹ́yìn náà model selection, àti lẹ́yìn ìyẹn nìkan ni àwọn algorithm. Ọ̀nà ìkọ́ni tí a lè gbèjà ni, ó sì bá àlàyé ìwé náà fúnra rẹ̀ mu nípa bí ó ṣe ń ṣiṣẹ́: àwọn orí ìbẹ̀rẹ̀ fi ìmọ̀-ìjìnlẹ̀ lélẹ̀, àwọn yòókù sì kọ́ lé e lórí.

Láti ìmọ̀-ìjìnlẹ̀ dé àwọn algorithm: support vector machines àti kernels #

Àtòjọ àkóónú tún dárúkọ àwọn orí algorithm tí ó tẹ̀lé e. Ọ̀kan ní àkọlé “Support Vector Machines”, pẹ̀lú àwọn abala fún ọ̀ràn separable àti non-separable. Ọ̀kọ̀ọ̀kan nínú àwọn abala yẹn bo primal optimization problem, àwọn support vector àti dual optimization problem. Òmíràn ní àkọlé “Kernel Methods”.

Ìrísí orí support vector machines fúnra rẹ̀ ń fúnni ní ìsọfúnni. Àwọn kókó mẹ́ta kan náà farahàn lábẹ́ àkọlé separable àti non-separable: primal optimization problem, àwọn support vector àti dual optimization problem. Àtúnwí yẹn dámọ̀ràn ìtọ́jú tí ó jọra, àwọn ìbéèrè kan náà tí a béèrè lẹ́ẹ̀mejì lábẹ́ àwọn àròsọ tí ó yàtọ̀. Ìjọra náà fi ìpínyà consistent àti inconsistent nínú orí PAC hàn, nítorí náà àpẹẹrẹ kan yọ jáde jákèjádò ìwé náà: ọ̀ràn tí ó mọ́ lákọ̀ọ́kọ́, lẹ́yìn náà ọ̀ràn tí àròsọ mímọ́ náà kùnà.

Màá ṣọ́ra láti má ka ohun tí ó pọ̀ jù sínú àtòjọ àkóónú. Ó lè sọ fún wa ohun tí ìwé náà bò àti bí ó ṣe pín àkóónú. Kò lè sọ fún wa bí a ṣe kọ abala kankan dáadáa tó, kò sì sí ohun tí àwọn orísun wọ̀nyí sọ nípa ìyẹn. Ohun tí ó fi hàn ni pé èdè optimization nínú orí support vector machines, primal àti dual, so padà sí àpèjúwe ìfáárà nípa àwọn ọ̀nà ìṣe gẹ́gẹ́ bí èyí tí ó so sáyẹ́ǹsì kọ̀ǹpútà pọ̀ mọ́ àwọn èrò láti inú statistics, ìṣeéṣe àti optimization. Okùn optimization nínú àtòjọ yẹn farahàn ní kedere nínú àwọn àkọlé abala wọ̀nyí.

Ìwé náà tún ya orí kan sọ́tọ̀ fún ọ̀kọ̀ọ̀kan nínú multi-class classification, ranking àti regression. Ìpinnu ètò tí ó yẹ láti gbèjà ni ìyẹn. Ìbá ti rọrùn láti ka àwọn wọ̀nyí sí àkíyèsí ìsàlẹ̀ fún binary classification. Fífún ọ̀kọ̀ọ̀kan ní orí tirẹ̀ fi hàn pé àwọn òǹkọ̀wé kà wọ́n sí ìṣòro tí ó yàtọ̀ tí ó ní ìtúpalẹ̀ tiwọn, ó sì bá àfojúsùn tí a sọ mu ti ìgbékalẹ̀ ìṣọ̀kan ti ọ̀pọ̀ kókó dípò ìgbékalẹ̀ tí ó ṣojúsàájú ojú-ìwòye kan.

Ohun tí ìwé náà yàn láti má bò #

Apá tí ó dùn mọ́ni jùlọ nínú ọ̀rọ̀ ìṣáájú jẹ mọ́ ohun tí a fi sílẹ̀. Ìwé náà, gẹ́gẹ́ bí àwọn òǹkọ̀wé ṣe sọ, jẹ́ ìfáárà gbogbogbò sí machine learning tí ó lè ṣiṣẹ́ gẹ́gẹ́ bí ìwé ìtọ́kasí fún àwọn olùwádìí àti ìwé-ẹ̀kọ́ fún àwọn akẹ́kọ̀ọ́. Lẹ́yìn tí wọ́n ṣe ìkéde gbòòrò yẹn, wọ́n fi ààlà kan kún un: wọ́n yàn láti fi àwọn kókó pàtàkì díẹ̀ sílẹ̀, títí kan graphical models àti neural networks.

Ìwé-ẹ̀kọ́ díẹ̀ ló ń sọ èyí ní tààrà bẹ́ẹ̀, màá sì sọ pé òtítọ́ yìí jẹ́ agbára. Òǹkàwé tí ó mọ ohun tí kò sí ṣáájú lè ṣètò ara rẹ̀ yí i ká. Ẹni tí ó nílò neural networks mọ̀ pé kí ó wá a níbòmíràn, dípò kí ó ṣàwárí àlàfo náà ní orí kẹsàn-án.

A tún sọ àwọn ìdí. Fífi sílẹ̀ náà jẹ́ fún ìkúkúrú àti nítorí àìsí ìdánilójú onímọ̀-ìjìnlẹ̀ tí ó fẹsẹ̀múlẹ̀ lọ́wọ́lọ́wọ́ fún àwọn ọ̀nà kan. Ìdí méjì ni a fúnni. Ìkúkúrú jẹ́ ààlà gidi lórí ìwé èyíkéyìí. Ìdí kejì ni èyí tí ó sọ nǹkan kan fún ọ nípa ìmọ̀-ọgbọ́n ìwé náà.

So ó padà mọ́ ìfáárà. Ìdánilójú kíkọ́ onímọ̀-ìjìnlẹ̀ ni ohun tí a ṣètò ìwé yìí yí ká. Ìdánilójú dá lórí ìdíjú àwọn concept class àti ìtóbi training sample, àwọn orí onímọ̀-ìjìnlẹ̀ sì wá lákọ̀ọ́kọ́ nítorí pé gbogbo nǹkan mìíràn ni a kọ́ lé wọn lórí. Ọ̀nà tí ìdánilójú tí ó fẹsẹ̀múlẹ̀ kò sí fún lọ́wọ́lọ́wọ́ kò jókòó dáadáa nínú ìwé tí a kọ́ lọ́nà yìí. Nítorí náà fífi sílẹ̀ náà tẹ̀lé ìfaramọ́ àárín ìwé náà. Ó bá àlàyé ìtumọ̀ kókó-ọ̀rọ̀ tí àwọn òǹkọ̀wé yàn láti fi bẹ̀rẹ̀ mu.

Ohun kan wà láti ṣọ́ra fún níbí. Ìwé náà sọ “some methods”, nítorí náà ọ̀rọ̀ náà jẹ mọ́ àìsí ìdánilójú tí ó fẹsẹ̀múlẹ̀ fún àwọn ọ̀nà kan, kì í ṣe fún gbogbo àwọn kókó tí a fi sílẹ̀, ó sì sọ “current”, èyí tí ó so ìdájọ́ náà mọ́ àkókò ìkọ̀wé. Màá kọ ìdẹwò láti ṣàkópọ̀ èyí gẹ́gẹ́ bí “neural networks kò ní ìmọ̀-ìjìnlẹ̀”. Kì í ṣe ohun tí orísun sọ nìyẹn. Ó sọ pé ìdánilójú fún àwọn ọ̀nà kan kò sí lọ́wọ́lọ́wọ́, àti pé èyí, pẹ̀lú ìkúkúrú, ni ìdí tí a fi fi graphical models àti neural networks sílẹ̀.

Fún àwọn òǹkàwé ìmọ̀-ẹ̀rọ tí ó ń yan ohun tí wọn yóò kọ́, àbájáde gidi rọrùn. Ìwé yìí fún ọ ní èdè ìdánilójú, ó sì sọ fún ọ ní kedere àwọn agbègbè tí kò bò.

Ohun tí ẹ̀dà kejì yí padà #

Ẹ̀dà kejì ju àtúntẹ̀ pẹ̀lú àtúnṣe lọ. Ọ̀rọ̀ ìṣáájú tò àwọn àfikún, ọ̀kọ̀ọ̀kan sì sọ fún wa ibi tí àwọn òǹkọ̀wé rò pé ẹ̀dà àkọ́kọ́ ti tínrín.

Àyípadà pàtàkì jùlọ ni orí kíkún kan lórí model selection, orí 4, lórí kókó-ọ̀rọ̀ tí àwọn òǹkọ̀wé ṣàpèjúwe gẹ́gẹ́ bí pàtàkì tí a sì jíròrò ní ṣókí nìkan nínú ẹ̀dà tí ó ṣáájú. Èdè náà tààrà. Wọn kò sọ pé ẹ̀dà àkọ́kọ́ bò ó dáadáa. Wọ́n sọ pé a jíròrò rẹ̀ ní ṣókí nìkan àti pé wọ́n ti fún un ní orí kíkún báyìí. Àwọn abala náà ní empirical risk minimization (ERM) àti structural risk minimization (SRM) nínú, bí àtòjọ àkóónú ṣe fi hàn.

Kí ló dé tí model selection fi yẹ fún ìgbéga? Àwọn orísun kò sọ, mi ò sì ní ṣe ìdí kan jáde fún àwọn òǹkọ̀wé. Ṣùgbọ́n ipò rẹ̀ ní ìtumọ̀. Orí 4 tẹ̀lé àwọn orí lórí PAC framework àti lórí Rademacher complexity àti VC-dimension tààrà, èyí tí ó fi í sínú ohun tí ọ̀rọ̀ ìṣáájú pè ní orí mẹ́ta tàbí mẹ́rin àkọ́kọ́ tí ó fi ìpìlẹ̀ onímọ̀-ìjìnlẹ̀ lélẹ̀. Nítorí náà àwọn òǹkọ̀wé kò so model selection mọ́ ìparí gẹ́gẹ́ bí ìrònú ẹ̀yìn. Wọ́n kọ́ ọ sínú ìpìlẹ̀ onímọ̀-ìjìnlẹ̀.

Àwọn àfikún tí ó tẹ̀lé e ni orí tuntun kan lórí àwọn Maximum Entropy model, orí 12, àti orí tuntun kan lórí àwọn Conditional Maximum Entropy model, orí 13. Orí tuntun pátápátá méjì jẹ́ ìgbòòrò tí ó pọ̀, ìwé náà sì ti ya àwọn orí tí ó tẹ̀lé ara wọn sọ́tọ̀ fún àwọn méjèèjì báyìí.

Àwọn àfikún (appendices) náà yí padà. Àwọn òǹkọ̀wé fi abala kíkún kan lórí Fenchel duality kún appendix B lórí convex optimization, wọ́n sì fi appendix E lórí information theory kún un. Ìwé náà tún ní appendix gbòòrò kan tí ó gbé àtúnyẹ̀wò ṣókí ti linear algebra kalẹ̀. Àwọn àyípadà wọ̀nyí tọ́ka sí ìhà kan náà: ìṣirò tí ó ń ṣàtìlẹ́yìn ti dàgbà pẹ̀lú àwọn orí. Fenchel duality darapọ̀ mọ́ appendix convex optimization, information theory sì ní appendix tirẹ̀. Màá yẹra fún sísọ pé information theory wà níbẹ̀ ní pàtó láti ṣàtìlẹ́yìn fún àwọn orí Maximum Entropy, níwọ̀n bí àwọn orísun kò ti sọ irú ìsopọ̀ bẹ́ẹ̀, àwọn àfikún méjèèjì sì farahàn nínú ọ̀rọ̀ ìṣáájú gẹ́gẹ́ bí ohun ọ̀tọ̀. Bí wọ́n ṣe dé nínú ẹ̀dà kan náà jẹ́ àkókò-àjọṣe tí màá fi sílẹ̀ bẹ́ẹ̀.

Ta ni ìwé náà wà fún, àti bí ó ṣe retí pé kí a kà á #

Ìwé náà sọ àwọn òǹkàwé rẹ̀: a pète rẹ̀ fún àwọn akẹ́kọ̀ọ́ àti olùwádìí nínú machine learning, statistics àti àwọn agbègbè mìíràn tí ó jọmọ́. Àtòjọ yẹn dárúkọ statistics ní tààrà, èyí tí ó tún ọ̀rọ̀ ìfáárà sọ pé machine learning ní ìbáṣepọ̀ àbínibí pẹ̀lú ìtúpalẹ̀ dátà àti statistics.

Ó tún sọ ohun tí ó gbà pé o ti mọ̀. A retí pé kí òǹkàwé mọ àwọn èrò ìpìlẹ̀ linear algebra, ìṣeéṣe (probability) àti analysis of algorithms. Àtòjọ kúkúrú ni ìyẹn, ó sì bá àtòjọ àwọn èròjà nínú ìfáárà mu, bí kò tilẹ̀ bá a mu pátápátá. Ìfáárà dárúkọ sáyẹ́ǹsì kọ̀ǹpútà, statistics, ìṣeéṣe àti optimization gẹ́gẹ́ bí orísun àwọn ọ̀nà ìṣe. Ohun tí a nílò ṣáájú dárúkọ linear algebra, ìṣeéṣe àti analysis of algorithms. Optimization kò sí lára ohun tí a nílò ṣáájú, ìwé náà sì yanjú ìyẹn láti ìhà kejì: appendix B bo convex optimization, pẹ̀lú abala Fenchel duality tuntun. A retí linear algebra gẹ́gẹ́ bí ìmọ̀ ìpìlẹ̀, ìwé náà sì tún pèsè appendix gbòòrò tí ó tún un yẹ̀wò. Nítorí náà ohun tí a nílò ṣáájú àti àwọn appendix bá ara wọn pàdé ní ìmọ̀ọ́mọ̀, òǹkàwé tí linear algebra rẹ̀ ti dípẹtà ní àtúnyẹ̀wò ṣókí nínú ìwé kan náà.

A tún sọ ọ̀nà ìkọ́ni ní kedere. Gbogbo orí parí pẹ̀lú ọ̀wọ́ àwọn ìdánrawò, pẹ̀lú ìdáhùn kíkún tí a gbé kalẹ̀ lọ́tọ̀. Ètò tí ó bọ́gbọ́n mu ni ìyẹn fún ìwé tí ó ń sin irú òǹkàwé méjì. Akẹ́kọ̀ọ́ lè gbìyànjú àwọn ìdánrawò kí ó sì ṣàyẹ̀wò rẹ̀ pẹ̀lú àwọn ìdáhùn, olùwádìí tí ó ń lo ìwé náà gẹ́gẹ́ bí ìtọ́kasí kò sì ní láti kọjá àwọn ìdáhùn tí a ti ṣiṣẹ́ lé lórí ní gbogbo ojú-ewé. Bóyá àwọn ìdáhùn wá gẹ́gẹ́ bí ìwé ọ̀tọ̀ tàbí ìwé mìíràn, orísun kò sọ, àfi pé a gbé wọn kalẹ̀ lọ́tọ̀, nítorí náà màá fi í sílẹ̀ níbẹ̀.

Nígbà tí a bá kó wọn papọ̀, àwọn òǹkàwé, ohun tí a nílò ṣáájú, àwọn ìdánrawò àti àwọn appendix ṣàpèjúwe ìwé tí a ṣe láti ṣiṣẹ́ lé lórí láti ìbẹ̀rẹ̀ dé òpin. Ọdún mẹ́rìnlá ti kíkọ́ni ní Courant Institute dúró lẹ́yìn ètò yìí. Ẹ̀kọ́ tí a ti kọ́ léraléra máa ń mú irú ohun-èlò báyìí jáde, bí ọ̀rọ̀ ìṣáájú kò tilẹ̀ sọ ìsopọ̀ yẹn ní gbangba, mo sì ń fi í hàn gẹ́gẹ́ bí kíka ẹ̀rí nìkan, kì í ṣe àwárí.

Ìlò rẹ̀ gbòòrò, ìwé náà sì sọ bẹ́ẹ̀ #

Ìwé tí ó jẹ́ onímọ̀-ìjìnlẹ̀ tó báyìí lè di èyí tí a rò pé ó jìnnà sí ìṣe. Ìfáárà dènà ìyẹn pẹ̀lú ọ̀rọ̀ tí ó rọrùn: machine learning ní àkójọ ìlò gidi tí ó gbòòrò gidigidi. Èyí tí ó dárúkọ ni text tàbí document classification, èyí tí ó ní spam detection nínú.

Spam detection jẹ́ àpẹẹrẹ rere fún ìdí kan tí framework àwọn òǹkọ̀wé fúnra wọn ṣàlàyé. Ìṣòro document classification ni ní ìtumọ̀ gan-an ti àpẹẹrẹ ìṣáájú: àwọn ìwé tí ó ní label ń wọlé, àsọtẹ́lẹ̀ nípa àwọn ìwé tí a kò rí ń jáde. Àwọn nǹkan ìtóbi sample àti dídára label kàn án tààrà. Sample tí ó tóbi jù mú iṣẹ́ náà rọrùn, àwọn ìfiránṣẹ́ tí label wọn kò tọ̀nà sì mú un le. Iye àwọn ẹ̀ka tí ó ṣeéṣe kéré, èyí tí, gẹ́gẹ́ bí ọgbọ́n apá ìṣáájú, tún kan ìṣòro. Mo ń lo àwọn nǹkan tí ìwé náà sọ lórí àpẹẹrẹ tí ó sọ, mi ò sì sọ ohunkóhun nípa àwọn ohun-àsẹ́ spam ní ayé gidi.

Àríyànjiyàn ìdákẹ́jẹ́ tún wà nínú ipò apá yìí. Àwọn òǹkọ̀wé ṣe ìfihàn document classification gẹ́gẹ́ bí iṣẹ́ kíkọ́, lẹ́sẹ̀kẹsẹ̀ wọ́n sì ṣàkíyèsí pé kì í ṣe ọ̀kan ṣoṣo. Ìlò rẹ̀ gbòòrò nítorí pé àlàyé ìtumọ̀ tí ó wà nísàlẹ̀ gbòòrò. Ohunkóhun tí ó bá “àwọn ọ̀nà ìṣirò kọ̀ǹpútà tí ó ń lo ìrírí láti mú iṣẹ́ sunwọ̀n sí i tàbí láti ṣe àsọtẹ́lẹ̀ tí ó péye” mu yẹ. Gbogbogbò yẹn tún ni ìdí tí ìwé náà fi bìkítà nípa ìmọ̀-ìjìnlẹ̀. Framework tí a pète láti bo àkójọ ìlò tí ó gbòòrò gidigidi kò lè so mọ́ àwọn kúlẹ̀kúlẹ̀ ọ̀kan, àwọn ìdánilójú tí a sọ ní ìbámu pẹ̀lú ìdíjú concept class àti ìtóbi sample sì jẹ́ irú èyí tí ó ń rìn láàárín àwọn ìṣòro gan-an.

Ewu tí ìwé náà gbà #

Kó àwọn okùn papọ̀, ipò tí ó wà ní ìṣọ̀kan yóò sì yọ jáde, èyí tí ó ju ohun tí àtòjọ àkóónú ọ̀pọ̀ ìwé-ẹ̀kọ́ lè sọ lọ. Ìwé náà ṣàlàyé kíkọ́ ní ìbámu pẹ̀lú ìrírí àti àsọtẹ́lẹ̀. Ó dárúkọ ìdíjú mẹ́ta, time, space àti sample, gẹ́gẹ́ bí ìwọ̀n dídára. Ó so ìdánilójú mọ́ ìdíjú concept class àti ìtóbi sample, ó sì gbé ìmọ̀-ìjìnlẹ̀ tí ó ń pèsè àwọn ìdánilójú wọ̀nyẹn sí iwájú. Lẹ́yìn náà ó kọ́ àwọn orí algorithm lé ìpìlẹ̀ yẹn lórí, ó sì sọ ní gbangba àwọn agbègbè gbajúmọ̀ tí ó fi sílẹ̀ nítorí pé ìdánilójú fún àwọn ọ̀nà kan kò fẹsẹ̀múlẹ̀, fún báyìí.

Èyí jẹ́ ewu tí a gbà lórí ìmọ̀-ìjìnlẹ̀ gẹ́gẹ́ bí ohun tí ó ń wà pẹ́. Mo lè rí ìdí tí ẹgbẹ́ òǹkọ̀wé tí ó lo ọ̀pọ̀ ọdún láti kọ́ ẹ̀kọ́ gíga kan yóò fi ṣe é. Ewu náà ní iye, àwọn òǹkọ̀wé sì dárúkọ rẹ̀: fífi graphical models àti neural networks sílẹ̀ ni iye ìtẹnumọ́ lórí ìdánilójú tí ó fẹsẹ̀múlẹ̀. Òǹkàwé gbọ́dọ̀ wọn iye yẹn pẹ̀lú òtítọ́. Bí àwọn agbègbè tí a fi sílẹ̀ bá jẹ gàba lórí iṣẹ́ rẹ, ìwé yìí jẹ́ ìpìlẹ̀ dípò ìwé ìtọ́ni. Bí iṣẹ́ rẹ bá nílò láti ronú nípa bóyá learner yóò generalise láti inú sample tí ó ní òpin, èdè ìwé náà ni kókó rẹ̀.

Fún àwọn olùdásílẹ̀ ilé-iṣẹ́, ẹ̀kọ́ tí ó wúlò ni èyí tí kò ní ìtànná jùlọ. Dídára àti ìtóbi dátà ṣe pàtàkì gidigidi sí àṣeyọrí àsọtẹ́lẹ̀, ìṣòro iṣẹ́ kan sì dá lórí dídára label àti iye àwọn kókó-ọ̀rọ̀ tí ó ṣeéṣe. Ọ̀rọ̀ nípa ìgbéwọlé tí o lè nípa lé lórí nígbà púpọ̀ ni ìwọ̀nyẹn. Ìwé náà kò ṣèlérí pé algorithm pàtó kankan yóò gba sample tí ó tínrín tàbí tí label rẹ̀ kò tọ̀nà là, ó sì tọ̀nà láti má ṣe bẹ́ẹ̀.

Fún àwọn òǹkàwé ìmọ̀-ẹ̀rọ, ìbéèrè tí ó dùn mọ́ni jù ni èyí tí ọ̀rọ̀ ìṣáájú fi sílẹ̀ ní ṣíṣí. Àwọn òǹkọ̀wé fi àwọn ọ̀nà kan sílẹ̀ nítorí àìsí ìdánilójú onímọ̀-ìjìnlẹ̀ tí ó fẹsẹ̀múlẹ̀ lọ́wọ́lọ́wọ́. Ọ̀rọ̀ náà “current” ṣe àgbékalẹ̀ ìyẹn gẹ́gẹ́ bí ipò nǹkan ní àkókò ìkọ̀wé, àwọn orísun kò sì sọ bóyá yóò yí padà, tàbí bí yóò ṣe yí padà. Kí ni yóò gbà kí àwọn ìdánilójú wọ̀nyẹn tó fẹsẹ̀múlẹ̀ tó láti yẹ fún orí kan? Ìwé náà kò lè dáhùn ìyẹn. Nípa jíjẹ́ pàtó nípa ohun tí ó fi sílẹ̀ àti ìdí rẹ̀, ó kéré tán ó fi ibi tí a ó ti wò hàn.

Ohun Tí Èyí Túmọ̀ Sí Fún Ẹ̀ka Kọ̀ọ̀kan #

Ìtẹnumọ́ lórí ìdánilójú statistical learning àti sample complexity pèsè àwọn ààlà tí a lè ṣiṣẹ́ lé lórí ní ọ̀pọ̀ agbègbè software àti ìwádìí.

Machine learning ẹ̀kọ́ àti ṣíṣe ètò-ẹ̀kọ́ #

Àwọn ètò ìkọ́ni gbọ́dọ̀ kọ ìfúnpá láti ka machine learning sí prompt engineering onídánwò tàbí iṣẹ́ ìsopọ̀ framework. Fífi àwọn akẹ́kọ̀ọ́ lélẹ̀ nínú PAC framework, Rademacher complexity àti structural risk minimization ń gbé ìmọ̀lára ìṣirò tí ó wà pẹ́ kalẹ̀ tí ó ń la àyípadà àwọn architecture deep learning onígbà kúkúrú já.

Ìmọ̀-ẹ̀rọ AI ilé-iṣẹ́ àti ìdíyelé dátà #

Àwọn àjọ ìmọ̀-ẹ̀rọ tí ó ń gbé ètò àsọtẹ́lẹ̀ kalẹ̀ máa ń pín owó-ìdókòwò jù sí compute (ìtóbi model) nígbà tí wọ́n ń pa sample complexity àti ìṣòtítọ́ label tì. Nítorí pé generalization error so mọ́ ìdíjú concept class ní ìbámu pẹ̀lú ìtóbi sample ní tààrà, àwọn ẹgbẹ́ ń rí ROI tí ó ga jù nípa dídókòwò sí annotation mímọ́ àti àyẹ̀wò sample dípò àwọn model tí ó tóbi jù tí kò ní regularization.

Ìwádìí AI iwájú-iwájú àti àyẹ̀wò model #

Bí àwọn ìlànà òfin bí EU AI Act ṣe ń pàṣẹ ààlà tí a lè sọ tẹ́lẹ̀ lórí àwọn ètò ìpinnu aládàáṣe, àwọn ìdánilójú statistical learning tí a ṣe àgbékalẹ̀ rẹ̀ nínú Foundations of Machine Learning di ohun tí a nílò fún ìbámu òfin. Àwọn olùṣàkóso àti olùṣàyẹ̀wò ààbò ń béèrè generalization bounds tí a lè fi ẹ̀rí hàn àti ìlànà model selection tí ó le koko dípò àwọn máàkì validation àfojúbù.

Ìparí #

Foundations of Machine Learning ṣì jẹ́ ìdákọ̀ró tí kò ṣeé fi nǹkan rọ́pò nínú ẹ̀ka tí empiricism aise máa ń dẹ wò nígbà púpọ̀. Nípa kíkọ́ gbogbo ètò-ẹ̀kọ́ yí PAC learning, Rademacher complexity àti VC-dimension ká, Mehryar Mohri, Afshin Rostamizadeh àti Ameet Talwalkar rán àwọn olùwádìí létí pé ẹwà algorithm kò lè rọ́pò ìdánilójú ìṣirò. Fífi neural networks àti graphical models sílẹ̀ tí àwọn òǹkọ̀wé ṣe pẹ̀lú òtítọ́ nítorí àìsí ìdánilójú closed-form kì í ṣe àbùkù - òun ni agbára tí ó ṣàlàyé ìwé náà, tí ó ya ohun tí ẹ̀ka náà lè fi ẹ̀rí hàn pẹ̀lú ìlànà líle sọ́tọ̀ kúrò lára ohun tí ó kàn ń ṣàkíyèsí.

Àwọn Ìbéèrè Tí A Sábà Ń Bèèrè #

Kí ló dé tí àwọn òǹkọ̀wé fi fi neural networks àti graphical models sílẹ̀ nínú ẹ̀dà kejì?

Àwọn òǹkọ̀wé mọ̀ọ́mọ̀ fi neural networks àti graphical models sílẹ̀ fún ìkúkúrú àti nítorí àìsí ìdánilójú onímọ̀-ìjìnlẹ̀ tí ó fẹsẹ̀múlẹ̀ lọ́wọ́lọ́wọ́ fún ọ̀pọ̀ nínú àwọn ọ̀nà wọ̀nyẹn. A ṣètò ìwé náà ní tààrà yí àwọn algorithm tí ó ní generalization bounds tí ó le koko ká.

Kí ló ya sample complexity sọ́tọ̀ kúrò lára time àti space complexity?

Nígbà tí time complexity ń ṣe àgbéyẹ̀wò ìyára ìṣiṣẹ́ tí space complexity sì ń wọn lílo ìrántí, sample complexity ń wọn iye training data ní ìṣirò tí algorithm nílò láti kọ́ ìdílé àwọn èrò kan láàárín ààlà àṣìṣe àti ìgbẹ́kẹ̀lé tí a ti pinnu.

Kí ni ìyàtọ̀ pàtàkì láàárín empirical risk minimization àti structural risk minimization?

Empirical risk minimization (ERM) ń yan hypothesis tí ó dín àṣìṣe training kù ní tààrà, pẹ̀lú ewu overfitting nígbà tí ìdíjú hypothesis bá ga. Structural risk minimization (SRM) ń ṣe ìwọ̀ntúnwọ̀nsì àṣìṣe training àti ìdíjú hypothesis (bí VC-dimension tàbí Rademacher complexity), ó sì ń pèsè ààlà àgbékalẹ̀ lórí ewu generalization.

Àwọn Ìtọ́kasí #

Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). Foundations of Machine Learning, Ẹ̀dà Kejì ⧉. The MIT Press.
Leslie G. Valiant, (1984). Ìmọ̀-ìjìnlẹ̀ Ohun Tí A Lè Kọ́ ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Ìmọ̀-ìjìnlẹ̀ Statistical Learning ⧉. John Wiley & Sons.

Àyẹ̀wò àkọ́kọ́ 2026-10-10.

Àyẹ̀wò àkọ́kọ́ 2026-10-27.

Tun àpilẹkọ yìí jade

Àtòjọ àkóónú ìwé machine learning: ohun tí ó sọ nípa ẹ̀ka náà — Sebastien Rousseau

Foundations of Machine Learning (MIT Press, 2018) wo machine learning gẹ́gẹ́ bí ṣíṣe àwọn algorithm àsọtẹ́lẹ̀ tó péye, lórí sample complexity àti ìdánilójú.

A ti fun àpilẹkọ yìí ni iwe-ẹri labẹ Creative Commons Attribution 4.0 International. Atunjade nilo idanimọ si URL akọkọ.

Àtòjọ àkóónú ìwé machine learning: ohun tí ó sọ nípa ẹ̀ka náà — Sebastien Rousseau

Foundations of Machine Learning (MIT Press, 2018) wo machine learning gẹ́gẹ́ bí ṣíṣe àwọn algorithm àsọtẹ́lẹ̀ tó péye, lórí sample complexity àti ìdánilójú.

Originally published at https://sebastienrousseau.com/yo/2026-10-10-atojo-akoonu-iwe-machine-learning-ohun/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER