Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar రాసిన Foundations of Machine Learning (రెండవ ముద్రణ, MIT Press, 2018) లెర్నింగ్‌ను అనుభవాన్ని ఉపయోగించి కచ్చితమైన అంచనాలు వేయడంగా నిర్వచిస్తుంది, శాంపిల్ సంక్లిష్టత, Rademacher హద్దులు, సైద్ధాంతిక హామీల చుట్టూ ఒక కఠినమైన పాఠ్యప్రణాళికను నిర్మిస్తుంది.
మెషిన్ లెర్నింగ్‌పై చాలా పుస్తకాలు మీరు ఏమి నిర్మించగలరో అనే వాగ్దానంతో మొదలవుతాయి. ఈ పుస్తకం ఒక నిర్వచనంతో, ఒక లెర్నర్ విజయం సాధిస్తాడో లేదో నిర్ణయించే రాశుల జాబితాతో మొదలవుతుంది. ఈ క్రమం రచయితలు ఈ విషయాన్ని ఏమిగా భావిస్తున్నారో చెబుతుంది, అది సరైన నిర్ణయమని నా అభిప్రాయం. అంచనా ఆధారంగా తనను తాను అమ్ముకునే ఒక రంగం, అంచనాను ఎప్పుడు నమ్మవచ్చో తన పాఠకులకు వివరించాల్సిన బాధ్యత కలిగి ఉంటుంది, ఆ వివరణను ఇవ్వడానికే ఈ పుస్తకం బయలుదేరుతుంది.
ఈ వ్యాసం పుస్తకాన్ని దాని ప్రారంభ భాగాలు, ముందుమాట, మొదటి పుటలు నిజంగా ఏమి చెబుతున్నాయో దాని ద్వారా చదువుతుంది. ప్రతి అధ్యాయాన్ని సమీక్షించడం కంటే ఇది ఇరుకైన పని, తన పరిమితుల గురించి నిజాయితీగా ఉంటుంది: ఇక్కడి మూలాలు శీర్షిక పుట, విషయసూచిక, ముందుమాట, పరిచయంలోని మొదటి భాగం. ఈ పరిమితుల్లో అనుసరించదగిన ఒక స్పష్టమైన వాదన ఉంది. అది మెషిన్ లెర్నింగ్ అంటే ఏమిటి, అది దేనిపై ఆధారపడుతుంది, రచయితలు ఏమి చేర్చాలని ఎంచుకున్నారు, ఏమి వదిలేయాలని ఎంచుకున్నారు అనే దాని గురించి.
కచ్చితమైన వంశవృక్షం గల పుస్తకం #
ఈ వస్తువుకు లంగరు వేసే వాస్తవాలతో మొదలుపెడదాం. పుస్తకం శీర్షిక Foundations of Machine Learning, ఇది రెండవ ముద్రణ. ఇది Adaptive Computation and Machine Learning సిరీస్‌కు చెందినది, దాని సంపాదకుడు Francis Bach. రచయితలు Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar. ప్రచురణకర్త The MIT Press, Cambridge, Massachusetts, కాపీరైట్ Massachusetts Institute of Technology వద్ద ఉంది, సంవత్సరం 2018. హార్డ్‌కవర్ ముద్రణ ISBN 9780262039406.
తయారీకి సంబంధించిన రెండు వివరాలు ఒక్కొక్కటి ఒక వాక్యానికి అర్హమైనవి. పుస్తకాన్ని రచయితలే స్వయంగా LaTeXలో టైప్‌సెట్ చేశారు, ఇది హద్దులు, నిర్వచనాలు, నిరూపణలతో నిండిన పాఠానికి సరిపోతుంది, దాన్ని అమెరికాలో ముద్రించి బైండ్ చేశారు. ఈ వివరాల్లో ఏదీ మీరు గణితాన్ని ఎలా చదువుతారో మార్చదు. కానీ తమ పుస్తకాన్ని తామే టైప్‌సెట్ చేసిన రచయితల చేతులు ప్రతి పుటపైనా పడ్డాయి, ఇలాంటి పుస్తకంలో అది భరోసా ఇస్తుంది.
విషయం యొక్క మూలం దీనికంటే ముఖ్యమైనది. దానిలో ఎక్కువ భాగం ఒక పోస్ట్‌గ్రాడ్యుయేట్ కోర్సు నుంచి వచ్చింది, దాని పేరు కూడా Foundations of Machine Learning, దాన్ని మొదటి రచయిత గత పద్నాలుగు సంవత్సరాలుగా New York University లోని Courant Institute of Mathematical Sciences లో బోధించారు. ఇది ఒక నిర్దిష్టమైన, తనిఖీ చేయదగిన మూలం. ఒకే కోర్సును పద్నాలుగు సంవత్సరాలు బోధించడం నుంచి ఎదిగిన పాఠ్యపుస్తకం, విద్యార్థులకు ఏది కష్టమనిపించిందో దాని ద్వారా రూపుదిద్దుకుని ఉంటుంది, కింద వివరించిన అభ్యాసాలు, అనుబంధాలు అలాగే కనిపిస్తాయి. మూలం అనుమతించిన దానికంటే ఈ ఊహను నేను ముందుకు లాగను. విషయం ఎక్కడి నుంచి వచ్చిందో ముందుమాట చెబుతుంది, కోర్సు ఎన్ని సవరణలకు లోనైందో లేదా విద్యార్థులు దేనితో కష్టపడ్డారో అది చెప్పదు. అది చెప్పేది సరిపోతుంది: ఇది కోర్సు విషయం, సాహిత్యం నుంచి కూర్చిన సర్వే కాదు.
బరువైన పని చేసే నిర్వచనం #
తర్వాత వచ్చే ప్రతిదీ ఒక వాక్యంపై ఆధారపడుతుంది. పనితీరును మెరుగుపరచడానికి లేదా కచ్చితమైన అంచనాలు వేయడానికి అనుభవాన్ని ఉపయోగించే గణన పద్ధతులుగా మెషిన్ లెర్నింగ్‌ను విస్తృతంగా నిర్వచించవచ్చని రచయితలు రాస్తారు.
ఆ వాక్యంలోని ప్రతి నామవాచకానికీ ఒక పని ఉంది. “గణన పద్ధతులు” అనేది విషయాన్ని కంప్యూటర్ సైన్స్ లోపల ఉంచుతుంది. తర్వాత “అనుభవం” కచ్చితంగా నిర్వచించబడుతుంది: దాని అర్థం లెర్నర్‌కు అందుబాటులో ఉన్న గత సమాచారం. లెర్నర్ ఏదైనా అర్థం చేసుకుంటాడనే వాదనను వాక్యం వదిలేస్తుంది, తెలివితేటల గురించి అది ఏమీ చెప్పదు. లెర్నర్ వద్ద గత సమాచారం, ఒక లక్ష్యం ఉన్నాయి, ఆ లక్ష్యం మెరుగైన పనితీరు లేదా కచ్చితమైన అంచనా, మొత్తం శాస్త్రం ఈ రెండింటి మధ్య సంబంధం గురించే.
ప్రచారంలో ఉన్న గొప్ప నిర్వచనాల కంటే సాంకేతిక పాఠకులకు, వ్యవస్థాపకులకు ఇది మరింత ఉపయోగకరమైన నిర్వచనమని నేను వాదిస్తాను, ఎందుకంటే అది మీ నియంత్రణలో ఉన్న మీటల వైపు నేరుగా చూపిస్తుంది. లెర్నింగ్ గత సమాచారం యొక్క ఫంక్షన్ అయితే, ఫలితంపై మీ ప్రభావం మీరు ఏ సమాచారాన్ని, ఎంత సమాచారాన్ని సేకరిస్తారనే దానిలో ఉంటుంది. పాఠంలోని తర్వాతి వాదన అదే చెబుతుంది: లెర్నర్ వేసే అంచనాల విజయానికి డేటా నాణ్యత, పరిమాణం నిర్ణయాత్మకమైనవి. పాఠం ఈ ప్రకటనను ఎలాంటి షరతులూ జోడించకుండా ఒక సరళమైన యంత్రాంగంగా చూపిస్తుంది.
రచయితలు పద్ధతులను కూడా వివరిస్తారు. అవి కంప్యూటర్ సైన్స్‌లోని మౌలిక భావనలను గణాంకశాస్త్రం, సంభావ్యత, ఆప్టిమైజేషన్ నుంచి వచ్చిన ఆలోచనలతో కలిపే డేటా ఆధారిత పద్ధతులు. ఆ వాక్యం ముందస్తు అవసరాల జాబితాగానూ, ఈ రంగం పొరుగువారి పటంగానూ రెట్టింపు పని చేస్తుంది. లెర్నింగ్ వ్యవస్థలను నిర్మించాలనుకునే బృందం కంప్యూటర్ సైన్స్, గణాంకశాస్త్రం, సంభావ్యత, ఆప్టిమైజేషన్ అన్నింటినీ కలిపి ఆధారం చేసుకుంటుంది. వీటిలో ఏ ఒక్కదాన్నైనా ఐచ్ఛికంగా భావించడం పుస్తకం సమర్థించని ఎంపిక.
చేసి చూపిన ఒక ఉదాహరణ: పత్రాలు, అంశాలు #
పరిచయం నిర్వచనాన్ని ఒక మూర్తమైన లెర్నింగ్ సమస్యపై నిలబెడుతుంది. యాదృచ్ఛికంగా ఎంచుకున్న పత్రాల పరిమిత శాంపిల్‌ను తీసుకోండి, ప్రతిదానికీ ఒక అంశం లేబుల్ ఉంది. ఆ శాంపిల్‌ను ఉపయోగించి చూడని పత్రాల అంశాన్ని అంచనా వేయడమే పని.
ఈ ఏర్పాటు నెమ్మదిగా చదివితే ఫలితం ఇస్తుంది. శాంపిల్ పరిమితమైనది, కాబట్టి లెర్నర్ ఎప్పుడూ అన్నింటినీ చూడడు. పత్రాలు యాదృచ్ఛికంగా ఎంచుకున్నవి, అదే పరిమిత శాంపిల్ చూడని వాటి గురించి ఏదైనా చెప్పగలగడానికి కారణం. ప్రతిదానికీ అంశం లేబుల్ ఉంది, కాబట్టి లెర్నర్‌కు పర్యవేక్షణ ఉంది. లక్ష్యం అది చూడని పత్రాలు, అదే అంచనా వేయడానికి, బట్టీపట్టడానికి మధ్య తేడా.
తర్వాత రచయితలు పనిని సులభం లేదా కష్టం చేసే రెండు అంశాలను బయటకు తెస్తారు. మొదటిది పరిమాణం: శాంపిల్ ఎంత పెద్దదైతే పని అంత సులభం అనేది స్పష్టమే. రెండవది లేబుల్ నాణ్యత. పని కష్టం శాంపిల్‌లోని పత్రాలకు కేటాయించిన లేబుళ్ల నాణ్యతపై కూడా ఆధారపడుతుంది, ఎందుకంటే అన్ని లేబుళ్లూ సరైనవి కాకపోవచ్చు, సాధ్యమైన అంశాల సంఖ్యపై కూడా.
ఆ వాక్యంలో మూడు వేర్వేరు డయల్‌లు ఉన్నాయి. శాంపిల్ పరిమాణం ఒకటి. లేబుళ్ల సరైనతనం మరొకటి. సాధ్యమైన అంశాల సంఖ్య మూడవది. వీటిలో ఏదీ అల్గారిథమ్ గురించి కాదు. ఇవన్నీ సమస్య, డేటా లక్షణాలు, ఏ పద్ధతినీ ఎంచుకోకముందే సమస్య ఎంత కష్టమో అవి నిర్ణయిస్తాయి. బడ్జెట్‌ను ఎక్కడ ఖర్చు చేయాలో నిర్ణయిస్తున్న వ్యవస్థాపకుడికి ఇది ఒక పదునైన పరిశీలన. మీరు లేబుళ్లను మెరుగుపరచగలిగితే లేదా శాంపిల్‌ను పెంచగలిగితే, కష్టాన్ని నిర్ణయించేవిగా రచయితలు స్పష్టంగా పేర్కొన్న అంశాలపైనే మీరు పనిచేస్తున్నారు.
ఉదాహరణ తన పని పేరును కూడా చెబుతుంది. ఒక పత్రం లేబుల్‌ను అంచనా వేయడాన్ని పత్ర వర్గీకరణ అని కూడా అంటారు, ఇది ఏ విధంగానూ ఏకైక లెర్నింగ్ పని కాదని రచయితలు వెంటనే జోడిస్తారు. ఈ హెచ్చరికను దాటవేయడం సులభం. పత్రం ఉదాహరణ ఒక వాహనం, దాని కింద ఉన్న వాదన సాధారణమైనది.
మూడు సంక్లిష్టతలు, రెండు కాదు #
ఇక్కడ పుస్తకం తన అత్యంత విలక్షణమైన అడుగు వేస్తుంది, అది ఒక చిన్న వ్యాఖ్యగా వస్తుంది కాబట్టి దాన్ని గమనించకపోవడం సులభం. సమర్థమైన, కచ్చితమైన అంచనా అల్గారిథమ్‌లను రూపొందించడమే మెషిన్ లెర్నింగ్ అని రచయితలు చెబుతారు. కంప్యూటర్ సైన్స్‌లోని ఇతర రంగాల్లో లాగే, సమయ, స్థల సంక్లిష్టత అలాంటి అల్గారిథమ్‌ల నాణ్యతకు నిర్ణయాత్మక కొలమానాలు. అల్గారిథమ్‌లను అధ్యయనం చేసిన ఎవరైనా ఈ రెండింటినీ గుర్తిస్తారు. దీనికి ఎంత సమయం పడుతుంది, దీనికి ఎంత మెమరీ కావాలి?
తర్వాత జోడింపు వస్తుంది. మెషిన్ లెర్నింగ్‌కు అదనంగా శాంపిల్ సంక్లిష్టత అనే భావన కావాలి, భావనల కుటుంబాన్ని నేర్చుకోవడానికి అల్గారిథమ్‌కు కావాల్సిన శాంపిల్ పరిమాణాన్ని అంచనా వేయడానికి. సార్టింగ్ రొటీన్‌లో ఎలాంటి సమానమైనదీ లేని కొలమానం ఇది. సార్టింగ్ అల్గారిథమ్‌కు దానికి ఎన్ని ఉదాహరణలు కావాలో చెప్పాల్సిన అవసరం లేదు. లెర్నర్‌కు చెప్పాలి, ఎందుకంటే దాని అవుట్‌పుట్ అది చూడని సందర్భాల గురించిన అంచనా, ఆ అంచనా వెనుక ఉన్న అనుభవం పరిమాణం మీరు చెల్లిస్తున్న దానిలో భాగం.
నేను ఇలా చెబుతాను: ఒక అల్గారిథమ్‌ను నడపడానికి ఎంత ఖర్చవుతుందో సమయం, స్థలం చెబుతాయి, దాన్ని నేర్పించడానికి ఎంత ఖర్చవుతుందో శాంపిల్ సంక్లిష్టత చెబుతుంది. వేగంగా ఉండి కానీ ఆచరణసాధ్యం కానంత పెద్ద శాంపిల్ అవసరమైన లెర్నర్, డేటా సేకరించే వ్యక్తికి ఏ అర్థవంతమైన కోణంలోనూ సమర్థమైనది కాదు. మూడవ కొలమానాన్ని మిగతా రెండింటి పక్కన పెట్టడం, డేటా ధర ఉన్న ఒక వనరు, కంప్యూట్, మెమరీలాగే దానికీ బడ్జెట్ వేయాలి అని పుస్తకం చెప్పే పద్ధతి.
పాఠం అదే దిశలో కొనసాగుతుంది. మరింత సాధారణంగా, ఒక అల్గారిథమ్ సైద్ధాంతిక లెర్నింగ్ హామీలు పరిగణనలోని భావన వర్గాల సంక్లిష్టతపై, శిక్షణ శాంపిల్ పరిమాణంపై ఆధారపడతాయి. ఒక హామీ దేనితో తయారవుతుందో దాని సంక్షిప్త ప్రకటన ఇది. రెండు ఇన్‌పుట్‌లు ఉన్నాయి, భావనల కుటుంబం ఎంత సమృద్ధమైనది, మీ వద్ద ఎంత శిక్షణ డేటా ఉంది, హామీ అంటే వాటిని పనితీరుతో ముడిపెట్టే ప్రకటన. పుస్తకం నిర్మాణం గురించి ఇది ఏమి సూచిస్తుందో గమనించండి. తర్వాతి అధ్యాయాలు ఒక భావన వర్గం సంక్లిష్టతను కొలిచే మార్గాలను అందించాలి, విషయసూచిక అవి అందిస్తాయని చూపిస్తుంది.
ఈ రంగం ఉన్నచోట ఎందుకు ఉందో కూడా రచయితలు వివరిస్తారు. ఒక లెర్నింగ్ అల్గారిథమ్ విజయం ఉపయోగించిన డేటాపై ఆధారపడుతుంది కాబట్టి, మెషిన్ లెర్నింగ్ స్వభావరీత్యా డేటా విశ్లేషణ, గణాంకశాస్త్రంతో ముడిపడి ఉంటుంది. యంత్రాంగం సూటిగా చెప్పబడింది: విజయం డేటాపై ఆధారపడుతుంది, కాబట్టి ఈ విషయం డేటాను అధ్యయనం చేసే శాస్త్రాలతో పెనవేసుకుని ఉంది. పరిచయంలో అత్యంత నిజాయితీ గల వాక్యం ఇదేనని నాకు అనిపిస్తుంది. అది గణాంకశాస్త్రాన్ని ప్రత్యర్థిగానో పూర్వీకుడిగానో చూపదు. లెర్నింగ్ ఆధారపడే దాని ఫలితంగా గణాంకశాస్త్రాన్ని చూపిస్తుంది.
| కోణం | సమయ సంక్లిష్టత | స్థల సంక్లిష్టత | శాంపిల్ సంక్లిష్టత |
|---|---|---|---|
| కార్యాచరణ నిర్వచనం | పరికల్పన $h$ ను ఇవ్వడానికి కావాల్సిన అనంతస్పర్శి నడుస్తున్న సమయం | శిక్షణ, మూల్యాంకనం సమయంలో కావాల్సిన మెమరీ | భావన కుటుంబాన్ని నేర్చుకోవడానికి కావాల్సిన శిక్షణ ఉదాహరణల సంఖ్య $m$ |
| పాలించే సిద్ధాంతం | గణన సంక్లిష్టత (P వర్సెస్ NP, శిక్షణ కాఠిన్యం) | ఆర్కిటెక్చర్ మెమరీ పరిమితులు, క్యాష్ లోకాలిటీ | PAC లెర్నింగ్, Rademacher సంక్లిష్టత, VC-కొలత |
| ఖర్చు ప్రభావం | సర్వర్ కంప్యూట్, GPU/CPU ఇన్ఫరెన్స్ బడ్జెట్ | RAM, ఆన్-చిప్ SRAM సామర్థ్యం | డేటా సేకరణ, అనొటేషన్, లేబులింగ్ ఖర్చు |
| సైద్ధాంతిక పాత్ర | అల్గారిథమ్ రన్‌టైమ్ సామర్థ్యాన్ని కొలుస్తుంది | స్థల వనరుల సామర్థ్యాన్ని కొలుస్తుంది | చూడని డేటాపై సాధారణీకరణ దోషాన్ని, హద్దులను నిర్ణయిస్తుంది |
సైద్ధాంతిక వెన్నెముక #
పుస్తకం ఎలా నిర్మించబడిందో ముందుమాట చెబుతుంది. మొదటి మూడు లేదా నాలుగు అధ్యాయాలు తర్వాతి విషయానికి సైద్ధాంతిక పునాది వేస్తాయి. ఆ పునాది దేనితో తయారైందో, కనీసం శీర్షికల స్థాయిలో, విషయసూచిక మనకు చూపిస్తుంది.
విషయసూచికలోని మొదటి అధ్యాయం శీర్షిక “The PAC Learning Framework”, దానిలో “Guarantees for finite hypothesis sets - consistent case”, “Guarantees for finite hypothesis sets - inconsistent case” అనే శీర్షికలతో విభాగాలు వస్తాయి. విభాగాల పేర్లు మనకు రెండు విషయాలు చెబుతాయి. ఒకటి, ఆ చట్రం హామీలను ఇస్తుంది, ఇది పరిచయంలోని ప్రాధాన్యతకు సరిపోతుంది. మరొకటి, సందర్భం సుసంగతమైనదా అసంగతమైనదా అనే దాని ఆధారంగా హామీలు విభజించబడ్డాయి, పుస్తకం రెండింటినీ విడిగా చూస్తుంది. సుసంగత, అసంగత సందర్భాల్లో ఏముందో నేను ఊహించను, ఎందుకంటే ఇక్కడి మూలాలు విభాగ శీర్షికలను మాత్రమే ఇస్తాయి. కానీ ఈ జంట, రచయితలు ఒక శుభ్రమైన సిద్ధాంతాన్ని పెట్టి ముందుకు వెళ్లరని చూపిస్తుంది. కష్టమైన, గజిబిజి సందర్భానికి వారు దాని సొంత విభాగాన్ని ఇస్తారు.
జాబితాలో తర్వాతి అధ్యాయం “Rademacher Complexity and VC-Dimension”. దాని విభాగాలు Rademacher సంక్లిష్టత, వృద్ధి ఫంక్షన్, VC-కొలత, దిగువ హద్దులను కవర్ చేస్తాయి. పరిచయంతో పోల్చి చదివితే, పరిచయం లేవనెత్తే ఒక ప్రశ్నకు ఈ అధ్యాయం సహజమైన జవాబు. హామీలు పరిగణనలోని భావన వర్గాల సంక్లిష్టతపై ఆధారపడితే, ఆ సంక్లిష్టతను కొలిచే సాధనాలు మీకు కావాలి. Rademacher సంక్లిష్టత, వృద్ధి ఫంక్షన్, VC-కొలత ఈ భారాన్ని మోసే విభాగాలుగా జాబితా చేయబడ్డాయి. విభాగాల జాబితాలో దిగువ హద్దులను చేర్చడం కూడా గమనించదగినది. ఎగువ హద్దులను మాత్రమే చూపే పుస్తకం ఏది సాధించవచ్చో చెబుతుంది. దిగువ హద్దులను కూడా చేర్చే పుస్తకం ఏది సాధించలేమో కూడా చెబుతుంది.
తర్వాత అధ్యాయం 4, “Model Selection”, దాని విభాగాల్లో empirical risk minimization (ERM), structural risk minimization (SRM) ఉన్నాయి. రెండవ ముద్రణను చూసేటప్పుడు ఈ అధ్యాయానికి తిరిగి వస్తాం, ఎందుకంటే కొత్త ముద్రణ అత్యధికంగా మార్చే చోట్లలో ఇది ఒకటి.
ఈ నిర్మాణం ఉద్దేశపూర్వకమైనది. ముందుగా పునాది, తర్వాత సంక్లిష్టతను కొలిచే యంత్రాంగం, తర్వాత మోడల్ ఎంపిక, ఆ తర్వాతే అల్గారిథమ్‌లు. ఇది సమర్థించదగిన బోధనా పద్ధతి, పుస్తకం ఎలా పనిచేస్తుందో దాని సొంత వివరణతో ఇది సరిపోతుంది: ప్రారంభ అధ్యాయాలు సిద్ధాంతాన్ని వేస్తాయి, మిగిలినది దానిపై నిర్మించబడుతుంది.
సిద్ధాంతం నుంచి అల్గారిథమ్‌ల వరకు: సపోర్ట్ వెక్టర్ మెషిన్‌లు, కెర్నల్‌లు #
తర్వాత వచ్చే అల్గారిథమ్ అధ్యాయాల పేర్లను కూడా విషయసూచిక ఇస్తుంది. ఒకదాని శీర్షిక “Support Vector Machines”, విభజించదగిన సందర్భం, విభజించలేని సందర్భం విభాగాలతో. ఆ విభాగాల్లో ప్రతిదీ ప్రైమల్ ఆప్టిమైజేషన్ సమస్య, సపోర్ట్ వెక్టర్‌లు, డ్యుయల్ ఆప్టిమైజేషన్ సమస్యను కవర్ చేస్తుంది. మరొకదాని శీర్షిక “Kernel Methods”.
సపోర్ట్ వెక్టర్ మెషిన్ అధ్యాయం ఆకృతే సమాచారాత్మకమైనది. అవే మూడు అంశాలు విభజించదగిన, విభజించలేని అనే రెండు శీర్షికల కిందా వస్తాయి: ప్రైమల్ ఆప్టిమైజేషన్ సమస్య, సపోర్ట్ వెక్టర్‌లు, డ్యుయల్ ఆప్టిమైజేషన్ సమస్య. ఈ పునరావృతం ఒక సమాంతర పరిశీలనను సూచిస్తుంది, వేర్వేరు ఊహల కింద అవే ప్రశ్నలు రెండుసార్లు అడగడం. ఈ సమాంతరత PAC అధ్యాయంలోని సుసంగత, అసంగత విభజనను ప్రతిబింబిస్తుంది, కాబట్టి పుస్తకమంతా ఒక నమూనా బయటపడుతుంది: ముందుగా శుభ్రమైన సందర్భం, తర్వాత శుభ్రమైన ఊహ విఫలమయ్యే సందర్భం.
విషయసూచిక నుంచి అతిగా చదవడం విషయంలో నేను జాగ్రత్తగా ఉంటాను. పుస్తకం దేనిని కవర్ చేస్తుందో, విషయాన్ని ఎలా విభజిస్తుందో అది చెప్పగలదు. ఏ విభాగం ఎంత బాగా రాయబడిందో అది చెప్పలేదు, ఈ మూలాల్లో ఏదీ అలా చెప్పదు. అది చూపించేది ఏమిటంటే, సపోర్ట్ వెక్టర్ మెషిన్ అధ్యాయంలోని ఆప్టిమైజేషన్ భాష, ప్రైమల్, డ్యుయల్, పద్ధతులు కంప్యూటర్ సైన్స్‌ను గణాంకశాస్త్రం, సంభావ్యత, ఆప్టిమైజేషన్ ఆలోచనలతో కలుపుతాయనే పరిచయ వివరణతో తిరిగి ముడిపడుతుంది. ఆ జాబితాలోని ఆప్టిమైజేషన్ పోగు ఈ విభాగ శీర్షికల్లో మూర్తంగా కనిపిస్తుంది.
బహుళ-వర్గ వర్గీకరణ, ర్యాంకింగ్, రిగ్రెషన్‌లలో ప్రతిదానికీ పుస్తకం ప్రత్యేక అధ్యాయాన్ని కూడా కేటాయిస్తుంది. ఇది సమర్థించదగిన రూపకల్పన నిర్ణయం. వీటిని బైనరీ వర్గీకరణకు అడుగుజాడలుగా చూడటం సులభంగా ఉండేది. ప్రతిదానికీ సొంత అధ్యాయం ఇవ్వడం, రచయితలు వీటిని సొంత విశ్లేషణ గల ప్రత్యేక సమస్యలుగా భావిస్తారని సూచిస్తుంది, ఒక దృక్కోణానికి మొగ్గు చూపే ప్రదర్శన కాకుండా బహుళ అంశాల ఏకీకృత ప్రదర్శన అనే ప్రకటిత లక్ష్యంతో ఇది సరిపోతుంది.
పుస్తకం కవర్ చేయకూడదని ఎంచుకున్నవి #
ముందుమాటలో అత్యంత ఆసక్తికరమైన భాగం వదిలివేయడం గురించి. ఈ పుస్తకం మెషిన్ లెర్నింగ్‌కు ఒక సాధారణ పరిచయం, పరిశోధకులకు సూచన గ్రంథంగా, విద్యార్థులకు పాఠ్యపుస్తకంగా ఉపయోగపడగలదని రచయితలు చెబుతారు. ఆ విస్తృతమైన వాదన చేసిన తర్వాత వారు ఒక పరిమితిని జోడిస్తారు: కొన్ని ముఖ్యమైన అంశాలను వదిలేయాలని వారు ఎంచుకున్నారు, వాటిలో గ్రాఫికల్ మోడళ్లు, న్యూరల్ నెట్‌వర్క్‌లు ఉన్నాయి.
చాలా తక్కువ పాఠ్యపుస్తకాలు దీన్ని ఇంత సూటిగా చెబుతాయి, ఈ నిష్కపటత్వం ఒక బలమని నేను వాదిస్తాను. ఏది లేదో ముందే తెలిసిన పాఠకుడు దాని చుట్టూ ప్రణాళిక వేసుకోగలడు. న్యూరల్ నెట్‌వర్క్‌లు కావాల్సిన వ్యక్తికి వేరే చోట వెతకాలని తెలుసు, అధ్యాయం తొమ్మిదిలో ఆ లోటును కనుగొనడానికి బదులు.
కారణాలు కూడా చెప్పబడ్డాయి. ఈ వదిలివేత సంక్షిప్తత కోసం, కొన్ని పద్ధతులకు ప్రస్తుతం దృఢమైన సైద్ధాంతిక హామీలు లేకపోవడం వల్ల కూడా. రెండు కారణాలు ఇవ్వబడ్డాయి. సంక్షిప్తత ఏ పుస్తకానికైనా ఆచరణాత్మక పరిమితి. రెండవ కారణమే పుస్తకం తత్వం గురించి ఏదో చెబుతుంది.
దీన్ని పరిచయంతో కలపండి. సైద్ధాంతిక లెర్నింగ్ హామీల చుట్టూనే ఈ పుస్తకం వ్యవస్థీకరించబడింది. హామీలు భావన వర్గాల సంక్లిష్టతపై, శిక్షణ శాంపిల్ పరిమాణంపై ఆధారపడతాయి, మిగతాదంతా వాటిపై నిర్మించబడినందున సైద్ధాంతిక అధ్యాయాలు ముందు వస్తాయి. దృఢమైన హామీలు ప్రస్తుతం లేని పద్ధతి ఇలా నిర్మించిన పుస్తకంలో ఇబ్బందిగా కూర్చుంటుంది. కాబట్టి ఈ వదిలివేత పుస్తకం కేంద్ర నిబద్ధత నుంచి వస్తుంది. రచయితలు ఏ నిర్వచనంతో మొదలుపెట్టాలని ఎంచుకున్నారో, విషయం యొక్క ఆ నిర్వచనంతో ఇది సుసంగతంగా ఉంది.
ఇక్కడ జాగ్రత్త వహించాల్సిన ఒక అంశం ఉంది. పాఠం “కొన్ని పద్ధతులు” అంటుంది, కాబట్టి వాదన కొన్ని పద్ధతులకు దృఢమైన హామీలు లేకపోవడం గురించి, వదిలేసిన అన్ని అంశాల గురించి కాదు, అది “ప్రస్తుతం” అంటుంది, ఇది ఆ తీర్పును రాసిన కాలంతో ముడిపెడుతుంది. దీన్ని “న్యూరల్ నెట్‌వర్క్‌లకు సిద్ధాంతమే లేదు” అని సంగ్రహించే ప్రలోభాన్ని నేను నిరోధిస్తాను. మూలం అలా చెప్పదు. కొన్ని పద్ధతులకు హామీలు ప్రస్తుతం లేవని, ఇదీ, సంక్షిప్తతా కలిసి గ్రాఫికల్ మోడళ్లు, న్యూరల్ నెట్‌వర్క్‌లు వదిలేయడానికి కారణమని అది చెబుతుంది.
ఏమి చదవాలో ఎంచుకుంటున్న సాంకేతిక పాఠకులకు ఆచరణాత్మక పరిణామం సరళమైనది. ఈ పుస్తకం మీకు హామీల పదజాలాన్ని ఇస్తుంది, అది ఏ రంగాలను కవర్ చేయదో స్పష్టంగా చెబుతుంది.
రెండవ ముద్రణ ఏమి మారుస్తుంది #
రెండవ ముద్రణ దిద్దుబాట్లతో కూడిన పునర్ముద్రణ కంటే ఎక్కువ. ముందుమాట జోడింపుల జాబితాను ఇస్తుంది, ప్రతి ఒక్కటీ మొదటి ముద్రణ ఎక్కడ పలుచగా ఉందని రచయితలు భావించారో చెబుతుంది.
ప్రధాన మార్పు మోడల్ ఎంపికపై పూర్తి అధ్యాయం, అధ్యాయం 4, రచయితలు ముఖ్యమైనదిగా వర్ణించే, మునుపటి ముద్రణలో క్లుప్తంగా మాత్రమే చర్చించిన అంశంపై. భాష సూటిగా ఉంది. మొదటి ముద్రణ దాన్ని బాగా కవర్ చేసిందని వారు చెప్పుకోరు. దాన్ని క్లుప్తంగా మాత్రమే చర్చించారని, ఇప్పుడు దానికి పూర్తి అధ్యాయం ఇచ్చామని వారు చెబుతారు. విషయసూచిక చూపినట్లు, విభాగాల్లో empirical risk minimization (ERM), structural risk minimization (SRM) ఉన్నాయి.
మోడల్ ఎంపిక ఈ పదోన్నతికి ఎందుకు అర్హమైనది? మూలాలు చెప్పవు, రచయితల తరఫున నేను ఏ కారణాన్నీ కల్పించను. కానీ దాని స్థానం చాలా చెబుతుంది. అధ్యాయం 4, PAC చట్రం, Rademacher సంక్లిష్టత, VC-కొలతపై అధ్యాయాల తర్వాత నేరుగా వస్తుంది, ఇది సైద్ధాంతిక పునాది వేసేవిగా ముందుమాట పిలిచే మొదటి మూడు లేదా నాలుగు అధ్యాయాల్లో దాన్ని ఉంచుతుంది. కాబట్టి రచయితలు మోడల్ ఎంపికను తర్వాత తట్టిన ఆలోచనగా జోడించలేదు. దాన్ని సైద్ధాంతిక పునాదిలోనే నిర్మించారు.
తర్వాతి జోడింపులు Maximum Entropy మోడళ్లపై కొత్త అధ్యాయం, అధ్యాయం 12, Conditional Maximum Entropy మోడళ్లపై కొత్త అధ్యాయం, అధ్యాయం 13. పూర్తిగా కొత్తవైన రెండు అధ్యాయాలు గణనీయమైన విస్తరణ, పుస్తకం ఇప్పుడు ఈ జంటకు వరుస అధ్యాయాలను కేటాయిస్తుంది.
అనుబంధాలు కూడా మారతాయి. కుంభాకార ఆప్టిమైజేషన్‌పై అనుబంధం B లో Fenchel ద్వంద్వతపై పూర్తి విభాగాన్ని రచయితలు జోడించారు, సమాచార సిద్ధాంతంపై అనుబంధం E ను జోడించారు. రేఖీయ బీజగణితం సంక్షిప్త సమీక్షను అందించే విస్తృతమైన అనుబంధం కూడా పుస్తకంలో ఉంది. ఈ మార్పులు ఒక సుసంగత దిశను సూచిస్తాయి: సహాయక గణితం అధ్యాయాలతో పాటు పెరిగింది. Fenchel ద్వంద్వత కుంభాకార ఆప్టిమైజేషన్ అనుబంధంలో చేరుతుంది, సమాచార సిద్ధాంతానికి సొంత అనుబంధం లభిస్తుంది. సమాచార సిద్ధాంతం ప్రత్యేకంగా Maximum Entropy అధ్యాయాలకు మద్దతుగా ఉందని చెప్పడాన్ని నేను నివారిస్తాను, ఎందుకంటే మూలాలు అలాంటి సంబంధాన్ని చెప్పవు, ముందుమాటలో ఈ రెండు జోడింపులు వేర్వేరు అంశాలుగా వస్తాయి. ఒకే ముద్రణలో అవి రావడం యాదృచ్ఛికం, దాన్ని యాదృచ్ఛికంగానే వదిలేస్తాను.
పుస్తకం ఎవరి కోసం, అది ఎలా చదవబడాలని ఆశిస్తుంది #
పుస్తకం తన పాఠకులను పేర్కొంటుంది: ఇది మెషిన్ లెర్నింగ్, గణాంకశాస్త్రం, ఇతర సంబంధిత రంగాల విద్యార్థులు, పరిశోధకుల కోసం. ఆ జాబితాలో గణాంకశాస్త్రం పేరుతో ఉంది, మెషిన్ లెర్నింగ్ స్వభావరీత్యా డేటా విశ్లేషణ, గణాంకశాస్త్రంతో ముడిపడి ఉందనే పరిచయ అంశాన్ని ఇది ప్రతిధ్వనిస్తుంది.
అది ఏమి ఊహిస్తుందో కూడా చెబుతుంది. రేఖీయ బీజగణితం, సంభావ్యత, అల్గారిథమ్ విశ్లేషణ యొక్క మౌలిక భావనలతో పాఠకుడికి పరిచయం ఉంటుందని ఆశిస్తారు. ఇది ఒక చిన్న జాబితా, పరిచయంలోని పదార్థాల జాబితాతో ఇది సరిపోతుంది, పూర్తిగా కాదు. పద్ధతుల మూలాలుగా కంప్యూటర్ సైన్స్, గణాంకశాస్త్రం, సంభావ్యత, ఆప్టిమైజేషన్‌ను పరిచయం పేర్కొంటుంది. ముందస్తు అవసరాలు రేఖీయ బీజగణితం, సంభావ్యత, అల్గారిథమ్ విశ్లేషణను పేర్కొంటాయి. ఆప్టిమైజేషన్ ముందస్తు అవసరాల్లో లేదు, పుస్తకం దాన్ని మరో వైపు నుంచి చూసుకుంటుంది: అనుబంధం B కుంభాకార ఆప్టిమైజేషన్‌ను కవర్ చేస్తుంది, కొత్త Fenchel ద్వంద్వత విభాగంతో. రేఖీయ బీజగణితం నేపథ్యంగా ఆశించబడుతుంది, అయినా దాన్ని సమీక్షించే విస్తృతమైన అనుబంధాన్ని పుస్తకం ఇస్తుంది. కాబట్టి ముందస్తు అవసరాలు, అనుబంధాలు రూపకల్పన ప్రకారమే ఒకదానిపై ఒకటి పడతాయి, రేఖీయ బీజగణితం తుప్పుపట్టిన పాఠకుడికి అదే అట్టల లోపల ఒక సంక్షిప్త సమీక్ష ఉంది.
బోధనా పద్ధతి కూడా సూటిగా చెప్పబడింది. ప్రతి అధ్యాయం అభ్యాసాల శ్రేణితో ముగుస్తుంది, వాటి పూర్తి పరిష్కారాలు విడిగా ఇవ్వబడ్డాయి. రెండు రకాల పాఠకులకు సేవ చేసే పుస్తకానికి ఇది తెలివైన ఏర్పాటు. విద్యార్థి అభ్యాసాలను ప్రయత్నించి పరిష్కారాలతో సరిచూసుకోవచ్చు, పుస్తకాన్ని సూచన గ్రంథంగా ఉపయోగించే పరిశోధకుడు ప్రతి పుటలో పరిష్కరించిన జవాబులను దాటి వెళ్లాల్సిన అవసరం లేదు. పరిష్కారాలు ప్రత్యేక సంపుటంగా వస్తాయో లేదా మరో పత్రంగా వస్తాయో మూలం చెప్పదు, అవి విడిగా ఇవ్వబడ్డాయని మాత్రమే చెబుతుంది, కాబట్టి దాన్ని అక్కడే వదిలేస్తాను.
మొత్తంగా చూస్తే, పాఠకులు, ముందస్తు అవసరాలు, అభ్యాసాలు, అనుబంధాలు చేసుకుంటూ ముందుకు సాగేలా రూపొందించిన పుస్తకాన్ని వర్ణిస్తాయి. Courant Institute లో పద్నాలుగు సంవత్సరాల బోధన ఈ రూపకల్పన వెనుక నిలబడి ఉంది. పదేపదే బోధించిన కోర్సు ఇలాంటి సాధనసామగ్రిని ఉత్పత్తి చేస్తుంది, అయితే ముందుమాట ఆ సంబంధాన్ని స్పష్టంగా చెప్పుకోదు, నేను దాన్ని సాక్ష్యం యొక్క ఒక పఠనంగా మాత్రమే అందిస్తున్నాను, ఒక నిర్ధారణగా కాదు.
అనువర్తనాలు విస్తృతమైనవి, పుస్తకం అదే చెబుతుంది #
ఇంత సైద్ధాంతికమైన పుస్తకాన్ని ఆచరణకు దూరమైనదిగా పొరబడే అవకాశం ఉంది. పరిచయం ఒక సూటి ప్రకటనతో దాన్ని అడ్డుకుంటుంది: మెషిన్ లెర్నింగ్ చాలా విస్తృతమైన ఆచరణాత్మక అనువర్తనాలకు వీలు కల్పిస్తుంది. అది పేర్కొనేది పాఠం లేదా పత్ర వర్గీకరణ, దానిలో స్పామ్ గుర్తింపు ఉంది.
రచయితల సొంత చట్రమే వివరించే కారణం వల్ల, స్పామ్ గుర్తింపు ఉదాహరణగా మంచి ఎంపిక. ఇది మునుపటి ఉదాహరణ యొక్క కచ్చితమైన అర్థంలో ఒక పత్ర వర్గీకరణ సమస్య: లేబుల్ చేసిన పత్రాలు లోపలికి, చూడని పత్రాల గురించిన అంచనాలు బయటకు. శాంపిల్ పరిమాణం, లేబుల్ నాణ్యత అంశాలు దానికి నేరుగా వర్తిస్తాయి. పెద్ద శాంపిల్ పనిని సులభం చేస్తుంది, తప్పుగా లేబుల్ చేసిన సందేశాలు దాన్ని కష్టం చేస్తాయి. సాధ్యమైన వర్గాల సంఖ్య చిన్నది, మునుపటి భాగం తర్కం ప్రకారం అది కూడా కష్టంపై ప్రభావం చూపుతుంది. పుస్తకం ప్రకటించిన అంశాలను దాని ప్రకటిత ఉదాహరణకు నేను వర్తింపజేస్తున్నాను, వాస్తవ ప్రపంచంలోని స్పామ్ ఫిల్టర్ల గురించి ఏమీ చెప్పడం లేదు.
ఈ భాగం స్థానంలో కూడా ఒక నిశ్శబ్ద వాదన ఉంది. రచయితలు పత్ర వర్గీకరణను ఒక లెర్నింగ్ పనిగా పరిచయం చేసి, వెంటనే అది ఏ విధంగానూ ఏకైకమైనది కాదని పేర్కొంటారు. మూల నిర్వచనం విస్తృతమైనది కాబట్టి అనువర్తనాలు విస్తృతమైనవి. “పనితీరును మెరుగుపరచడానికి లేదా కచ్చితమైన అంచనాలు వేయడానికి అనుభవాన్ని ఉపయోగించే గణన పద్ధతులు” అనే దానికి సరిపోయే ఏదైనా అర్హమైనదే. పుస్తకం సిద్ధాంతం గురించి ఎందుకు శ్రమపడుతుందో దానికీ ఈ సాధారణతే కారణం. చాలా విస్తృతమైన అనువర్తనాలను కవర్ చేయడానికి ఉద్దేశించిన చట్రం ఏ ఒక్కదాని వివరాలకూ కట్టుబడి ఉండలేదు, భావన-వర్గ సంక్లిష్టత, శాంపిల్ పరిమాణం భాషలో చెప్పిన హామీలే సమస్యల మధ్య ప్రయాణించగలవి.
పుస్తకం కాసే పందెం #
దారాలను కలిపి లాగితే ఒక సుసంగత వైఖరి బయటపడుతుంది, చాలా పాఠ్యపుస్తకాల విషయసూచిక చెప్పుకోలేనిది ఇది. పుస్తకం లెర్నింగ్‌ను అనుభవం, అంచనా పరంగా నిర్వచిస్తుంది. సమయం, స్థలం, శాంపిల్ అనే మూడు సంక్లిష్టతలను నాణ్యత కొలమానాలుగా అది పేర్కొంటుంది. హామీలను భావన-వర్గ సంక్లిష్టతతో, శాంపిల్ పరిమాణంతో ముడిపెడుతుంది, ఆ హామీలను అందించే సిద్ధాంతాన్ని ముందు పెడుతుంది. తర్వాత అల్గారిథమ్ అధ్యాయాలను ఆ పునాదిపై నిర్మించి, కొన్ని పద్ధతులకు హామీలు ప్రస్తుతానికి దృఢంగా లేనందున ఏ జనాదరణ పొందిన రంగాలను వదిలేస్తుందో బహిరంగంగా చెబుతుంది.
నిలిచేది సిద్ధాంతమే అనే పందెం ఇది. సంవత్సరాల తరబడి పోస్ట్‌గ్రాడ్యుయేట్ కోర్సు బోధించిన రచయితల బృందం దీన్ని ఎందుకు కాస్తుందో నాకు అర్థమవుతుంది. పందేనికి ఒక ధర ఉంది, రచయితలు దాని పేరు చెబుతారు: గ్రాఫికల్ మోడళ్లు, న్యూరల్ నెట్‌వర్క్‌లు వదిలేయడం దృఢమైన హామీలపై పట్టుబట్టడానికి చెల్లించే ధర. పాఠకుడు ఆ ధరను నిజాయితీగా తూకం వేయాలి. మీ పనిలో వదిలేసిన రంగాలదే ఆధిపత్యం అయితే, ఈ పుస్తకం కరదీపిక కాదు, పునాది. ఒక లెర్నర్ పరిమిత శాంపిల్ నుంచి సాధారణీకరిస్తాడో లేదో మీ పని తర్కించాల్సి వస్తే, పుస్తకం పదజాలమే దాని ఉద్దేశం.
వ్యవస్థాపకులకు, ఉపయోగకరమైన పాఠం అతి తక్కువ మెరుపు గలది. అంచనాల విజయానికి డేటా నాణ్యత, పరిమాణం నిర్ణయాత్మకమైనవి, ఒక పని కష్టం లేబుల్ నాణ్యతపై, సాధ్యమైన అంశాల సంఖ్యపై ఆధారపడుతుంది. ఇవి మీరు తరచుగా ప్రభావితం చేయగల ఇన్‌పుట్‌ల గురించిన ప్రకటనలు. పలుచని లేదా తప్పుగా లేబుల్ చేసిన శాంపిల్‌ను ఏదైనా నిర్దిష్ట అల్గారిథమ్ కాపాడుతుందని పుస్తకం వాగ్దానం చేయదు, చేయకపోవడమే సరైనది.
సాంకేతిక పాఠకులకు, మరింత ఆసక్తికరమైన ప్రశ్న ముందుమాట తెరిచి వదిలేసేది. దృఢమైన సైద్ధాంతిక హామీల ప్రస్తుత లోటు వల్ల రచయితలు కొన్ని పద్ధతులను వదిలేశారు. “ప్రస్తుత” అనే పదం దాన్ని రాసిన కాలపు స్థితిగా రూపొందిస్తుంది, అది మారుతుందో లేదో, లేదా ఎలా మారుతుందో మూలాలు చెప్పవు. ఆ హామీలు ఒక అధ్యాయానికి అర్హమయ్యేంత దృఢంగా మారడానికి ఏమి కావాలి? పుస్తకం దానికి జవాబు ఇవ్వలేదు. ఏమి వదిలేస్తుందో, ఎందుకో కచ్చితంగా చెప్పడం ద్వారా, కనీసం ఎక్కడ వెతకాలో అది చూపిస్తుంది.
రంగాల వారీగా దీని అర్థం #
గణాంక లెర్నింగ్ హామీలు, శాంపిల్ సంక్లిష్టతపై పట్టుదల అనేక సాఫ్ట్‌వేర్, పరిశోధన రంగాల్లో ఆచరణీయమైన సరిహద్దులను అందిస్తుంది.
విద్యాపరమైన మెషిన్ లెర్నింగ్, పాఠ్యప్రణాళిక రూపకల్పన #
మెషిన్ లెర్నింగ్‌ను ప్రయోగాత్మక ప్రాంప్ట్ ఇంజనీరింగ్‌గానో ఫ్రేమ్‌వర్క్ ప్లంబింగ్‌గానో చూడాలనే ఒత్తిడిని విద్యా కార్యక్రమాలు ప్రతిఘటించాలి. విద్యార్థులకు PAC చట్రం, Rademacher సంక్లిష్టత, structural risk minimization లో పునాది వేయడం, క్షణికమైన డీప్ లెర్నింగ్ ఆర్కిటెక్చర్ల గందరగోళాన్ని దాటి నిలిచే మన్నికైన గణిత సహజజ్ఞానాన్ని నిర్మిస్తుంది.
సంస్థాగత AI ఇంజనీరింగ్, డేటా విలువకట్టడం #
అంచనా వ్యవస్థలను అమలు చేసే ఇంజనీరింగ్ సంస్థలు తరచుగా కంప్యూట్‌కు (మోడల్ పరిమాణానికి) అవసరానికి మించి పెట్టుబడి కేటాయిస్తాయి, శాంపిల్ సంక్లిష్టతను, లేబుల్ విశ్వసనీయతను నిర్లక్ష్యం చేస్తాయి. శాంపిల్ పరిమాణంతో పోలిస్తే భావన-వర్గ సంక్లిష్టత ద్వారా సాధారణీకరణ దోషం కఠినంగా పరిమితం చేయబడినందున, పెద్ద క్రమబద్ధీకరించని మోడళ్లకు బదులు శుభ్రమైన అనొటేషన్‌లో, శాంపిల్ ఆడిటింగ్‌లో పెట్టుబడి పెట్టడం ద్వారా బృందాలు మెరుగైన ROI సాధిస్తాయి.
అగ్రగామి AI పరిశోధన, మోడల్ ఆడిటింగ్ #
EU AI Act వంటి నియంత్రణ చట్రాలు స్వయంచాలక నిర్ణయ వ్యవస్థలపై ఊహించదగిన హద్దులను తప్పనిసరి చేస్తున్న నేపథ్యంలో, Foundations of Machine Learning లో అధికారికంగా రూపొందించిన గణాంక లెర్నింగ్ హామీలు అనుసరణ అవసరాలుగా మారతాయి. నియంత్రకులకు, భద్రతా ఆడిటర్లకు అనుభవపూర్వక ధ్రువీకరణ స్కోర్లకు బదులు నిరూపించదగిన సాధారణీకరణ హద్దులు, కఠినమైన మోడల్ ఎంపిక ప్రోటోకాల్‌లు కావాలి.
ముగింపు #
ముడి అనుభవవాదం వైపు తరచుగా ఆకర్షితమయ్యే రంగంలో Foundations of Machine Learning అనివార్యమైన లంగరుగా నిలిచి ఉంది. PAC లెర్నింగ్, Rademacher సంక్లిష్టత, VC-కొలత చుట్టూ పూర్తి పాఠ్యప్రణాళికను నిర్మించడం ద్వారా, అల్గారిథమ్ సొగసు గణిత హామీలకు ప్రత్యామ్నాయం కాదని Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar పరిశోధకులకు గుర్తు చేస్తారు. సంవృత-రూప హామీలు లేనందున న్యూరల్ నెట్‌వర్క్‌లను, గ్రాఫికల్ మోడళ్లను రచయితలు నిష్కపటంగా వదిలేయడం లోపం కాదు - అది పుస్తకం యొక్క నిర్వచించే బలం, శాస్త్రం కఠినంగా ఏమి నిరూపించగలదో, అది కేవలం ఏమి గమనిస్తుందో వాటి మధ్య స్పష్టమైన గీత గీస్తుంది.
తరచుగా అడిగే ప్రశ్నలు #
రెండవ ముద్రణ నుంచి న్యూరల్ నెట్‌వర్క్‌లను, గ్రాఫికల్ మోడళ్లను రచయితలు ఎందుకు వదిలేశారు?
సంక్షిప్తత కోసం, ఆ పద్ధతుల్లో చాలావాటికి ఆ కాలంలో దృఢమైన సైద్ధాంతిక హామీలు లేకపోవడం వల్ల కూడా రచయితలు న్యూరల్ నెట్‌వర్క్‌లను, గ్రాఫికల్ మోడళ్లను ఉద్దేశపూర్వకంగా వదిలేశారు. కఠినమైన సాధారణీకరణ హద్దులను అంగీకరించే అల్గారిథమ్‌ల చుట్టూనే పుస్తకం కఠినంగా వ్యవస్థీకరించబడింది.
శాంపిల్ సంక్లిష్టతను సమయ, స్థల సంక్లిష్టత నుంచి వేరు చేసేది ఏమిటి?
సమయ సంక్లిష్టత అమలు వేగాన్ని అంచనా వేస్తుంది, స్థల సంక్లిష్టత మెమరీ వినియోగాన్ని కొలుస్తుంది, శాంపిల్ సంక్లిష్టత మాత్రం నిర్దిష్ట దోష, విశ్వాస సహనాల లోపల భావనల కుటుంబాన్ని నేర్చుకోవడానికి ఒక అల్గారిథమ్‌కు కావాల్సిన శిక్షణ డేటా గణిత పరిమాణాన్ని లెక్కిస్తుంది.
empirical risk minimization, structural risk minimization మధ్య మౌలిక తేడా ఏమిటి?
Empirical risk minimization (ERM) శిక్షణ దోషాన్ని నేరుగా కనిష్ఠం చేసే పరికల్పనను ఎంచుకుంటుంది, పరికల్పన సంక్లిష్టత ఎక్కువగా ఉన్నప్పుడు ఓవర్‌ఫిట్టింగ్ ప్రమాదాన్ని ఎదుర్కొంటుంది. Structural risk minimization (SRM) శిక్షణ దోషాన్ని పరికల్పన సంక్లిష్టతతో (VC-కొలత లేదా Rademacher సంక్లిష్టత వంటివి) సమతుల్యం చేస్తుంది, సాధారణీకరణ ప్రమాదంపై అధికారిక హద్దులను అందిస్తుంది.
ఆధారాలు #
- Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). Foundations of Machine Learning, రెండవ ముద్రణ ⧉. The MIT Press.
- Leslie G. Valiant, (1984). నేర్చుకోదగినదాని ఒక సిద్ధాంతం ⧉. Communications of the ACM.
- Vladimir N. Vapnik, (1998). గణాంక లెర్నింగ్ సిద్ధాంతం ⧉. John Wiley & Sons.
చివరిగా సమీక్షించబడింది .
చివరిగా సమీక్షించబడింది .
ఈ వ్యాసాన్ని క్రాస్-పోస్ట్ చేయండి
Medium కోసం ఫార్మాట్ చేసి కాపీ చేయండి
# మెషిన్ లెర్నింగ్ పాఠ్యపుస్తకం విషయసూచిక ఈ రంగం గురించి చెప్పేది — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/te/2026-10-10-meshin-lernimg-pathyapustakam-vishayasuchika-ii-ramgam/](https://sebastienrousseau.com/te/2026-10-10-meshin-lernimg-pathyapustakam-vishayasuchika-ii-ramgam/) Mohri, Rostamizadeh, Talwalkar రాసిన Foundations of Machine Learning (రెండవ ముద్రణ, 2018) లెర్నింగ్‌ను డేటా, శాంపిల్ సంక్లిష్టత, సైద్ధాంతిక హామీల చుట్టూ నిర్వచిస్తుంది. Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/te/2026-10-10-meshin-lernimg-pathyapustakam-vishayasuchika-ii-ramgam/
Mastodon కోసం ఫార్మాట్ చేసి కాపీ చేయండి
మెషిన్ లెర్నింగ్ పాఠ్యపుస్తకం విషయసూచిక ఈ రంగం గురించి చెప్పేది — Sebastien Rousseau Mohri, Rostamizadeh, Talwalkar రాసిన Foundations of Machine Learning (రెండవ ముద్రణ, 2018) లెర్నింగ్‌ను డేటా, శాంపిల్ సంక్లిష్టత, సైద్ధాంతిక హామీల చుట్టూ నిర్వచిస్తుంది. https://sebastienrousseau.com/te/2026-10-10-meshin-lernimg-pathyapustakam-vishayasuchika-ii-ramgam/
LinkedIn కోసం ఫార్మాట్ చేసి కాపీ చేయండి
మెషిన్ లెర్నింగ్ పాఠ్యపుస్తకం విషయసూచిక ఈ రంగం గురించి చెప్పేది — Sebastien Rousseau Mohri, Rostamizadeh, Talwalkar రాసిన Foundations of Machine Learning (రెండవ ముద్రణ, 2018) లెర్నింగ్‌ను డేటా, శాంపిల్ సంక్లిష్టత, సైద్ధాంతిక హామీల చుట్టూ నిర్వచిస్తుంది. ముఖ్యమైన వ్యూహాత్మక అంశాలు ఇవి: - కచ్చితమైన వంశవృక్షం గల పుస్తకం. ఈ వస్తువుకు లంగరు వేసే వాస్తవాలతో మొదలుపెడదాం. - బరువైన పని చేసే నిర్వచనం. తర్వాత వచ్చే ప్రతిదీ ఒక వాక్యంపై ఆధారపడుతుంది. - చేసి చూపిన ఒక ఉదాహరణ: పత్రాలు, అంశాలు. పరిచయం నిర్వచనాన్ని ఒక మూర్తమైన లెర్నింగ్ సమస్యపై నిలబెడుతుంది. - మూడు సంక్లిష్టతలు, రెండు కాదు. ఇక్కడ పుస్తకం తన అత్యంత విలక్షణమైన అడుగు వేస్తుంది, అది ఒక చిన్న వ్యాఖ్యగా వస్తుంది కాబట్టి దాన్ని గమనించకపోవడం సులభం. ఈ వ్యాసంలో వివరించిన సవాళ్లకు మీ సంస్థ దృక్పథం ఏమిటి? → https://sebastienrousseau.com/te/2026-10-10-meshin-lernimg-pathyapustakam-vishayasuchika-ii-ramgam/ #మెషిన్లెర్నింగ్ #పాఠ్యపుస్తకం #FoundationsOfMachineLearning #శాంపిల్సంక్లిష్టత #Pacలెర్నింగ్ Sebastien Rousseau | CC-BY-4.0
ఈ వ్యాసాన్ని ఉదహరించండి
మెషిన్ లెర్నింగ్ పాఠ్యపుస్తకం విషయసూచిక ఈ రంగం గురించి చెప్పేది — Sebastien Rousseau
Mohri, Rostamizadeh, Talwalkar రాసిన Foundations of Machine Learning (రెండవ ముద్రణ, 2018) లెర్నింగ్‌ను డేటా, శాంపిల్ సంక్లిష్టత, సైద్ధాంతిక హామీల చుట్టూ నిర్వచిస్తుంది.
BibTeX
@online{rousseau2026మ,
author = {Rousseau, Sebastien},
title = {{మెషిన్ లెర్నింగ్ పాఠ్యపుస్తకం విషయసూచిక ఈ రంగం గురించి చెప్పేది — Sebastien Rousseau}},
year = {2026},
url = {https://sebastienrousseau.com/te/2026-10-10-meshin-lernimg-pathyapustakam-vishayasuchika-ii-ramgam/},
urldate = {2026}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - మెషిన్ లెర్నింగ్ పాఠ్యపుస్తకం విషయసూచిక ఈ రంగం గురించి చెప్పేది — Sebastien Rousseau PY - 2026 UR - https://sebastienrousseau.com/te/2026-10-10-meshin-lernimg-pathyapustakam-vishayasuchika-ii-ramgam/ ER -
Vancouver
Rousseau S. మెషిన్ లెర్నింగ్ పాఠ్యపుస్తకం విషయసూచిక ఈ రంగం గురించి చెప్పేది — Sebastien Rousseau. sebastienrousseau.com. 2026 Oct 10. Available from: https://sebastienrousseau.com/te/2026-10-10-meshin-lernimg-pathyapustakam-vishayasuchika-ii-ramgam/
Chicago
Rousseau, Sebastien. "మెషిన్ లెర్నింగ్ పాఠ్యపుస్తకం విషయసూచిక ఈ రంగం గురించి చెప్పేది — Sebastien Rousseau." sebastienrousseau.com. October 10, 2026. https://sebastienrousseau.com/te/2026-10-10-meshin-lernimg-pathyapustakam-vishayasuchika-ii-ramgam/.
APA
Rousseau, S. (2026, October 10). మెషిన్ లెర్నింగ్ పాఠ్యపుస్తకం విషయసూచిక ఈ రంగం గురించి చెప్పేది — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/te/2026-10-10-meshin-lernimg-pathyapustakam-vishayasuchika-ii-ramgam/
ఈ వ్యాసాన్ని పునఃప్రచురించండి
మెషిన్ లెర్నింగ్ పాఠ్యపుస్తకం విషయసూచిక ఈ రంగం గురించి చెప్పేది — Sebastien Rousseau
Mohri, Rostamizadeh, Talwalkar రాసిన Foundations of Machine Learning (రెండవ ముద్రణ, 2018) లెర్నింగ్‌ను డేటా, శాంపిల్ సంక్లిష్టత, సైద్ధాంతిక హామీల చుట్టూ నిర్వచిస్తుంది.
ఈ వ్యాసం కింది లైసెన్స్ కింద ఉంది Creative Commons Attribution 4.0 International. పునఃప్రచురణకు కానానికల్ URLకు ఆపాదన అవసరం.
మెషిన్ లెర్నింగ్ పాఠ్యపుస్తకం విషయసూచిక ఈ రంగం గురించి చెప్పేది — Sebastien Rousseau Mohri, Rostamizadeh, Talwalkar రాసిన Foundations of Machine Learning (రెండవ ముద్రణ, 2018) లెర్నింగ్‌ను డేటా, శాంపిల్ సంక్లిష్టత, సైద్ధాంతిక హామీల చుట్టూ నిర్వచిస్తుంది. Originally published at https://sebastienrousseau.com/te/2026-10-10-meshin-lernimg-pathyapustakam-vishayasuchika-ii-ramgam/ by Sebastien Rousseau. Licensed under CC-BY-4.0.