کتاب Foundations of Machine Learning (ویراست دوم، MIT Press، 2018) نوشتهٔ Mehryar Mohri، Afshin Rostamizadeh و Ameet Talwalkar یادگیری را استفاده از تجربه برای پیش‌بینی دقیق تعریف می‌کند و برنامهٔ درسی دقیقی را پیرامون پیچیدگی نمونه، کران‌های Rademacher و تضمین‌های نظری می‌سازد.
بیشتر کتاب‌های یادگیری ماشین با وعده‌ای دربارهٔ آنچه خواهید توانست بسازید آغاز می‌شوند. این یکی با یک تعریف و فهرستی از کمیت‌هایی آغاز می‌شود که موفقیت یک یادگیرنده را تعیین می‌کنند. این ترتیب نشان می‌دهد نویسندگان موضوع را چه می‌دانند، و به گمانم تصمیم درستی است. حوزه‌ای که خود را با پیش‌بینی معرفی می‌کند به خوانندگانش بدهکار است که بگوید کی می‌توان به پیش‌بینی اعتماد کرد، و این توضیح همان چیزی است که کتاب در پی ارائهٔ آن است.
این مقاله کتاب را از راه آنچه صفحه‌های آغازین، پیشگفتار و صفحه‌های نخست آن واقعاً می‌گویند می‌خواند. این کاری محدودتر از مرور همهٔ فصل‌هاست، و دربارهٔ حدود خود صادق است: منابع اینجا صفحهٔ عنوان، فهرست مطالب، پیشگفتار و بخش نخست درآمد کتاب‌اند. در همین حدود، استدلال روشنی برای دنبال کردن وجود دارد. این استدلال به این مربوط است که یادگیری ماشین چیست، به چه چیزی وابسته است، نویسندگان پوشش چه چیزی را برگزیدند و کنار گذاشتن چه چیزی را.
کتابی با تبار دقیق #
با واقعیت‌هایی آغاز کنیم که موضوع را لنگر می‌اندازند. عنوان کتاب Foundations of Machine Learning است و این ویراست دوم آن است. کتاب به مجموعهٔ Adaptive Computation and Machine Learning تعلق دارد که ویراستارش Francis Bach است. نویسندگان Mehryar Mohri، Afshin Rostamizadeh و Ameet Talwalkar هستند. ناشر The MIT Press در کمبریج ماساچوست است، و حق نشر از آنِ Massachusetts Institute of Technology با تاریخ 2018 است. ویراست جلد سخت شابک ISBN 9780262039406 را دارد.
دو جزئیات تولید هر کدام یک جمله می‌ارزند. کتاب را خود نویسندگان با LaTeX حروف‌چینی کرده‌اند، که با متنی انباشته از کران‌ها، تعریف‌ها و اثبات‌ها سازگار است، و در ایالات متحدهٔ آمریکا چاپ و صحافی شده است. هیچ‌کدام از این دو جزئیات شیوهٔ خواندن ریاضیات را تغییر نمی‌دهد. اما نویسندگانی که کتاب خود را حروف‌چینی کرده‌اند دستشان به همهٔ صفحه‌ها رسیده است، و در کتابی از این دست این اطمینان‌بخش است.
خاستگاه مطالب مهم‌تر است. بیشتر آن از یک درس تحصیلات تکمیلی سرچشمه گرفته که آن هم Foundations of Machine Learning نام دارد و نویسندهٔ نخست در چهارده سال گذشته آن را در Courant Institute of Mathematical Sciences دانشگاه نیویورک تدریس کرده است. این خاستگاهی مشخص و قابل بررسی است. کتاب درسی‌ای که از چهارده سال تدریس یک درس بیرون آمده احتمالاً از آنچه برای دانشجویان دشوار بوده شکل گرفته است، و تمرین‌ها و پیوست‌هایی که در ادامه توصیف می‌شوند همین‌گونه خوانده می‌شوند. مراقبم این استنتاج را فراتر از آنچه منبع اجازه می‌دهد نکشانم. پیشگفتار می‌گوید مطالب از کجا آمده‌اند، و نمی‌گوید درس چند بار بازنگری شده یا دانشجویان با چه چیزی دست‌وپنجه نرم کرده‌اند. آنچه می‌گوید کافی است: این مطالب یک درس است، نه مروری که از ادبیات پژوهشی گردآوری شده باشد.
تعریفی که بار سنگین را به دوش می‌کشد #
هر آنچه پس از آن می‌آید به یک جمله وابسته است. به نوشتهٔ نویسندگان، یادگیری ماشین را می‌توان به‌طور گسترده روش‌های محاسباتی‌ای تعریف کرد که از تجربه برای بهبود عملکرد یا انجام پیش‌بینی‌های دقیق استفاده می‌کنند.
هر اسمی در آن جمله کاری بر عهده دارد. «روش‌های محاسباتی» موضوع را درون علوم کامپیوتر قرار می‌دهد. سپس «تجربه» دقیق می‌شود: به اطلاعات گذشته‌ای اشاره دارد که در دسترس یادگیرنده است. جمله هیچ ادعایی نمی‌کند که یادگیرنده چیزی را می‌فهمد، و چیزی دربارهٔ هوش نمی‌گوید. یادگیرنده اطلاعات گذشته و هدفی دارد، که عملکرد بهتر یا پیش‌بینی دقیق است، و کل این رشته دربارهٔ رابطهٔ میان این دو است.
به نظرم این تعریف برای خوانندگان فنی و بنیان‌گذاران مفیدتر از تعریف‌های پرطمطراق‌تری است که رایج‌اند، زیرا مستقیم به اهرم‌هایی اشاره می‌کند که در اختیار شماست. اگر یادگیری تابعی از اطلاعات گذشته است، پس اثرگذاری شما بر نتیجه در این است که چه اطلاعاتی و چه مقدار از آن را گردآوری می‌کنید. ادعای بعدی متن همین را می‌گوید: کیفیت و اندازهٔ داده برای موفقیت پیش‌بینی‌های یادگیرنده تعیین‌کننده است. این گزاره در متن به‌صورت سازوکاری ساده نشان داده می‌شود، بی هیچ قید و شرطی.
نویسندگان خود این فنون را نیز توصیف می‌کنند. آن‌ها روش‌هایی داده‌محورند که مفاهیم بنیادی علوم کامپیوتر را با ایده‌هایی از آمار، احتمال و بهینه‌سازی ترکیب می‌کنند. این جمله هم فهرست پیش‌نیازهاست و هم نقشهٔ همسایه‌های این حوزه. تیمی که می‌خواهد سامانه‌های یادگیرنده بسازد هم‌زمان از علوم کامپیوتر، آمار، احتمال و بهینه‌سازی بهره می‌گیرد. اختیاری دانستن هر یک از آن‌ها انتخابی است که کتاب تأییدش نمی‌کند.
یک مثال حل‌شده: سندها و موضوع‌ها #
درآمد کتاب تعریف را در یک مسئلهٔ یادگیری ملموس لنگر می‌اندازد. نمونه‌ای متناهی از سندهایی را که تصادفی انتخاب شده‌اند در نظر بگیرید که هر یک با یک موضوع برچسب خورده است. کار این است که از آن نمونه برای پیش‌بینی موضوع سندهای دیده‌نشده استفاده شود.
این چیدمان ارزش آهسته خواندن دارد. نمونه متناهی است، پس یادگیرنده هرگز همه چیز را نمی‌بیند. سندها تصادفی انتخاب شده‌اند، و همین است که به نمونه‌ای متناهی اجازه می‌دهد دربارهٔ سندهای دیده‌نشده چیزی بگوید. هر یک برچسب موضوع دارد، پس یادگیرنده نظارت دارد. و هدف سندهایی است که ندیده است، و این تفاوت میان پیش‌بینی و حفظ کردن است.
سپس نویسندگان دو چیز را بیرون می‌کشند که کار را آسان‌تر یا دشوارتر می‌کنند. نخست اندازه است: روشن است که هر چه نمونه بزرگ‌تر باشد، کار آسان‌تر است. دوم کیفیت برچسب است. دشواری کار به کیفیت برچسب‌هایی که به سندهای نمونه داده شده نیز بستگی دارد، چون ممکن است همهٔ برچسب‌ها درست نباشند، و به تعداد موضوع‌های ممکن.
آن جمله سه پیچ تنظیم جداگانه دارد. اندازهٔ نمونه یکی است. درستی برچسب دیگری است. تعداد موضوع‌های ممکن سومی است. هیچ‌کدام به الگوریتم مربوط نیست. همه ویژگی‌های مسئله و داده‌اند، و پیش از آنکه روشی انتخاب شود تعیین می‌کنند مسئله چقدر دشوار است. برای بنیان‌گذاری که تصمیم می‌گیرد بودجه را کجا خرج کند، این مشاهده‌ای تیز است. اگر بتوانید برچسب‌ها را بهتر کنید یا نمونه را بزرگ‌تر، روی عواملی کار می‌کنید که نویسندگان صراحتاً تعیین‌کنندهٔ دشواری نامیده‌اند.
مثال نام کار خود را نیز می‌گوید. پیش‌بینی برچسب یک سند را دسته‌بندی سند (document classification) نیز می‌نامند، و نویسندگان بی‌درنگ می‌افزایند که این به هیچ روی تنها کار یادگیری نیست. از این احتیاط به‌آسانی می‌توان گذشت. مثال سندها تنها وسیله‌ای است، و ادعای زیر آن عام است.
سه پیچیدگی، نه دو #
اینجا کتاب متمایزترین حرکت خود را انجام می‌دهد، و به‌آسانی از چشم می‌افتد چون در قالب نکته‌ای کوتاه می‌آید. به گفتهٔ نویسندگان، یادگیری ماشین عبارت است از طراحی الگوریتم‌های پیش‌بینی کارا و دقیق. همان‌طور که در دیگر حوزه‌های علوم کامپیوتر، پیچیدگی زمانی و فضایی سنجه‌های حیاتی کیفیت چنین الگوریتم‌هایی‌اند. هر کس الگوریتم خوانده باشد این دو را می‌شناسد. چقدر طول می‌کشد، و چقدر حافظه نیاز دارد؟
سپس افزوده می‌آید. یادگیری ماشین افزون بر این به مفهوم پیچیدگی نمونه نیاز دارد تا اندازهٔ نمونهٔ لازم برای اینکه الگوریتم خانواده‌ای از مفاهیم را یاد بگیرد سنجیده شود. این همان سنجه‌ای است که در یک روال مرتب‌سازی همتایی ندارد. لازم نیست به الگوریتم مرتب‌سازی گفته شود به چند نمونه نیاز دارد. یادگیرنده اما نیاز دارد، زیرا خروجی‌اش پیش‌بینی‌ای دربارهٔ مواردی است که ندیده، و مقدار تجربهٔ پشت آن پیش‌بینی بخشی از چیزی است که بهایش را می‌پردازید.
من این‌طور می‌گویم: زمان و فضا به شما می‌گویند اجرای یک الگوریتم چه هزینه‌ای دارد، و پیچیدگی نمونه می‌گوید آموزش دادن آن چه هزینه‌ای دارد. یادگیرنده‌ای سریع که به نمونه‌ای غیرعملی بزرگ نیاز دارد به هیچ معنایی که برای گردآورندهٔ داده مهم باشد کارا نیست. گذاشتن سنجهٔ سوم کنار دو سنجهٔ دیگر شیوهٔ کتاب است برای گفتن اینکه داده منبعی بهادار است که باید مانند محاسبه و حافظه برایش بودجه گذاشت.
متن در همین جهت ادامه می‌دهد. به‌طور کلی‌تر، تضمین‌های نظری یادگیری برای یک الگوریتم به پیچیدگی رده‌های مفهومی مورد نظر و اندازهٔ نمونهٔ آموزشی بستگی دارند. این بیانی فشرده از چیزی است که یک تضمین از آن ساخته می‌شود. دو ورودی هست، اینکه خانوادهٔ مفاهیم چقدر غنی است و چقدر دادهٔ آموزشی دارید، و تضمین گزاره‌ای است که آن‌ها را به عملکرد پیوند می‌دهد. توجه کنید این دربارهٔ ساختار کتاب چه معنایی دارد. فصل‌های بعدی باید راه‌هایی برای سنجش پیچیدگی یک ردهٔ مفهومی فراهم کنند، و فهرست مطالب نشان می‌دهد که چنین می‌کنند.
نویسندگان همچنین توضیح می‌دهند چرا این حوزه در جایی که هست قرار دارد. از آنجا که موفقیت یک الگوریتم یادگیری به داده‌های به‌کاررفته بستگی دارد، یادگیری ماشین ذاتاً با تحلیل داده و آمار پیوند دارد. سازوکار به‌سادگی بیان می‌شود: موفقیت به داده وابسته است، پس موضوع با رشته‌هایی که داده را مطالعه می‌کنند درهم‌تنیده است. به نظرم این صادقانه‌ترین جملهٔ درآمد است. آمار را رقیب یا نیا معرفی نمی‌کند. آمار را پیامد چیزی معرفی می‌کند که یادگیری به آن وابسته است.
| بُعد | پیچیدگی زمانی | پیچیدگی فضایی | پیچیدگی نمونه |
|---|---|---|---|
| تعریف عملیاتی | زمان اجرای مجانبی لازم برای خروجی دادن فرضیهٔ $h$ | ردپای حافظهٔ لازم در طول آموزش و ارزیابی | تعداد نمونه‌های آموزشی $m$ لازم برای یادگرفتن خانوادهٔ مفاهیم |
| نظریهٔ حاکم | پیچیدگی محاسباتی (P در برابر NP، دشواری آموزش) | محدودیت‌های حافظهٔ معماری و محلیت حافظهٔ نهان | یادگیری PAC، پیچیدگی Rademacher و بُعد VC |
| پیامد هزینه‌ای | بودجهٔ محاسبات سرور و استنتاج GPU/CPU | ظرفیت RAM و SRAM روی تراشه | هزینهٔ گردآوری داده، حاشیه‌نویسی و برچسب‌گذاری |
| نقش نظری | کارایی زمان اجرای الگوریتم را می‌سنجد | کارایی منابع فضایی را می‌سنجد | خطای تعمیم و کران‌ها را روی دادهٔ دیده‌نشده تعیین می‌کند |
ستون فقرات نظری #
پیشگفتار می‌گوید کتاب چگونه ساخته شده است. سه یا چهار فصل نخست بنیان نظری مطالب بعدی را می‌گذارند. فهرست مطالب به ما امکان می‌دهد ببینیم آن بنیان از چه ساخته شده است، دست‌کم از روی عنوان‌ها.
نخستین فصل در فهرست مطالب «The PAC Learning Framework» نام دارد، و درون آن بخش‌هایی با عنوان «Guarantees for finite hypothesis sets - consistent case» و «Guarantees for finite hypothesis sets - inconsistent case» آمده‌اند. نام‌های این بخش‌ها دو چیز به ما می‌گویند. یکی اینکه چارچوب تضمین تولید می‌کند، که با تأکید درآمد هم‌خوان است. دیگر اینکه تضمین‌ها بر حسب سازگار یا ناسازگار بودن حالت تقسیم شده‌اند، و کتاب این دو را جداگانه بررسی می‌کند. دربارهٔ محتوای حالت‌های سازگار و ناسازگار گمانه‌زنی نمی‌کنم، چون منابع اینجا تنها عنوان بخش‌ها را می‌دهند. اما این جفت‌سازی نشان می‌دهد نویسندگان یک قضیهٔ تمیز ارائه نمی‌کنند و بگذرند. آن‌ها به حالت دشوارتر و آشفته‌تر بخشی از آن خودش می‌دهند.
فصل بعدی در فهرست «Rademacher Complexity and VC-Dimension» است. بخش‌های آن پیچیدگی Rademacher، تابع رشد، بُعد VC و کران‌های پایین را پوشش می‌دهند. اگر در کنار درآمد خوانده شود، این فصل پاسخ طبیعی پرسشی است که درآمد پیش می‌کشد. اگر تضمین‌ها به پیچیدگی رده‌های مفهومی مورد نظر بستگی دارند، به ابزارهایی برای سنجش آن پیچیدگی نیاز دارید. پیچیدگی Rademacher، تابع رشد و بُعد VC بخش‌هایی‌اند که این بار را می‌کشند. گنجاندن کران‌های پایین در فهرست بخش‌ها نیز درخور توجه است. کتابی که تنها کران‌های بالا را ارائه می‌کند به شما می‌گوید چه چیزی دست‌یافتنی است. کتابی که کران‌های پایین را هم می‌آورد به شما می‌گوید چه چیزی دست‌یافتنی نیست.
سپس فصل 4، «Model Selection»، با بخش‌هایی از جمله کمینه‌سازی ریسک تجربی (ERM) و کمینه‌سازی ریسک ساختاری (SRM) می‌آید. وقتی به ویراست دوم بپردازیم به این فصل بازمی‌گردیم، چون یکی از جاهایی است که ویراست تازه بیشترین تغییر را در آن داده است.
ساختار عامدانه است. نخست بنیان‌ها، سپس سازوکار سنجش پیچیدگی، سپس انتخاب مدل، و تنها پس از آن الگوریتم‌ها. این شیوهٔ تدریسی است که می‌توان از آن دفاع کرد، و با توصیف خود کتاب از کارکردش هم‌خوان است: فصل‌های آغازین نظریه را می‌گذارند، و بقیه بر آن ساخته می‌شود.
از نظریه تا الگوریتم‌ها: ماشین‌های بردار پشتیبان و هسته‌ها #
فهرست مطالب فصل‌های الگوریتمی بعدی را نیز نام می‌برد. یکی «Support Vector Machines» نام دارد، با بخش‌هایی برای حالت جدایی‌پذیر و جدایی‌ناپذیر. هر یک از این بخش‌ها مسئلهٔ بهینه‌سازی اولیه، بردارهای پشتیبان و مسئلهٔ بهینه‌سازی دوگان را پوشش می‌دهد. فصل دیگر «Kernel Methods» نام دارد.
شکل فصل ماشین‌های بردار پشتیبان خود گویاست. همان سه موضوع زیر هر دو سرفصل جدایی‌پذیر و جدایی‌ناپذیر می‌آیند: مسئلهٔ بهینه‌سازی اولیه، بردارهای پشتیبان و مسئلهٔ بهینه‌سازی دوگان. این تکرار از پرداختی موازی خبر می‌دهد، همان پرسش‌ها که دو بار زیر فرض‌های متفاوت پرسیده می‌شوند. این توازی بازتاب تقسیم سازگار و ناسازگار در فصل PAC است، پس الگویی در سراسر کتاب پدیدار می‌شود: نخست حالت تمیز، سپس حالتی که فرض تمیز در آن فرو می‌ریزد.
از خواندن بیش از حد در یک فهرست مطالب پرهیز می‌کنم. فهرست می‌تواند بگوید کتاب چه چیزهایی را پوشش می‌دهد و مطالب را چگونه تقسیم می‌کند. نمی‌تواند بگوید هیچ بخشی چقدر خوب نوشته شده، و هیچ چیزی در این منابع این را نمی‌گوید. آنچه نشان می‌دهد این است که زبان بهینه‌سازی در فصل ماشین‌های بردار پشتیبان، اولیه و دوگان، به توصیف درآمد از فنون به‌عنوان ترکیب علوم کامپیوتر با ایده‌هایی از آمار، احتمال و بهینه‌سازی بازمی‌گردد. رشتهٔ بهینه‌سازی آن فهرست به‌طور ملموس در عنوان این بخش‌ها نمایان است.
کتاب همچنین برای هر یک از دسته‌بندی چندکلاسه، رتبه‌بندی و رگرسیون فصلی جداگانه در نظر گرفته است. این تصمیمی طراحی است که ارزش دفاع دارد. آسان بود که این‌ها پانویس‌هایی بر دسته‌بندی دودویی تلقی شوند. اختصاص فصلی جداگانه به هر یک نشان می‌دهد نویسندگان آن‌ها را مسئله‌هایی متمایز با تحلیل خاص خود می‌دانند، و با هدف اعلام‌شدهٔ ارائهٔ یکپارچهٔ موضوع‌های متعدد به جای ارائه‌ای که یک دیدگاه را ترجیح دهد هم‌خوان است.
آنچه کتاب برمی‌گزیند که پوشش ندهد #
جالب‌ترین بخش پیشگفتار دربارهٔ حذف است. به گفتهٔ نویسندگان، کتاب درآمدی عمومی به یادگیری ماشین است که می‌تواند کتاب مرجعی برای پژوهشگران و کتاب درسی برای دانشجویان باشد. پس از این ادعای گسترده، حدی می‌افزایند: آن‌ها برگزیده‌اند چند موضوع مهم، از جمله مدل‌های گرافی و شبکه‌های عصبی، را حذف کنند.
کمتر کتاب درسی‌ای این را چنین صریح می‌گوید، و به نظرم این صراحت نقطهٔ قوت است. خواننده‌ای که از پیش می‌داند چه چیزی نیست می‌تواند پیرامون آن برنامه‌ریزی کند. کسی که به شبکه‌های عصبی نیاز دارد می‌داند باید جای دیگری را بگردد، به جای آنکه شکاف را در فصل نهم کشف کند.
دلیل‌ها نیز بیان شده‌اند. حذف هم به خاطر اختصار است و هم به دلیل نبود کنونی تضمین‌های نظری محکم برای برخی روش‌ها. دو دلیل آورده شده است. اختصار محدودیتی عملی برای هر کتابی است. دلیل دوم همان است که چیزی دربارهٔ فلسفهٔ کتاب به شما می‌گوید.
آن را به درآمد پیوند دهید. تضمین‌های نظری یادگیری همان چیزی‌اند که این کتاب پیرامونشان سامان یافته است. تضمین‌ها به پیچیدگی رده‌های مفهومی و اندازهٔ نمونهٔ آموزشی بستگی دارند، و فصل‌های نظری نخست می‌آیند چون همه چیز دیگر بر آن‌ها ساخته شده است. روشی که در حال حاضر تضمین‌های محکم ندارد در کتابی که این‌گونه ساخته شده جای ناجوری دارد. پس حذف از تعهد محوری کتاب پیروی می‌کند. با تعریفی از موضوع که نویسندگان برای آغاز برگزیدند سازگار است.
اینجا نکته‌ای هست که احتیاط می‌طلبد. متن می‌گوید «some methods»، پس ادعا دربارهٔ نبود تضمین‌های محکم برای برخی روش‌هاست، نه برای همهٔ موضوع‌های حذف‌شده، و می‌گوید «current»، که داوری را به زمان نگارش گره می‌زند. در برابر وسوسهٔ خلاصه کردن این به «شبکه‌های عصبی نظریه ندارند» ایستادگی می‌کنم. منبع چنین چیزی نمی‌گوید. می‌گوید تضمین‌ها برای برخی روش‌ها در حال حاضر وجود ندارند، و اینکه همین، همراه با اختصار، دلیل کنار گذاشتن مدل‌های گرافی و شبکه‌های عصبی بوده است.
برای خوانندگان فنی‌ای که انتخاب می‌کنند چه بخوانند، پیامد عملی ساده است. این کتاب واژگان تضمین را به شما می‌دهد، و به‌روشنی می‌گوید کدام حوزه‌ها را پوشش نمی‌دهد.
آنچه ویراست دوم تغییر می‌دهد #
ویراست دوم بیش از تجدید چاپی همراه با اصلاحات است. پیشگفتار افزوده‌ها را برمی‌شمارد، و هر کدام به ما می‌گوید نویسندگان کجا ویراست نخست را کم‌مایه می‌دانستند.
تغییر اصلی یک فصل کامل دربارهٔ انتخاب مدل است، فصل 4، در موضوعی که نویسندگان آن را مهم توصیف می‌کنند و در ویراست پیشین تنها به‌اختصار به آن پرداخته شده بود. زبان مستقیم است. ادعا نمی‌کنند ویراست نخست آن را خوب پوشش داده بود. می‌گویند تنها به‌اختصار به آن پرداخته شده بود و اکنون فصلی کامل به آن داده‌اند. بخش‌ها شامل کمینه‌سازی ریسک تجربی (ERM) و کمینه‌سازی ریسک ساختاری (SRM) هستند، همان‌طور که فهرست مطالب نشان می‌دهد.
چرا انتخاب مدل سزاوار این ارتقاست؟ منابع نمی‌گویند، و من از جانب نویسندگان دلیلی نمی‌سازم. اما جایگاهش گویاست. فصل 4 درست پس از فصل‌های چارچوب PAC و پیچیدگی Rademacher و بُعد VC می‌آید، که آن را درون چیزی قرار می‌دهد که پیشگفتار سه یا چهار فصل نخستِ گذارندهٔ بنیان نظری می‌نامد. پس نویسندگان انتخاب مدل را چون فکری پسینی به انتها نچسباندند. آن را درون بنیان نظری ساختند.
افزوده‌های بعدی یک فصل تازه دربارهٔ مدل‌های Maximum Entropy، فصل 12، و یک فصل تازه دربارهٔ مدل‌های Conditional Maximum Entropy، فصل 13، هستند. دو فصل کاملاً تازه گسترشی چشمگیر است، و کتاب اکنون فصل‌هایی پیاپی را به این جفت اختصاص می‌دهد.
پیوست‌ها نیز تغییر می‌کنند. نویسندگان بخشی کامل دربارهٔ دوگانی Fenchel به پیوست B دربارهٔ بهینه‌سازی محدب افزوده‌اند، و پیوست E دربارهٔ نظریهٔ اطلاعات را اضافه کرده‌اند. کتاب همچنین پیوستی مفصل دارد که مروری فشرده بر جبر خطی ارائه می‌کند. این تغییرات به جهتی یکسان اشاره دارند: ریاضیات پشتیبان همراه با فصل‌ها رشد کرده است. دوگانی Fenchel به پیوست بهینه‌سازی محدب می‌پیوندد، و نظریهٔ اطلاعات پیوست خود را می‌گیرد. از گفتن اینکه نظریهٔ اطلاعات مشخصاً برای پشتیبانی از فصل‌های Maximum Entropy آنجاست پرهیز می‌کنم، چون منابع چنین پیوندی را بیان نمی‌کنند، و این دو افزوده در پیشگفتار به‌عنوان مواردی جدا می‌آیند. هم‌زمانی‌شان در یک ویراست تصادفی است که آن را همان‌طور رها می‌کنم.
کتاب برای کیست، و چگونه انتظار دارد خوانده شود #
کتاب مخاطبانش را اعلام می‌کند: برای دانشجویان و پژوهشگران یادگیری ماشین، آمار و دیگر حوزه‌های مرتبط در نظر گرفته شده است. این فهرست آمار را به نام می‌آورد، که پژواک نکتهٔ درآمد است که یادگیری ماشین ذاتاً با تحلیل داده و آمار پیوند دارد.
کتاب همچنین می‌گوید چه چیزی را فرض می‌گیرد. از خواننده انتظار می‌رود با مفاهیم پایه‌ای جبر خطی، احتمال و تحلیل الگوریتم‌ها آشنا باشد. این فهرستی کوتاه است، و با فهرست مواد درآمد هم‌خوان است، هرچند نه دقیقاً. درآمد علوم کامپیوتر، آمار، احتمال و بهینه‌سازی را سرچشمه‌های فنون می‌نامد. پیش‌نیازها جبر خطی، احتمال و تحلیل الگوریتم‌ها را می‌نامند. بهینه‌سازی در میان پیش‌نیازها نیست، و کتاب از سوی دیگر به آن می‌پردازد: پیوست B بهینه‌سازی محدب را، همراه با بخش تازهٔ دوگانی Fenchel، پوشش می‌دهد. جبر خطی به‌عنوان پیش‌زمینه انتظار می‌رود، و کتاب باز هم پیوست مفصلی برای مرور آن فراهم می‌کند. پس پیش‌نیازها و پیوست‌ها عامدانه هم‌پوشانی دارند، و خواننده‌ای که جبر خطی‌اش زنگ زده مروری فشرده در همان کتاب دارد.
روش آموزشی نیز به‌سادگی بیان شده است. هر فصل با مجموعه‌ای از تمرین‌ها پایان می‌یابد، و حل کامل آن‌ها جداگانه ارائه شده است. این چیدمانی معقول برای کتابی است که به دو گروه مخاطب خدمت می‌کند. دانشجو می‌تواند تمرین‌ها را امتحان کند و با حل‌ها مقایسه کند، و پژوهشگری که از کتاب به‌عنوان مرجع استفاده می‌کند ناچار نیست در هر صفحه از پاسخ‌های حل‌شده بگذرد. اینکه حل‌ها در جلدی جداگانه می‌آیند یا سندی دیگر، منبع نمی‌گوید، فقط اینکه جداگانه ارائه می‌شوند، پس همین‌جا رهایش می‌کنم.
اگر کنار هم گذاشته شوند، مخاطبان، پیش‌نیازها، تمرین‌ها و پیوست‌ها کتابی را توصیف می‌کنند که برای از آغاز تا پایان کار کردن طراحی شده است. چهارده سال تدریس در Courant Institute پشت این طراحی ایستاده است. درسی که بارها تدریس شده معمولاً چنین ابزاری پدید می‌آورد، هرچند پیشگفتار صراحتاً چنین پیوندی را ادعا نمی‌کند، و من آن را تنها به‌عنوان خوانشی از شواهد پیش می‌نهم، نه یافته‌ای قطعی.
کاربردها گسترده‌اند، و کتاب این را می‌گوید #
کتابی تا این اندازه نظری ممکن است به اشتباه دور از عمل پنداشته شود. درآمد با گزاره‌ای ساده جلوی این را می‌گیرد: یادگیری ماشین مجموعهٔ بسیار گسترده‌ای از کاربردهای عملی دارد. کاربردی که نام می‌برد دسته‌بندی متن یا سند است، که تشخیص هرزنامه (spam) را در بر می‌گیرد.
تشخیص هرزنامه مثال خوبی است به دلیلی که چارچوب خود نویسندگان توضیحش می‌دهد. این دقیقاً به معنای مثال پیشین یک مسئلهٔ دسته‌بندی سند است: سندهای برچسب‌دار وارد می‌شوند، پیش‌بینی‌هایی دربارهٔ سندهای دیده‌نشده خارج می‌شوند. عوامل اندازهٔ نمونه و کیفیت برچسب مستقیم بر آن اعمال می‌شوند. نمونهٔ بزرگ‌تر کار را آسان‌تر می‌کند، و پیام‌هایی که برچسب نادرست دارند آن را دشوارتر. تعداد دسته‌های ممکن کم است، که بر پایهٔ منطق بخش پیشین بر دشواری نیز اثر دارد. من عوامل اعلام‌شدهٔ کتاب را بر مثال اعلام‌شدهٔ آن به کار می‌برم، و هیچ ادعایی دربارهٔ فیلترهای هرزنامه در جهان واقعی نمی‌کنم.
در جایگاه این بخش استدلالی آرام نیز هست. نویسندگان دسته‌بندی سند را به‌عنوان یک کار یادگیری معرفی می‌کنند و بی‌درنگ یادآوری می‌کنند که به هیچ روی تنها کار نیست. کاربردها گسترده‌اند چون تعریف زیربنایی گسترده است. هر چیزی که با «روش‌های محاسباتی‌ای که از تجربه برای بهبود عملکرد یا انجام پیش‌بینی‌های دقیق استفاده می‌کنند» جور درآید واجد شرایط است. همین عمومیت دلیل آن است که کتاب به نظریه می‌پردازد. چارچوبی که قرار است مجموعهٔ بسیار گسترده‌ای از کاربردها را پوشش دهد نمی‌تواند به جزئیات یکی از آن‌ها بسته باشد، و تضمین‌هایی که بر حسب پیچیدگی ردهٔ مفهومی و اندازهٔ نمونه بیان شده‌اند درست از همان گونه‌ای‌اند که میان مسئله‌ها جابه‌جا می‌شوند.
شرطی که کتاب می‌بندد #
رشته‌ها را کنار هم بگذارید تا موضعی منسجم پدیدار شود، که بیش از آن است که فهرست مطالب بیشتر کتاب‌های درسی بتواند ادعا کند. کتاب یادگیری را بر حسب تجربه و پیش‌بینی تعریف می‌کند. سه پیچیدگی، زمان، فضا و نمونه، را سنجه‌های کیفیت می‌نامد. تضمین‌ها را به پیچیدگی ردهٔ مفهومی و اندازهٔ نمونه پیوند می‌دهد، و نظریه‌ای را که این تضمین‌ها را فراهم می‌کند در آغاز می‌نشاند. سپس فصل‌های الگوریتمی را بر این پایه می‌سازد و آشکارا می‌گوید کدام حوزه‌های پرطرفدار را کنار می‌گذارد چون تضمین‌ها برای برخی روش‌ها، فعلاً، محکم نیستند.
این شرطی است بر نظریه به‌عنوان چیزی که می‌ماند. می‌فهمم چرا گروهی از نویسندگان که سال‌ها یک درس تحصیلات تکمیلی را تدریس کرده‌اند چنین شرطی می‌بندند. این شرط هزینه‌ای دارد، و نویسندگان نامش را می‌برند: حذف مدل‌های گرافی و شبکه‌های عصبی بهای پافشاری بر تضمین‌های محکم است. خواننده باید این هزینه را صادقانه بسنجد. اگر کار شما زیر سلطهٔ حوزه‌های حذف‌شده است، این کتاب بنیان است نه دستورالعمل. اگر کار شما نیاز دارد دربارهٔ اینکه یادگیرنده از نمونه‌ای متناهی تعمیم می‌دهد یا نه استدلال کند، واژگان کتاب اصل مطلب است.
برای بنیان‌گذاران، درس سودمند کم‌زرق‌وبرق‌ترین آن‌هاست. کیفیت و اندازهٔ داده برای موفقیت پیش‌بینی‌ها تعیین‌کننده است، و دشواری یک کار به کیفیت برچسب و تعداد موضوع‌های ممکن بستگی دارد. این‌ها گزاره‌هایی دربارهٔ ورودی‌هایی‌اند که اغلب می‌توانید بر آن‌ها اثر بگذارید. کتاب وعده نمی‌دهد که هیچ الگوریتم خاصی نمونه‌ای کم‌مایه یا با برچسب نادرست را نجات دهد، و حق دارد که وعده نمی‌دهد.
برای خوانندگان فنی، پرسش جالب‌تر همان است که پیشگفتار باز می‌گذارد. نویسندگان برخی روش‌ها را به دلیل نبود کنونی تضمین‌های نظری محکم حذف کردند. واژهٔ «current» این را وضعیتی در زمان نگارش قاب می‌گیرد، و منابع نمی‌گویند آیا، یا چگونه، ممکن است تغییر کند. چه لازم است تا آن تضمین‌ها چنان محکم شوند که سزاوار یک فصل باشند؟ کتاب نمی‌تواند به این پاسخ دهد. با دقیق بودن دربارهٔ آنچه کنار می‌گذارد و چرایی‌اش، دست‌کم نشان می‌دهد کجا باید جست‌وجو کرد.
معنای این برای هر بخش #
پافشاری بر تضمین‌های یادگیری آماری و پیچیدگی نمونه مرزهایی کاربردی در چندین حوزهٔ نرم‌افزار و پژوهش فراهم می‌کند.
یادگیری ماشین دانشگاهی و طراحی برنامهٔ درسی #
برنامه‌های آموزشی باید در برابر فشار برای تلقی یادگیری ماشین به‌عنوان مهندسی پرامپت تجربی یا لوله‌کشی چارچوب‌ها ایستادگی کنند. پایه‌گذاری دانشجویان بر چارچوب PAC، پیچیدگی Rademacher و کمینه‌سازی ریسک ساختاری غریزه‌های ریاضی ماندگاری می‌سازد که از گردش معماری‌های گذرای یادگیری عمیق جان سالم به در می‌برند.
مهندسی هوش مصنوعی سازمانی و ارزش‌گذاری داده #
سازمان‌های مهندسی که سامانه‌های پیش‌بین را مستقر می‌کنند اغلب سرمایهٔ بیش از اندازه‌ای به محاسبه (اندازهٔ مدل) اختصاص می‌دهند و پیچیدگی نمونه و وفاداری برچسب را نادیده می‌گیرند. از آنجا که خطای تعمیم به‌شدت با پیچیدگی ردهٔ مفهومی نسبت به اندازهٔ نمونه محدود می‌شود، تیم‌ها با سرمایه‌گذاری در حاشیه‌نویسی پاکیزه و ممیزی نمونه بازده سرمایهٔ بهتری به دست می‌آورند تا با مدل‌های بزرگ‌تر بی‌منظم‌سازی.
پژوهش پیشرو هوش مصنوعی و ممیزی مدل #
در حالی که چارچوب‌های مقرراتی مانند قانون هوش مصنوعی اتحادیهٔ اروپا مرزهای پیش‌بینی‌پذیری را بر سامانه‌های تصمیم‌گیری خودکار الزامی می‌کنند، تضمین‌های یادگیری آماری که در Foundations of Machine Learning صورت‌بندی شده‌اند به ضرورت‌های انطباق بدل می‌شوند. ناظران و ممیزان ایمنی کران‌های تعمیم اثبات‌پذیر و پروتکل‌های سخت‌گیرانهٔ انتخاب مدل را به جای امتیازهای اعتبارسنجی ابتکاری طلب می‌کنند.
نتیجه‌گیری #
Foundations of Machine Learning لنگری بی‌جایگزین در حوزه‌ای باقی می‌ماند که اغلب وسوسهٔ تجربه‌گرایی خام آن را می‌گیرد. Mehryar Mohri، Afshin Rostamizadeh و Ameet Talwalkar با ساختن یک برنامهٔ درسی کامل پیرامون یادگیری PAC، پیچیدگی Rademacher و بُعد VC به پژوهشگران یادآوری می‌کنند که ظرافت الگوریتمی نمی‌تواند جای تضمین‌های ریاضی را بگیرد. حذف صادقانهٔ شبکه‌های عصبی و مدل‌های گرافی از سوی نویسندگان به دلیل نبود تضمین‌های به‌شکل بسته کاستی نیست - نقطهٔ قوت تعریف‌کنندهٔ کتاب است، که آنچه رشته می‌تواند با دقت اثبات کند را از آنچه صرفاً مشاهده می‌کند به‌روشنی جدا می‌کند.
پرسش‌های پرتکرار #
چرا نویسندگان شبکه‌های عصبی و مدل‌های گرافی را از ویراست دوم حذف کردند؟
نویسندگان شبکه‌های عصبی و مدل‌های گرافی را عامدانه به خاطر اختصار و به دلیل نبود کنونی تضمین‌های نظری محکم برای شماری از آن روش‌ها حذف کردند. کتاب به‌طور سخت‌گیرانه پیرامون الگوریتم‌هایی سامان یافته که کران‌های تعمیم دقیق می‌پذیرند.
پیچیدگی نمونه چه تفاوتی با پیچیدگی زمانی و فضایی دارد؟
در حالی که پیچیدگی زمانی سرعت اجرا را ارزیابی می‌کند و پیچیدگی فضایی مصرف حافظه را می‌سنجد، پیچیدگی نمونه حجم ریاضی دادهٔ آموزشی‌ای را که یک الگوریتم برای یادگرفتن خانواده‌ای از مفاهیم در محدودهٔ تحمل خطا و اطمینان مشخص نیاز دارد کمّی می‌کند.
تفاوت اصلی کمینه‌سازی ریسک تجربی و کمینه‌سازی ریسک ساختاری چیست؟
کمینه‌سازی ریسک تجربی (ERM) فرضیه‌ای را برمی‌گزیند که خطای آموزش را مستقیماً کمینه می‌کند، و وقتی پیچیدگی فرضیه بالاست خطر بیش‌برازش (overfitting) دارد. کمینه‌سازی ریسک ساختاری (SRM) خطای آموزش را در برابر پیچیدگی فرضیه (مانند بُعد VC یا پیچیدگی Rademacher) متوازن می‌کند و کران‌های صوری بر ریسک تعمیم فراهم می‌آورد.
منابع #
- Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). مبانی یادگیری ماشین، ویراست دوم ⧉. The MIT Press.
- Leslie G. Valiant, (1984). نظریه‌ای دربارهٔ یادگرفتنی ⧉. Communications of the ACM.
- Vladimir N. Vapnik, (1998). نظریهٔ یادگیری آماری ⧉. John Wiley & Sons.
آخرین بازبینی .
آخرین بازبینی .
بازنشر متقابل این مقاله
کپی قالب‌بندی‌شده برای Medium
# فهرست مطالب یک کتاب یادگیری ماشین و آنچه دربارهٔ این حوزه می‌گوید — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/fa/2026-10-10-fhrst-mtalb-yk-ktab-yadgyry-mashyn/](https://sebastienrousseau.com/fa/2026-10-10-fhrst-mtalb-yk-ktab-yadgyry-mashyn/) کتاب Foundations of Machine Learning (انتشارات MIT، 2018) یادگیری ماشین را طراحی الگوریتم‌های پیش‌بینی کارا می‌داند و آن را بر پیچیدگی نمونه و تضمین نظری بنا می‌کند. Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/fa/2026-10-10-fhrst-mtalb-yk-ktab-yadgyry-mashyn/
کپی قالب‌بندی‌شده برای Mastodon
فهرست مطالب یک کتاب یادگیری ماشین و آنچه دربارهٔ این حوزه می‌گوید — Sebastien Rousseau کتاب Foundations of Machine Learning (انتشارات MIT، 2018) یادگیری ماشین را طراحی الگوریتم‌های پیش‌بینی کارا می‌داند و آن را بر پیچیدگی نمونه و تضمین نظری بنا می‌کند. https://sebastienrousseau.com/fa/2026-10-10-fhrst-mtalb-yk-ktab-yadgyry-mashyn/
کپی قالب‌بندی‌شده برای LinkedIn
فهرست مطالب یک کتاب یادگیری ماشین و آنچه دربارهٔ این حوزه می‌گوید — Sebastien Rousseau کتاب Foundations of Machine Learning (انتشارات MIT، 2018) یادگیری ماشین را طراحی الگوریتم‌های پیش‌بینی کارا می‌داند و آن را بر پیچیدگی نمونه و تضمین نظری بنا می‌کند. مهم‌ترین نکات راهبردی به این شرح است: - کتابی با تبار دقیق. با واقعیت‌هایی آغاز کنیم که موضوع را لنگر می‌اندازند. - تعریفی که بار سنگین را به دوش می‌کشد. هر آنچه پس از آن می‌آید به یک جمله وابسته است. - یک مثال حل‌شده: سندها و موضوع‌ها. درآمد کتاب تعریف را در یک مسئلهٔ یادگیری ملموس لنگر می‌اندازد. - سه پیچیدگی، نه دو. اینجا کتاب متمایزترین حرکت خود را انجام می‌دهد، و به‌آسانی از چشم می‌افتد چون در قالب نکته‌ای کوتاه می‌آید. رویکرد سازمان شما به چالش‌های مطرح‌شده در این نوشته چیست؟ → https://sebastienrousseau.com/fa/2026-10-10-fhrst-mtalb-yk-ktab-yadgyry-mashyn/ #یادگیریماشین،کتابدرسی،فهرستمطالب،FoundationsOfMachineLearning،پیچیدگینمونه،پیچیدگیRademacher،بُعدVc،یادگیریPac،تضمین‌هاییادگیری،انتخابمدل Sebastien Rousseau | CC-BY-4.0
استناد به این مقاله
فهرست مطالب یک کتاب یادگیری ماشین و آنچه دربارهٔ این حوزه می‌گوید — Sebastien Rousseau
کتاب Foundations of Machine Learning (انتشارات MIT، 2018) یادگیری ماشین را طراحی الگوریتم‌های پیش‌بینی کارا می‌داند و آن را بر پیچیدگی نمونه و تضمین نظری بنا می‌کند.
BibTeX
@online{rousseau2026فهرست,
author = {Rousseau, Sebastien},
title = {{فهرست مطالب یک کتاب یادگیری ماشین و آنچه دربارهٔ این حوزه می‌گوید — Sebastien Rousseau}},
year = {2026},
url = {https://sebastienrousseau.com/fa/2026-10-10-fhrst-mtalb-yk-ktab-yadgyry-mashyn/},
urldate = {2026}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - فهرست مطالب یک کتاب یادگیری ماشین و آنچه دربارهٔ این حوزه می‌گوید — Sebastien Rousseau PY - 2026 UR - https://sebastienrousseau.com/fa/2026-10-10-fhrst-mtalb-yk-ktab-yadgyry-mashyn/ ER -
Vancouver
Rousseau S. فهرست مطالب یک کتاب یادگیری ماشین و آنچه دربارهٔ این حوزه می‌گوید — Sebastien Rousseau. sebastienrousseau.com. 2026 Oct 10. Available from: https://sebastienrousseau.com/fa/2026-10-10-fhrst-mtalb-yk-ktab-yadgyry-mashyn/
Chicago
Rousseau, Sebastien. "فهرست مطالب یک کتاب یادگیری ماشین و آنچه دربارهٔ این حوزه می‌گوید — Sebastien Rousseau." sebastienrousseau.com. October 10, 2026. https://sebastienrousseau.com/fa/2026-10-10-fhrst-mtalb-yk-ktab-yadgyry-mashyn/.
APA
Rousseau, S. (2026, October 10). فهرست مطالب یک کتاب یادگیری ماشین و آنچه دربارهٔ این حوزه می‌گوید — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/fa/2026-10-10-fhrst-mtalb-yk-ktab-yadgyry-mashyn/
بازنشر این مقاله
فهرست مطالب یک کتاب یادگیری ماشین و آنچه دربارهٔ این حوزه می‌گوید — Sebastien Rousseau
کتاب Foundations of Machine Learning (انتشارات MIT، 2018) یادگیری ماشین را طراحی الگوریتم‌های پیش‌بینی کارا می‌داند و آن را بر پیچیدگی نمونه و تضمین نظری بنا می‌کند.
این مقاله تحت مجوز زیر منتشر شده است Creative Commons Attribution 4.0 International. بازنشر مستلزم ذکر منبع با ارجاع به نشانی اصلی (canonical) است.
فهرست مطالب یک کتاب یادگیری ماشین و آنچه دربارهٔ این حوزه می‌گوید — Sebastien Rousseau کتاب Foundations of Machine Learning (انتشارات MIT، 2018) یادگیری ماشین را طراحی الگوریتم‌های پیش‌بینی کارا می‌داند و آن را بر پیچیدگی نمونه و تضمین نظری بنا می‌کند. Originally published at https://sebastienrousseau.com/fa/2026-10-10-fhrst-mtalb-yk-ktab-yadgyry-mashyn/ by Sebastien Rousseau. Licensed under CC-BY-4.0.