תוכן העניינים של ספר בלמידת מכונה ומה הוא מגלה על התחום

הספר Foundations of Machine Learning (מהדורה שנייה, MIT Press, 2018) מאת Mehryar Mohri, ‏Afshin Rostamizadeh ו־Ameet Talwalkar מגדיר למידה כשימוש בניסיון כדי לבצע תחזיות מדויקות, ובונה תוכנית לימודים קפדנית סביב סיבוכיות מדגם, חסמי Rademacher וערבויות תאורטיות.

רוב הספרים על למידת מכונה נפתחים בהבטחה לגבי מה שתוכלו לבנות. הספר הזה נפתח בהגדרה וברשימה של הגדלים שקובעים אם לומד יצליח. הסדר הזה מלמד מה המחברים חושבים שהנושא הוא, ולדעתי זו ההכרעה הנכונה. תחום שמשווק את עצמו באמצעות חיזוי חייב לקוראיו הסבר מתי אפשר לסמוך על חיזוי, וההסבר הזה הוא מה שהספר מבקש לתת.

המאמר הזה קורא את הספר דרך מה שהעמודים הפותחים, ההקדמה והעמודים הראשונים שלו אומרים בפועל. זו משימה צרה יותר מסקירה של כל פרק, והיא כנה לגבי גבולותיה: המקורות כאן הם עמוד השער, תוכן העניינים, ההקדמה והקטע הראשון של המבוא. בתוך הגבולות האלה יש טיעון ברור שאפשר לעקוב אחריו. הוא נוגע למה שלמידת מכונה היא, למה שהיא נשענת עליו, למה שהמחברים בחרו לכסות ולמה שבחרו להשאיר בחוץ.

ספר עם ייחוס מדויק #

נתחיל בעובדות שמעגנות את החפץ. שם הספר הוא Foundations of Machine Learning, וזו המהדורה השנייה. הוא שייך לסדרה Adaptive Computation and Machine Learning, שעורכה הוא Francis Bach. המחברים הם Mehryar Mohri, ‏Afshin Rostamizadeh ו־Ameet Talwalkar. ההוצאה היא The MIT Press, קיימברידג', מסצ'וסטס, וזכויות היוצרים שמורות ל־Massachusetts Institute of Technology, בתאריך 2018. מהדורת הכריכה הקשה נושאת ISBN 9780262039406.

שני פרטי הפקה ראויים למשפט אחד כל אחד. את הספר סידרו המחברים עצמם ב־LaTeX, מה שמתאים לטקסט צפוף בחסמים, הגדרות והוכחות, והוא הודפס ונכרך בארצות הברית. אף אחד מהפרטים האלה לא משנה את האופן שבו תקראו את המתמטיקה. אבל מחברים שסידרו את ספרם בעצמם נגעו בכל עמוד, ובספר מהסוג הזה זה מעורר ביטחון.

מקור החומר חשוב יותר. רובו נולד מקורס לתואר מתקדם, שגם הוא נקרא Foundations of Machine Learning, שהמחבר הראשון לימד ב־Courant Institute of Mathematical Sciences שבאוניברסיטת ניו יורק במהלך ארבע־עשרה השנים האחרונות. זהו מקור ספציפי שאפשר לבדוק. ספר לימוד שצמח מארבע־עשרה שנים של הוראת קורס אחד עוצב ככל הנראה על ידי מה שהסטודנטים מצאו קשה, והתרגילים והנספחים שמתוארים בהמשך נקראים כך. אזהר שלא לדחוק את ההסקה מעבר למה שהמקור מתיר. ההקדמה אומרת מאין בא החומר, והיא לא אומרת כמה גרסאות עבר הקורס או במה הסטודנטים התקשו. מה שהיא כן אומרת מספיק: זה חומר של קורס, לא סקירה שהורכבה מן הספרות.

ההגדרה שנושאת את המשא הכבד #

כל מה שבא אחר כך תלוי במשפט אחד. למידת מכונה, כותבים המחברים, יכולה להיות מוגדרת באופן רחב כשיטות חישוביות שמשתמשות בניסיון כדי לשפר ביצועים או כדי לבצע תחזיות מדויקות.

לכל שם עצם במשפט הזה יש תפקיד. “שיטות חישוביות” ממקם את הנושא בתוך מדעי המחשב. אחר כך “ניסיון” מוגדר בדיוק: הוא מתייחס למידע העבר שזמין ללומד. המשפט לא טוען שהלומד מבין משהו, והוא לא אומר דבר על אינטליגנציה. ללומד יש מידע עבר ויעד, שהוא ביצועים משופרים או חיזוי מדויק, וכל התחום עוסק ביחס שבין השניים.

הייתי טוען שזו הגדרה מועילה יותר לקוראים טכניים ולמייסדים מאשר ההגדרות הנשגבות יותר שבמחזור, כי היא מצביעה ישירות על המנופים שבשליטתכם. אם למידה היא פונקציה של מידע עבר, אז ההשפעה שלכם על התוצאה טמונה במידע שאתם אוספים ובכמותו. הטענה הבאה בטקסט אומרת זאת במפורש: איכות הנתונים וגודלם חיוניים להצלחת התחזיות שהלומד מבצע. הקביעה הזאת מוצגת בטקסט כמנגנון פשוט, בלי שום הסתייגות.

המחברים מתארים גם את הטכניקות עצמן. אלה שיטות מונחות נתונים שמשלבות מושגי יסוד במדעי המחשב עם רעיונות מסטטיסטיקה, הסתברות ואופטימיזציה. המשפט הזה משמש גם כרשימת דרישות קדם וגם כמפה של שכני התחום. צוות שרוצה לבנות מערכות לומדות שואב ממדעי המחשב, מסטטיסטיקה, מהסתברות ומאופטימיזציה גם יחד. להתייחס לאחד מהם כאל רשות זו בחירה שהספר אינו תומך בה.

דוגמה פתורה אחת: מסמכים ונושאים #

המבוא מעגן את ההגדרה בבעיית למידה מוחשית. קחו מדגם סופי של מסמכים שנבחרו באקראי, שכל אחד מהם מתויג בנושא. המשימה היא להשתמש במדגם הזה כדי לחזות את הנושא של מסמכים שטרם נראו.

המבנה הזה מתגמל קריאה איטית. המדגם סופי, כך שהלומד לעולם לא רואה הכול. המסמכים נבחרו באקראי, וזה מה שמאפשר למדגם סופי לומר משהו על אלה שלא נראו. כל אחד מתויג בנושא, כך שללומד יש פיקוח. והיעד הוא מסמכים שהוא לא ראה, וזה ההבדל בין חיזוי לשינון.

אחר כך המחברים מוציאים שני דברים שהופכים את המשימה לקלה או לקשה יותר. הראשון הוא הגודל: ברור שככל שהמדגם גדול יותר, המשימה קלה יותר. השני הוא איכות התוויות. קושי המשימה תלוי גם באיכות התוויות שהוצמדו למסמכים שבמדגם, שכן ייתכן שלא כולן נכונות, ובמספר הנושאים האפשריים.

המשפט הזה מכיל שלושה כפתורי כיוון נפרדים. גודל המדגם הוא אחד. נכונות התוויות היא אחר. מספר הנושאים האפשריים הוא השלישי. אף אחד מהם לא נוגע לאלגוריתם. כולם תכונות של הבעיה ושל הנתונים, והם קובעים עד כמה הבעיה קשה עוד לפני שנבחרה שיטה כלשהי. למייסד שמחליט היכן להוציא תקציב, זו הבחנה חדה. אם אתם יכולים לשפר את התוויות או להגדיל את המדגם, אתם פועלים על הגורמים שהמחברים מציינים במפורש כקובעי הקושי.

הדוגמה גם נותנת שם למשימה שלה. חיזוי התווית של מסמך ידוע גם כסיווג מסמכים (document classification), והמחברים ממהרים להוסיף שזו בשום אופן לא משימת הלמידה היחידה. קל לדלג על הזהירות הזאת. דוגמת המסמכים היא כלי רכב, והטענה שמתחתיה כללית.

שלוש סיבוכיויות, לא שתיים #

כאן הספר עושה את הצעד הייחודי ביותר שלו, וקל להחמיץ אותו כי הוא מגיע כהערה קצרה. למידת מכונה, אומרים המחברים, עוסקת בתכנון אלגוריתמי חיזוי יעילים ומדויקים. כמו בתחומים אחרים של מדעי המחשב, סיבוכיות זמן וסיבוכיות מקום הן מדדים קריטיים לאיכותם של אלגוריתמים כאלה. כל מי שלמד אלגוריתמים יזהה את שתיהן. כמה זמן זה לוקח, וכמה זיכרון זה צריך?

ואז מגיעה התוספת. למידת מכונה צריכה, בנוסף, מושג של סיבוכיות מדגם כדי להעריך את גודל המדגם הנדרש לאלגוריתם כדי ללמוד משפחה של מושגים. זה המדד שאין לו מקבילה בשגרת מיון. לאלגוריתם מיון לא צריך לומר כמה דוגמאות הוא דורש. ללומד כן, כי הפלט שלו הוא חיזוי לגבי מקרים שלא ראה, וכמות הניסיון שמאחורי החיזוי הזה היא חלק ממה שאתם משלמים עליו.

הייתי מנסח זאת כך: זמן ומקום אומרים לכם כמה עולה להריץ אלגוריתם, וסיבוכיות מדגם אומרת לכם כמה עולה ללמד אותו. לומד מהיר שזקוק למדגם גדול באופן לא מעשי אינו יעיל בשום מובן שחשוב למי שאוסף את הנתונים. הצבת המדד השלישי לצד השניים האחרים היא הדרך של הספר לומר שנתונים הם משאב שיש לו מחיר, ויש לתקצב אותו כמו חישוב וזיכרון.

הטקסט ממשיך באותו כיוון. באופן כללי יותר, ערבויות למידה תאורטיות לאלגוריתם תלויות בסיבוכיות של מחלקות המושגים הנבחנות ובגודל מדגם האימון. זו קביעה תמציתית של ממה עשויה ערבות. יש שני קלטים, עד כמה עשירה משפחת המושגים וכמה נתוני אימון יש לכם, וערבות היא קביעה שקושרת אותם לביצועים. שימו לב מה זה אומר על מבנה הספר. הפרקים שבאים אחר כך צריכים לספק דרכים למדוד את הסיבוכיות של מחלקת מושגים, ותוכן העניינים מראה שהם אכן עושים זאת.

המחברים מסבירים גם למה התחום ממוקם היכן שהוא ממוקם. מאחר שהצלחתו של אלגוריתם למידה תלויה בנתונים שבהם משתמשים, למידת מכונה קשורה מטבעה לניתוח נתונים ולסטטיסטיקה. המנגנון נאמר בפשטות: ההצלחה תלויה בנתונים, ולכן הנושא שזור בדיסציפלינות שחוקרות נתונים. אני מוצא שזה המשפט הכן ביותר במבוא. הוא לא מציג את הסטטיסטיקה כיריבה או כאב קדמון. הוא מציג אותה כתוצאה של מה שהלמידה נשענת עליו.

עמוד השדרה התאורטי #

ההקדמה אומרת כיצד בנוי הספר. שלושת או ארבעת הפרקים הראשונים מניחים את היסוד התאורטי לחומר שבא אחריהם. תוכן העניינים מאפשר לנו לראות ממה עשוי היסוד הזה, לפחות לפי הכותרות.

הפרק הראשון ברשימת התוכן נקרא “The PAC Learning Framework”, ובתוכו מופיעים סעיפים בשם “Guarantees for finite hypothesis sets - consistent case” ו־“Guarantees for finite hypothesis sets - inconsistent case”. שמות הסעיפים אומרים לנו שני דברים. האחד, שהמסגרת מפיקה ערבויות, וזה תואם את ההדגשה של המבוא. השני, שהערבויות מחולקות לפי אם המקרה עקבי או לא עקבי, והספר מטפל בשניהם בנפרד. לא אשער מה מכילים המקרים העקבי והלא עקבי, כי המקורות כאן נותנים רק את כותרות הסעיפים. אבל הצימוד מראה שהמחברים לא מציגים משפט נקי אחד וממשיכים הלאה. הם נותנים למקרה הקשה והמבולגן יותר סעיף משלו.

הפרק הבא ברשימה הוא “Rademacher Complexity and VC-Dimension”. הסעיפים שלו מכסים סיבוכיות Rademacher, פונקציית גדילה, ממד VC וחסמים תחתונים. כשקוראים אותו לצד המבוא, הפרק הזה הוא התשובה הטבעית לשאלה שהמבוא מעלה. אם הערבויות תלויות בסיבוכיות של מחלקות המושגים הנבחנות, צריך כלים למדוד את הסיבוכיות הזאת. סיבוכיות Rademacher, פונקציית הגדילה וממד VC מופיעים כסעיפים שנושאים את העומס הזה. גם הכללת החסמים התחתונים ברשימת הסעיפים ראויה לציון. ספר שמציג רק חסמים עליונים אומר לכם מה אפשר להשיג. ספר שכולל גם חסמים תחתונים אומר לכם גם מה אי אפשר.

אחר כך מגיע פרק 4, “Model Selection”, עם סעיפים שכוללים מזעור סיכון אמפירי (ERM) ומזעור סיכון מבני (SRM). נחזור לפרק הזה כשנבחן את המהדורה השנייה, כי הוא אחד המקומות שבהם המהדורה החדשה משנה הכי הרבה.

המבנה מכוון. יסודות תחילה, אחר כך המנגנון למדידת סיבוכיות, אחר כך בחירת מודל, ורק אחרי זה האלגוריתמים. זו דרך הוראה שאפשר להגן עליה, והיא תואמת את התיאור של הספר עצמו לאופן פעולתו: הפרקים הפותחים מניחים את התאוריה, והשאר נבנה עליה.

מתאוריה לאלגוריתמים: מכונות וקטורים תומכים וגרעינים #

רשימת התוכן נותנת שמות גם לפרקים האלגוריתמיים שבאים אחר כך. אחד נקרא “Support Vector Machines”, עם סעיפים למקרה הפריד ולמקרה הלא פריד. כל אחד מהסעיפים האלה מכסה את בעיית האופטימיזציה הראשונית, את הווקטורים התומכים ואת בעיית האופטימיזציה הדואלית. אחר נקרא “Kernel Methods”.

צורתו של פרק מכונות הווקטורים התומכים מלמדת כשלעצמה. אותם שלושה נושאים מופיעים תחת שתי הכותרות, הפריד והלא פריד: בעיית האופטימיזציה הראשונית, הווקטורים התומכים ובעיית האופטימיזציה הדואלית. החזרה הזאת מרמזת על טיפול מקביל, אותן שאלות שנשאלות פעמיים תחת הנחות שונות. ההקבלה משקפת את הפיצול בין עקבי ללא עקבי בפרק PAC, וכך מתגלה דפוס לאורך הספר: מקרה נקי תחילה, ואחר כך המקרה שבו ההנחה הנקייה קורסת.

הייתי נזהר מלקרוא יותר מדי לתוך תוכן עניינים. הוא יכול לומר לנו מה הספר מכסה ואיך הוא מחלק את החומר. הוא לא יכול לומר לנו כמה טוב נכתב סעיף כלשהו, ושום דבר במקורות האלה לא אומר זאת. מה שהוא כן מראה הוא ששפת האופטימיזציה בפרק מכונות הווקטורים התומכים, ראשוני ודואלי, מתחברת חזרה לתיאור של המבוא את הטכניקות כמשלבות מדעי המחשב עם רעיונות מסטטיסטיקה, הסתברות ואופטימיזציה. חוט האופטימיזציה ברשימה ההיא מופיע באופן מוחשי בכותרות הסעיפים האלה.

הספר גם מקדיש פרק נפרד לכל אחד מהנושאים: סיווג רב־מחלקתי, דירוג ורגרסיה. זו החלטת תכנון שראוי להגן עליה. היה קל להתייחס אליהם כהערות שוליים לסיווג בינארי. מתן פרק משלו לכל אחד מאותת שהמחברים רואים בהם בעיות נבדלות עם ניתוח משלהן, וזה תואם את המטרה המוצהרת של הצגה מאוחדת של נושאים מרובים במקום הצגה שמעדיפה נקודת מבט אחת.

מה הספר בוחר לא לכסות #

הקטע המעניין ביותר בהקדמה עוסק בהשמטה. הספר, אומרים המחברים, הוא מבוא כללי ללמידת מכונה שיכול לשמש ספר עיון לחוקרים וספר לימוד לסטודנטים. אחרי הטענה הרחבה הזאת הם מוסיפים גבול: הם בחרו להשמיט כמה נושאים חשובים, ובהם מודלים גרפיים ורשתות נוירונים.

מעט ספרי לימוד אומרים זאת בגלוי כזה, והייתי טוען שהכנות הזאת היא יתרון. קורא שיודע מראש מה חסר יכול לתכנן סביב זה. מי שזקוק לרשתות נוירונים יודע לחפש במקום אחר, במקום לגלות את הפער בפרק התשיעי.

גם הנימוקים מוצהרים. ההשמטה נעשתה גם לשם הקיצור וגם בשל המחסור הנוכחי בערבויות תאורטיות מוצקות לחלק מהשיטות. ניתנו שני נימוקים. קיצור הוא אילוץ מעשי על כל ספר. הנימוק השני הוא זה שאומר לכם משהו על הפילוסופיה של הספר.

חברו זאת חזרה למבוא. ערבויות למידה תאורטיות הן מה שהספר הזה מאורגן סביבו. הערבויות תלויות בסיבוכיות של מחלקות המושגים ובגודל מדגם האימון, והפרקים התאורטיים באים ראשונים כי כל השאר נבנה עליהם. שיטה שכרגע חסרות לה ערבויות מוצקות יושבת באי־נוחות בספר שבנוי כך. לכן ההשמטה נובעת מהמחויבות המרכזית של הספר. היא עקבית עם הגדרת הנושא שהמחברים בחרו לפתוח בה.

יש כאן נקודה שדורשת זהירות. הטקסט אומר “some methods”, כך שהטענה נוגעת להיעדר ערבויות מוצקות לחלק מהשיטות, לא לכל הנושאים שהושמטו, והוא אומר “current”, מה שקושר את השיפוט לזמן הכתיבה. אתנגד לפיתוי לסכם זאת כ“לרשתות נוירונים אין תאוריה”. לא זה מה שהמקור אומר. הוא אומר שהערבויות לחלק מהשיטות חסרות כרגע, ושזה, יחד עם הקיצור, היה הסיבה לכך שמודלים גרפיים ורשתות נוירונים נותרו בחוץ.

לקוראים טכניים שבוחרים מה ללמוד, ההשלכה המעשית פשוטה. הספר הזה נותן לכם את אוצר המילים של ערבויות, והוא אומר לכם בפשטות אילו תחומים הוא לא מכסה.

מה המהדורה השנייה משנה #

המהדורה השנייה היא יותר מהדפסה חוזרת עם תיקונים. ההקדמה מונה תוספות, וכל אחת מהן אומרת לנו היכן המחברים חשבו שהמהדורה הראשונה הייתה דלה.

השינוי המרכזי הוא פרק שלם על בחירת מודל, פרק 4, בנושא שהמחברים מתארים כחשוב ושנדון רק בקצרה במהדורה הקודמת. השפה ישירה. הם לא טוענים שהמהדורה הראשונה כיסתה אותו היטב. הם אומרים שהוא נדון רק בקצרה ושעכשיו נתנו לו פרק שלם. הסעיפים כוללים מזעור סיכון אמפירי (ERM) ומזעור סיכון מבני (SRM), כפי שרשימת התוכן מראה.

למה בחירת מודל ראויה לקידום? המקורות לא אומרים, ואני לא אמציא סיבה בשם המחברים. אבל המיקום מלמד. פרק 4 בא מיד אחרי הפרקים על מסגרת PAC ועל סיבוכיות Rademacher וממד VC, מה שממקם אותו בתוך מה שההקדמה מכנה שלושת או ארבעת הפרקים הראשונים שמניחים את היסוד התאורטי. כך שהמחברים לא הצמידו את בחירת המודל כמחשבה שנייה. הם בנו אותה לתוך היסוד התאורטי.

התוספות הבאות הן פרק חדש על מודלי Maximum Entropy, פרק 12, ופרק חדש על מודלי Conditional Maximum Entropy, פרק 13. שני פרקים חדשים לגמרי הם הרחבה משמעותית, והספר מקדיש עכשיו פרקים רצופים לצמד הזה.

גם הנספחים משתנים. המחברים הוסיפו סעיף שלם על דואליות Fenchel לנספח B על אופטימיזציה קמורה, והוסיפו את נספח E על תורת האינפורמציה. הספר כולל גם נספח נרחב שמציג סקירה תמציתית של אלגברה לינארית. השינויים האלה מצביעים לכיוון עקבי: המתמטיקה התומכת גדלה לצד הפרקים. דואליות Fenchel מצטרפת לנספח האופטימיזציה הקמורה, ותורת האינפורמציה מקבלת נספח משלה. אמנע מלומר שתורת האינפורמציה נמצאת שם במיוחד כדי לתמוך בפרקי ה־Maximum Entropy, כי המקורות לא מציינים קשר כזה, ושתי התוספות מופיעות בהקדמה כפריטים נפרדים. העיתוי המשותף שלהן, באותה מהדורה, הוא צירוף מקרים שאשאיר ככזה.

למי הספר מיועד, ואיך הוא מצפה שיקראו אותו #

הספר מצהיר על קהלו: הוא מיועד לסטודנטים ולחוקרים בלמידת מכונה, בסטטיסטיקה ובתחומים קשורים אחרים. הרשימה כוללת את הסטטיסטיקה בשמה, וזה מהדהד את נקודת המבוא שלמידת מכונה קשורה מטבעה לניתוח נתונים ולסטטיסטיקה.

הוא מצהיר גם על מה שהוא מניח. מצופה מהקורא להכיר מושגי יסוד באלגברה לינארית, בהסתברות ובניתוח אלגוריתמים. זו רשימה קצרה, והיא תואמת את רשימת המרכיבים של המבוא, אם כי לא במדויק. המבוא מציין את מדעי המחשב, הסטטיסטיקה, ההסתברות והאופטימיזציה כמקורות הטכניקות. דרישות הקדם מציינות אלגברה לינארית, הסתברות וניתוח אלגוריתמים. אופטימיזציה אינה בין דרישות הקדם, והספר מטפל בזה מהצד השני: נספח B מכסה אופטימיזציה קמורה, עם הסעיף החדש על דואליות Fenchel. אלגברה לינארית מצופה כרקע, והספר בכל זאת מספק את הנספח הנרחב שסוקר אותה. כך שדרישות הקדם והנספחים חופפים במכוון, וקורא שהאלגברה הלינארית שלו החלידה מוצא סקירה תמציתית בין אותן כריכות.

גם הפדגוגיה מוצהרת בפשטות. כל פרק מסתיים בסדרה של תרגילים, ופתרונות מלאים מוצגים בנפרד. זה סידור הגיוני לספר שמשרת שני קהלים. סטודנט יכול לנסות את התרגילים ולבדוק מול הפתרונות, וחוקר שמשתמש בספר כספר עיון לא נאלץ לעבור על פני תשובות פתורות בכל עמוד. אם הפתרונות מגיעים ככרך נפרד או כמסמך אחר, המקור לא אומר, רק שהם מוצגים בנפרד, אז אשאיר את זה כך.

אם מצרפים אותם יחד, הקהל, דרישות הקדם, התרגילים והנספחים מתארים ספר שתוכנן כדי שיעבדו איתו מתחילתו ועד סופו. ארבע־עשרה שנות ההוראה ב־Courant Institute עומדות מאחורי התכנון הזה. קורס שנלמד שוב ושוב נוטה לייצר מנגנון מהסוג הזה, אם כי ההקדמה לא טוענת לקשר הזה במפורש, ואני מציע אותו רק כקריאה של הראיות, לא כממצא.

השימושים רחבים, והספר אומר זאת #

ספר תאורטי כל כך עלול להיחשב בטעות כרחוק מהפרקטיקה. המבוא מונע זאת בקביעה פשוטה: למידת מכונה מאפשרת מגוון רחב מאוד של שימושים מעשיים. השימוש שהוא מציין הוא סיווג טקסט או מסמכים, שכולל זיהוי דואר זבל (spam).

זיהוי דואר זבל הוא בחירה טובה לדוגמה מסיבה שהמסגרת של המחברים עצמם מסבירה. זו בעיית סיווג מסמכים בדיוק במובן של הדוגמה הקודמת: מסמכים מתויגים נכנסים, תחזיות על מסמכים שלא נראו יוצאות. גורמי גודל המדגם ואיכות התוויות חלים עליה ישירות. מדגם גדול יותר מקל על המשימה, והודעות שתויגו בטעות מקשות עליה. מספר הקטגוריות האפשריות קטן, וזה, לפי ההיגיון של הקטע הקודם, משפיע גם הוא על הקושי. אני מחיל את הגורמים שהספר מצהיר עליהם על הדוגמה שהוא מצהיר עליה, ואני לא טוען דבר על מסנני דואר זבל בעולם האמיתי.

יש גם טיעון שקט במיקום של הקטע הזה. המחברים מציגים את סיווג המסמכים כמשימת למידה ומיד מציינים שהיא בשום אופן לא היחידה. השימושים רחבים כי ההגדרה שבבסיסם רחבה. כל מה שמתאים ל“שיטות חישוביות שמשתמשות בניסיון כדי לשפר ביצועים או כדי לבצע תחזיות מדויקות” עומד בדרישה. הכלליות הזאת היא גם הסיבה שהספר טורח בתאוריה. מסגרת שנועדה לכסות מגוון רחב מאוד של שימושים לא יכולה להיות קשורה לפרטים של אחד מהם, וערבויות שמנוסחות במונחים של סיבוכיות מחלקת המושגים וגודל המדגם הן בדיוק מהסוג שעובר בין בעיות.

ההימור שהספר עושה #

חברו את החוטים יחד ומתגלה עמדה קוהרנטית, וזה יותר ממה שתוכן העניינים של רוב ספרי הלימוד יכול לטעון. הספר מגדיר למידה במונחים של ניסיון וחיזוי. הוא מציין שלוש סיבוכיויות, זמן, מקום ומדגם, כמדדי האיכות. הוא קושר את הערבויות לסיבוכיות מחלקת המושגים ולגודל המדגם, והוא מציב בחזית את התאוריה שמספקת את הערבויות האלה. אחר כך הוא בונה את הפרקים האלגוריתמיים על הבסיס הזה ואומר בגלוי אילו תחומים פופולריים הוא משאיר בחוץ, כי הערבויות לחלק מהשיטות אינן, לעת עתה, מוצקות.

זה הימור על התאוריה כדבר שמחזיק לאורך זמן. אני מבין למה צוות מחברים שבילה שנים בהוראת קורס לתואר מתקדם יעשה אותו. להימור יש מחיר, והמחברים נוקבים בו: השמטת המודלים הגרפיים ורשתות הנוירונים היא המחיר של התעקשות על ערבויות מוצקות. על הקורא לשקול את המחיר הזה ביושר. אם העבודה שלכם נשלטת בידי התחומים שהושמטו, הספר הזה הוא יסוד ולא מדריך. אם העבודה שלכם צריכה לנמק אם לומד יכליל ממדגם סופי, אוצר המילים של הספר הוא כל העניין שלו.

למייסדים, הלקח המועיל הוא הפחות זוהר. איכות הנתונים וגודלם חיוניים להצלחת התחזיות, וקושי המשימה תלוי באיכות התוויות ובמספר הנושאים האפשריים. אלה קביעות על קלטים שלעיתים קרובות אפשר להשפיע עליהם. הספר לא מבטיח שאלגוריתם מסוים כלשהו יציל מדגם דל או מתויג בטעות, והוא צודק שהוא לא מבטיח.

לקוראים טכניים, השאלה המעניינת יותר היא זו שההקדמה משאירה פתוחה. המחברים השמיטו חלק מהשיטות בשל המחסור הנוכחי בערבויות תאורטיות מוצקות. המילה “current” ממסגרת זאת כמצב עניינים בזמן הכתיבה, והמקורות לא אומרים אם, או איך, זה עשוי להשתנות. מה יידרש כדי שהערבויות האלה יהיו מוצקות מספיק כדי להצדיק פרק? הספר לא יכול לענות על כך. בכך שהוא מדויק לגבי מה שהוא משאיר בחוץ ולמה, הוא לפחות מראה היכן לחפש.

מה זה אומר לכל מגזר #

ההתעקשות על ערבויות של למידה סטטיסטית ועל סיבוכיות מדגם מספקת גבולות שאפשר לפעול לפיהם בכמה תחומים של תוכנה ומחקר.

למידת מכונה אקדמית ותכנון תוכניות לימודים #

תוכניות לימוד חייבות לעמוד בפני הלחץ להתייחס ללמידת מכונה כהנדסת פרומפטים אמפירית או כעבודת חיבור בין מסגרות. ביסוס הסטודנטים במסגרת PAC, בסיבוכיות Rademacher ובמזעור סיכון מבני מקנה אינטואיציות מתמטיות עמידות ששורדות את תחלופת הארכיטקטורות החולפות של למידה עמוקה.

הנדסת בינה מלאכותית בארגונים והערכת ערך הנתונים #

ארגוני הנדסה שפורסים מערכות חיזוי מקצים לעיתים קרובות הון רב מדי לחישוב (גודל המודל) ומזניחים את סיבוכיות המדגם ואת נאמנות התוויות. מאחר ששגיאת ההכללה חסומה בקפדנות על ידי סיבוכיות מחלקת המושגים ביחס לגודל המדגם, צוותים משיגים תשואה טובה יותר על ההשקעה כשהם משקיעים בהערות נקיות ובביקורת מדגמים ולא במודלים גדולים יותר ללא רגולריזציה.

מחקר בינה מלאכותית חזיתי וביקורת מודלים #

כשמסגרות רגולציה כמו חוק הבינה המלאכותית של האיחוד האירופי מחייבות גבולות צפויים למערכות החלטה אוטומטיות, ערבויות הלמידה הסטטיסטית שנוסחו ב־Foundations of Machine Learning הופכות לצורך של ציות. רגולטורים ומבקרי בטיחות דורשים חסמי הכללה שאפשר להוכיח ופרוטוקולים קפדניים לבחירת מודל במקום ציוני אימות היוריסטיים.

סיכום #

Foundations of Machine Learning נשאר עוגן שאין לו תחליף בתחום שמתפתה לעיתים קרובות לאמפיריציזם גולמי. בבניית תוכנית לימודים שלמה סביב למידת PAC, סיבוכיות Rademacher וממד VC, מזכירים Mehryar Mohri, ‏Afshin Rostamizadeh ו־Ameet Talwalkar לחוקרים שאלגנטיות אלגוריתמית אינה יכולה להחליף ערבויות מתמטיות. ההשמטה הכנה של רשתות נוירונים ומודלים גרפיים בשל היעדר ערבויות בצורה סגורה אינה פגם - היא החוזקה המגדירה של הספר, שמבחינה בבירור בין מה שהדיסציפלינה יכולה להוכיח בקפדנות לבין מה שהיא רק מתבוננת בו.

שאלות נפוצות #

מדוע השמיטו המחברים רשתות נוירונים ומודלים גרפיים מהמהדורה השנייה?

המחברים השמיטו במכוון רשתות נוירונים ומודלים גרפיים לשם הקיצור ובשל המחסור העכשווי בערבויות תאורטיות מוצקות לכמה מהשיטות האלה. הספר מאורגן בקפדנות סביב אלגוריתמים שמאפשרים חסמי הכללה קפדניים.

מה מבדיל סיבוכיות מדגם מסיבוכיות זמן ומקום?

בעוד שסיבוכיות זמן מעריכה את מהירות הביצוע וסיבוכיות מקום מודדת את צריכת הזיכרון, סיבוכיות מדגם מכמתת את הנפח המתמטי של נתוני אימון שאלגוריתם צריך כדי ללמוד משפחה של מושגים בתוך סובלנות שגיאה וביטחון מוגדרות.

מהו ההבדל המהותי בין מזעור סיכון אמפירי למזעור סיכון מבני?

מזעור סיכון אמפירי (ERM) בוחר את ההשערה שממזערת ישירות את שגיאת האימון, תוך סיכון להתאמת־יתר (overfitting) כשסיבוכיות ההשערה גבוהה. מזעור סיכון מבני (SRM) מאזן בין שגיאת האימון לבין סיבוכיות ההשערה (כמו ממד VC או סיבוכיות Rademacher), ומספק חסמים פורמליים על סיכון ההכללה.

מקורות #

• Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). יסודות למידת המכונה, מהדורה שנייה ⧉. The MIT Press.
• Leslie G. Valiant, (1984). תאוריה של הנלמד ⧉. Communications of the ACM.
• Vladimir N. Vapnik, (1998). תורת הלמידה הסטטיסטית ⧉. John Wiley & Sons.

נסקר לאחרונה 2026-10-10.

נסקר לאחרונה 2026-10-27.

# תוכן העניינים של ספר בלמידת מכונה ומה הוא מגלה על התחום — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/he/2026-10-10-tokhen-hainyanim-spr-belemidat-mekhona-uma/](https://sebastienrousseau.com/he/2026-10-10-tokhen-hainyanim-spr-belemidat-mekhona-uma/)

Foundations of Machine Learning (הוצאת MIT Press, 2018) מציג למידת מכונה כתכנון של אלגוריתמי חיזוי יעילים ומדויקים, ובונה את הלימוד סביב סיבוכיות מדגם וערבויות.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/he/2026-10-10-tokhen-hainyanim-spr-belemidat-mekhona-uma/

תוכן העניינים של ספר בלמידת מכונה ומה הוא מגלה על התחום — Sebastien Rousseau

Foundations of Machine Learning (הוצאת MIT Press, 2018) מציג למידת מכונה כתכנון של אלגוריתמי חיזוי יעילים ומדויקים, ובונה את הלימוד סביב סיבוכיות מדגם וערבויות.

https://sebastienrousseau.com/he/2026-10-10-tokhen-hainyanim-spr-belemidat-mekhona-uma/

תוכן העניינים של ספר בלמידת מכונה ומה הוא מגלה על התחום — Sebastien Rousseau

Foundations of Machine Learning (הוצאת MIT Press, 2018) מציג למידת מכונה כתכנון של אלגוריתמי חיזוי יעילים ומדויקים, ובונה את הלימוד סביב סיבוכיות מדגם וערבויות.

להלן עיקרי הנקודות האסטרטגיות:

- ספר עם ייחוס מדויק. נתחיל בעובדות שמעגנות את החפץ.
- ההגדרה שנושאת את המשא הכבד. כל מה שבא אחר כך תלוי במשפט אחד.
- דוגמה פתורה אחת: מסמכים ונושאים. המבוא מעגן את ההגדרה בבעיית למידה מוחשית.
- שלוש סיבוכיויות, לא שתיים. כאן הספר עושה את הצעד הייחודי ביותר שלו, וקל להחמיץ אותו כי הוא מגיע כהערה קצרה.

כיצד מתמודד הארגון שלכם עם האתגרים המתוארים במאמר זה?

→ https://sebastienrousseau.com/he/2026-10-10-tokhen-hainyanim-spr-belemidat-mekhona-uma/

#למידתמכונה #ספרלימוד #תוכןעניינים #FoundationsOfMachineLearning #סיבוכיותמדגם

Sebastien Rousseau | CC-BY-4.0

@online{rousseau2026תוכן,
  author  = {Rousseau, Sebastien},
  title   = {{תוכן העניינים של ספר בלמידת מכונה ומה הוא מגלה על התחום — Sebastien Rousseau}},
  year    = {2026},
  url     = {https://sebastienrousseau.com/he/2026-10-10-tokhen-hainyanim-spr-belemidat-mekhona-uma/},
  urldate = {2026}
}

TY  - GEN
AU  - Rousseau, Sebastien
TI  - תוכן העניינים של ספר בלמידת מכונה ומה הוא מגלה על התחום — Sebastien Rousseau
PY  - 2026
UR  - https://sebastienrousseau.com/he/2026-10-10-tokhen-hainyanim-spr-belemidat-mekhona-uma/
ER  -

Rousseau S. תוכן העניינים של ספר בלמידת מכונה ומה הוא מגלה על התחום — Sebastien Rousseau. sebastienrousseau.com. 2026 Oct 10. Available from: https://sebastienrousseau.com/he/2026-10-10-tokhen-hainyanim-spr-belemidat-mekhona-uma/

Rousseau, Sebastien. "תוכן העניינים של ספר בלמידת מכונה ומה הוא מגלה על התחום — Sebastien Rousseau." sebastienrousseau.com. October 10, 2026. https://sebastienrousseau.com/he/2026-10-10-tokhen-hainyanim-spr-belemidat-mekhona-uma/.

Rousseau, S. (2026, October 10). תוכן העניינים של ספר בלמידת מכונה ומה הוא מגלה על התחום — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/he/2026-10-10-tokhen-hainyanim-spr-belemidat-mekhona-uma/

תוכן העניינים של ספר בלמידת מכונה ומה הוא מגלה על התחום — Sebastien Rousseau

Foundations of Machine Learning (הוצאת MIT Press, 2018) מציג למידת מכונה כתכנון של אלגוריתמי חיזוי יעילים ומדויקים, ובונה את הלימוד סביב סיבוכיות מדגם וערבויות.

Originally published at https://sebastienrousseau.com/he/2026-10-10-tokhen-hainyanim-spr-belemidat-mekhona-uma/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU · FOUNDER · ENGINEER