Cosa dice l'indice di un manuale di apprendimento automatico

Foundations of Machine Learning (seconda edizione, MIT Press, 2018) di Mehryar Mohri, Afshin Rostamizadeh e Ameet Talwalkar definisce l'apprendimento come l'uso dell'esperienza per fare previsioni accurate, e costruisce un programma rigoroso attorno alla complessità campionaria, ai limiti di Rademacher e alle garanzie teoriche.

La maggior parte dei libri sull'apprendimento automatico comincia con una promessa su ciò che si potrà costruire. Questo comincia con una definizione e con l'elenco delle grandezze che stabiliscono se un sistema che apprende ha successo. Quell'ordine dice che cosa pensano gli autori della loro materia, e credo che sia la scelta giusta. Un campo che si presenta con la previsione deve ai suoi lettori una spiegazione di quando ci si può fidare della previsione, ed è proprio questa spiegazione che il libro si propone di dare.

Questo articolo legge il libro attraverso ciò che dicono davvero le pagine preliminari, la prefazione e le prime pagine. È un esercizio più ristretto di una recensione capitolo per capitolo, e dichiara apertamente i suoi limiti: le fonti qui sono il frontespizio, l'indice, la prefazione e il primo tratto dell'introduzione. Entro questi limiti c'è un argomento chiaro da seguire. Riguarda che cos'è l'apprendimento automatico, da che cosa dipende, che cosa gli autori hanno scelto di trattare e che cosa hanno scelto di lasciare fuori.

Un libro dalla genealogia precisa #

Partiamo dai fatti che ancorano l'oggetto. Il libro si intitola Foundations of Machine Learning, e questa è la seconda edizione. Fa parte della collana Adaptive Computation and Machine Learning, curata da Francis Bach. Gli autori sono Mehryar Mohri, Afshin Rostamizadeh e Ameet Talwalkar. L'editore è The MIT Press, di Cambridge, Massachusetts, e il copyright appartiene al Massachusetts Institute of Technology, con data 2018. L'edizione rilegata porta l'ISBN 9780262039406.

Due dettagli di produzione meritano una frase ciascuno. Il libro è stato composto in LaTeX dagli autori stessi, il che si addice a un testo fitto di limiti, definizioni e dimostrazioni, ed è stato stampato e rilegato negli Stati Uniti. Nessuno dei due dettagli cambia il modo di leggere la matematica. Ma autori che compongono da soli il proprio libro hanno avuto tra le mani ogni pagina, e in un libro di questo tipo è rassicurante.

L'origine del materiale conta di più. La maggior parte nasce da un corso post-laurea, anch'esso intitolato Foundations of Machine Learning, tenuto dal primo autore al Courant Institute of Mathematical Sciences della New York University negli ultimi quattordici anni. È una provenienza precisa e verificabile. Un manuale nato da quattordici anni di insegnamento dello stesso corso è stato presumibilmente plasmato da ciò che gli studenti trovavano difficile, e gli esercizi e le appendici descritti più avanti danno questa impressione. Starei attento a non spingere l'inferenza oltre ciò che la fonte consente. La prefazione dice da dove viene il materiale, ma non dice quante revisioni abbia avuto il corso né su che cosa gli studenti abbiano faticato. Quello che dice basta: si tratta di materiale didattico, non di una rassegna assemblata dalla letteratura.

La definizione che regge tutto #

Tutto ciò che segue dipende da una sola frase. L'apprendimento automatico, scrivono gli autori, si può definire in senso ampio come l'insieme dei metodi computazionali che usano l'esperienza per migliorare le prestazioni o per fare previsioni accurate.

Ogni sostantivo di questa frase ha un compito. «Metodi computazionali» colloca la materia all'interno dell'informatica. «Esperienza» viene poi precisata: indica le informazioni passate a disposizione di chi apprende. La frase non sostiene che il sistema che apprende capisca qualcosa, e non dice nulla sull'intelligenza. Chi apprende ha informazioni passate e un obiettivo, cioè prestazioni migliori o previsioni accurate, e l'intera disciplina riguarda il rapporto tra le due cose.

Sostengo che questa definizione sia più utile, per i lettori tecnici e per i fondatori, di quelle più altisonanti in circolazione, perché indica direttamente le leve che si controllano. Se l'apprendimento è funzione delle informazioni passate, allora il vostro margine d'azione sul risultato sta in quali informazioni raccogliete e in quante. L'affermazione successiva del testo lo dice esplicitamente: la qualità e la dimensione dei dati sono cruciali per il successo delle previsioni di chi apprende. Il testo la presenta come un meccanismo semplice, senza alcuna riserva.

Gli autori descrivono anche le tecniche in sé. Sono metodi guidati dai dati che combinano concetti fondamentali dell'informatica con idee della statistica, della probabilità e dell'ottimizzazione. Questa frase vale insieme come elenco dei prerequisiti e come mappa dei vicini del campo. Un gruppo che voglia costruire sistemi che apprendono attinge insieme all'informatica, alla statistica, alla probabilità e all'ottimizzazione. Trattarne una come facoltativa è una scelta che il libro non avalla.

Un esempio svolto: documenti e argomenti #

L'introduzione ancora la definizione a un problema di apprendimento concreto. Si prenda un campione finito di documenti scelti a caso, ciascuno etichettato con un argomento. Il compito è usare quel campione per prevedere l'argomento di documenti mai visti.

L'impostazione merita una lettura lenta. Il campione è finito, quindi chi apprende non vede mai tutto. I documenti sono scelti a caso, ed è questo che permette a un campione finito di dire qualcosa su quelli non visti. Ciascuno porta un'etichetta di argomento, quindi l'apprendimento è supervisionato. E l'obiettivo sono documenti mai visti, il che fa la differenza tra prevedere e memorizzare.

Gli autori ricavano poi due elementi che rendono il compito più facile o più difficile. Il primo è la dimensione: evidentemente, più grande è il campione, più facile è il compito. Il secondo è la qualità delle etichette. La difficoltà del compito dipende anche dalla qualità delle etichette assegnate ai documenti del campione, poiché non tutte potrebbero essere corrette, e dal numero di argomenti possibili.

Questa frase contiene tre manopole distinte. La dimensione del campione è una. La correttezza delle etichette è un'altra. Il numero di argomenti possibili è la terza. Nessuna riguarda l'algoritmo. Sono tutte proprietà del problema e dei dati, e decidono quanto è difficile il problema prima ancora di scegliere un metodo. Per un fondatore che decide dove spendere il budget, è un'osservazione puntuale. Se potete migliorare le etichette o ampliare il campione, agite proprio sui fattori che gli autori indicano esplicitamente come determinanti della difficoltà.

L'esempio dà anche un nome al proprio compito. Prevedere l'etichetta di un documento si chiama anche classificazione dei documenti, e gli autori si affrettano ad aggiungere che non è affatto l'unico compito di apprendimento. È una cautela facile da trascurare. L'esempio dei documenti è un veicolo, e l'affermazione che vi sta sotto è generale.

Tre complessità, non due #

Qui il libro compie la sua mossa più caratteristica, ed è facile non accorgersene perché arriva come una breve osservazione. L'apprendimento automatico, dicono gli autori, consiste nel progettare algoritmi di previsione efficienti e accurati. Come in altri settori dell'informatica, la complessità temporale e spaziale sono misure fondamentali della qualità di questi algoritmi. Chiunque abbia studiato algoritmi le riconoscerà entrambe. Quanto tempo ci vuole, e quanta memoria serve?

Poi arriva l'aggiunta. L'apprendimento automatico ha bisogno, in più, di una nozione di complessità campionaria per valutare la dimensione del campione richiesta perché l'algoritmo apprenda una famiglia di concetti. È la misura che non ha corrispettivo in una routine di ordinamento. A un algoritmo di ordinamento non serve sapere quanti esempi gli occorrono. A chi apprende sì, perché il suo risultato è una previsione su casi che non ha visto, e la quantità di esperienza dietro quella previsione fa parte di ciò che si paga.

Lo direi così: tempo e spazio dicono quanto costa eseguire un algoritmo, e la complessità campionaria dice quanto costa insegnargli. Un sistema che apprende rapidamente ma richiede un campione di dimensioni impraticabili non è efficiente in nessun senso che conti per chi raccoglie i dati. Affiancare la terza misura alle altre due è il modo in cui il libro dice che i dati sono una risorsa con un prezzo, da mettere a bilancio come il calcolo e la memoria.

Il testo prosegue nella stessa direzione. Più in generale, le garanzie teoriche di apprendimento di un algoritmo dipendono dalla complessità delle classi di concetti considerate e dalla dimensione del campione di addestramento. È un enunciato compatto di ciò di cui è fatta una garanzia. Ci sono due ingressi, quanto è ricca la famiglia di concetti e quanti dati di addestramento si hanno, e una garanzia è un enunciato che li collega alle prestazioni. Si noti che cosa implica per la struttura del libro. I capitoli successivi devono fornire modi per misurare la complessità di una classe di concetti, e l'indice mostra che lo fanno.

Gli autori spiegano anche perché il campo si colloca dove si colloca. Poiché il successo di un algoritmo di apprendimento dipende dai dati usati, l'apprendimento automatico è intrinsecamente legato all'analisi dei dati e alla statistica. Il meccanismo è enunciato in modo semplice: il successo dipende dai dati, quindi la materia è intrecciata con le discipline che studiano i dati. La considero la frase più onesta dell'introduzione. Non presenta la statistica come rivale né come antenata. La presenta come una conseguenza di ciò da cui dipende l'apprendimento.

Dimensione	Complessità temporale	Complessità spaziale	Complessità campionaria
Definizione operativa	Tempo di esecuzione asintotico necessario per produrre l'ipotesi $h$	Occupazione di memoria necessaria durante addestramento e valutazione	Numero di esempi di addestramento $m$ necessari per apprendere una famiglia di concetti
Teoria di riferimento	Complessità computazionale (P contro NP, difficoltà dell'addestramento)	Vincoli di memoria dell'architettura e località della cache	Apprendimento PAC, complessità di Rademacher e dimensione VC
Implicazione di costo	Calcolo sui server e budget di inferenza GPU/CPU	Capacità di RAM e di SRAM su chip	Costo di raccolta, annotazione ed etichettatura dei dati
Ruolo teorico	Misura l'efficienza dell'algoritmo in tempo di esecuzione	Misura l'efficienza nell'uso della memoria	Determina l'errore di generalizzazione e i limiti sui dati non visti

L'ossatura teorica #

La prefazione dichiara come è costruito il libro. I primi tre o quattro capitoli pongono le basi teoriche del materiale successivo. L'indice permette di vedere di che cosa sono fatte queste basi, almeno a giudicare dai titoli.

Il primo capitolo dell'indice si intitola «The PAC Learning Framework» (il quadro dell'apprendimento PAC), e al suo interno compaiono sezioni intitolate «Guarantees for finite hypothesis sets - consistent case» e «Guarantees for finite hypothesis sets - inconsistent case», cioè garanzie per insiemi finiti di ipotesi nel caso consistente e in quello inconsistente. I titoli delle sezioni ci dicono due cose. La prima è che il quadro produce garanzie, in linea con l'enfasi dell'introduzione. La seconda è che le garanzie si dividono a seconda che il caso sia consistente o inconsistente, e il libro tratta i due separatamente. Non farò ipotesi su che cosa contengano i due casi, perché le fonti qui danno solo i titoli delle sezioni. Ma la coppia mostra che gli autori non presentano un unico teorema pulito per poi passare oltre. Danno al caso più difficile e meno ordinato una sezione tutta sua.

Il capitolo successivo dell'elenco è «Rademacher Complexity and VC-Dimension» (complessità di Rademacher e dimensione VC). Le sue sezioni trattano la complessità di Rademacher, la funzione di crescita, la dimensione VC e i limiti inferiori. Letto alla luce dell'introduzione, questo capitolo è la risposta naturale a una domanda che essa solleva. Se le garanzie dipendono dalla complessità delle classi di concetti considerate, servono strumenti per misurare quella complessità. La complessità di Rademacher, la funzione di crescita e la dimensione VC sono le sezioni che reggono questo peso. Merita attenzione anche la presenza dei limiti inferiori nell'elenco delle sezioni. Un libro che presenta solo limiti superiori dice che cosa è raggiungibile. Uno che include i limiti inferiori dice anche che cosa non lo è.

Viene poi il capitolo 4, «Model Selection» (selezione del modello), con sezioni che comprendono la minimizzazione del rischio empirico (ERM) e la minimizzazione del rischio strutturale (SRM). Torneremo su questo capitolo parlando della seconda edizione, perché è uno dei punti in cui la nuova edizione cambia di più.

La struttura è voluta. Prima i fondamenti, poi gli strumenti per misurare la complessità, poi la selezione del modello, e solo dopo gli algoritmi. È un modo difendibile di insegnare, e corrisponde al racconto che il libro fa di sé: i primi capitoli pongono la teoria e il resto vi si appoggia.

Dalla teoria agli algoritmi: macchine a vettori di supporto e kernel #

L'indice nomina anche i capitoli algoritmici che seguono. Uno si intitola «Support Vector Machines» (macchine a vettori di supporto), con sezioni per il caso separabile e per quello non separabile. Ciascuna di queste sezioni tratta il problema di ottimizzazione primale, i vettori di supporto e il problema di ottimizzazione duale. Un altro si intitola «Kernel Methods» (metodi kernel).

La forma stessa del capitolo sulle macchine a vettori di supporto è istruttiva. Gli stessi tre temi compaiono sotto entrambe le intestazioni, separabile e non separabile: il problema di ottimizzazione primale, i vettori di supporto e il problema di ottimizzazione duale. Questa ripetizione suggerisce una trattazione parallela, le stesse domande poste due volte con ipotesi diverse. Il parallelismo rispecchia la distinzione tra caso consistente e inconsistente nel capitolo PAC, così che emerge uno schema in tutto il libro: prima un caso pulito, poi il caso in cui l'ipotesi pulita non regge.

Diffiderei dal leggere troppo in un indice. Può dirci che cosa copre il libro e come divide il materiale. Non può dirci quanto sia scritta bene una sezione, e nulla in queste fonti lo dice. Ciò che mostra è che il linguaggio dell'ottimizzazione nel capitolo sulle macchine a vettori di supporto, primale e duale, rimanda alla descrizione che l'introduzione dà delle tecniche, che combinano l'informatica con idee della statistica, della probabilità e dell'ottimizzazione. Il filone dell'ottimizzazione di quell'elenco compare concretamente in questi titoli.

Il libro riserva inoltre un capitolo a sé alla classificazione multiclasse, al ranking e alla regressione. È una scelta progettuale che vale la pena difendere. Sarebbe stato facile trattarli come note a margine della classificazione binaria. Dare a ciascuno un capitolo proprio segnala che gli autori li considerano problemi distinti con una loro analisi, e si accorda con l'obiettivo dichiarato di una presentazione unificata di più argomenti anziché di una presentazione che privilegi un solo punto di vista.

Ciò che il libro sceglie di non trattare #

Il passo più interessante della prefazione riguarda l'omissione. Il libro, dicono gli autori, è un'introduzione generale all'apprendimento automatico che può servire da opera di riferimento per i ricercatori e da manuale per gli studenti. Fatta questa affermazione ampia, aggiungono un limite: hanno scelto di omettere alcuni argomenti importanti, tra cui i modelli grafici e le reti neurali.

Pochi manuali lo dicono così direttamente, e sostengo che questa franchezza sia un punto di forza. Un lettore che sa in anticipo che cosa manca può organizzarsi di conseguenza. Chi ha bisogno delle reti neurali sa di dover cercare altrove, invece di scoprire la lacuna al capitolo nove.

Anche le ragioni sono dichiarate. L'omissione si deve sia alla brevità sia all'attuale mancanza di solide garanzie teoriche per alcuni metodi. Le ragioni sono due. La brevità è un vincolo pratico di qualsiasi libro. La seconda ragione è quella che dice qualcosa sulla filosofia del libro.

Colleghiamola all'introduzione. Le garanzie teoriche di apprendimento sono ciò attorno a cui questo libro è organizzato. Le garanzie dipendono dalla complessità delle classi di concetti e dalla dimensione del campione di addestramento, e i capitoli teorici vengono per primi perché tutto il resto vi si fonda. Un metodo per cui oggi mancano garanzie solide trova posto a fatica in un libro costruito così. L'omissione discende dunque dall'impegno centrale del libro. È coerente con la definizione della materia con cui gli autori hanno scelto di aprire.

Qui serve un'avvertenza. Il testo dice «alcuni metodi», quindi l'affermazione riguarda la mancanza di garanzie solide per alcuni metodi, non per tutti gli argomenti omessi, e dice «attuale», il che lega il giudizio al momento della stesura. Resisterei alla tentazione di riassumerlo come «le reti neurali non hanno una teoria». Non è ciò che dice la fonte. Dice che le garanzie per alcuni metodi mancano attualmente, e che questo, insieme alla brevità, è il motivo per cui i modelli grafici e le reti neurali sono stati lasciati fuori.

Per i lettori tecnici che scelgono che cosa studiare, la conseguenza pratica è semplice. Questo libro vi dà il vocabolario delle garanzie, e vi dice chiaramente quali aree non copre.

Che cosa cambia nella seconda edizione #

La seconda edizione è più di una ristampa con correzioni. La prefazione elenca le aggiunte, e ciascuna indica dove gli autori ritenevano esile la prima edizione.

Il cambiamento principale è un capitolo intero sulla selezione del modello, il capitolo 4, dedicato a un argomento che gli autori definiscono importante e che nell'edizione precedente era trattato solo brevemente. Il linguaggio è diretto. Non sostengono che la prima edizione lo coprisse bene. Dicono che era trattato solo brevemente e che ora gli hanno dedicato un capitolo intero. Le sezioni comprendono la minimizzazione del rischio empirico (ERM) e la minimizzazione del rischio strutturale (SRM), come mostra l'indice.

Perché la selezione del modello merita questa promozione? Le fonti non lo dicono, e non inventerò una ragione al posto degli autori. Ma la collocazione è eloquente. Il capitolo 4 segue direttamente i capitoli sul quadro PAC e sulla complessità di Rademacher e la dimensione VC, il che lo colloca dentro quelli che la prefazione chiama i primi tre o quattro capitoli che pongono le basi teoriche. Gli autori, dunque, non hanno aggiunto la selezione del modello come ripensamento. L'hanno integrata nelle basi teoriche.

Le aggiunte successive sono un nuovo capitolo sui modelli a massima entropia, il capitolo 12, e un nuovo capitolo sui modelli a massima entropia condizionata, il capitolo 13. Due capitoli interamente nuovi sono un ampliamento sostanziale, e il libro dedica ora capitoli consecutivi alla coppia.

Cambiano anche le appendici. Gli autori hanno aggiunto una sezione completa sulla dualità di Fenchel all'appendice B, sull'ottimizzazione convessa, e hanno aggiunto l'appendice E sulla teoria dell'informazione. Il libro contiene anche un'ampia appendice che offre un ripasso conciso dell'algebra lineare. Questi cambiamenti vanno in una direzione coerente: la matematica di supporto è cresciuta insieme ai capitoli. La dualità di Fenchel si aggiunge all'appendice sull'ottimizzazione convessa, e la teoria dell'informazione ottiene un'appendice propria. Eviterei di dire che la teoria dell'informazione è lì specificamente a sostegno dei capitoli sulla massima entropia, perché le fonti non indicano alcun legame del genere e le due aggiunte compaiono nella prefazione come voci separate. Che arrivino nella stessa edizione è una coincidenza che lascerò tale.

A chi è rivolto il libro e come chiede di essere letto #

Il libro dichiara il suo pubblico: è destinato a studenti e ricercatori di apprendimento automatico, statistica e altre aree affini. L'elenco nomina espressamente la statistica, riprendendo l'idea dell'introduzione secondo cui l'apprendimento automatico è intrinsecamente legato all'analisi dei dati e alla statistica.

Dichiara anche che cosa presuppone. Ci si aspetta che il lettore conosca i concetti di base dell'algebra lineare, della probabilità e dell'analisi degli algoritmi. L'elenco è breve, e corrisponde alla lista degli ingredienti dell'introduzione, anche se non del tutto. L'introduzione indica informatica, statistica, probabilità e ottimizzazione come fonti delle tecniche. I prerequisiti indicano algebra lineare, probabilità e analisi degli algoritmi. L'ottimizzazione non figura tra i prerequisiti, e il libro affronta la questione dall'altro lato: l'appendice B tratta l'ottimizzazione convessa, con la nuova sezione sulla dualità di Fenchel. L'algebra lineare è richiesta come base, e il libro offre comunque l'ampia appendice che la ripassa. Prerequisiti e appendici si sovrappongono quindi di proposito, e un lettore con l'algebra lineare un po' arrugginita trova un ripasso conciso nello stesso volume.

Anche la didattica è esposta con chiarezza. Ogni capitolo si chiude con una serie di esercizi, le cui soluzioni complete sono presentate a parte. È una disposizione sensata per un libro che serve due pubblici. Uno studente può cimentarsi con gli esercizi e verificare con le soluzioni, e un ricercatore che usa il libro come riferimento non è costretto a scorrere risposte svolte a ogni pagina. La fonte non dice se le soluzioni arrivino come volume separato o in altra forma, solo che sono presentate a parte, e mi fermo lì.

Nel complesso, pubblico, prerequisiti, esercizi e appendici descrivono un libro pensato per essere studiato a fondo. Dietro questa impostazione ci sono i quattordici anni di insegnamento al Courant Institute. Un corso tenuto ripetutamente tende a produrre questo genere di apparato, anche se la prefazione non rivendica esplicitamente il legame, e lo propongo solo come lettura degli indizi, non come constatazione.

Le applicazioni sono ampie, e il libro lo dice #

Un libro così teorico potrebbe sembrare lontano dalla pratica. L'introduzione previene il fraintendimento con un'affermazione semplice: l'apprendimento automatico si presta a un insieme molto ampio di applicazioni pratiche. Quella che nomina è la classificazione di testi o documenti, che comprende il rilevamento dello spam.

Il rilevamento dello spam è un buon esempio, per una ragione che il quadro stesso degli autori spiega. È un problema di classificazione dei documenti esattamente nel senso dell'esempio precedente: documenti etichettati in ingresso, previsioni su documenti non visti in uscita. I fattori di dimensione del campione e qualità delle etichette vi si applicano direttamente. Un campione più grande rende il compito più facile, e i messaggi etichettati male lo rendono più difficile. Il numero di categorie possibili è piccolo, il che, secondo la logica del passo precedente, incide anch'esso sulla difficoltà. Sto applicando i fattori enunciati dal libro al suo esempio dichiarato, e non affermo nulla sui filtri antispam reali.

C'è anche un argomento discreto nella collocazione di questo passo. Gli autori presentano la classificazione dei documenti come un compito di apprendimento e notano subito che non è affatto l'unico. Le applicazioni sono ampie perché la definizione di fondo è ampia. Tutto ciò che rientra in «metodi computazionali che usano l'esperienza per migliorare le prestazioni o per fare previsioni accurate» vi rientra. Questa generalità spiega anche perché il libro si occupa di teoria. Un quadro pensato per coprire un insieme molto ampio di applicazioni non può legarsi ai dettagli di una sola, e le garanzie formulate in termini di complessità delle classi di concetti e di dimensione del campione sono proprio quelle che si trasferiscono da un problema all'altro.

La scommessa del libro #

Tirando le fila emerge una posizione coerente, più di quanto possa vantare l'indice della maggior parte dei manuali. Il libro definisce l'apprendimento in termini di esperienza e previsione. Indica tre complessità, temporale, spaziale e campionaria, come misure di qualità. Lega le garanzie alla complessità delle classi di concetti e alla dimensione del campione, e mette all'inizio la teoria che fornisce quelle garanzie. Poi costruisce i capitoli algoritmici su questa base e dice apertamente quali aree popolari lascia fuori perché le garanzie per alcuni metodi non sono, per ora, solide.

È una scommessa sulla teoria come ciò che dura. Capisco perché degli autori che hanno passato anni a insegnare un corso post-laurea la facciano. La scommessa ha un costo, e gli autori lo nominano: l'omissione dei modelli grafici e delle reti neurali è il prezzo dell'insistenza su garanzie solide. Il lettore dovrebbe soppesare questo costo con onestà. Se il vostro lavoro è dominato dalle aree omesse, questo libro è una base più che un manuale operativo. Se il vostro lavoro richiede di ragionare su se un sistema generalizzerà a partire da un campione finito, il vocabolario del libro è esattamente il punto.

Per i fondatori, l'insegnamento utile è il meno appariscente. La qualità e la dimensione dei dati sono cruciali per il successo delle previsioni, e la difficoltà di un compito dipende dalla qualità delle etichette e dal numero di argomenti possibili. Sono affermazioni su input che spesso si possono influenzare. Il libro non promette che un particolare algoritmo salverà un campione scarno o etichettato male, e fa bene a non prometterlo.

Per i lettori tecnici, la domanda più interessante è quella che la prefazione lascia aperta. Gli autori hanno omesso alcuni metodi per l'attuale mancanza di solide garanzie teoriche. La parola «attuale» la presenta come uno stato di cose al momento della stesura, e le fonti non dicono se, né come, possa cambiare. Che cosa servirebbe perché quelle garanzie diventino abbastanza solide da meritarsi un capitolo? Il libro non può rispondere. Ma, essendo preciso su ciò che lascia fuori e sul perché, mostra almeno dove cercare.

Cosa significa per settore #

L'insistenza sulle garanzie statistiche di apprendimento e sulla complessità campionaria fissa confini concreti in diversi ambiti del software e della ricerca.

Apprendimento automatico accademico e progettazione dei programmi di studio #

I programmi didattici devono resistere alla spinta a trattare l'apprendimento automatico come prompt engineering empirico o come idraulica dei framework. Radicare gli studenti nel quadro PAC, nella complessità di Rademacher e nella minimizzazione del rischio strutturale crea istinti matematici duraturi che sopravvivono al ricambio delle architetture effimere di deep learning.

Ingegneria dell'IA in azienda e valorizzazione dei dati #

Le organizzazioni di ingegneria che mettono in produzione sistemi predittivi spesso destinano troppo capitale al calcolo (la scala dei modelli) trascurando la complessità campionaria e la fedeltà delle etichette. Poiché l'errore di generalizzazione è limitato rigorosamente dalla complessità della classe di concetti rispetto alla dimensione del campione, i team ottengono un ritorno migliore investendo in un'annotazione pulita e nella verifica dei campioni anziché in modelli più grandi e non regolarizzati.

Ricerca di frontiera sull'IA e verifica dei modelli #

Man mano che quadri normativi come l'AI Act dell'UE impongono limiti prevedibili ai sistemi decisionali automatizzati, le garanzie statistiche di apprendimento formalizzate in Foundations of Machine Learning diventano necessità di conformità. Regolatori e verificatori della sicurezza richiedono limiti di generalizzazione dimostrabili e protocolli rigorosi di selezione del modello anziché punteggi di validazione euristici.

Conclusione #

Foundations of Machine Learning resta un ancoraggio indispensabile in un campo spesso tentato dall'empirismo puro. Costruendo un intero programma attorno all'apprendimento PAC, alla complessità di Rademacher e alla dimensione VC, Mehryar Mohri, Afshin Rostamizadeh e Ameet Talwalkar ricordano ai ricercatori che l'eleganza algoritmica non può sostituire le garanzie matematiche. L'omissione dichiarata delle reti neurali e dei modelli grafici, in assenza di garanzie in forma chiusa, non è un difetto: è il punto di forza che definisce il libro, perché separa con chiarezza ciò che la disciplina può dimostrare con rigore da ciò che si limita a osservare.

Domande frequenti #

Perché gli autori hanno omesso le reti neurali e i modelli grafici dalla seconda edizione?

Gli autori hanno omesso deliberatamente le reti neurali e i modelli grafici per brevità e per l'attuale mancanza di solide garanzie teoriche per diversi di quei metodi. Il libro è organizzato strettamente attorno ad algoritmi che ammettono limiti di generalizzazione rigorosi.

Che cosa distingue la complessità campionaria dalla complessità temporale e spaziale?

Mentre la complessità temporale valuta la velocità di esecuzione e quella spaziale misura il consumo di memoria, la complessità campionaria quantifica il volume di dati di addestramento che serve a un algoritmo per apprendere una famiglia di concetti entro tolleranze di errore e di confidenza stabilite.

Qual è la differenza essenziale tra minimizzazione del rischio empirico e minimizzazione del rischio strutturale?

La minimizzazione del rischio empirico (ERM) sceglie l'ipotesi che minimizza direttamente l'errore di addestramento, con il rischio di sovradattamento quando la complessità delle ipotesi è elevata. La minimizzazione del rischio strutturale (SRM) bilancia l'errore di addestramento con la complessità delle ipotesi (come la dimensione VC o la complessità di Rademacher), fornendo limiti formali sul rischio di generalizzazione.

Riferimenti #

Mehryar Mohri, Afshin Rostamizadeh e Ameet Talwalkar, (2018). Foundations of Machine Learning, seconda edizione ⧉. The MIT Press.
Leslie G. Valiant, (1984). Una teoria dell'apprendibile ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Teoria statistica dell'apprendimento ⧉. John Wiley & Sons.

Ultima revisione 2026-10-10.

Ultima revisione 2026-10-27.

Ripubblica questo articolo

Cosa dice l'indice di un manuale di apprendimento automatico — Sebastien Rousseau

Il manuale di Mohri, Rostamizadeh e Talwalkar (MIT Press, 2018) fonda l'apprendimento automatico sulla complessità campionaria, sui limiti e sulle garanzie.

Questo articolo è pubblicato con licenza Creative Commons Attribution 4.0 International. La ripubblicazione richiede l'attribuzione all'URL canonico.

Cosa dice l'indice di un manuale di apprendimento automatico — Sebastien Rousseau

Il manuale di Mohri, Rostamizadeh e Talwalkar (MIT Press, 2018) fonda l'apprendimento automatico sulla complessità campionaria, sui limiti e sulle garanzie.

Originally published at https://sebastienrousseau.com/it/2026-10-10-cosa-dice-indice-manuale-apprendimento-automatico/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER