Lo que el índice de un manual de aprendizaje automático dice del campo

Foundations of Machine Learning (segunda edición, MIT Press, 2018), de Mehryar Mohri, Afshin Rostamizadeh y Ameet Talwalkar, define el aprendizaje como el uso de la experiencia para hacer predicciones precisas y construye un temario riguroso en torno a la complejidad muestral, las cotas de Rademacher y las garantías teóricas.

La mayoría de los libros sobre aprendizaje automático empiezan con una promesa sobre lo que podrás construir. Este empieza con una definición y una lista de las magnitudes que determinan si un aprendiz tiene éxito. Ese orden dice qué creen los autores que es la materia, y me parece la decisión acertada. Un campo que se vende por la predicción debe a sus lectores una explicación de cuándo se puede confiar en la predicción, y esa explicación es lo que el libro se propone dar.

Este artículo lee el libro a través de lo que dicen de verdad sus páginas preliminares, su prefacio y sus primeras páginas. Es un ejercicio más estrecho que reseñar cada capítulo, y es honesto sobre sus límites: las fuentes aquí son la portada, el índice, el prefacio y el primer tramo de la introducción. Dentro de esos límites hay un argumento claro que seguir. Trata de qué es el aprendizaje automático, de qué depende, qué decidieron cubrir los autores y qué decidieron dejar fuera.

Un libro con un linaje preciso #

Empecemos por los hechos que anclan el objeto. El libro se titula Foundations of Machine Learning, y esta es la segunda edición. Pertenece a la colección Adaptive Computation and Machine Learning, cuyo editor es Francis Bach. Los autores son Mehryar Mohri, Afshin Rostamizadeh y Ameet Talwalkar. La editorial es The MIT Press, de Cambridge, Massachusetts, y los derechos de autor pertenecen al Massachusetts Institute of Technology, con fecha de 2018. La edición en tapa dura lleva el ISBN 9780262039406.

Dos detalles de producción merecen una frase cada uno. Los propios autores compusieron el libro en LaTeX, lo que encaja con un texto denso en cotas, definiciones y demostraciones, y se imprimió y encuadernó en Estados Unidos. Ninguno de los dos detalles cambia la forma de leer las matemáticas. Pero unos autores que componen su propio libro han tenido en las manos cada página, y en un libro de este tipo eso tranquiliza.

El origen del material importa más. La mayor parte procede de un curso de posgrado, también llamado Foundations of Machine Learning, que el primer autor ha impartido en el Courant Institute of Mathematical Sciences de la Universidad de Nueva York durante los últimos catorce años. Es una procedencia concreta y verificable. Un manual surgido de catorce años enseñando un mismo curso probablemente se ha moldeado según lo que a los estudiantes les resultaba difícil, y los ejercicios y apéndices que se describen más abajo dan esa impresión. Tendría cuidado de no llevar la inferencia más lejos de lo que permite la fuente. El prefacio dice de dónde viene el material, pero no cuántas revisiones tuvo el curso ni con qué tuvieron dificultades los estudiantes. Lo que dice basta: es material de curso, no una panorámica montada a partir de la bibliografía.

La definición que soporta el peso #

Todo lo que sigue depende de una sola frase. El aprendizaje automático, escriben los autores, puede definirse en sentido amplio como los métodos computacionales que usan la experiencia para mejorar su rendimiento o para hacer predicciones precisas.

Cada sustantivo de esa frase cumple una función. «Métodos computacionales» sitúa la materia dentro de la informática. «Experiencia» se precisa a continuación: se refiere a la información pasada de la que dispone el aprendiz. La frase no afirma que el aprendiz entienda nada, y no dice nada sobre la inteligencia. Un aprendiz tiene información pasada y un objetivo, que es un mejor rendimiento o una predicción precisa, y toda la disciplina trata de la relación entre ambos.

Sostengo que esta definición es más útil para lectores técnicos y fundadores que las más grandilocuentes que circulan, porque apunta directamente a las palancas que uno controla. Si el aprendizaje es función de la información pasada, entonces tu influencia sobre el resultado está en qué información recoges y en cuánta. La siguiente afirmación del texto lo dice tal cual: la calidad y el tamaño de los datos son cruciales para el éxito de las predicciones del aprendiz. El texto presenta esa afirmación como un mecanismo llano, sin matiz alguno.

Los autores describen también las técnicas en sí. Son métodos guiados por los datos que combinan conceptos fundamentales de la informática con ideas de la estadística, la probabilidad y la optimización. Esa frase sirve a la vez de lista de requisitos previos y de mapa de los vecinos del campo. Un equipo que quiera construir sistemas que aprenden recurre a la vez a la informática, la estadística, la probabilidad y la optimización. Tratar cualquiera de ellas como opcional es una decisión que el libro no respalda.

Un ejemplo desarrollado: documentos y temas #

La introducción aterriza la definición en un problema de aprendizaje concreto. Tomemos una muestra finita de documentos elegidos al azar, cada uno etiquetado con un tema. La tarea consiste en usar esa muestra para predecir el tema de documentos no vistos.

El planteamiento merece una lectura pausada. La muestra es finita, así que el aprendiz nunca lo ve todo. Los documentos se eligen al azar, y eso es lo que permite que una muestra finita diga algo sobre los no vistos. Cada uno lleva una etiqueta de tema, así que el aprendiz cuenta con supervisión. Y el objetivo son documentos que no ha visto, que es la diferencia entre predecir y memorizar.

Los autores extraen después dos cosas que hacen la tarea más fácil o más difícil. La primera es el tamaño: evidentemente, cuanto mayor es la muestra, más fácil es la tarea. La segunda es la calidad de las etiquetas. La dificultad de la tarea depende también de la calidad de las etiquetas asignadas a los documentos de la muestra, puesto que puede que no todas sean correctas, y del número de temas posibles.

Esa frase contiene tres mandos distintos. El tamaño de la muestra es uno. La corrección de las etiquetas es otro. El número de temas posibles es el tercero. Ninguno tiene que ver con el algoritmo. Todos son propiedades del problema y de los datos, y deciden lo difícil que es el problema antes de elegir ningún método. Para un fundador que decide dónde gastar un presupuesto, es una observación muy pertinente. Si puedes mejorar las etiquetas o ampliar la muestra, actúas sobre los factores que los autores señalan expresamente como determinantes de la dificultad.

El ejemplo también nombra su propia tarea. Predecir la etiqueta de un documento se conoce también como clasificación de documentos, y los autores se apresuran a añadir que no es en absoluto la única tarea de aprendizaje. Esa cautela es fácil de pasar por alto. El ejemplo de los documentos es un vehículo, y la afirmación de fondo es general.

Tres complejidades, no dos #

Aquí el libro da su paso más característico, y es fácil perdérselo porque llega como una breve observación. El aprendizaje automático, dicen los autores, consiste en diseñar algoritmos de predicción eficientes y precisos. Como en otras áreas de la informática, la complejidad temporal y espacial son medidas fundamentales de la calidad de esos algoritmos. Quien haya estudiado algoritmia reconocerá las dos. ¿Cuánto tarda y cuánta memoria necesita?

Luego llega el añadido. El aprendizaje automático necesita, además, una noción de complejidad muestral para evaluar el tamaño de muestra que el algoritmo requiere para aprender una familia de conceptos. Esta es la medida que no tiene equivalente en una rutina de ordenación. A un algoritmo de ordenación no hace falta decirle cuántos ejemplos necesita. A un aprendiz sí, porque lo que produce es una predicción sobre casos que no ha visto, y la cantidad de experiencia que respalda esa predicción forma parte de lo que se paga.

Lo diría así: el tiempo y el espacio dicen lo que cuesta ejecutar un algoritmo, y la complejidad muestral dice lo que cuesta enseñarle. Un aprendiz rápido pero que necesita una muestra de tamaño impracticable no es eficiente en ningún sentido que importe a quien recoge los datos. Poner la tercera medida junto a las otras dos es la manera que tiene el libro de decir que los datos son un recurso con precio, que hay que presupuestar como el cómputo y la memoria.

El texto continúa en la misma dirección. De forma más general, las garantías teóricas de aprendizaje de un algoritmo dependen de la complejidad de las clases de conceptos consideradas y del tamaño de la muestra de entrenamiento. Es una formulación compacta de aquello de lo que está hecha una garantía. Hay dos entradas, lo rica que es la familia de conceptos y cuántos datos de entrenamiento se tienen, y una garantía es un enunciado que las relaciona con el rendimiento. Fíjate en lo que esto implica para la estructura del libro. Los capítulos siguientes tienen que aportar formas de medir la complejidad de una clase de conceptos, y el índice muestra que lo hacen.

Los autores explican también por qué el campo está donde está. Como el éxito de un algoritmo de aprendizaje depende de los datos utilizados, el aprendizaje automático está intrínsecamente relacionado con el análisis de datos y la estadística. El mecanismo se enuncia sin rodeos: el éxito depende de los datos, por tanto la materia está entrelazada con las disciplinas que estudian los datos. Me parece la frase más honesta de la introducción. No presenta la estadística como rival ni como antepasada. La presenta como una consecuencia de aquello de lo que depende el aprendizaje.

Dimensión	Complejidad temporal	Complejidad espacial	Complejidad muestral
Definición operativa	Tiempo de ejecución asintótico necesario para producir la hipótesis $h$	Huella de memoria necesaria durante el entrenamiento y la evaluación	Número de ejemplos de entrenamiento $m$ necesarios para aprender una familia de conceptos
Teoría de referencia	Complejidad computacional (P frente a NP, dificultad del entrenamiento)	Restricciones de memoria de la arquitectura y localidad de caché	Aprendizaje PAC, complejidad de Rademacher y dimensión VC
Implicación de coste	Cómputo de servidor y presupuesto de inferencia en GPU/CPU	Capacidad de RAM y de SRAM en el chip	Coste de recogida, anotación y etiquetado de datos
Papel teórico	Mide la eficiencia del algoritmo en tiempo de ejecución	Mide la eficiencia en recursos de memoria	Determina el error de generalización y las cotas sobre datos no vistos

La columna vertebral teórica #

El prefacio indica cómo está construido el libro. Los tres o cuatro primeros capítulos sientan la base teórica del material posterior. El índice deja ver de qué está hecha esa base, al menos por los títulos.

El primer capítulo del índice se titula «The PAC Learning Framework» (el marco de aprendizaje PAC), y en él aparecen secciones tituladas «Guarantees for finite hypothesis sets - consistent case» y «Guarantees for finite hypothesis sets - inconsistent case», es decir, garantías para conjuntos finitos de hipótesis en el caso consistente y en el inconsistente. Los títulos de las secciones nos dicen dos cosas. Una es que el marco produce garantías, lo que coincide con el énfasis de la introducción. La otra es que las garantías se dividen según el caso sea consistente o inconsistente, y el libro trata ambos por separado. No especularé sobre lo que contienen esos casos, porque las fuentes solo dan aquí los títulos de las secciones. Pero el emparejamiento muestra que los autores no presentan un único teorema limpio y siguen adelante. Dan al caso más difícil y más desordenado su propia sección.

El siguiente capítulo de la lista es «Rademacher Complexity and VC-Dimension» (complejidad de Rademacher y dimensión VC). Sus secciones tratan la complejidad de Rademacher, la función de crecimiento, la dimensión VC y las cotas inferiores. Leído a la luz de la introducción, este capítulo es la respuesta natural a una pregunta que ella plantea. Si las garantías dependen de la complejidad de las clases de conceptos consideradas, hacen falta herramientas para medir esa complejidad. La complejidad de Rademacher, la función de crecimiento y la dimensión VC son las secciones que cargan con ese peso. También merece señalarse que las cotas inferiores figuran en la lista de secciones. Un libro que solo presenta cotas superiores dice lo que es alcanzable. Uno que incluye cotas inferiores dice además lo que no lo es.

Luego viene el capítulo 4, «Model Selection» (selección de modelos), con secciones que incluyen la minimización del riesgo empírico (ERM) y la minimización del riesgo estructural (SRM). Volveremos a este capítulo al hablar de la segunda edición, porque es uno de los lugares que más cambia en la nueva edición.

La estructura es deliberada. Primero los fundamentos, luego la maquinaria para medir la complejidad, después la selección de modelos y solo entonces los algoritmos. Es una forma defendible de enseñar, y coincide con la descripción que el libro hace de sí mismo: los primeros capítulos sientan la teoría y el resto se apoya en ella.

De la teoría a los algoritmos: máquinas de vectores de soporte y núcleos #

El índice nombra también los capítulos algorítmicos que siguen. Uno se titula «Support Vector Machines» (máquinas de vectores de soporte), con secciones para el caso separable y el no separable. Cada una de esas secciones trata el problema de optimización primal, los vectores de soporte y el problema de optimización dual. Otro se titula «Kernel Methods» (métodos de núcleo).

La forma del capítulo de máquinas de vectores de soporte ya es informativa. Los mismos tres temas aparecen bajo los encabezados separable y no separable: el problema de optimización primal, los vectores de soporte y el problema de optimización dual. Esa repetición sugiere un tratamiento paralelo, las mismas preguntas planteadas dos veces bajo supuestos distintos. El paralelismo refleja la división entre caso consistente e inconsistente del capítulo PAC, de modo que surge un patrón a lo largo del libro: primero un caso limpio y luego el caso en que el supuesto limpio falla.

Desconfiaría de leer demasiado en un índice. Puede decirnos qué cubre el libro y cómo divide el material. No puede decirnos lo bien escrita que está cada sección, y nada en estas fuentes lo dice. Lo que sí muestra es que el lenguaje de optimización del capítulo de máquinas de vectores de soporte, primal y dual, remite a la descripción que la introducción hace de las técnicas, que combinan la informática con ideas de la estadística, la probabilidad y la optimización. La vertiente de optimización de esa lista aparece de forma concreta en esos títulos.

El libro reserva además un capítulo propio para la clasificación multiclase, la ordenación y la regresión. Es una decisión de diseño que merece defenderse. Habría sido fácil tratarlas como notas a pie de página de la clasificación binaria. Dar a cada una su propio capítulo indica que los autores las consideran problemas distintos con su propio análisis, y encaja con el objetivo declarado de una presentación unificada de varios temas en lugar de una que favorezca un único punto de vista.

Lo que el libro decide no tratar #

El pasaje más interesante del prefacio trata de la omisión. El libro, dicen los autores, es una introducción general al aprendizaje automático que puede servir como obra de referencia para investigadores y como manual para estudiantes. Tras esa afirmación amplia, añaden un límite: han decidido omitir algunos temas importantes, entre ellos los modelos gráficos y las redes neuronales.

Pocos manuales lo dicen con tanta claridad, y sostengo que esa franqueza es una virtud. Un lector que sabe de antemano lo que falta puede organizarse en consecuencia. Quien necesite redes neuronales sabe que debe buscar en otra parte, en lugar de descubrir el hueco en el capítulo nueve.

También se dan las razones. La omisión se debe tanto a la brevedad como a la falta actual de garantías teóricas sólidas para algunos métodos. Se dan dos razones. La brevedad es una restricción práctica de cualquier libro. La segunda razón es la que dice algo de la filosofía del libro.

Relacionémosla con la introducción. Las garantías teóricas de aprendizaje son aquello en torno a lo que se organiza este libro. Las garantías dependen de la complejidad de las clases de conceptos y del tamaño de la muestra de entrenamiento, y los capítulos teóricos van primero porque todo lo demás se construye sobre ellos. Un método para el que actualmente faltan garantías sólidas encaja mal en un libro construido así. La omisión se desprende, pues, del compromiso central del libro. Es coherente con la definición de la materia con la que los autores eligieron abrir.

Aquí conviene ser cuidadoso. El texto dice «algunos métodos», así que la afirmación se refiere a la falta de garantías sólidas para algunos métodos, no para todos los temas omitidos, y dice «actual», lo que ata el juicio al momento de la redacción. Resistiría la tentación de resumirlo como «las redes neuronales no tienen teoría». No es lo que dice la fuente. Dice que las garantías para algunos métodos faltan en la actualidad y que eso, junto con la brevedad, fue el motivo de dejar fuera los modelos gráficos y las redes neuronales.

Para los lectores técnicos que eligen qué estudiar, la consecuencia práctica es sencilla. Este libro te da el vocabulario de las garantías, y te dice con claridad qué áreas no cubre.

Lo que cambia en la segunda edición #

La segunda edición es más que una reimpresión con correcciones. El prefacio enumera añadidos, y cada uno indica dónde los autores consideraban escasa la primera edición.

El cambio principal es un capítulo completo sobre selección de modelos, el capítulo 4, dedicado a un tema que los autores califican de importante y que solo se trataba brevemente en la edición anterior. El lenguaje es directo. No afirman que la primera edición lo cubriera bien. Dicen que solo se trataba brevemente y que ahora le han dedicado un capítulo completo. Las secciones incluyen la minimización del riesgo empírico (ERM) y la minimización del riesgo estructural (SRM), como muestra el índice.

¿Por qué merece la selección de modelos este ascenso? Las fuentes no lo dicen, y no inventaré un motivo en nombre de los autores. Pero la ubicación es elocuente. El capítulo 4 sigue directamente a los capítulos sobre el marco PAC y sobre complejidad de Rademacher y dimensión VC, lo que lo sitúa dentro de lo que el prefacio llama los tres o cuatro primeros capítulos que sientan la base teórica. Los autores, por tanto, no añadieron la selección de modelos a modo de apéndice tardío. La incorporaron a la base teórica.

Los siguientes añadidos son un nuevo capítulo sobre modelos de máxima entropía, el capítulo 12, y un nuevo capítulo sobre modelos de máxima entropía condicional, el capítulo 13. Dos capítulos completamente nuevos suponen una ampliación sustancial, y el libro dedica ahora capítulos consecutivos a la pareja.

También cambian los apéndices. Los autores han añadido una sección completa sobre dualidad de Fenchel al apéndice B, sobre optimización convexa, y han añadido el apéndice E sobre teoría de la información. El libro incluye también un extenso apéndice con un repaso conciso del álgebra lineal. Estos cambios apuntan en una misma dirección: las matemáticas de apoyo han crecido junto con los capítulos. La dualidad de Fenchel se suma al apéndice de optimización convexa, y la teoría de la información obtiene su propio apéndice. Me resistiría a decir que la teoría de la información está ahí específicamente para respaldar los capítulos de máxima entropía, porque las fuentes no establecen ese vínculo y los dos añadidos aparecen en el prefacio como elementos separados. Que coincidan en la misma edición es una coincidencia que dejaré como tal.

Para quién es el libro y cómo espera ser leído #

El libro declara su público: está dirigido a estudiantes e investigadores de aprendizaje automático, estadística y otras áreas afines. Esa lista menciona la estadística por su nombre, lo que hace eco de la idea de la introducción de que el aprendizaje automático está intrínsecamente relacionado con el análisis de datos y la estadística.

También declara lo que presupone. Se espera que el lector conozca los conceptos básicos de álgebra lineal, probabilidad y análisis de algoritmos. Es una lista corta, y coincide con la lista de ingredientes de la introducción, aunque no exactamente. La introducción nombra la informática, la estadística, la probabilidad y la optimización como fuentes de las técnicas. Los requisitos previos nombran el álgebra lineal, la probabilidad y el análisis de algoritmos. La optimización no figura entre los requisitos, y el libro lo resuelve desde el otro lado: el apéndice B trata la optimización convexa, con la nueva sección sobre dualidad de Fenchel. El álgebra lineal se da por sabida, y aun así el libro ofrece el extenso apéndice que la repasa. Los requisitos y los apéndices se solapan, pues, a propósito, y un lector con el álgebra lineal oxidada encuentra un repaso conciso dentro del mismo volumen.

La pedagogía también se expone con claridad. Cada capítulo termina con una serie de ejercicios, cuyas soluciones completas se presentan por separado. Es una disposición sensata para un libro que sirve a dos públicos. Un estudiante puede intentar los ejercicios y compararlos con las soluciones, y un investigador que usa el libro como referencia no tiene que atravesar respuestas resueltas en cada página. La fuente no dice si las soluciones llegan como un volumen aparte o en otro documento, solo que se presentan por separado, así que lo dejo ahí.

En conjunto, el público, los requisitos previos, los ejercicios y los apéndices describen un libro pensado para trabajarse. Detrás de este diseño están los catorce años de docencia en el Courant Institute. Un curso impartido una y otra vez tiende a producir este tipo de aparato, aunque el prefacio no reivindica explícitamente esa relación, y la ofrezco solo como una lectura de los indicios, no como una constatación.

Las aplicaciones son amplias, y el libro lo dice #

Un libro tan teórico podría tomarse por algo alejado de la práctica. La introducción lo evita con una afirmación sencilla: el aprendizaje automático admite un conjunto muy amplio de aplicaciones prácticas. La que nombra es la clasificación de textos o documentos, que incluye la detección de spam.

La detección de spam es un buen ejemplo por una razón que explica el propio marco de los autores. Es un problema de clasificación de documentos exactamente en el sentido del ejemplo anterior: entran documentos etiquetados y salen predicciones sobre documentos no vistos. Los factores de tamaño de muestra y calidad de las etiquetas se aplican directamente. Una muestra mayor facilita la tarea, y los mensajes mal etiquetados la dificultan. El número de categorías posibles es pequeño, lo que, según la lógica del pasaje anterior, también influye en la dificultad. Aplico aquí los factores enunciados por el libro a su ejemplo declarado, y no afirmo nada sobre los filtros de spam reales.

Hay además un argumento discreto en la ubicación de este pasaje. Los autores presentan la clasificación de documentos como una tarea de aprendizaje y señalan de inmediato que no es en absoluto la única. Las aplicaciones son amplias porque la definición de fondo es amplia. Todo lo que encaje en «métodos computacionales que usan la experiencia para mejorar su rendimiento o para hacer predicciones precisas» cuenta. Esa generalidad explica también por qué el libro se ocupa de la teoría. Un marco pensado para cubrir un conjunto muy amplio de aplicaciones no puede atarse a los detalles de una sola, y las garantías formuladas en términos de complejidad de las clases de conceptos y tamaño de muestra son justamente las que se trasladan de un problema a otro.

La apuesta del libro #

Si se atan los cabos, surge una postura coherente, más de lo que puede decir el índice de la mayoría de los manuales. El libro define el aprendizaje en términos de experiencia y predicción. Nombra tres complejidades, temporal, espacial y muestral, como medidas de calidad. Vincula las garantías a la complejidad de las clases de conceptos y al tamaño de la muestra, y coloca al principio la teoría que aporta esas garantías. Después construye los capítulos algorítmicos sobre esa base y dice abiertamente qué áreas populares deja fuera porque las garantías de algunos métodos no son, por ahora, sólidas.

Es una apuesta por la teoría como lo que perdura. Entiendo por qué unos autores que pasaron años impartiendo un curso de posgrado la harían. La apuesta tiene un coste, y los autores lo nombran: la omisión de los modelos gráficos y las redes neuronales es el precio de insistir en garantías sólidas. El lector debe sopesar ese coste con honestidad. Si tu trabajo está dominado por las áreas omitidas, este libro es un cimiento más que un manual práctico. Si tu trabajo exige razonar sobre si un aprendiz generalizará a partir de una muestra finita, el vocabulario del libro es justamente lo que importa.

Para los fundadores, la enseñanza útil es la menos vistosa. La calidad y el tamaño de los datos son cruciales para el éxito de las predicciones, y la dificultad de una tarea depende de la calidad de las etiquetas y del número de temas posibles. Son afirmaciones sobre insumos en los que a menudo se puede influir. El libro no promete que ningún algoritmo concreto vaya a rescatar una muestra escasa o mal etiquetada, y hace bien en no prometerlo.

Para los lectores técnicos, la pregunta más interesante es la que el prefacio deja abierta. Los autores omitieron algunos métodos por la falta actual de garantías teóricas sólidas. La palabra «actual» lo presenta como un estado de cosas en el momento de la redacción, y las fuentes no dicen si cambiará ni cómo. ¿Qué haría falta para que esas garantías fueran lo bastante sólidas como para ganarse un capítulo? El libro no puede responderlo. Pero, al ser preciso sobre lo que deja fuera y por qué, al menos muestra dónde buscar.

Qué significa por sector #

La insistencia en las garantías estadísticas de aprendizaje y en la complejidad muestral fija límites concretos en varios ámbitos del software y la investigación.

Aprendizaje automático académico y diseño de planes de estudio #

Los programas docentes deben resistir la presión de tratar el aprendizaje automático como ingeniería de prompts empírica o fontanería de frameworks. Formar a los estudiantes en el marco PAC, la complejidad de Rademacher y la minimización del riesgo estructural crea instintos matemáticos duraderos que sobreviven a la rotación de arquitecturas efímeras de aprendizaje profundo.

Ingeniería de IA empresarial y valoración de datos #

Las organizaciones de ingeniería que despliegan sistemas predictivos suelen destinar demasiado capital al cómputo (la escala del modelo) y descuidar la complejidad muestral y la fidelidad de las etiquetas. Como el error de generalización está acotado estrictamente por la complejidad de la clase de conceptos en relación con el tamaño de la muestra, los equipos obtienen un mejor retorno de la inversión invirtiendo en una anotación limpia y en la auditoría de muestras en lugar de en modelos más grandes sin regularizar.

Investigación de IA de frontera y auditoría de modelos #

A medida que marcos regulatorios como la Ley de IA de la UE exigen cotas predecibles para los sistemas de decisión automatizados, las garantías estadísticas de aprendizaje formalizadas en Foundations of Machine Learning se convierten en necesidades de cumplimiento. Los reguladores y los auditores de seguridad exigen cotas de generalización demostrables y protocolos rigurosos de selección de modelos en lugar de puntuaciones de validación heurísticas.

Conclusión #

Foundations of Machine Learning sigue siendo un ancla indispensable en un campo a menudo tentado por el empirismo puro. Al construir todo un temario en torno al aprendizaje PAC, la complejidad de Rademacher y la dimensión VC, Mehryar Mohri, Afshin Rostamizadeh y Ameet Talwalkar recuerdan a los investigadores que la elegancia algorítmica no sustituye a las garantías matemáticas. La omisión franca de las redes neuronales y los modelos gráficos por la ausencia de garantías en forma cerrada no es un defecto: es la fortaleza que define el libro, porque delimita con claridad lo que la disciplina puede demostrar con rigor y lo que solo observa.

Preguntas frecuentes #

¿Por qué omitieron los autores las redes neuronales y los modelos gráficos en la segunda edición?

Los autores omitieron deliberadamente las redes neuronales y los modelos gráficos por brevedad y por la falta actual de garantías teóricas sólidas para varios de esos métodos. El libro se organiza estrictamente en torno a algoritmos que admiten cotas de generalización rigurosas.

¿Qué distingue la complejidad muestral de la complejidad temporal y espacial?

Mientras que la complejidad temporal evalúa la velocidad de ejecución y la complejidad espacial mide el consumo de memoria, la complejidad muestral cuantifica el volumen de datos de entrenamiento que un algoritmo necesita para aprender una familia de conceptos dentro de unas tolerancias de error y confianza dadas.

¿Cuál es la diferencia esencial entre la minimización del riesgo empírico y la minimización del riesgo estructural?

La minimización del riesgo empírico (ERM) elige la hipótesis que minimiza directamente el error de entrenamiento, con el riesgo de sobreajuste cuando la complejidad de las hipótesis es alta. La minimización del riesgo estructural (SRM) equilibra el error de entrenamiento con la complejidad de las hipótesis (como la dimensión VC o la complejidad de Rademacher) y ofrece cotas formales sobre el riesgo de generalización.

Referencias #

Mehryar Mohri, Afshin Rostamizadeh y Ameet Talwalkar, (2018). Foundations of Machine Learning, segunda edición ⧉. The MIT Press.
Leslie G. Valiant, (1984). Una teoría de lo aprendible ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Teoría estadística del aprendizaje ⧉. John Wiley & Sons.

Última revisión 2026-10-10.

Última revisión 2026-10-27.

Volver a publicar este artículo

Lo que el índice de un manual de aprendizaje automático dice del campo — Sebastien Rousseau

El manual de Mohri, Rostamizadeh y Talwalkar (MIT Press, 2018) construye el aprendizaje automático sobre la complejidad muestral, las cotas y las garantías.

Este artículo se publica bajo Creative Commons Attribution 4.0 International. La republicación requiere atribución a la URL canónica.

Lo que el índice de un manual de aprendizaje automático dice del campo — Sebastien Rousseau

El manual de Mohri, Rostamizadeh y Talwalkar (MIT Press, 2018) construye el aprendizaje automático sobre la complejidad muestral, las cotas y las garantías.

Originally published at https://sebastienrousseau.com/es/2026-10-10-indice-de-manual-aprendizaje-automatico-dice/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER