O que o sumário de um livro de aprendizado de máquina diz sobre a área

Foundations of Machine Learning (segunda edição, MIT Press, 2018), de Mehryar Mohri, Afshin Rostamizadeh e Ameet Talwalkar, define aprendizado como o uso da experiência para fazer previsões precisas e monta um currículo rigoroso em torno da complexidade amostral, dos limitantes de Rademacher e das garantias teóricas.

A maioria dos livros sobre aprendizado de máquina começa com uma promessa sobre o que você vai conseguir construir. Este começa com uma definição e com uma lista das grandezas que determinam se um aprendiz tem sucesso. Essa ordem revela o que os autores pensam que a disciplina é, e acho que é a escolha certa. Uma área que se vende pela previsão deve a seus leitores uma explicação de quando a previsão merece confiança, e é essa explicação que o livro se propõe a dar.

Este artigo lê o livro a partir do que dizem de fato as páginas iniciais, o prefácio e as primeiras páginas. É um exercício mais estreito do que resenhar cada capítulo, e é honesto quanto aos seus limites: as fontes aqui são a folha de rosto, o sumário, o prefácio e o primeiro trecho da introdução. Dentro desses limites há um argumento claro a seguir. Ele trata do que é o aprendizado de máquina, do que ele depende, do que os autores escolheram cobrir e do que escolheram deixar de fora.

Um livro de linhagem precisa #

Comecemos pelos fatos que ancoram o objeto. O livro se chama Foundations of Machine Learning, e esta é a segunda edição. Ele pertence à série Adaptive Computation and Machine Learning, cujo editor é Francis Bach. Os autores são Mehryar Mohri, Afshin Rostamizadeh e Ameet Talwalkar. A editora é a The MIT Press, de Cambridge, Massachusetts, e os direitos autorais pertencem ao Massachusetts Institute of Technology, com data de 2018. A edição em capa dura tem o ISBN 9780262039406.

Dois detalhes de produção merecem uma frase cada. O livro foi composto em LaTeX pelos próprios autores, o que combina com um texto denso em limitantes, definições e demonstrações, e foi impresso e encadernado nos Estados Unidos. Nenhum dos dois detalhes muda a forma de ler a matemática. Mas autores que diagramam o próprio livro tiveram cada página nas mãos, e num livro desse tipo isso é tranquilizador.

A origem do material importa mais. A maior parte vem de um curso de pós-graduação, também chamado Foundations of Machine Learning, ministrado pelo primeiro autor no Courant Institute of Mathematical Sciences da Universidade de Nova York nos últimos catorze anos. É uma procedência específica e verificável. Um livro-texto nascido de catorze anos de ensino de um mesmo curso provavelmente foi moldado pelo que os alunos achavam difícil, e os exercícios e apêndices descritos adiante dão essa impressão. Eu teria cuidado para não levar a inferência além do que a fonte permite. O prefácio diz de onde veio o material, mas não diz quantas revisões o curso teve nem com o que os alunos tiveram dificuldade. O que ele diz basta: é material de curso, não um panorama montado a partir da literatura.

A definição que sustenta tudo #

Tudo o que vem depois depende de uma única frase. O aprendizado de máquina, escrevem os autores, pode ser definido de forma ampla como métodos computacionais que usam a experiência para melhorar o desempenho ou para fazer previsões precisas.

Cada substantivo dessa frase tem uma função. “Métodos computacionais” situa a disciplina dentro da ciência da computação. “Experiência” é então especificada: refere-se às informações passadas disponíveis para o aprendiz. A frase não afirma que o aprendiz entenda coisa alguma e não diz nada sobre inteligência. Um aprendiz tem informações passadas e um alvo, que é um desempenho melhor ou uma previsão precisa, e toda a disciplina trata da relação entre os dois.

Eu diria que essa definição é mais útil para leitores técnicos e fundadores do que as definições mais grandiosas em circulação, porque aponta direto para as alavancas que você controla. Se o aprendizado é função das informações passadas, então a sua influência sobre o resultado está em quais informações você coleta e em quanto delas. A afirmação seguinte do texto diz exatamente isso: a qualidade e o tamanho dos dados são cruciais para o sucesso das previsões feitas pelo aprendiz. O texto apresenta essa afirmação como um mecanismo simples, sem nenhuma ressalva.

Os autores também descrevem as técnicas em si. São métodos orientados por dados que combinam conceitos fundamentais da ciência da computação com ideias da estatística, da probabilidade e da otimização. Essa frase serve ao mesmo tempo de lista de pré-requisitos e de mapa dos vizinhos da área. Uma equipe que quer construir sistemas de aprendizado recorre à ciência da computação, à estatística, à probabilidade e à otimização ao mesmo tempo. Tratar qualquer uma delas como opcional é uma escolha que o livro não endossa.

Um exemplo desenvolvido: documentos e assuntos #

A introdução ancora a definição num problema de aprendizado concreto. Tome uma amostra finita de documentos escolhidos aleatoriamente, cada um rotulado com um assunto. A tarefa é usar essa amostra para prever o assunto de documentos ainda não vistos.

O enunciado compensa uma leitura lenta. A amostra é finita, então o aprendiz nunca vê tudo. Os documentos são escolhidos aleatoriamente, e é isso que permite que uma amostra finita diga algo sobre os não vistos. Cada um tem um rótulo de assunto, então o aprendiz conta com supervisão. E o alvo são documentos que ele não viu, que é a diferença entre prever e decorar.

Os autores destacam então dois fatores que deixam a tarefa mais fácil ou mais difícil. O primeiro é o tamanho: evidentemente, quanto maior a amostra, mais fácil a tarefa. O segundo é a qualidade dos rótulos. A dificuldade da tarefa também depende da qualidade dos rótulos atribuídos aos documentos da amostra, já que nem todos podem estar corretos, e do número de assuntos possíveis.

Essa frase contém três botões de ajuste distintos. O tamanho da amostra é um. A correção dos rótulos é outro. O número de assuntos possíveis é o terceiro. Nenhum deles diz respeito ao algoritmo. Todos são propriedades do problema e dos dados, e decidem o quanto o problema é difícil antes que qualquer método seja escolhido. Para um fundador decidindo onde gastar um orçamento, é uma observação certeira. Se você puder melhorar os rótulos ou ampliar a amostra, estará agindo sobre os fatores que os autores apontam explicitamente como determinantes da dificuldade.

O exemplo também dá nome à própria tarefa. Prever o rótulo de um documento também é conhecido como classificação de documentos, e os autores fazem questão de acrescentar que essa não é de modo algum a única tarefa de aprendizado. É uma ressalva fácil de deixar passar. O exemplo dos documentos é um veículo, e a afirmação por trás dele é geral.

Três complexidades, não duas #

É aqui que o livro faz seu movimento mais característico, e é fácil não notar, porque ele chega como uma observação breve. O aprendizado de máquina, dizem os autores, consiste em projetar algoritmos de previsão eficientes e precisos. Como em outras áreas da ciência da computação, a complexidade de tempo e de espaço são medidas fundamentais da qualidade desses algoritmos. Quem estudou algoritmos reconhece as duas. Quanto tempo leva, e quanta memória precisa?

Então vem o acréscimo. O aprendizado de máquina precisa, além disso, de uma noção de complexidade amostral para avaliar o tamanho de amostra necessário para que o algoritmo aprenda uma família de conceitos. Essa é a medida que não tem equivalente numa rotina de ordenação. Um algoritmo de ordenação não precisa ser informado de quantos exemplos requer. Um aprendiz precisa, porque o que ele produz é uma previsão sobre casos que não viu, e a quantidade de experiência por trás dessa previsão faz parte do que você está pagando.

Eu colocaria assim: tempo e espaço dizem quanto custa executar um algoritmo, e a complexidade amostral diz quanto custa ensiná-lo. Um aprendiz rápido mas que exige uma amostra de tamanho impraticável não é eficiente em nenhum sentido que importe para quem coleta os dados. Colocar a terceira medida ao lado das outras duas é a maneira de o livro dizer que dados são um recurso com preço, a ser orçado como computação e memória.

O texto segue na mesma direção. De modo mais geral, as garantias teóricas de aprendizado de um algoritmo dependem da complexidade das classes de conceitos consideradas e do tamanho da amostra de treinamento. É uma formulação compacta do que compõe uma garantia. Há duas entradas, o quão rica é a família de conceitos e quantos dados de treinamento você tem, e uma garantia é um enunciado que as relaciona ao desempenho. Repare no que isso implica para a estrutura do livro. Os capítulos seguintes precisam fornecer maneiras de medir a complexidade de uma classe de conceitos, e o sumário mostra que é o que fazem.

Os autores também explicam por que a área fica onde fica. Como o sucesso de um algoritmo de aprendizado depende dos dados usados, o aprendizado de máquina está intrinsecamente ligado à análise de dados e à estatística. O mecanismo é dito sem rodeios: o sucesso depende dos dados, portanto a disciplina está entrelaçada com as disciplinas que estudam dados. Acho que é a frase mais honesta da introdução. Ela não apresenta a estatística como rival nem como ancestral. Apresenta a estatística como consequência daquilo de que o aprendizado depende.

Dimensão	Complexidade de tempo	Complexidade de espaço	Complexidade amostral
Definição operacional	Tempo de execução assintótico necessário para produzir a hipótese $h$	Uso de memória necessário durante o treinamento e a avaliação	Número de exemplos de treinamento $m$ necessários para aprender uma família de conceitos
Teoria de referência	Complexidade computacional (P versus NP, dificuldade do treinamento)	Restrições de memória da arquitetura e localidade de cache	Aprendizado PAC, complexidade de Rademacher e dimensão VC
Implicação de custo	Computação em servidor e orçamento de inferência em GPU/CPU	Capacidade de RAM e de SRAM no chip	Custo de coleta, anotação e rotulagem de dados
Papel teórico	Mede a eficiência do algoritmo em tempo de execução	Mede a eficiência no uso de memória	Determina o erro de generalização e os limitantes sobre dados não vistos

A espinha dorsal teórica #

O prefácio diz como o livro é construído. Os três ou quatro primeiros capítulos lançam a base teórica do material seguinte. O sumário permite ver do que essa base é feita, ao menos pelos títulos.

O primeiro capítulo do sumário se chama “The PAC Learning Framework” (o arcabouço de aprendizado PAC), e nele aparecem seções intituladas “Guarantees for finite hypothesis sets - consistent case” e “Guarantees for finite hypothesis sets - inconsistent case”, isto é, garantias para conjuntos finitos de hipóteses no caso consistente e no caso inconsistente. Os títulos das seções nos dizem duas coisas. Uma é que o arcabouço produz garantias, o que bate com a ênfase da introdução. A outra é que as garantias são divididas conforme o caso seja consistente ou inconsistente, e o livro trata os dois separadamente. Não vou especular sobre o que os casos consistente e inconsistente contêm, porque as fontes aqui dão apenas os títulos das seções. Mas o par mostra que os autores não apresentam um único teorema limpo e seguem adiante. Eles dão ao caso mais difícil e mais confuso uma seção própria.

O capítulo seguinte da lista é “Rademacher Complexity and VC-Dimension” (complexidade de Rademacher e dimensão VC). Suas seções tratam de complexidade de Rademacher, função de crescimento, dimensão VC e limitantes inferiores. Lido à luz da introdução, esse capítulo é a resposta natural a uma pergunta que ela levanta. Se as garantias dependem da complexidade das classes de conceitos consideradas, é preciso ter ferramentas para medir essa complexidade. A complexidade de Rademacher, a função de crescimento e a dimensão VC são as seções que carregam esse peso. Também vale notar a presença de limitantes inferiores na lista de seções. Um livro que apresenta apenas limitantes superiores diz o que é alcançável. Um que inclui limitantes inferiores diz também o que não é.

Depois vem o capítulo 4, “Model Selection” (seleção de modelos), com seções que incluem a minimização do risco empírico (ERM) e a minimização do risco estrutural (SRM). Voltaremos a esse capítulo ao tratar da segunda edição, porque é um dos pontos que a nova edição mais muda.

A estrutura é deliberada. Primeiro os fundamentos, depois o ferramental para medir complexidade, depois a seleção de modelos e só então os algoritmos. É uma forma defensável de ensinar, e corresponde ao relato que o livro faz de si mesmo: os capítulos iniciais lançam a teoria, e o resto se apoia nela.

Da teoria aos algoritmos: máquinas de vetores de suporte e kernels #

O sumário também nomeia os capítulos algorítmicos que vêm a seguir. Um se chama “Support Vector Machines” (máquinas de vetores de suporte), com seções para o caso separável e para o caso não separável. Cada uma dessas seções trata do problema de otimização primal, dos vetores de suporte e do problema de otimização dual. Outro se chama “Kernel Methods” (métodos de kernel).

O próprio formato do capítulo sobre máquinas de vetores de suporte é informativo. Os mesmos três temas aparecem sob os dois títulos, separável e não separável: o problema de otimização primal, os vetores de suporte e o problema de otimização dual. Essa repetição sugere um tratamento paralelo, as mesmas perguntas feitas duas vezes sob hipóteses diferentes. O paralelo espelha a divisão entre caso consistente e inconsistente no capítulo PAC, e assim surge um padrão ao longo do livro: primeiro um caso limpo, depois o caso em que a hipótese limpa falha.

Eu desconfiaria de ler demais num sumário. Ele pode dizer o que o livro cobre e como divide o material. Não pode dizer quão bem escrita está cada seção, e nada nestas fontes diz isso. O que ele mostra é que a linguagem de otimização do capítulo sobre máquinas de vetores de suporte, primal e dual, remete à descrição que a introdução faz das técnicas, que combinam a ciência da computação com ideias da estatística, da probabilidade e da otimização. A vertente de otimização dessa lista aparece concretamente nesses títulos de seção.

O livro também reserva um capítulo separado para classificação multiclasse, para ranqueamento e para regressão. É uma decisão de projeto que vale defender. Seria fácil tratá-los como notas de rodapé da classificação binária. Dar a cada um seu próprio capítulo sinaliza que os autores os veem como problemas distintos, com análise própria, e combina com o objetivo declarado de uma apresentação unificada de vários temas, em vez de uma apresentação que favoreça um único ponto de vista.

O que o livro escolhe não cobrir #

A passagem mais interessante do prefácio trata da omissão. O livro, dizem os autores, é uma introdução geral ao aprendizado de máquina que pode servir como obra de referência para pesquisadores e como livro-texto para estudantes. Depois dessa afirmação ampla, eles acrescentam um limite: escolheram omitir alguns temas importantes, entre eles modelos gráficos e redes neurais.

Poucos livros-texto dizem isso de forma tão direta, e eu diria que a franqueza é um mérito. Um leitor que sabe de antemão o que falta pode se planejar. Quem precisa de redes neurais sabe que deve procurar em outro lugar, em vez de descobrir a lacuna no capítulo nove.

As razões também são declaradas. A omissão se deve tanto à concisão quanto à atual falta de garantias teóricas sólidas para alguns métodos. São duas razões. A concisão é uma restrição prática de qualquer livro. A segunda razão é a que diz algo sobre a filosofia do livro.

Ligue-a de volta à introdução. As garantias teóricas de aprendizado são aquilo em torno do que este livro se organiza. As garantias dependem da complexidade das classes de conceitos e do tamanho da amostra de treinamento, e os capítulos teóricos vêm primeiro porque todo o resto se apoia neles. Um método para o qual hoje faltam garantias sólidas fica deslocado num livro construído desse jeito. A omissão decorre, portanto, do compromisso central do livro. Ela é coerente com a definição da disciplina com que os autores escolheram abrir.

Aqui cabe um cuidado. O texto diz “alguns métodos”, então a afirmação é sobre a falta de garantias sólidas para alguns métodos, não para todos os temas omitidos, e diz “atual”, o que amarra o julgamento ao momento da escrita. Eu resistiria à tentação de resumir isso como “redes neurais não têm teoria”. Não é o que a fonte diz. Ela diz que as garantias para alguns métodos estão atualmente em falta e que isso, junto com a concisão, foi o motivo de deixar de fora os modelos gráficos e as redes neurais.

Para leitores técnicos escolhendo o que estudar, a consequência prática é simples. Este livro dá a você o vocabulário das garantias, e diz com clareza quais áreas não cobre.

O que a segunda edição muda #

A segunda edição é mais do que uma reimpressão com correções. O prefácio lista acréscimos, e cada um mostra onde os autores achavam que a primeira edição era rala.

A mudança principal é um capítulo inteiro sobre seleção de modelos, o capítulo 4, dedicado a um tema que os autores descrevem como importante e que na edição anterior era discutido apenas brevemente. A linguagem é direta. Eles não afirmam que a primeira edição cobria bem o tema. Dizem que ele era discutido só brevemente e que agora ganhou um capítulo inteiro. As seções incluem a minimização do risco empírico (ERM) e a minimização do risco estrutural (SRM), como mostra o sumário.

Por que a seleção de modelos merece essa promoção? As fontes não dizem, e não vou inventar um motivo em nome dos autores. Mas a posição é reveladora. O capítulo 4 vem logo depois dos capítulos sobre o arcabouço PAC e sobre complexidade de Rademacher e dimensão VC, o que o coloca dentro do que o prefácio chama de os três ou quatro primeiros capítulos que lançam a base teórica. Ou seja, os autores não acrescentaram a seleção de modelos como algo de última hora. Eles a incorporaram à base teórica.

Os acréscimos seguintes são um novo capítulo sobre modelos de máxima entropia, o capítulo 12, e um novo capítulo sobre modelos de máxima entropia condicional, o capítulo 13. Dois capítulos inteiramente novos são uma expansão substancial, e o livro agora dedica capítulos consecutivos ao par.

Os apêndices também mudam. Os autores acrescentaram uma seção completa sobre dualidade de Fenchel ao apêndice B, de otimização convexa, e acrescentaram o apêndice E, sobre teoria da informação. O livro inclui ainda um apêndice extenso com uma revisão concisa de álgebra linear. Essas mudanças apontam numa direção coerente: a matemática de apoio cresceu junto com os capítulos. A dualidade de Fenchel entra no apêndice de otimização convexa, e a teoria da informação ganha um apêndice próprio. Eu resistiria a dizer que a teoria da informação está ali especificamente para apoiar os capítulos de máxima entropia, já que as fontes não afirmam essa ligação e os dois acréscimos aparecem no prefácio como itens separados. Que cheguem na mesma edição é uma coincidência que vou deixar como tal.

Para quem é o livro e como ele espera ser lido #

O livro declara seu público: destina-se a estudantes e pesquisadores de aprendizado de máquina, estatística e outras áreas afins. Essa lista inclui a estatística pelo nome, o que ecoa a ideia da introdução de que o aprendizado de máquina está intrinsecamente ligado à análise de dados e à estatística.

Também declara o que pressupõe. Espera-se que o leitor esteja familiarizado com conceitos básicos de álgebra linear, probabilidade e análise de algoritmos. É uma lista curta, e ela corresponde à lista de ingredientes da introdução, embora não exatamente. A introdução cita ciência da computação, estatística, probabilidade e otimização como fontes das técnicas. Os pré-requisitos citam álgebra linear, probabilidade e análise de algoritmos. A otimização não está entre os pré-requisitos, e o livro resolve isso pelo outro lado: o apêndice B trata de otimização convexa, com a nova seção sobre dualidade de Fenchel. A álgebra linear é esperada como base, e mesmo assim o livro oferece o extenso apêndice que a revisa. Pré-requisitos e apêndices se sobrepõem, portanto, de propósito, e um leitor com a álgebra linear enferrujada encontra uma revisão concisa no mesmo volume.

A pedagogia também é exposta com clareza. Cada capítulo termina com uma série de exercícios, cujas soluções completas são apresentadas separadamente. É um arranjo sensato para um livro que atende dois públicos. Um estudante pode tentar os exercícios e conferir com as soluções, e um pesquisador que usa o livro como referência não é obrigado a passar por respostas resolvidas em cada página. A fonte não diz se as soluções vêm num volume à parte ou em outro documento, só que são apresentadas separadamente, então paro por aí.

Em conjunto, o público, os pré-requisitos, os exercícios e os apêndices descrevem um livro feito para ser estudado a fundo. Os catorze anos de ensino no Courant Institute estão por trás desse desenho. Um curso ministrado repetidamente tende a produzir esse tipo de aparato, embora o prefácio não reivindique essa ligação explicitamente, e eu a ofereço apenas como uma leitura das evidências, não como uma constatação.

As aplicações são amplas, e o livro diz isso #

Um livro tão teórico poderia ser tomado como algo distante da prática. A introdução evita isso com uma afirmação simples: o aprendizado de máquina admite um conjunto muito amplo de aplicações práticas. A que ela nomeia é a classificação de textos ou documentos, que inclui a detecção de spam.

A detecção de spam é um bom exemplo, por um motivo que o próprio arcabouço dos autores explica. É um problema de classificação de documentos exatamente no sentido do exemplo anterior: documentos rotulados entram, previsões sobre documentos não vistos saem. Os fatores de tamanho da amostra e qualidade dos rótulos se aplicam diretamente. Uma amostra maior deixa a tarefa mais fácil, e mensagens mal rotuladas a deixam mais difícil. O número de categorias possíveis é pequeno, o que, pela lógica da passagem anterior, também pesa na dificuldade. Estou aplicando os fatores declarados pelo livro ao exemplo declarado por ele, e não afirmo nada sobre filtros de spam na prática.

Há também um argumento discreto na posição dessa passagem. Os autores apresentam a classificação de documentos como uma tarefa de aprendizado e logo observam que ela não é de modo algum a única. As aplicações são amplas porque a definição de base é ampla. Tudo o que se encaixa em “métodos computacionais que usam a experiência para melhorar o desempenho ou para fazer previsões precisas” se qualifica. Essa generalidade também explica por que o livro se preocupa com teoria. Um arcabouço pensado para cobrir um conjunto muito amplo de aplicações não pode ficar preso aos detalhes de uma só, e garantias formuladas em termos de complexidade das classes de conceitos e tamanho da amostra são exatamente as que viajam de um problema a outro.

A aposta do livro #

Juntando os fios, surge uma posição coerente, o que é mais do que o sumário da maioria dos livros-texto pode reivindicar. O livro define aprendizado em termos de experiência e previsão. Nomeia três complexidades, de tempo, de espaço e amostral, como medidas de qualidade. Vincula as garantias à complexidade das classes de conceitos e ao tamanho da amostra, e coloca na frente a teoria que fornece essas garantias. Depois constrói os capítulos algorítmicos sobre essa base e diz abertamente quais áreas populares deixa de fora porque as garantias para alguns métodos não são, por enquanto, sólidas.

É uma aposta na teoria como aquilo que dura. Entendo por que autores que passaram anos ensinando um curso de pós-graduação a fariam. A aposta tem um custo, e os autores o nomeiam: a omissão dos modelos gráficos e das redes neurais é o preço de insistir em garantias sólidas. O leitor deve pesar esse custo com honestidade. Se o seu trabalho é dominado pelas áreas omitidas, este livro é uma fundação, não um manual. Se o seu trabalho exige raciocinar sobre se um aprendiz vai generalizar a partir de uma amostra finita, o vocabulário do livro é justamente o que importa.

Para fundadores, a lição útil é a menos glamorosa. A qualidade e o tamanho dos dados são cruciais para o sucesso das previsões, e a dificuldade de uma tarefa depende da qualidade dos rótulos e do número de assuntos possíveis. São afirmações sobre insumos que muitas vezes você pode influenciar. O livro não promete que algum algoritmo específico vá salvar uma amostra rala ou mal rotulada, e está certo em não prometer.

Para leitores técnicos, a pergunta mais interessante é a que o prefácio deixa em aberto. Os autores omitiram alguns métodos pela atual falta de garantias teóricas sólidas. A palavra “atual” enquadra isso como um estado de coisas no momento da escrita, e as fontes não dizem se, nem como, isso pode mudar. O que seria preciso para que essas garantias se tornassem sólidas o bastante para merecer um capítulo? O livro não pode responder. Mas, ao ser exato sobre o que deixa de fora e por quê, ele ao menos mostra onde procurar.

O que isso significa por setor #

A insistência em garantias estatísticas de aprendizado e em complexidade amostral estabelece limites práticos em vários domínios de software e pesquisa.

Aprendizado de máquina acadêmico e desenho de currículos #

Os programas de ensino precisam resistir à pressão de tratar o aprendizado de máquina como engenharia de prompts empírica ou como encanamento de frameworks. Formar os alunos no arcabouço PAC, na complexidade de Rademacher e na minimização do risco estrutural cria instintos matemáticos duradouros, que sobrevivem à rotatividade de arquiteturas passageiras de aprendizado profundo.

Engenharia de IA corporativa e valoração de dados #

Organizações de engenharia que implantam sistemas preditivos muitas vezes alocam capital demais em computação (a escala do modelo) e negligenciam a complexidade amostral e a fidelidade dos rótulos. Como o erro de generalização é limitado estritamente pela complexidade da classe de conceitos em relação ao tamanho da amostra, as equipes obtêm um retorno melhor investindo em anotação limpa e em auditoria de amostras do que em modelos maiores e sem regularização.

Pesquisa de fronteira em IA e auditoria de modelos #

À medida que marcos regulatórios como o AI Act da UE exigem limites previsíveis para sistemas de decisão automatizada, as garantias estatísticas de aprendizado formalizadas em Foundations of Machine Learning se tornam necessidades de conformidade. Reguladores e auditores de segurança exigem limitantes de generalização demonstráveis e protocolos rigorosos de seleção de modelos, em vez de pontuações de validação heurísticas.

Conclusão #

Foundations of Machine Learning continua sendo uma âncora indispensável numa área frequentemente tentada pelo empirismo puro. Ao construir todo um currículo em torno do aprendizado PAC, da complexidade de Rademacher e da dimensão VC, Mehryar Mohri, Afshin Rostamizadeh e Ameet Talwalkar lembram aos pesquisadores que a elegância algorítmica não substitui garantias matemáticas. A omissão franca das redes neurais e dos modelos gráficos, pela ausência de garantias em forma fechada, não é uma falha: é a força que define o livro, porque separa com clareza o que a disciplina consegue provar com rigor do que ela apenas observa.

Perguntas frequentes #

Por que os autores omitiram redes neurais e modelos gráficos da segunda edição?

Os autores omitiram deliberadamente redes neurais e modelos gráficos por concisão e pela atual falta de garantias teóricas sólidas para vários desses métodos. O livro é organizado estritamente em torno de algoritmos que admitem limitantes de generalização rigorosos.

O que distingue a complexidade amostral da complexidade de tempo e de espaço?

Enquanto a complexidade de tempo avalia a velocidade de execução e a complexidade de espaço mede o consumo de memória, a complexidade amostral quantifica o volume de dados de treinamento de que um algoritmo precisa para aprender uma família de conceitos dentro de tolerâncias de erro e de confiança especificadas.

Qual é a diferença essencial entre minimização do risco empírico e minimização do risco estrutural?

A minimização do risco empírico (ERM) escolhe a hipótese que minimiza diretamente o erro de treinamento, com risco de sobreajuste quando a complexidade das hipóteses é alta. A minimização do risco estrutural (SRM) equilibra o erro de treinamento e a complexidade das hipóteses (como a dimensão VC ou a complexidade de Rademacher), fornecendo limitantes formais para o risco de generalização.

Referências #

Mehryar Mohri, Afshin Rostamizadeh e Ameet Talwalkar, (2018). Foundations of Machine Learning, segunda edição ⧉. The MIT Press.
Leslie G. Valiant, (1984). Uma teoria do aprendível ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Teoria estatística do aprendizado ⧉. John Wiley & Sons.

Última revisão 2026-10-10.

Última revisão 2026-10-27.

Republicar este artigo

O que o sumário de um livro de aprendizado de máquina diz sobre a área — Sebastien Rousseau

O livro de Mohri, Rostamizadeh e Talwalkar (MIT Press, 2018) constrói o aprendizado de máquina sobre complexidade amostral, limitantes e garantias teóricas.

Este artigo está licenciado sob Creative Commons Attribution 4.0 International. A republicação exige atribuição à URL canônica.

O que o sumário de um livro de aprendizado de máquina diz sobre a área — Sebastien Rousseau

O livro de Mohri, Rostamizadeh e Talwalkar (MIT Press, 2018) constrói o aprendizado de máquina sobre complexidade amostral, limitantes e garantias teóricas.

Originally published at https://sebastienrousseau.com/pt-br/2026-10-10-sumario-de-livro-aprendizado-maquina-diz/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER