Mục lục của một giáo trình học máy nói gì về cả lĩnh vực

Foundations of Machine Learning (ấn bản thứ hai, MIT Press, 2018) của Mehryar Mohri, Afshin Rostamizadeh và Ameet Talwalkar định nghĩa học là dùng kinh nghiệm để đưa ra dự đoán chính xác, và xây một giáo trình chặt chẽ quanh độ phức tạp mẫu, các cận Rademacher và các bảo đảm lý thuyết.

Phần lớn sách về học máy mở đầu bằng một lời hứa về những gì bạn sẽ xây được. Cuốn này mở đầu bằng một định nghĩa và một danh sách các đại lượng quyết định một bộ học có thành công hay không. Thứ tự ấy cho thấy các tác giả nghĩ chủ đề của mình là gì, và tôi cho rằng đó là một lựa chọn đúng. Một lĩnh vực tự quảng bá bằng dự đoán nợ người đọc một lời giải thích về khi nào dự đoán có thể tin được, và lời giải thích ấy chính là điều cuốn sách đặt ra để trình bày.

Bài viết này đọc cuốn sách qua những gì phần mở đầu, lời nói đầu và những trang đầu tiên thực sự nói. Đó là một việc hẹp hơn so với điểm lại từng chương, và nó thành thật về giới hạn của mình: nguồn ở đây gồm trang tên sách, mục lục, lời nói đầu và đoạn đầu của phần dẫn nhập. Trong giới hạn ấy có một lập luận rõ ràng để theo. Lập luận đó xoay quanh học máy là gì, nó phụ thuộc vào đâu, các tác giả chọn đề cập điều gì và chọn bỏ qua điều gì.

Một cuốn sách có gốc gác rõ ràng #

Hãy bắt đầu từ những dữ kiện neo giữ đối tượng. Cuốn sách có tên Foundations of Machine Learning, và đây là ấn bản thứ hai. Sách thuộc bộ Adaptive Computation and Machine Learning, do Francis Bach làm biên tập. Các tác giả là Mehryar Mohri, Afshin Rostamizadeh và Ameet Talwalkar. Nhà xuất bản là The MIT Press, Cambridge, Massachusetts, và bản quyền thuộc về Massachusetts Institute of Technology, năm 2018. Bản bìa cứng mang ISBN 9780262039406.

Hai chi tiết sản xuất mỗi chi tiết đáng một câu. Sách được chính các tác giả dàn trang bằng LaTeX, điều phù hợp với một văn bản dày đặc các cận, định nghĩa và chứng minh, và được in cũng như đóng tại Hoa Kỳ. Không chi tiết nào thay đổi cách bạn đọc phần toán. Nhưng những tác giả tự dàn trang sách của mình đã chạm tay vào từng trang, và với một cuốn sách thuộc loại này, điều đó đem lại sự an tâm.

Nguồn gốc của nội dung quan trọng hơn. Phần lớn nội dung bắt nguồn từ một khóa học sau đại học, cũng mang tên Foundations of Machine Learning, do tác giả thứ nhất giảng dạy tại Courant Institute of Mathematical Sciences thuộc New York University trong mười bốn năm qua. Đó là một nguồn gốc cụ thể, có thể kiểm chứng. Một giáo trình lớn lên từ mười bốn năm dạy một khóa học có lẽ đã được định hình bởi những gì sinh viên thấy khó, và các bài tập cùng phụ lục được mô tả dưới đây đọc lên đúng như vậy. Tôi sẽ cẩn thận không đẩy suy luận ấy xa hơn mức nguồn cho phép. Lời nói đầu cho biết nội dung đến từ đâu, nhưng không nói khóa học đã qua bao nhiêu lần chỉnh sửa hay sinh viên vật lộn với điều gì. Điều nó nói là đủ: đây là tài liệu khóa học, không phải một bài tổng quan lắp ghép từ các công trình đã xuất bản.

Định nghĩa gánh phần việc nặng nhất #

Mọi thứ phía sau đều phụ thuộc vào một câu. Học máy, các tác giả viết, có thể được định nghĩa rộng là các phương pháp tính toán dùng kinh nghiệm để cải thiện hiệu năng hoặc để đưa ra dự đoán chính xác.

Mỗi danh từ trong câu ấy đều có việc của nó. “Phương pháp tính toán” đặt chủ đề vào bên trong khoa học máy tính. “Kinh nghiệm” sau đó được xác định rõ: nó chỉ thông tin trong quá khứ mà bộ học có được. Câu ấy không hề cho rằng bộ học hiểu điều gì, và không nói gì về trí thông minh. Một bộ học có thông tin quá khứ và một mục tiêu, tức hiệu năng được cải thiện hoặc dự đoán chính xác, và toàn bộ ngành học là về mối quan hệ giữa hai thứ đó.

Tôi cho rằng đối với người đọc kỹ thuật và nhà sáng lập, định nghĩa này hữu ích hơn những định nghĩa hoành tráng hơn đang lưu hành, vì nó chỉ thẳng vào những đòn bẩy bạn nắm trong tay. Nếu học là một hàm của thông tin quá khứ, thì ảnh hưởng của bạn lên kết quả nằm ở việc bạn thu thập thông tin gì và bao nhiêu. Khẳng định tiếp theo trong văn bản nói đúng như vậy: chất lượng và kích thước dữ liệu có tính quyết định đối với sự thành công của các dự đoán mà bộ học đưa ra. Phát biểu đó được trình bày trong văn bản như một cơ chế giản dị, không kèm điều kiện nào.

Các tác giả cũng mô tả chính các kỹ thuật. Đó là những phương pháp dựa trên dữ liệu, kết hợp các khái niệm nền tảng của khoa học máy tính với ý tưởng từ thống kê, xác suất và tối ưu hóa. Câu ấy vừa là danh sách kiến thức tiên quyết vừa là bản đồ các lĩnh vực láng giềng. Một nhóm muốn xây hệ thống học sẽ dựa đồng thời vào khoa học máy tính, thống kê, xác suất và tối ưu hóa. Coi bất kỳ thứ nào trong số đó là tùy chọn là một lựa chọn mà cuốn sách không tán thành.

Một ví dụ được phân tích: văn bản và chủ đề #

Phần dẫn nhập neo định nghĩa vào một bài toán học cụ thể. Hãy lấy một mẫu hữu hạn gồm các văn bản được chọn ngẫu nhiên, mỗi văn bản được gán nhãn một chủ đề. Nhiệm vụ là dùng mẫu ấy để dự đoán chủ đề của những văn bản chưa từng thấy.

Cách thiết lập này đáng được đọc chậm. Mẫu là hữu hạn, nên bộ học không bao giờ thấy được tất cả. Các văn bản được chọn ngẫu nhiên, và chính điều đó cho phép một mẫu hữu hạn nói được điều gì đó về những văn bản chưa thấy. Mỗi văn bản đều có nhãn chủ đề, nên bộ học có sự giám sát. Và mục tiêu là những văn bản nó chưa thấy, đó là khác biệt giữa dự đoán và ghi nhớ.

Các tác giả sau đó chỉ ra hai điều khiến nhiệm vụ dễ hơn hay khó hơn. Điều thứ nhất là kích thước: rõ ràng, mẫu càng lớn thì nhiệm vụ càng dễ. Điều thứ hai là chất lượng nhãn. Độ khó của nhiệm vụ cũng phụ thuộc vào chất lượng các nhãn gán cho văn bản trong mẫu, vì không phải nhãn nào cũng đúng, và vào số lượng chủ đề có thể có.

Câu ấy chứa ba núm vặn riêng biệt. Kích thước mẫu là một. Độ đúng của nhãn là một núm khác. Số chủ đề có thể có là núm thứ ba. Không núm nào liên quan đến thuật toán. Tất cả đều là thuộc tính của bài toán và dữ liệu, và chúng quyết định bài toán khó đến đâu trước khi chọn bất kỳ phương pháp nào. Với một nhà sáng lập đang quyết định chi ngân sách vào đâu, đây là một nhận xét sắc sảo. Nếu bạn có thể cải thiện nhãn hoặc mở rộng mẫu, bạn đang tác động lên đúng những yếu tố mà các tác giả nêu rõ là quyết định độ khó.

Ví dụ cũng tự gọi tên nhiệm vụ của nó. Dự đoán nhãn của một văn bản còn được gọi là phân loại văn bản, và các tác giả vội nói thêm rằng đó hoàn toàn không phải nhiệm vụ học duy nhất. Lời lưu ý ấy rất dễ bị lướt qua. Ví dụ văn bản chỉ là phương tiện, còn khẳng định bên dưới nó mang tính tổng quát.

Ba độ phức tạp, không phải hai #

Ở đây cuốn sách thực hiện bước đi đặc trưng nhất, và rất dễ bỏ lỡ vì nó xuất hiện như một nhận xét ngắn. Học máy, các tác giả nói, gồm việc thiết kế các thuật toán dự đoán hiệu quả và chính xác. Như ở các lĩnh vực khác của khoa học máy tính, độ phức tạp thời gian và không gian là những thước đo then chốt về chất lượng của các thuật toán như vậy. Ai từng học thuật toán đều nhận ra hai thước đo đó. Mất bao lâu, và cần bao nhiêu bộ nhớ?

Rồi đến phần bổ sung. Học máy cần thêm khái niệm độ phức tạp mẫu để đánh giá kích thước mẫu mà thuật toán cần để học một họ khái niệm. Đây là thước đo không có tương đương nào trong một thủ tục sắp xếp. Một thuật toán sắp xếp không cần được cho biết nó cần bao nhiêu ví dụ. Một bộ học thì cần, vì đầu ra của nó là một dự đoán về những trường hợp nó chưa thấy, và lượng kinh nghiệm đứng sau dự đoán ấy là một phần của cái bạn đang trả tiền.

Tôi sẽ diễn đạt thế này: thời gian và không gian cho bạn biết chạy một thuật toán tốn bao nhiêu, còn độ phức tạp mẫu cho bạn biết dạy nó tốn bao nhiêu. Một bộ học nhanh nhưng cần một mẫu lớn đến mức phi thực tế thì không hiệu quả theo bất kỳ nghĩa nào có ý nghĩa với người thu thập dữ liệu. Đặt thước đo thứ ba bên cạnh hai thước đo kia là cách cuốn sách nói rằng dữ liệu là một nguồn lực có giá, cần được lập ngân sách như tính toán và bộ nhớ.

Văn bản tiếp tục theo cùng hướng. Tổng quát hơn, các bảo đảm học lý thuyết cho một thuật toán phụ thuộc vào độ phức tạp của các lớp khái niệm được xét và kích thước của mẫu huấn luyện. Đó là một phát biểu cô đọng về việc một bảo đảm được làm từ gì. Có hai đầu vào, họ khái niệm phong phú đến đâu và bạn có bao nhiêu dữ liệu huấn luyện, và một bảo đảm là phát biểu nối chúng với hiệu năng. Hãy để ý điều này hàm ý gì về cấu trúc cuốn sách. Các chương tiếp theo phải cung cấp cách đo độ phức tạp của một lớp khái niệm, và mục lục cho thấy chúng làm đúng như vậy.

Các tác giả cũng giải thích vì sao lĩnh vực nằm ở vị trí của nó. Vì sự thành công của một thuật toán học phụ thuộc vào dữ liệu được dùng, học máy về bản chất gắn liền với phân tích dữ liệu và thống kê. Cơ chế được nêu thẳng: thành công phụ thuộc vào dữ liệu, do đó chủ đề đan xen với các ngành nghiên cứu dữ liệu. Tôi thấy đây là câu thành thật nhất trong phần dẫn nhập. Nó không trình bày thống kê như một đối thủ hay một bậc tiền bối. Nó trình bày thống kê như một hệ quả của điều mà việc học phụ thuộc vào.

Chiều	Độ phức tạp thời gian	Độ phức tạp không gian	Độ phức tạp mẫu
Định nghĩa vận hành	Thời gian chạy tiệm cận cần để xuất ra giả thuyết $h$	Dung lượng bộ nhớ cần trong huấn luyện và đánh giá	Số ví dụ huấn luyện $m$ cần để học họ khái niệm
Lý thuyết chi phối	Độ phức tạp tính toán (P và NP, độ khó của huấn luyện)	Ràng buộc bộ nhớ của kiến trúc và tính cục bộ của bộ nhớ đệm	Học PAC, độ phức tạp Rademacher và chiều VC
Hàm ý chi phí	Tính toán máy chủ và ngân sách suy luận GPU/CPU	Dung lượng RAM và SRAM trên chip	Chi phí thu thập, chú thích và gán nhãn dữ liệu
Vai trò lý thuyết	Đo hiệu quả thời gian chạy của thuật toán	Đo hiệu quả sử dụng tài nguyên không gian	Quyết định sai số tổng quát hóa và các cận trên dữ liệu chưa thấy

Xương sống lý thuyết #

Lời nói đầu cho biết cuốn sách được xây ra sao. Ba hoặc bốn chương đầu đặt nền móng lý thuyết cho phần nội dung tiếp theo. Mục lục cho phép ta thấy nền móng ấy làm bằng gì, ít nhất là qua tên chương.

Chương đầu tiên trong mục lục có tên “The PAC Learning Framework” (khung học PAC), và trong đó có các mục mang tên “Guarantees for finite hypothesis sets - consistent case” và “Guarantees for finite hypothesis sets - inconsistent case” (bảo đảm cho các tập giả thuyết hữu hạn, trường hợp nhất quán và trường hợp không nhất quán). Tên các mục cho ta biết hai điều. Một là khung này tạo ra các bảo đảm, khớp với điểm nhấn của phần dẫn nhập. Hai là các bảo đảm được tách theo việc trường hợp là nhất quán hay không nhất quán, và cuốn sách xử lý hai trường hợp riêng rẽ. Tôi sẽ không suy đoán các trường hợp nhất quán và không nhất quán chứa gì, vì nguồn ở đây chỉ cho tên mục. Nhưng cặp đôi ấy cho thấy các tác giả không đưa ra một định lý gọn gàng rồi đi tiếp. Họ dành cho trường hợp khó hơn, rối hơn một mục riêng.

Chương kế tiếp trong danh sách là “Rademacher Complexity and VC-Dimension” (độ phức tạp Rademacher và chiều VC). Các mục của nó bao gồm độ phức tạp Rademacher, hàm tăng trưởng, chiều VC và các cận dưới. Đọc đối chiếu với phần dẫn nhập, chương này là câu trả lời tự nhiên cho một câu hỏi mà phần dẫn nhập đặt ra. Nếu các bảo đảm phụ thuộc vào độ phức tạp của các lớp khái niệm được xét, bạn cần công cụ để đo độ phức tạp ấy. Độ phức tạp Rademacher, hàm tăng trưởng và chiều VC được liệt kê là những mục gánh phần việc này. Việc có các cận dưới trong danh sách mục cũng đáng ghi nhận. Một cuốn sách chỉ trình bày cận trên cho bạn biết điều gì đạt được. Một cuốn có cả cận dưới còn cho bạn biết điều gì không đạt được.

Tiếp đến là chương 4, “Model Selection” (chọn mô hình), với các mục gồm cực tiểu hóa rủi ro thực nghiệm (ERM) và cực tiểu hóa rủi ro cấu trúc (SRM). Ta sẽ quay lại chương này khi xem xét ấn bản thứ hai, vì đây là một trong những chỗ ấn bản mới thay đổi nhiều nhất.

Cấu trúc này có chủ ý. Nền móng trước, rồi bộ máy đo độ phức tạp, rồi chọn mô hình, và chỉ sau đó mới đến thuật toán. Đó là một cách dạy có thể bảo vệ được, và nó khớp với chính lời mô tả của cuốn sách về cách nó vận hành: các chương mở đầu đặt lý thuyết, phần còn lại xây trên đó.

Từ lý thuyết đến thuật toán: máy vectơ hỗ trợ và hạt nhân #

Mục lục cũng nêu tên các chương thuật toán theo sau. Một chương có tên “Support Vector Machines” (máy vectơ hỗ trợ), với các mục cho trường hợp tách được và trường hợp không tách được. Mỗi mục ấy bao gồm bài toán tối ưu gốc, các vectơ hỗ trợ và bài toán tối ưu đối ngẫu. Một chương khác có tên “Kernel Methods” (phương pháp hạt nhân).

Hình dạng của chương máy vectơ hỗ trợ tự nó đã nói lên điều gì đó. Cùng ba chủ đề xuất hiện dưới cả hai tiêu đề tách được và không tách được: bài toán tối ưu gốc, các vectơ hỗ trợ và bài toán tối ưu đối ngẫu. Sự lặp lại ấy gợi ý một cách trình bày song song, cùng những câu hỏi được đặt hai lần dưới những giả định khác nhau. Sự song song này phản chiếu việc chia trường hợp nhất quán và không nhất quán trong chương PAC, nên một khuôn mẫu hiện ra xuyên suốt cuốn sách: trường hợp gọn gàng trước, rồi đến trường hợp mà giả định gọn gàng thất bại.

Tôi dè chừng việc đọc quá nhiều từ một mục lục. Nó có thể cho biết cuốn sách bao quát những gì và chia nội dung ra sao. Nó không thể cho biết mục nào được viết tốt đến đâu, và không có gì trong các nguồn này nói về điều đó. Điều nó cho thấy là ngôn ngữ tối ưu hóa trong chương máy vectơ hỗ trợ, bài toán gốc và đối ngẫu, nối ngược về mô tả trong phần dẫn nhập rằng các kỹ thuật kết hợp khoa học máy tính với ý tưởng từ thống kê, xác suất và tối ưu hóa. Sợi tối ưu hóa trong danh sách ấy hiện ra cụ thể trong tên các mục này.

Cuốn sách cũng dành một chương riêng cho mỗi chủ đề: phân loại đa lớp, xếp hạng và hồi quy. Đó là một quyết định thiết kế đáng bảo vệ. Lẽ ra rất dễ coi chúng như chú thích cho phân loại nhị phân. Việc cho mỗi chủ đề một chương riêng cho thấy các tác giả xem chúng là những bài toán riêng biệt với phân tích riêng, và điều đó khớp với mục tiêu được nêu là trình bày thống nhất nhiều chủ đề thay vì một cách trình bày thiên về một góc nhìn.

Những gì cuốn sách chọn không đề cập #

Đoạn thú vị nhất trong lời nói đầu là về những gì bị lược đi. Cuốn sách, các tác giả nói, là một nhập môn tổng quát về học máy, có thể dùng làm sách tham khảo cho nhà nghiên cứu và giáo trình cho sinh viên. Sau khi đưa ra khẳng định rộng ấy, họ thêm một giới hạn: họ đã chọn lược đi vài chủ đề quan trọng, trong đó có mô hình đồ thị và mạng nơ-ron.

Ít giáo trình nói điều này thẳng thắn như vậy, và tôi cho rằng sự thẳng thắn ấy là một điểm mạnh. Người đọc biết trước cái gì còn thiếu có thể lên kế hoạch xoay quanh nó. Ai cần mạng nơ-ron sẽ biết phải tìm ở nơi khác, thay vì phát hiện ra khoảng trống ở chương chín.

Lý do cũng được nêu. Việc lược bỏ vừa vì mục đích ngắn gọn vừa vì hiện còn thiếu các bảo đảm lý thuyết vững chắc cho một số phương pháp. Có hai lý do được đưa ra. Sự ngắn gọn là ràng buộc thực tế của bất kỳ cuốn sách nào. Lý do thứ hai mới là điều cho bạn biết về triết lý của cuốn sách.

Hãy nối điều này lại với phần dẫn nhập. Các bảo đảm học lý thuyết là trục mà cuốn sách này được tổ chức quanh nó. Các bảo đảm phụ thuộc vào độ phức tạp của các lớp khái niệm và kích thước mẫu huấn luyện, và các chương lý thuyết đi trước vì mọi thứ khác được xây trên chúng. Một phương pháp hiện còn thiếu các bảo đảm vững chắc sẽ nằm lạc lõng trong một cuốn sách được xây như thế. Vì vậy việc lược bỏ xuất phát từ cam kết trung tâm của cuốn sách. Nó nhất quán với định nghĩa chủ đề mà các tác giả chọn để mở đầu.

Ở đây cần cẩn trọng. Văn bản nói “một số phương pháp”, nên khẳng định là về việc thiếu bảo đảm vững chắc cho một số phương pháp, không phải cho mọi chủ đề bị lược, và nó nói “hiện”, điều gắn nhận định với thời điểm viết. Tôi sẽ cưỡng lại cám dỗ tóm tắt điều này thành “mạng nơ-ron không có lý thuyết”. Nguồn không nói như vậy. Nó nói các bảo đảm cho một số phương pháp hiện còn thiếu, và rằng điều này, cùng với sự ngắn gọn, là lý do mô hình đồ thị và mạng nơ-ron bị bỏ ra ngoài.

Với người đọc kỹ thuật đang chọn học gì, hệ quả thực tế rất đơn giản. Cuốn sách này cho bạn vốn từ vựng về bảo đảm, và nó nói thẳng những lĩnh vực nào nó không đề cập.

Ấn bản thứ hai thay đổi gì #

Ấn bản thứ hai không chỉ là một lần in lại có sửa lỗi. Lời nói đầu liệt kê các phần bổ sung, và mỗi phần cho ta biết các tác giả nghĩ ấn bản đầu còn mỏng ở đâu.

Thay đổi chính là một chương đầy đủ về chọn mô hình, chương 4, về một chủ đề mà các tác giả mô tả là quan trọng và chỉ được bàn ngắn gọn trong ấn bản trước. Ngôn từ thẳng thắn. Họ không cho rằng ấn bản đầu đã đề cập tốt chủ đề này. Họ nói nó chỉ được bàn ngắn gọn và giờ họ đã dành cho nó một chương đầy đủ. Các mục bao gồm cực tiểu hóa rủi ro thực nghiệm (ERM) và cực tiểu hóa rủi ro cấu trúc (SRM), như mục lục cho thấy.

Vì sao chọn mô hình xứng đáng được nâng hạng? Các nguồn không nói, và tôi sẽ không bịa ra lý do thay cho các tác giả. Nhưng vị trí của nó nói lên nhiều điều. Chương 4 theo ngay sau các chương về khung PAC và về độ phức tạp Rademacher cùng chiều VC, điều đặt nó vào trong cái mà lời nói đầu gọi là ba hoặc bốn chương đầu đặt nền móng lý thuyết. Vậy là các tác giả không gắn chọn mô hình vào như một ý nghĩ chợt đến. Họ xây nó vào trong nền móng lý thuyết.

Các phần bổ sung tiếp theo là một chương mới về mô hình Entropy Cực đại, chương 12, và một chương mới về mô hình Entropy Cực đại Có điều kiện, chương 13. Hai chương hoàn toàn mới là một sự mở rộng đáng kể, và cuốn sách giờ dành hai chương liền nhau cho cặp chủ đề này.

Các phụ lục cũng thay đổi. Các tác giả đã thêm một mục đầy đủ về đối ngẫu Fenchel vào phụ lục B về tối ưu lồi, và thêm phụ lục E về lý thuyết thông tin. Cuốn sách cũng có một phụ lục phong phú trình bày ôn tập ngắn gọn về đại số tuyến tính. Những thay đổi này chỉ về một hướng nhất quán: phần toán hỗ trợ lớn lên cùng các chương. Đối ngẫu Fenchel gia nhập phụ lục tối ưu lồi, và lý thuyết thông tin có phụ lục riêng. Tôi sẽ không nói rằng lý thuyết thông tin có mặt ở đó đặc biệt để hỗ trợ các chương Entropy Cực đại, vì các nguồn không nêu mối liên hệ nào như vậy, và hai phần bổ sung xuất hiện trong lời nói đầu như những mục riêng. Việc chúng cùng xuất hiện trong một ấn bản là một sự trùng hợp mà tôi để nguyên là trùng hợp.

Cuốn sách dành cho ai, và muốn được đọc thế nào #

Cuốn sách nêu rõ người đọc: nó dành cho sinh viên và nhà nghiên cứu trong học máy, thống kê và các lĩnh vực liên quan khác. Danh sách ấy nêu tên thống kê, điều vọng lại ý của phần dẫn nhập rằng học máy về bản chất gắn liền với phân tích dữ liệu và thống kê.

Nó cũng nêu điều nó giả định. Người đọc được kỳ vọng quen thuộc với các khái niệm cơ bản về đại số tuyến tính, xác suất và phân tích thuật toán. Đó là một danh sách ngắn, và nó khớp với danh sách thành phần trong phần dẫn nhập, dù không hoàn toàn. Phần dẫn nhập nêu khoa học máy tính, thống kê, xác suất và tối ưu hóa là nguồn của các kỹ thuật. Các yêu cầu tiên quyết nêu đại số tuyến tính, xác suất và phân tích thuật toán. Tối ưu hóa không nằm trong yêu cầu tiên quyết, và cuốn sách xử lý điều đó từ phía bên kia: phụ lục B đề cập tối ưu lồi, cùng mục mới về đối ngẫu Fenchel. Đại số tuyến tính được kỳ vọng là kiến thức nền, và cuốn sách vẫn cung cấp phụ lục phong phú ôn lại nó. Vậy là yêu cầu tiên quyết và phụ lục chồng lên nhau một cách có chủ đích, và người đọc có đại số tuyến tính đã gỉ sét sẽ có một bản ôn ngắn gọn ngay trong cùng cuốn sách.

Phương pháp sư phạm cũng được nêu rõ. Mỗi chương kết thúc bằng một loạt bài tập, với lời giải đầy đủ được trình bày riêng. Đó là một cách sắp xếp hợp lý cho cuốn sách phục vụ hai đối tượng. Sinh viên có thể thử làm bài tập rồi đối chiếu với lời giải, còn nhà nghiên cứu dùng sách làm tài liệu tham khảo không bị buộc phải lướt qua những đáp án chi tiết trên mỗi trang. Lời giải được phát hành thành một tập riêng hay dưới dạng tài liệu khác thì nguồn không nói, chỉ nói chúng được trình bày riêng, nên tôi dừng lại ở đó.

Gộp lại, đối tượng người đọc, yêu cầu tiên quyết, bài tập và phụ lục mô tả một cuốn sách được thiết kế để người ta làm việc với nó từng bước. Mười bốn năm giảng dạy tại Courant Institute đứng sau thiết kế này. Một khóa học được dạy nhiều lần thường sinh ra bộ công cụ kiểu này, dù lời nói đầu không khẳng định rõ mối liên hệ ấy, và tôi chỉ đưa nó ra như một cách đọc bằng chứng, không phải một phát hiện.

Ứng dụng rất rộng, và cuốn sách nói vậy #

Một cuốn sách lý thuyết đến thế có thể bị lầm là xa rời thực tiễn. Phần dẫn nhập chặn điều đó bằng một phát biểu giản dị: học máy có một tập ứng dụng thực tiễn rất rộng. Ứng dụng được nêu tên là phân loại văn bản hay tài liệu, bao gồm cả phát hiện thư rác.

Phát hiện thư rác là một lựa chọn ví dụ tốt vì một lý do mà chính khung của các tác giả giải thích. Đó là một bài toán phân loại văn bản đúng theo nghĩa của ví dụ trước: văn bản có nhãn đi vào, dự đoán về văn bản chưa thấy đi ra. Các yếu tố kích thước mẫu và chất lượng nhãn áp dụng trực tiếp cho nó. Mẫu lớn hơn làm nhiệm vụ dễ hơn, còn thư bị gán nhãn sai làm nó khó hơn. Số danh mục có thể có là nhỏ, điều mà theo logic của đoạn trước cũng ảnh hưởng đến độ khó. Tôi đang áp các yếu tố mà cuốn sách nêu vào ví dụ mà nó nêu, và tôi không khẳng định gì về các bộ lọc thư rác ngoài đời thực.

Vị trí của đoạn này cũng ẩn chứa một lập luận lặng lẽ. Các tác giả giới thiệu phân loại văn bản như một nhiệm vụ học rồi lập tức lưu ý rằng nó hoàn toàn không phải nhiệm vụ duy nhất. Ứng dụng rộng vì định nghĩa nền tảng rộng. Bất cứ điều gì khớp với “các phương pháp tính toán dùng kinh nghiệm để cải thiện hiệu năng hoặc để đưa ra dự đoán chính xác” đều đủ điều kiện. Tính tổng quát ấy cũng là lý do cuốn sách bận tâm đến lý thuyết. Một khung được định để bao quát một tập ứng dụng rất rộng không thể bị buộc vào chi tiết của bất kỳ ứng dụng nào, và các bảo đảm được phát biểu bằng độ phức tạp lớp khái niệm và kích thước mẫu chính là loại có thể đi từ bài toán này sang bài toán khác.

Canh bạc mà cuốn sách đặt cược #

Gom các sợi chỉ lại và một lập trường mạch lạc hiện ra, điều mà mục lục của phần lớn giáo trình không thể tự nhận. Cuốn sách định nghĩa học bằng kinh nghiệm và dự đoán. Nó nêu ba độ phức tạp, thời gian, không gian và mẫu, làm thước đo chất lượng. Nó gắn bảo đảm với độ phức tạp lớp khái niệm và kích thước mẫu, và đặt phần lý thuyết cung cấp các bảo đảm ấy lên đầu. Rồi nó xây các chương thuật toán trên nền đó và nói công khai những lĩnh vực phổ biến nào nó bỏ ra ngoài vì các bảo đảm cho một số phương pháp, đến nay, chưa vững chắc.

Đây là một canh bạc đặt vào lý thuyết như thứ trường tồn. Tôi hiểu vì sao một nhóm tác giả đã dành nhiều năm dạy một khóa sau đại học lại đặt cược như vậy. Canh bạc có cái giá, và các tác giả gọi tên nó: việc lược bỏ mô hình đồ thị và mạng nơ-ron là cái giá của việc kiên quyết đòi các bảo đảm vững chắc. Người đọc nên cân nhắc cái giá ấy một cách thành thật. Nếu công việc của bạn bị chi phối bởi các lĩnh vực bị lược, cuốn sách này là một nền móng chứ không phải một cẩm nang. Nếu công việc của bạn cần suy luận xem một bộ học có tổng quát hóa được từ một mẫu hữu hạn hay không, vốn từ vựng của cuốn sách chính là cốt lõi của nó.

Với các nhà sáng lập, bài học hữu ích là bài học kém hào nhoáng nhất. Chất lượng và kích thước dữ liệu có tính quyết định đối với sự thành công của dự đoán, và độ khó của một nhiệm vụ phụ thuộc vào chất lượng nhãn và số chủ đề có thể có. Đó là những phát biểu về đầu vào mà bạn thường có thể tác động. Cuốn sách không hứa rằng một thuật toán cụ thể nào sẽ cứu được một mẫu mỏng hay gán nhãn sai, và nó đúng khi không hứa như vậy.

Với người đọc kỹ thuật, câu hỏi thú vị hơn là câu hỏi mà lời nói đầu để ngỏ. Các tác giả lược bỏ một số phương pháp vì hiện còn thiếu các bảo đảm lý thuyết vững chắc. Chữ “hiện” đóng khung điều đó như một tình trạng vào thời điểm viết, và các nguồn không nói liệu nó có thay đổi hay thay đổi thế nào. Cần gì để những bảo đảm ấy trở nên đủ vững chắc để xứng đáng có một chương? Cuốn sách không thể trả lời. Nhờ chính xác về những gì nó bỏ ra ngoài và vì sao, ít nhất nó cho thấy nên tìm ở đâu.

Ý nghĩa theo từng lĩnh vực #

Sự kiên quyết đòi các bảo đảm học thống kê và độ phức tạp mẫu đặt ra những ranh giới có thể hành động được trên nhiều lĩnh vực phần mềm và nghiên cứu.

Học máy hàn lâm và thiết kế chương trình đào tạo #

Các chương trình đào tạo phải cưỡng lại áp lực coi học máy là kỹ nghệ prompt thực nghiệm hay việc chắp nối framework. Đặt nền cho sinh viên bằng khung PAC, độ phức tạp Rademacher và cực tiểu hóa rủi ro cấu trúc tạo nên trực giác toán học bền vững, tồn tại qua sự thay đổi liên tục của các kiến trúc học sâu nhất thời.

Kỹ thuật AI doanh nghiệp và định giá dữ liệu #

Các tổ chức kỹ thuật triển khai hệ thống dự đoán thường phân bổ quá nhiều vốn cho tính toán (quy mô mô hình) trong khi xem nhẹ độ phức tạp mẫu và độ trung thực của nhãn. Vì sai số tổng quát hóa bị chặn chặt bởi độ phức tạp lớp khái niệm so với kích thước mẫu, các nhóm đạt ROI cao hơn khi đầu tư vào chú thích sạch và kiểm định mẫu thay vì các mô hình lớn hơn không chính quy hóa.

Nghiên cứu AI tiên phong và kiểm định mô hình #

Khi các khung pháp lý như EU AI Act yêu cầu những giới hạn có thể dự đoán đối với hệ thống ra quyết định tự động, các bảo đảm học thống kê được hình thức hóa trong Foundations of Machine Learning trở thành điều kiện cần cho tuân thủ. Cơ quan quản lý và kiểm định viên an toàn đòi hỏi các cận tổng quát hóa có thể chứng minh và quy trình chọn mô hình chặt chẽ, thay vì các điểm số kiểm định mang tính kinh nghiệm.

Kết luận #

Foundations of Machine Learning vẫn là một điểm neo không thể thiếu trong một lĩnh vực thường bị cám dỗ bởi chủ nghĩa kinh nghiệm thô. Bằng việc xây cả một giáo trình quanh học PAC, độ phức tạp Rademacher và chiều VC, Mehryar Mohri, Afshin Rostamizadeh và Ameet Talwalkar nhắc nhở các nhà nghiên cứu rằng sự thanh lịch của thuật toán không thể thay thế bảo đảm toán học. Việc các tác giả thẳng thắn lược bỏ mạng nơ-ron và mô hình đồ thị vì thiếu các bảo đảm dạng đóng không phải là khuyết điểm, mà là sức mạnh định hình cuốn sách, phân định rõ điều ngành học có thể chứng minh chặt chẽ với điều nó chỉ quan sát được.

Câu hỏi thường gặp #

Vì sao các tác giả lược bỏ mạng nơ-ron và mô hình đồ thị khỏi ấn bản thứ hai?

Các tác giả có chủ ý lược bỏ mạng nơ-ron và mô hình đồ thị vì mục đích ngắn gọn và vì hiện còn thiếu các bảo đảm lý thuyết vững chắc cho một số phương pháp trong đó. Cuốn sách được tổ chức chặt chẽ quanh các thuật toán cho phép có cận tổng quát hóa chặt chẽ.

Độ phức tạp mẫu khác độ phức tạp thời gian và không gian ở điểm nào?

Trong khi độ phức tạp thời gian đánh giá tốc độ thực thi và độ phức tạp không gian đo mức tiêu thụ bộ nhớ, độ phức tạp mẫu định lượng khối lượng dữ liệu huấn luyện về mặt toán học mà một thuật toán cần để học một họ khái niệm trong các dung sai sai số và độ tin cậy xác định.

Khác biệt cốt lõi giữa cực tiểu hóa rủi ro thực nghiệm và cực tiểu hóa rủi ro cấu trúc là gì?

Cực tiểu hóa rủi ro thực nghiệm (ERM) chọn giả thuyết cực tiểu hóa trực tiếp sai số huấn luyện, với nguy cơ quá khớp khi độ phức tạp giả thuyết cao. Cực tiểu hóa rủi ro cấu trúc (SRM) cân bằng sai số huấn luyện với độ phức tạp giả thuyết (như chiều VC hoặc độ phức tạp Rademacher), cung cấp các cận hình thức cho rủi ro tổng quát hóa.

Tài liệu tham khảo #

Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). Foundations of Machine Learning, ấn bản thứ hai ⧉. The MIT Press.
Leslie G. Valiant, (1984). Một lý thuyết về cái có thể học được ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). Lý thuyết học thống kê ⧉. John Wiley & Sons.

Cập nhật lần cuối 2026-10-10.

Cập nhật lần cuối 2026-10-27.

Đăng lại bài này

Mục lục của một giáo trình học máy nói gì về cả lĩnh vực — Sebastien Rousseau

Foundations of Machine Learning (ấn bản hai, MIT Press, 2018) của Mohri, Rostamizadeh và Talwalkar xây giáo trình quanh độ phức tạp mẫu và bảo đảm lý thuyết.

Bài viết này được cấp phép theo Creative Commons Attribution 4.0 International. Đăng lại yêu cầu ghi nguồn đến URL chính tắc.

Mục lục của một giáo trình học máy nói gì về cả lĩnh vực — Sebastien Rousseau

Foundations of Machine Learning (ấn bản hai, MIT Press, 2018) của Mohri, Rostamizadeh và Talwalkar xây giáo trình quanh độ phức tạp mẫu và bảo đảm lý thuyết.

Originally published at https://sebastienrousseau.com/vi/2026-10-10-muc-luc-mot-giao-trinh-hoc/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER