Makine öğrenmesi kitabının içindekiler sayfası alana dair ne söyler

Mehryar Mohri, Afshin Rostamizadeh ve Ameet Talwalkar'ın Foundations of Machine Learning kitabı (ikinci baskı, MIT Press, 2018) öğrenmeyi deneyimi doğru tahminler yapmak için kullanmak olarak tanımlıyor ve örneklem karmaşıklığı, Rademacher sınırları ve kuramsal garantiler etrafında titiz bir müfredat kuruyor.

Makine öğrenmesi üzerine kitapların çoğu, neler inşa edebileceğinize dair bir vaatle başlar. Bu kitap ise bir tanımla ve bir öğrenenin başarılı olup olmayacağını belirleyen niceliklerin listesiyle başlıyor. Bu sıralama, yazarların konuyu ne olarak gördüğünü anlatıyor ve bence doğru bir karar. Kendini tahmin üzerinden pazarlayan bir alan, okurlarına tahminlere ne zaman güvenilebileceğinin hesabını borçludur ve kitabın vermeye giriştiği şey de tam olarak bu hesap.

Bu yazı kitabı, ön sayfalarının, önsözünün ve açılış sayfalarının gerçekte söyledikleri üzerinden okuyor. Bu, her bölümü değerlendirmekten daha dar bir iş ve sınırları konusunda dürüst: buradaki kaynaklar başlık sayfası, içindekiler, önsöz ve girişin ilk kısmı. Bu sınırlar içinde izlenecek net bir argüman var. Makine öğrenmesinin ne olduğu, neye dayandığı, yazarların neyi kapsamayı ve neyi dışarıda bırakmayı seçtiğiyle ilgili.

Kesin bir soy kütüğü olan bir kitap #

Nesneyi sabitleyen olgularla başlayalım. Kitabın adı Foundations of Machine Learning ve bu ikinci baskı. Editörlüğünü Francis Bach'ın yaptığı Adaptive Computation and Machine Learning dizisine ait. Yazarları Mehryar Mohri, Afshin Rostamizadeh ve Ameet Talwalkar. Yayıncı The MIT Press, Cambridge, Massachusetts; telif hakkı Massachusetts Institute of Technology'ye ait ve tarihi 2018. Ciltli baskının ISBN'i 9780262039406.

İki üretim ayrıntısı birer cümleyi hak ediyor. Kitap LaTeX ile bizzat yazarlar tarafından dizilmiş, bu da sınırlar, tanımlar ve ispatlarla dolu bir metne uyuyor; Amerika Birleşik Devletleri'nde basılıp ciltlenmiş. Bu ayrıntıların hiçbiri matematiği nasıl okuyacağınızı değiştirmiyor. Ama kendi kitabını dizen yazarlar her sayfaya dokunmuş demektir ve bu türden bir kitapta bu güven verici.

Malzemenin kökeni daha önemli. Büyük kısmı, yine Foundations of Machine Learning adlı ve ilk yazarın son on dört yıldır New York Üniversitesi'ndeki Courant Institute of Mathematical Sciences'ta verdiği bir lisansüstü dersten doğuyor. Bu belirli ve doğrulanabilir bir köken. Tek bir dersin on dört yıllık öğretiminden çıkan bir ders kitabı muhtemelen öğrencilerin neyi zor bulduğuyla şekillenmiştir ve aşağıda anlatılan alıştırmalar ve ekler de öyle okunuyor. Bu çıkarımı kaynağın izin verdiğinden öteye götürmemeye dikkat ederim. Önsöz malzemenin nereden geldiğini söylüyor, ama dersin kaç revizyondan geçtiğini ya da öğrencilerin nerede zorlandığını söylemiyor. Söyledikleri yeterli: bu, literatürden derlenmiş bir derleme değil, ders malzemesi.

Asıl yükü taşıyan tanım #

Sonraki her şey tek bir cümleye dayanıyor. Yazarlara göre makine öğrenmesi, geniş anlamda, performansı iyileştirmek ya da doğru tahminler yapmak için deneyimi kullanan hesaplamalı yöntemler olarak tanımlanabilir.

Bu cümledeki her isim bir iş görüyor. “Hesaplamalı yöntemler” konuyu bilgisayar biliminin içine yerleştiriyor. Ardından “deneyim” netleştiriliyor: öğrenenin elindeki geçmiş bilgiyi ifade ediyor. Cümle, öğrenenin herhangi bir şeyi anladığı iddiasını dışarıda bırakıyor ve zekâdan hiç söz etmiyor. Bir öğrenenin geçmiş bilgisi ve bir hedefi var, yani iyileşen performans ya da doğru tahmin, ve tüm disiplin bu ikisi arasındaki ilişkiyle ilgili.

Bunun teknik okurlar ve kurucular için dolaşımdaki daha görkemli tanımlardan daha yararlı olduğunu savunurum, çünkü doğrudan sizin kontrol ettiğiniz kaldıraçları gösteriyor. Öğrenme geçmiş bilginin bir işleviyse, sonuç üzerindeki etkiniz hangi bilgiyi ve ne kadarını topladığınızda yatıyor. Metindeki bir sonraki iddia da bunu söylüyor: verinin kalitesi ve büyüklüğü, öğrenenin yaptığı tahminlerin başarısı için belirleyicidir. Bu ifade metinde hiçbir çekince eklenmeden, yalın bir mekanizma olarak gösteriliyor.

Yazarlar tekniklerin kendisini de tarif ediyor. Bunlar, bilgisayar biliminin temel kavramlarını istatistik, olasılık ve optimizasyondan gelen fikirlerle birleştiren veriye dayalı yöntemler. Bu cümle hem bir ön koşullar listesi hem de alanın komşularının haritası işlevi görüyor. Öğrenen sistemler kurmak isteyen bir ekip bilgisayar bilimi, istatistik, olasılık ve optimizasyondan birlikte yararlanıyor. Bunlardan herhangi birini isteğe bağlı saymak, kitabın onaylamadığı bir seçim.

Çözümlü bir örnek: belgeler ve konular #

Giriş, tanımı somut bir öğrenme problemine dayandırıyor. Her biri bir konuyla etiketlenmiş, rastgele seçilmiş belgelerden oluşan sonlu bir örneklem alın. Görev, bu örneklemi kullanarak görülmemiş belgelerin konusunu tahmin etmek.

Bu kurgu yavaş okunmayı hak ediyor. Örneklem sonlu, dolayısıyla öğrenen hiçbir zaman her şeyi görmüyor. Belgeler rastgele seçilmiş ve sonlu bir örneklemin görülmemiş belgeler hakkında bir şey söyleyebilmesini sağlayan da bu. Her biri bir konuyla etiketli, yani öğrenenin gözetimi var. Hedef ise görmediği belgeler ve tahmin etmekle ezberlemek arasındaki fark da bu.

Yazarlar ardından görevi kolaylaştıran ya da zorlaştıran iki şeyi öne çıkarıyor. Birincisi büyüklük: açıkçası örneklem büyüdükçe görev kolaylaşır. İkincisi etiket kalitesi. Görevin zorluğu, etiketlerin hepsi doğru olmayabileceği için örneklemdeki belgelere atanan etiketlerin kalitesine ve olası konuların sayısına da bağlıdır.

Bu cümlede üç ayrı ayar düğmesi var. Biri örneklem büyüklüğü. Bir diğeri etiketlerin doğruluğu. Üçüncüsü olası konuların sayısı. Hiçbiri algoritmayla ilgili değil. Hepsi problemin ve verinin özellikleri ve herhangi bir yöntem seçilmeden önce problemin ne kadar zor olduğunu belirliyorlar. Bütçeyi nereye harcayacağına karar veren bir kurucu için bu yerinde bir gözlem. Etiketleri iyileştirebiliyor ya da örneklemi büyütebiliyorsanız, yazarların zorluğu belirleyen etkenler olarak açıkça adlandırdığı şeyler üzerinde işlem yapıyorsunuz.

Örnek kendi görevini de adlandırıyor. Bir belgenin etiketini tahmin etmek belge sınıflandırması olarak da bilinir ve yazarlar bunun hiç de tek öğrenme görevi olmadığını hemen ekliyor. Bu uyarıyı atlamak kolay. Belge örneği bir araç ve altındaki iddia genel.

İki değil, üç karmaşıklık #

Kitap burada en ayırt edici hamlesini yapıyor ve kısa bir not olarak geldiği için gözden kaçırmak kolay. Yazarlara göre makine öğrenmesi verimli ve doğru tahmin algoritmaları tasarlamaktan oluşur. Bilgisayar biliminin diğer alanlarında olduğu gibi, zaman ve bellek karmaşıklığı bu tür algoritmaların kalitesinin kritik ölçüleridir. Algoritma çalışmış herkes bu ikisini tanır. Ne kadar sürüyor ve ne kadar bellek gerekiyor?

Sonra ekleme geliyor. Makine öğrenmesi ayrıca, algoritmanın bir kavram ailesini öğrenmesi için gereken örneklem büyüklüğünü değerlendirmek üzere bir örneklem karmaşıklığı kavramına ihtiyaç duyar. Bu, bir sıralama yordamında karşılığı olmayan ölçü. Bir sıralama algoritmasına kaç örneğe ihtiyacı olduğunu söylemek gerekmez. Bir öğrenene gerekir, çünkü çıktısı görmediği durumlar hakkında bir tahmindir ve o tahminin arkasındaki deneyim miktarı ödediğiniz bedelin bir parçasıdır.

Ben şöyle ifade ederim: zaman ve bellek bir algoritmayı çalıştırmanın maliyetini söyler, örneklem karmaşıklığı ise onu öğretmenin maliyetini. Hızlı ama pratik olmayacak kadar büyük bir örneklem isteyen bir öğrenen, veriyi toplayan kişi açısından önemli olan hiçbir anlamda verimli değildir. Üçüncü ölçüyü diğer ikisinin yanına koymak, kitabın verinin bir bedeli olan, hesaplama ve bellek gibi bütçelenmesi gereken bir kaynak olduğunu söyleme biçimi.

Metin aynı yönde devam ediyor. Daha genel olarak, bir algoritma için kuramsal öğrenme garantileri ele alınan kavram sınıflarının karmaşıklığına ve eğitim örnekleminin büyüklüğüne bağlıdır. Bu, bir garantinin neden oluştuğunun yoğun bir ifadesi. İki girdi var, kavram ailesinin ne kadar zengin olduğu ve ne kadar eğitim veriniz olduğu, ve garanti bunları performansla ilişkilendiren bir ifade. Bunun kitabın yapısı hakkında neyi ima ettiğine dikkat edin. İzleyen bölümlerin bir kavram sınıfının karmaşıklığını ölçmenin yollarını sunması gerekiyor ve içindekiler sayfası bunu yaptıklarını gösteriyor.

Yazarlar alanın neden olduğu yerde durduğunu da açıklıyor. Bir öğrenme algoritmasının başarısı kullanılan veriye bağlı olduğundan, makine öğrenmesi doğası gereği veri analizi ve istatistikle ilişkilidir. Mekanizma açıkça belirtiliyor: başarı veriye bağlı, dolayısıyla konu veriyi inceleyen disiplinlerle iç içe. Bunu girişteki en dürüst cümle buluyorum. İstatistiği bir rakip ya da bir ata olarak sunmuyor. İstatistiği, öğrenmenin neye dayandığının bir sonucu olarak sunuyor.

Boyut	Zaman Karmaşıklığı	Bellek Karmaşıklığı	Örneklem Karmaşıklığı
İşlevsel Tanım	$h$ hipotezini üretmek için gereken asimptotik çalışma süresi	Eğitim ve değerlendirme sırasında gereken bellek ayak izi	Kavram ailesini öğrenmek için gereken eğitim örneği sayısı $m$
Belirleyici Kuram	Hesaplama karmaşıklığı (P ve NP, eğitimin zorluğu)	Mimarinin bellek kısıtları ve önbellek yerelliği	PAC öğrenme, Rademacher karmaşıklığı ve VC boyutu
Maliyet Sonucu	Sunucu hesaplaması ve GPU/CPU çıkarım bütçesi	RAM ve yonga üstü SRAM kapasitesi	Veri toplama, açıklama ve etiketleme maliyeti
Kuramsal Rol	Algoritmanın çalışma süresi verimliliğini ölçer	Bellek kaynağı verimliliğini ölçer	Görülmemiş veride genelleme hatasını ve sınırlarını belirler

Kuramsal omurga #

Önsöz kitabın nasıl kurulduğunu söylüyor. İlk üç ya da dört bölüm, sonraki malzemenin kuramsal temelini atıyor. İçindekiler sayfası bu temelin, en azından başlıklar düzeyinde, neden yapıldığını görmemizi sağlıyor.

İçindekilerdeki ilk bölümün adı “The PAC Learning Framework” (PAC öğrenme çerçevesi) ve içinde “Guarantees for finite hypothesis sets - consistent case” ve “Guarantees for finite hypothesis sets - inconsistent case” (sonlu hipotez kümeleri için tutarlı ve tutarsız durumda garantiler) başlıklı kısımlar yer alıyor. Kısım adları bize iki şey söylüyor. Biri, çerçevenin garantiler ürettiği; bu da girişin vurgusuyla örtüşüyor. Diğeri, garantilerin durumun tutarlı ya da tutarsız olmasına göre ayrıldığı ve kitabın ikisini ayrı ayrı ele aldığı. Tutarlı ve tutarsız durumların ne içerdiği hakkında tahmin yürütmeyeceğim, çünkü buradaki kaynaklar yalnızca kısım başlıklarını veriyor. Ama bu eşleşme, yazarların tek bir temiz teorem sunup geçmediğini gösteriyor. Daha zor ve daha karışık duruma kendi kısmını veriyorlar.

Listedeki bir sonraki bölüm “Rademacher Complexity and VC-Dimension” (Rademacher karmaşıklığı ve VC boyutu). Kısımları Rademacher karmaşıklığını, büyüme fonksiyonunu, VC boyutunu ve alt sınırları kapsıyor. Girişle birlikte okunduğunda bu bölüm, girişin ortaya attığı bir sorunun doğal cevabı. Garantiler ele alınan kavram sınıflarının karmaşıklığına bağlıysa, o karmaşıklığı ölçecek araçlara ihtiyacınız var. Rademacher karmaşıklığı, büyüme fonksiyonu ve VC boyutu bu yükü taşıyan kısımlar olarak sıralanıyor. Kısım listesinde alt sınırların yer alması da kayda değer. Yalnızca üst sınırları sunan bir kitap neyin ulaşılabilir olduğunu söyler. Alt sınırları da içeren bir kitap neyin ulaşılamaz olduğunu da söyler.

Ardından, deneysel risk minimizasyonu (ERM) ve yapısal risk minimizasyonu (SRM) gibi kısımlar içeren 4. bölüm, “Model Selection” (model seçimi) geliyor. İkinci baskıya baktığımızda bu bölüme döneceğiz, çünkü yeni baskının en çok değiştiği yerlerden biri burası.

Yapı kasıtlı. Önce temeller, sonra karmaşıklığı ölçme düzeneği, sonra model seçimi ve ancak bundan sonra algoritmalar. Savunulabilir bir öğretim yolu ve kitabın kendi işleyişine dair anlattığıyla örtüşüyor: açılış bölümleri kuramı kuruyor, gerisi onun üzerine inşa ediliyor.

Kuramdan algoritmalara: destek vektör makineleri ve çekirdekler #

İçindekiler, ardından gelen algoritma bölümlerini de adlandırıyor. Biri “Support Vector Machines” (destek vektör makineleri) adını taşıyor ve ayrılabilir durum ile ayrılamaz durum için kısımlar içeriyor. Bu kısımların her biri birincil optimizasyon problemini, destek vektörlerini ve dual optimizasyon problemini kapsıyor. Bir diğerinin adı “Kernel Methods” (çekirdek yöntemleri).

Destek vektör makineleri bölümünün biçimi kendi başına bilgi veriyor. Aynı üç konu hem ayrılabilir hem ayrılamaz başlıkların altında yer alıyor: birincil optimizasyon problemi, destek vektörleri ve dual optimizasyon problemi. Bu tekrar paralel bir işleyişe, yani aynı soruların farklı varsayımlar altında iki kez sorulmasına işaret ediyor. Bu paralellik PAC bölümündeki tutarlı ve tutarsız ayrımını yansıtıyor ve kitap boyunca bir örüntü beliriyor: önce temiz durum, sonra temiz varsayımın çöktüğü durum.

Bir içindekiler sayfasından fazla anlam çıkarmaktan kaçınırım. Kitabın neyi kapsadığını ve malzemeyi nasıl böldüğünü söyleyebilir. Herhangi bir kısmın ne kadar iyi yazıldığını söyleyemez ve bu kaynaklarda buna dair bir şey yok. Gösterdiği şey ise destek vektör makineleri bölümündeki optimizasyon dilinin, birincil ve dual, girişte tekniklerin bilgisayar bilimini istatistik, olasılık ve optimizasyondan gelen fikirlerle birleştirdiği yolundaki tarife geri bağlandığı. O listenin optimizasyon kolu bu kısım başlıklarında somut biçimde ortaya çıkıyor.

Kitap ayrıca çok sınıflı sınıflandırma, sıralama ve regresyonun her birine ayrı bir bölüm ayırıyor. Bu, savunulmaya değer bir tasarım kararı. Bunları ikili sınıflandırmanın dipnotları olarak ele almak kolay olurdu. Her birine kendi bölümünü vermek, yazarların bunları kendi analizleri olan ayrı problemler olarak gördüğünü gösteriyor ve tek bir bakış açısını kayıran bir sunum yerine birden çok konunun birleşik bir sunumu şeklindeki belirtilen hedefle örtüşüyor.

Kitabın kapsamamayı seçtikleri #

Önsözdeki en ilginç pasaj, dışarıda bırakılanlarla ilgili. Yazarlara göre kitap, araştırmacılar için bir başvuru kitabı ve öğrenciler için bir ders kitabı işlevi görebilecek genel bir makine öğrenmesi girişi. Bu geniş iddiayı ortaya koyduktan sonra bir sınır ekliyorlar: grafik modeller ve sinir ağları da dahil olmak üzere birkaç önemli konuyu dışarıda bırakmayı seçmişler.

Pek az ders kitabı bunu bu kadar açık söyler ve bu açık sözlülüğün bir güç olduğunu savunurum. Neyin eksik olduğunu önceden bilen bir okur buna göre plan yapabilir. Sinir ağlarına ihtiyacı olan biri, boşluğu dokuzuncu bölümde keşfetmek yerine başka yere bakması gerektiğini bilir.

Gerekçeler de belirtiliyor. Dışarıda bırakma hem kısalık uğruna hem de bazı yöntemler için şu an sağlam kuramsal garantiler bulunmadığı için yapılmış. İki gerekçe veriliyor. Kısalık her kitap için pratik bir kısıt. Kitabın felsefesine dair bir şey söyleyen ise ikinci gerekçe.

Bunu girişe bağlayın. Kuramsal öğrenme garantileri, bu kitabın etrafında örgütlendiği şey. Garantiler kavram sınıflarının karmaşıklığına ve eğitim örnekleminin büyüklüğüne bağlı ve kuramsal bölümler önce geliyor, çünkü geri kalan her şey onların üzerine kurulu. Sağlam garantilerin şu an eksik olduğu bir yöntem, böyle kurulmuş bir kitaba zor oturur. Dolayısıyla dışarıda bırakma, kitabın merkezi bağlılığından kaynaklanıyor. Yazarların açılışta seçtiği konu tanımıyla tutarlı.

Burada dikkat edilmesi gereken bir nokta var. Metin “bazı yöntemler” diyor, yani iddia dışarıda bırakılan konuların tümü için değil, bazı yöntemler için sağlam garantilerin eksikliğiyle ilgili; ayrıca “şu an” diyor, bu da yargıyı yazıldığı zamana bağlıyor. Bunu “sinir ağlarının kuramı yok” diye özetleme cazibesine direnirim. Kaynağın söylediği bu değil. Kaynak, bazı yöntemler için garantilerin şu an eksik olduğunu ve bunun, kısalıkla birlikte, grafik modellerin ve sinir ağlarının dışarıda bırakılma nedeni olduğunu söylüyor.

Ne çalışacağını seçen teknik okurlar için pratik sonuç basit. Bu kitap size garantilerin dilini veriyor ve hangi alanları kapsamadığını açıkça söylüyor.

İkinci baskı neyi değiştiriyor #

İkinci baskı, düzeltmeli bir yeniden basımdan fazlası. Önsöz eklemeleri sıralıyor ve her biri yazarların ilk baskıyı nerede zayıf bulduğunu gösteriyor.

Başlıca değişiklik model seçimi üzerine tam bir bölüm, 4. bölüm; yazarların önemli diye nitelediği ve önceki baskıda yalnızca kısaca ele alınan bir konu. Dil açık. İlk baskının konuyu iyi kapsadığını iddia etmiyorlar. Yalnızca kısaca tartışıldığını ve artık ona tam bir bölüm verdiklerini söylüyorlar. İçindekilerin gösterdiği gibi kısımlar arasında deneysel risk minimizasyonu (ERM) ve yapısal risk minimizasyonu (SRM) var.

Model seçimi bu terfiyi neden hak ediyor? Kaynaklar söylemiyor ve yazarlar adına bir gerekçe uydurmayacağım. Ama yerleşimi çok şey anlatıyor. 4. bölüm doğrudan PAC çerçevesi ile Rademacher karmaşıklığı ve VC boyutu bölümlerinin ardından geliyor; bu da onu önsözün kuramsal temeli atan ilk üç ya da dört bölüm dediği kısmın içine yerleştiriyor. Yani yazarlar model seçimini sonradan akla gelmiş bir ek olarak iliştirmemiş. Onu kuramsal temelin içine yerleştirmişler.

Sonraki eklemeler Maksimum Entropi modelleri üzerine yeni bir bölüm, 12. bölüm, ve Koşullu Maksimum Entropi modelleri üzerine yeni bir bölüm, 13. bölüm. Tamamen yeni iki bölüm kayda değer bir genişleme ve kitap artık bu ikiliye ardışık bölümler ayırıyor.

Ekler de değişiyor. Yazarlar dışbükey optimizasyon üzerine olan B ekine Fenchel dualitesi üzerine tam bir kısım eklemiş ve bilgi kuramı üzerine E ekini eklemiş. Kitapta ayrıca doğrusal cebirin kısa bir özetini sunan kapsamlı bir ek de var. Bu değişiklikler tutarlı bir yönü gösteriyor: destekleyici matematik bölümlerle birlikte büyümüş. Fenchel dualitesi dışbükey optimizasyon ekine katılıyor, bilgi kuramı da kendi ekine kavuşuyor. Bilgi kuramının özellikle Maksimum Entropi bölümlerini desteklemek için orada olduğunu söylemekten kaçınırım, çünkü kaynaklar böyle bir bağ kurmuyor ve iki ekleme önsözde ayrı maddeler olarak geçiyor. Aynı baskıdaki zamanlamalarını bir rastlantı olarak bırakıyorum.

Kitap kimin için ve nasıl okunmayı bekliyor #

Kitap okur kitlesini belirtiyor: makine öğrenmesi, istatistik ve diğer ilgili alanlardaki öğrenciler ve araştırmacılar için hazırlanmış. Bu liste istatistiği adıyla anıyor; bu da girişin makine öğrenmesinin doğası gereği veri analizi ve istatistikle ilişkili olduğu tespitini yankılıyor.

Neyi varsaydığını da belirtiyor. Okurun doğrusal cebir, olasılık ve algoritma analizindeki temel kavramlara aşina olması bekleniyor. Bu kısa bir liste ve girişteki bileşenler listesiyle, tam olmasa da, örtüşüyor. Giriş tekniklerin kaynakları olarak bilgisayar bilimi, istatistik, olasılık ve optimizasyonu sayıyor. Ön koşullar doğrusal cebir, olasılık ve algoritma analizini sayıyor. Optimizasyon ön koşullar arasında değil ve kitap bunu öbür taraftan ele alıyor: B eki, yeni Fenchel dualitesi kısmıyla birlikte, dışbükey optimizasyonu kapsıyor. Doğrusal cebir arka plan olarak bekleniyor ve kitap yine de onu gözden geçiren kapsamlı eki sunuyor. Yani ön koşullar ve ekler bilinçli olarak örtüşüyor ve doğrusal cebiri paslanmış bir okur aynı kapağın içinde kısa bir özet buluyor.

Öğretim yaklaşımı da açıkça belirtiliyor. Her bölüm bir dizi alıştırmayla bitiyor ve tam çözümler ayrıca sunuluyor. İki kitleye hizmet eden bir kitap için bu makul bir düzen. Bir öğrenci alıştırmaları deneyip çözümlerle karşılaştırabilir ve kitabı başvuru kaynağı olarak kullanan bir araştırmacı her sayfada çözülmüş cevapların arasından geçmek zorunda kalmaz. Çözümlerin ayrı bir cilt olarak mı yoksa başka bir belge olarak mı geldiğini kaynak söylemiyor, yalnızca ayrıca sunulduklarını söylüyor; ben de konuyu orada bırakıyorum.

Birlikte ele alındığında okur kitlesi, ön koşullar, alıştırmalar ve ekler üzerinde çalışılmak üzere tasarlanmış bir kitabı tarif ediyor. Courant Institute'taki on dört yıllık öğretim bu tasarımın arkasında duruyor. Tekrar tekrar verilen bir ders bu tür bir düzenek üretme eğilimindedir, ama önsöz bu bağı açıkça iddia etmiyor ve ben bunu bir bulgu olarak değil, yalnızca kanıtın bir okuması olarak sunuyorum.

Uygulamalar geniş ve kitap bunu söylüyor #

Bu kadar kuramsal bir kitap uygulamadan uzak bir şey sanılabilir. Giriş bunun önünü yalın bir ifadeyle kesiyor: makine öğrenmesi çok geniş bir pratik uygulama yelpazesine olanak tanır. Adını verdiği uygulama, istenmeyen e-posta tespitini de içeren metin ya da belge sınıflandırması.

İstenmeyen e-posta tespiti, yazarların kendi çerçevesinin açıkladığı bir nedenle iyi bir örnek seçimi. Tam da önceki örnekteki anlamda bir belge sınıflandırma problemi: girdide etiketli belgeler, çıktıda görülmemiş belgeler hakkında tahminler. Örneklem büyüklüğü ve etiket kalitesi etkenleri ona doğrudan uygulanıyor. Daha büyük bir örneklem görevi kolaylaştırıyor, yanlış etiketlenmiş iletiler ise zorlaştırıyor. Olası kategori sayısı az ve önceki pasajın mantığına göre bu da zorluğu etkiliyor. Kitabın belirttiği etkenleri kitabın belirttiği örneğe uyguluyorum ve gerçek dünyadaki istenmeyen e-posta filtreleri hakkında hiçbir şey iddia etmiyorum.

Bu pasajın yerleşiminde sessiz bir argüman da var. Yazarlar belge sınıflandırmasını bir öğrenme görevi olarak tanıtıyor ve hemen ardından hiç de tek görev olmadığını belirtiyor. Uygulamalar geniş, çünkü temeldeki tanım geniş. “Performansı iyileştirmek ya da doğru tahminler yapmak için deneyimi kullanan hesaplamalı yöntemler” tanımına uyan her şey bu kapsama giriyor. Bu genellik, kitabın neden kuramla uğraştığını da açıklıyor. Çok geniş bir uygulama yelpazesini kapsaması amaçlanan bir çerçeve herhangi birinin ayrıntılarına bağlı kalamaz ve kavram sınıfı karmaşıklığı ile örneklem büyüklüğü cinsinden ifade edilen garantiler tam da problemler arasında taşınabilen türden.

Kitabın girdiği iddia #

İplikleri bir araya getirin, tutarlı bir tutum ortaya çıkıyor; bu, çoğu ders kitabının içindekiler sayfasının öne sürebileceğinden fazlası. Kitap öğrenmeyi deneyim ve tahmin cinsinden tanımlıyor. Kalitenin ölçüleri olarak üç karmaşıklık sayıyor: zaman, bellek ve örneklem. Garantileri kavram sınıfı karmaşıklığına ve örneklem büyüklüğüne bağlıyor ve bu garantileri sağlayan kuramı en öne koyuyor. Ardından algoritma bölümlerini bu temel üzerine kuruyor ve bazı yöntemler için garantiler şimdilik sağlam olmadığından hangi popüler alanları dışarıda bıraktığını açıkça söylüyor.

Bu, kuramın kalıcı olan şey olduğuna dair bir iddia. Yıllarca bir lisansüstü ders vermiş bir yazar ekibinin neden bu iddiaya girdiğini anlayabiliyorum. İddianın bir bedeli var ve yazarlar onu adlandırıyor: grafik modellerin ve sinir ağlarının dışarıda bırakılması, sağlam garantilerde ısrar etmenin bedeli. Okur bu bedeli dürüstçe tartmalı. İşiniz dışarıda bırakılan alanların hâkimiyetindeyse bu kitap bir kılavuz değil, bir temel. İşiniz bir öğrenenin sonlu bir örneklemden genelleme yapıp yapmayacağı üzerine akıl yürütmeyi gerektiriyorsa, kitabın dili tam da meselenin kendisi.

Kurucular için yararlı çıkarım en az parlak olanı. Verinin kalitesi ve büyüklüğü tahminlerin başarısı için belirleyici ve bir görevin zorluğu etiket kalitesine ve olası konuların sayısına bağlı. Bunlar çoğu zaman etkileyebileceğiniz girdiler hakkındaki ifadeler. Kitap, belirli bir algoritmanın zayıf ya da yanlış etiketlenmiş bir örneklemi kurtaracağını vaat etmiyor ve vaat etmemekte haklı.

Teknik okurlar için daha ilginç soru, önsözün açık bıraktığı soru. Yazarlar bazı yöntemleri, şu an sağlam kuramsal garantiler bulunmadığı için dışarıda bıraktı. “Şu an” sözcüğü bunu yazıldığı zamanki bir durum olarak çerçeveliyor ve kaynaklar bunun değişip değişmeyeceğini ya da nasıl değişebileceğini söylemiyor. Bu garantilerin bir bölümü hak edecek kadar sağlamlaşması için ne gerekirdi? Kitap buna cevap veremez. Neyi neden dışarıda bıraktığı konusunda kesin olarak, en azından nereye bakılacağını gösteriyor.

Sektörlere göre anlamı #

İstatistiksel öğrenme garantileri ve örneklem karmaşıklığı üzerindeki ısrar, birkaç yazılım ve araştırma alanında uygulanabilir sınırlar çiziyor.

Akademik makine öğrenmesi ve müfredat tasarımı #

Eğitim programları, makine öğrenmesini deneysel istem mühendisliği ya da çerçeve tesisatı olarak ele alma baskısına direnmeli. Öğrencileri PAC çerçevesine, Rademacher karmaşıklığına ve yapısal risk minimizasyonuna dayandırmak, geçici derin öğrenme mimarilerinin değişimine dayanan kalıcı matematiksel sezgiler kazandırır.

Kurumsal yapay zekâ mühendisliği ve verinin değerlemesi #

Tahmine dayalı sistemler kuran mühendislik kuruluşları çoğu zaman sermayenin fazlasını hesaplamaya (model ölçeği) ayırıp örneklem karmaşıklığını ve etiket doğruluğunu ihmal eder. Genelleme hatası, örneklem büyüklüğüne göre kavram sınıfı karmaşıklığıyla sıkı biçimde sınırlandığından, ekipler daha büyük ve düzenlileştirilmemiş modeller yerine temiz açıklamaya ve örneklem denetimine yatırım yaparak daha yüksek yatırım getirisi elde eder.

Öncü yapay zekâ araştırması ve model denetimi #

EU AI Act gibi düzenleyici çerçeveler otomatik karar sistemleri için öngörülebilir sınırlar şart koştukça, Foundations of Machine Learning'de biçimselleştirilen istatistiksel öğrenme garantileri uyum için zorunluluk haline geliyor. Düzenleyiciler ve güvenlik denetçileri sezgisel doğrulama puanları yerine kanıtlanabilir genelleme sınırları ve titiz model seçimi protokolleri istiyor.

Sonuç #

Foundations of Machine Learning, sık sık ham deneycilikle cezbedilen bir alanda vazgeçilmez bir dayanak olmayı sürdürüyor. Mehryar Mohri, Afshin Rostamizadeh ve Ameet Talwalkar, koca bir müfredatı PAC öğrenme, Rademacher karmaşıklığı ve VC boyutu etrafında kurarak araştırmacılara algoritmik zarafetin matematiksel garantilerin yerini tutamayacağını hatırlatıyor. Yazarların kapalı biçimli garantilerin yokluğu nedeniyle sinir ağlarını ve grafik modelleri açık yüreklilikle dışarıda bırakması bir kusur değil, kitabın belirleyici gücü; disiplinin titizlikle kanıtlayabildiğini yalnızca gözlemlediğinden açıkça ayırıyor.

Sıkça Sorulan Sorular #

Yazarlar sinir ağlarını ve grafik modelleri ikinci baskıdan neden çıkardı?

Yazarlar sinir ağlarını ve grafik modelleri kısalık uğruna ve bu yöntemlerin birçoğu için günümüzde sağlam kuramsal garantiler bulunmadığı için bilinçli olarak dışarıda bıraktı. Kitap, titiz genelleme sınırlarına izin veren algoritmalar etrafında sıkı biçimde örgütlenmiş.

Örneklem karmaşıklığını zaman ve bellek karmaşıklığından ayıran nedir?

Zaman karmaşıklığı yürütme hızını, bellek karmaşıklığı bellek tüketimini ölçerken, örneklem karmaşıklığı bir algoritmanın belirli hata ve güven toleransları içinde bir kavram ailesini öğrenmesi için gereken eğitim verisinin matematiksel hacmini nicelendirir.

Deneysel risk minimizasyonu ile yapısal risk minimizasyonu arasındaki temel ayrım nedir?

Deneysel risk minimizasyonu (ERM) eğitim hatasını doğrudan en aza indiren hipotezi seçer ve hipotez karmaşıklığı yüksek olduğunda aşırı öğrenme riski taşır. Yapısal risk minimizasyonu (SRM) eğitim hatasını hipotez karmaşıklığıyla (VC boyutu ya da Rademacher karmaşıklığı gibi) dengeler ve genelleme riski üzerinde biçimsel sınırlar sağlar.

Kaynaklar #

Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, (2018). Foundations of Machine Learning, İkinci Baskı ⧉. The MIT Press.
Leslie G. Valiant, (1984). Öğrenilebilir Olanın Bir Kuramı ⧉. Communications of the ACM.
Vladimir N. Vapnik, (1998). İstatistiksel Öğrenme Kuramı ⧉. John Wiley & Sons.

Son inceleme 2026-10-10.

Son inceleme 2026-10-27.

Bu makaleyi yeniden yayınla

Makine öğrenmesi kitabının içindekiler sayfası alana dair ne söyler — Sebastien Rousseau

Mohri, Rostamizadeh ve Talwalkar'ın Foundations of Machine Learning kitabı (2. baskı, MIT Press, 2018) müfredatı örneklem karmaşıklığı ve garantilere dayandırıyor.

Bu makale şu lisans altında yayınlanmıştır Creative Commons Attribution 4.0 International. Yeniden yayın, kanonik URL'ye atıfta bulunulmasını gerektirir.

Makine öğrenmesi kitabının içindekiler sayfası alana dair ne söyler — Sebastien Rousseau

Mohri, Rostamizadeh ve Talwalkar'ın Foundations of Machine Learning kitabı (2. baskı, MIT Press, 2018) müfredatı örneklem karmaşıklığı ve garantilere dayandırıyor.

Originally published at https://sebastienrousseau.com/tr/2026-10-10-makine-ogrenmesi-kitabinin-icindekiler-sayfasi-alana/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER