2023'te Üretken Yapay Zeka: Nasıl Çalışır, İlk Nerede Yer Bulur

TL;DR. 2023'te üretken yapay zeka: nasıl çalışır, finansal hizmetlerde ilk nerede uygulanır ve sorulması gereken etik ve mimari sorular.

Önemli Çıkarımlar

Transformer Mimarisi Nasıl Çalışır. 2023'te devreye alınan her önemli dil modeli (GPT-4, Claude 2, Llama 2, Mistral, Falcon), 2017 tarihli "Attention Is All You Need" makalesinde tanıtılan transformer mimarisi üzerine kuruludur.
2023'te Öne Çıkan Modeller. 2023, önceki tüm yıllardan daha fazla önemli model sürümü ortaya çıkardı:.
Üretken Yapay Zeka Finansal Hizmetlerde İlk Nerede Yer Buldu. 2023'ün sonuna gelindiğinde, finansal kurumlar dahili denemelerden birkaç farklı kullanım senaryosunda yapılandırılmış pilot programlara geçmişti:.
Üretimin Ortaya Çıkardığı Riskler. Finansal hizmetlerde demodan üretime geçiş, mimari yanıtlar gerektiren bir dizi riski gün yüzüne çıkardı:.

Yapay zeka işlemeyi temsil eden, mavi ve mor tonlarında soyut sinir ağı görselleştirmesi .class="img-fluid clearfix"

Yönetici Özeti / Öne Çıkanlar

Her şeyi değiştiren mimari. 2017 tarihli transformer makalesi öz-dikkat (self-attention) mekanizmasını tanıttı: girdideki her token çifti arasında ilgi ağırlıklarını hesaplayan ve RNN'lerin ardışık işlemesini paralelleştirilebilir matris işlemleriyle değiştiren bir mekanizma. 2023'teki her büyük dil modeli bir transformer türevidir (Vaswani vd., 2017).

2023 kıyas ölçütü olarak GPT-4. Mart 2023'te yayımlanan GPT-4, ABD Baro sınavında 90. yüzdelik dilimde, GRE Sözel bölümünde 99. yüzdelik dilimde puan aldı ve uzun belgeler boyunca çok adımlı akıl yürütme sergiledi. Sonraki modellerin ulaşmayı veya aşmayı hedeflediği yetenek ölçütünü belirledi (OpenAI, 2023).

Açık ağırlıklı modeller erişimi yaygınlaştırdı. Meta'nın Llama 2 modeli (Temmuz 2023) ve Mistral AI'nin Mistral 7B modeli (Eylül 2023), GPT-3.5 sınıfı yetenekle rekabet edebilen modellerin özel altyapıda çalışabildiğini gösterdi. Bu da düzenlemeye tabi sektörlerin veri ikamet (data residency) gereksinimlerini karşıladı.

2023'te finansal hizmetlerdeki pilot uygulamalar. 2023'ün sonuna kadar yaygınlaşan uygulamalar arasında hukuki sözleşme incelemesi (JPMorgan'ın DocLLM araştırması), düzenleyici değişiklik izleme ve geliştirici verimliliği araçları yer aldı. Goldman Sachs, yapay zeka kodlama yardımcılarının 10.000 geliştirici tarafından dahili olarak kullanıldığını bildirdi.

Halüsinasyon bir üretim engelidir. LLM'ler, kulağa makul gelen ancak olgusal olarak yanlış çıktıları göz ardı edilemeyecek oranlarda üretir. Düzenlemeye tabi kullanım senaryolarında (kredi kararları, uyum görüşleri, müşteri açıklamaları) halüsinasyon yüzeysel bir kusur değildir; retrieval-augmented generation (RAG) gibi mimari önlemler gerektiren bir düzenleyici ve sorumluluk riskidir.

Transformer Mimarisi Nasıl Çalışır

2023'te devreye alınan her önemli dil modeli (GPT-4, Claude 2, Llama 2, Mistral, Falcon), 2017 tarihli "Attention Is All You Need" makalesinde tanıtılan transformer mimarisi üzerine kuruludur. Temel mekanizmayı anlamak, bu modellerin hem neden işe yaradığını hem de nerede başarısız olduğunu açıklar.

Token'lar ve gömmeler (embeddings). Model, girdi metnini alt sözcük token'larına bölerek başlar (genellikle byte-pair encoding kullanarak). Her token, ön eğitim sırasında öğrenilen ve diğer token'larla anlamsal ilişkilerini kodlayan yüksek boyutlu bir vektöre (gömme) eşlenir.

Öz-dikkat (self-attention). Model her token için üç vektör hesaplar: bir Query (bu token'ın ne aradığı), bir Key (bu token'ın ne sunduğu) ve bir Value (bu token'ın ne kattığı). Dikkat puanları, her Query'nin tüm Key'lerle nokta çarpımı alınarak, ağırlıkları üretmek için softmax uygulanarak ve Value'ların bu puanlarla ağırlıklandırılıp toplanarak hesaplanır. Bu, her token'ın bağlam penceresindeki diğer her token'a eşzamanlı olarak dikkat etmesi anlamına gelir; bu da transformer'lara uzun menzilli bağımlılıkları işleme yeteneğini kazandıran mekanizmadır.

Çok başlı dikkat (multi-head attention). Birden çok dikkat başlığı paralel çalışır ve her biri farklı türde ilişkiler (sözdizimsel, anlamsal, konumsal) öğrenir. Çıktıları birleştirilir ve doğrusal olarak yansıtılır.

İleri beslemeli katmanlar (feed-forward). Dikkatin ardından her konum, doğrusal olmayan bir aktivasyonla birlikte iki doğrusal dönüşümden geçer. Bu katman, token başına hesaplamayı bağımsız olarak gerçekleştirir ve yerel öznitelik dönüşümlerini yakalar.

Ölçek. GPT-4'ün bir trilyondan fazla parametreye sahip olduğu tahmin edilmektedir (OpenAI tarafından doğrulanmamıştır). Llama 2 70B, 70 milyar parametre kullanır. Mistral 7B ise verimlilik için grouped-query attention ve sliding window attention ile 7 milyar parametre kullanır. Daha büyük modeller genellikle daha iyi sıfır atışlı (zero-shot) ve az atışlı (few-shot) akıl yürütme sergiler; bunlar, açıkça eğitilmedikleri görevlerde onları kullanışlı kılan ortaya çıkan (emergent) yeteneklerdir.

2023'te Öne Çıkan Modeller

2023, önceki tüm yıllardan daha fazla önemli model sürümü ortaya çıkardı:

GPT-4 (OpenAI, Mart 2023). Çok kipli (metin + görüntü girdisi), sonraki GPT-4 Turbo türevinde 128.000 token'a kadar bağlam penceresi, güçlü çok adımlı akıl yürütme. Profesyonel alan görevleri için kıyas ölçütünü belirledi.

Claude 2 (Anthropic, Temmuz 2023). 100.000 token'lık bağlam penceresi (lansmanda en uzunu), sözleşme incelemesi ve düzenleyici analiz gibi uzun belge görevlerinde güçlü performans. Zararlı çıktıları azaltmak için Constitutional AI eğitimi.

Llama 2 (Meta, Temmuz 2023). 7B, 13B, 34B ve 70B parametre türevlerinde açık ağırlıklı sürüm. Ticari kullanıma izin verildi. Düzenlemeye tabi sektörler için yerinde (on-premise) dağıtımı mümkün kıldı. Yüzlerce ince ayarlı türev doğurdu (Code Llama, Vicuna, WizardLM).

Mistral 7B (Mistral AI, Eylül 2023). Çoğu kıyaslamada Llama 2 13B'yi geride bırakan 7 milyar parametre. Grouped-query attention ve sliding window attention çıkarım maliyetini düşürür. GDPR ve EU AI Act bağlamında önem taşıyan ilk önemli Avrupa sınır modeli.

Falcon 180B (TII, Eylül 2023). 3,5 trilyon token'lık RefinedWeb verisiyle eğitilmiş 180 milyar parametreli açık ağırlıklı model. Açık ağırlıklı modellerin GPT-4 sınıfı ölçeğe yaklaşabileceğini gösterdi.

Üretken Yapay Zeka Finansal Hizmetlerde İlk Nerede Yer Buldu

2023'ün sonuna gelindiğinde, finansal kurumlar dahili denemelerden birkaç farklı kullanım senaryosunda yapılandırılmış pilot programlara geçmişti:

Geliştirici verimliliği. Kod üretim araçları (GitHub Copilot, Amazon CodeWhisperer, dahili olarak ince ayar yapılmış modeller) en yaygın devreye alınan kategori oldu. Goldman Sachs, 10.000 geliştiricinin yapay zeka kodlama yardımına erişimi olduğunu bildirdi. Morgan Stanley, finansal danışmanların 100.000 belgelik bir bilgi tabanından bilgi almasına yardımcı olmak için GPT-4'ü dahili olarak devreye aldı.

Hukuki ve düzenleyici belge işleme. Sözleşme maddesi çıkarımı, düzenleyici değişiklik izleme ve uyum eşlemesi en yüksek değerli pilotlardı. JPMorgan'ın DocLLM üzerine araştırması, belge düzenine duyarlı dil modellerinin finansal belge anlama görevlerinde genel amaçlı LLM'leri geride bıraktığını gösterdi.

Müşteri hizmetlerinin desteklenmesi. Bankalar, ilk kademe müşteri sorguları için LLM destekli yardımcılar devreye aldı ve düzenlemeye tabi tavsiyeler için insana yönlendirme kullandı. Temel kısıtlar: model düzenlemeye tabi tavsiye veremez, ürün koşulları hakkında halüsinasyon üretmemelidir ve denetlenebilir olmalıdır.

KYC ve AML anlatı üretimi. Analist incelemesi için karmaşık işlem örüntülerini ve müşteri profillerini özetlemek, daha önce manuel yazım işi olan bir görevin yerini alarak, daha düşük halüsinasyon riski taşıyan güvenilir bir kullanım senaryosu olarak ortaya çıktı; çünkü model yeni iddialar üretmek yerine sağlanan verileri özetler.

Üretimin Ortaya Çıkardığı Riskler

Finansal hizmetlerde demodan üretime geçiş, mimari yanıtlar gerektiren bir dizi riski gün yüzüne çıkardı:

Halüsinasyon. LLM'ler, görev türüne ve modele göre değişen oranlarda kendinden emin görünen yanlış çıktılar üretir. Olgusal hatırlama görevlerinde GPT-4 bile, uyum görüşleri veya kredi açıklamaları için kabul edilemez oranlarda halüsinasyon üretir. Birincil önlem retrieval-augmented generation (RAG) yöntemidir: modelin çıktısını yalnızca parametrik bilgiye dayanmak yerine, getirilen ve doğrulanabilir belgelere dayandırmak.

Prompt enjeksiyonu. Belgelere veya kullanıcı mesajlarına gömülü düşmanca girdiler, model davranışını yönlendirebilir. LLM'lerin güvenilmeyen belgeleri (sözleşmeler, e-postalar, müşteri gönderimleri) işlediği finansal hizmetlerde prompt enjeksiyonu teorik değil, üretim düzeyinde bir güvenlik riskidir.

Veri sızıntısı. Gizli veriler üzerinde ince ayar yapılmış veya bu verilerle yönlendirilmiş modeller, bu veriyi çıktıda yeniden üretebilir; bu, PII, işlem pozisyonları ve müşteri bilgileri için önemli bir risktir. Mimari kontroller (özel dağıtım, bağlam içi veri yönetimi, çıktı filtreleme) isteğe bağlı değil, zorunludur.

Model kaynağı ve denetlenebilirlik. Düzenleyiciler, finansal kurumların otomatik kararları açıklamasını bekler. Denetlenebilir bir akıl yürütme izi olmadan kredi değerlendirmesi üreten bir LLM, GDPR Article 22'nin, EU AI Act'in yüksek riskli yapay zeka hükümlerinin ve mevcut FCA model riski kılavuzunun açıklanabilirlik gereksinimlerini karşılamaz.

Güncelliğini yitirmiş bilgi. LLM'lerin eğitim kesim tarihleri vardır. 2023'ün başına kadar olan verilerle eğitilmiş bir model, o tarihten sonraki düzenleyici değişiklikleri, faiz kararlarını veya piyasa olaylarını bilmez; bu, RAG veya gerçek zamanlı getirme olmadan gerçek zamanlı uyum ya da piyasa yorumu kullanım senaryoları için önemli bir kısıttır.

Dağıtım Öncesi Yönetişim Gereksinimleri

2023'te faaliyet gösteren finansal hizmet uygulayıcıları, dağıtımdan önce düzenleyici kesinliği beklemiyordu; ancak önde gelen kurumlar SR 11-7 ve SS3/18 kılavuzlarından uyarlanan model riski yönetimi (MRM) çerçevelerini benimsedi:

Model envanteri ve dokümantasyon. İş fonksiyonları için devreye alınan LLM'ler; eğitim verisi kaynağının, ince ayar metodolojisinin, bilinen başarısızlık kiplerinin ve alana özgü doğrulama kümelerindeki performansın belgelenmesini gerektirir.

İnsan denetimli kontrol noktaları. Düzenlemeye tabi çıktılar (kredi kararları, uyum görüşleri, müşteri açıklamaları) için insan incelemesi 2023'te zorunlu kalmaya devam etti. Otomasyon, taslak hazırlama ve özetlemeye uygulandı; nihai onay insanda kaldı.

Tedarikçi riski. Üçüncü taraf bir model API'si (OpenAI, Anthropic, Google) kullanmak; tedarikçi yoğunlaşması riski, veri ikamet riski ve model değişikliği riski (sağlayıcılar modelleri sessizce güncelleyebilir) getirir. Kurumsal anlaşmalar ve özel dağıtımlar bunları kısmen azaltır.

Düzenleyicilerle etkileşim. FCA, PRA, ECB ve FINRA'nın tümü 2023'te yapay zeka yönetişimi üzerine belgeler yayımladı veya konuşmalar yaptı. Tutarlı mesaj şuydu: mevcut model riski çerçeveleri yapay zeka için de geçerlidir ve firmalar, resmi kılavuzdan önce yönetişim yaklaşımlarını belgelemede proaktif olmalıdır.

Sıkça Sorulan Sorular

Büyük dil modeli ile temel model arasındaki fark nedir?

Büyük dil modeli (LLM), dili tahmin etmek ve üretmek için büyük ölçekte metin verisiyle eğitilmiş bir modeldir. Temel model ise, birden çok alt görev için uyarlanabilen (ince ayar yapılan veya yönlendirilen) her türlü büyük ön eğitimli modeli kapsayan daha geniş bir terimdir; buna LLM'ler dahildir, ancak görüntü modelleri, kod modelleri ve çok kipli modeller de dahildir. GPT-4 hem bir LLM hem de bir temel modeldir. DALL-E 3 bir temel modeldir ancak bir LLM değildir. Uygulamada, metin üretim sistemlerinden bahsederken bu terimler çoğu zaman birbirinin yerine kullanılır.

Retrieval-augmented generation nedir ve finansal hizmetler için neden önemlidir?

RAG, bir dil modelini bir getirme sistemiyle birleştirir: yalnızca modelin parametrik bilgisine (eğitim sırasında öğrendiklerine) dayanmak yerine RAG, çıkarım zamanında ilgili belgeleri getirir ve bunları bağlam olarak sağlar. Bu, olgusal görevlerde halüsinasyonu belirgin biçimde azaltır; çünkü model öğrenilmiş olguları hatırlamak yerine sağlanan metni sentezler. Finansal hizmetlerde RAG; düzenleyici değişiklik izleme (her zaman güncel kuralları getirir) ve sözleşme incelemesi (modeli gerçek sözleşme metnine dayandırır) gibi, saf üretim yaklaşımıyla halüsinasyona fazla açık olacak kullanım senaryolarını mümkün kılar.

Finansal kurumlar, 2023'te üretken yapay zeka dağıtımlarıyla ilgili olarak EU AI Act'i nasıl ele almalıdır?

EU AI Act 2023'te hâlâ yasama sürecindeydi (Avrupa Parlamentosu tarafından Mart 2024'te kabul edildi, Ağustos 2024'te yürürlüğe girdi). Bununla birlikte, AB'de faaliyetleri veya AB'de müşterileri olan kurumlar hâlihazırda kendi süreçlerini değerlendiriyordu. Kredi puanlama, istihdam kararları ve kritik altyapıdaki yüksek riskli yapay zeka sistemleri; uygunluk değerlendirmeleri, insan gözetimi mekanizmaları ve denetim günlüğü tutmayı gerektirir. Genel amaçlı yapay zeka (GPAI) modelleri, ki buna GPT-4 gibi temel modeller dahildir, şeffaflık ve sistemik risk konusunda kendi gereksinim katmanına sahiptir. 2023'te dokümantasyon ve yönetişim çalışmalarına başlayan firmalar, uygulama son tarihleri için daha iyi konumlandı.

Kurumsal LLM dağıtımlarında ince ayar ile prompt mühendisliği arasındaki pratik fark nedir?

İnce ayar, alana özgü veriler üzerinde eğitimi sürdürerek modelin ağırlıklarını değiştirir; modele yeni bilgi ve davranış örüntüleri öğretir. Etiketli eğitim verisi, hesaplama bütçesi ve temel modeller güncellendikçe süregelen bakım gerektirir. Prompt mühendisliği (az atışlı örnekler ve sistem promptları dahil) ağırlıkları değiştirmeden çıkarım zamanında davranışı şekillendirir; uygulaması ve güncellenmesi daha hızlıdır, ancak temel modelin zaten bildikleriyle sınırlıdır. 2023'teki finansal hizmet dağıtımlarının çoğu için RAG artı prompt mühendisliği tercih edilen başlangıç noktasıydı; ince ayar ise modelin özel terminolojiyi öğrenmesi veya katı çıktı biçimlerini benimsemesi gereken durumlara ayrıldı.

Kaynaklar

Vaswani, A., vd., (2017). Attention Is All You Need ⧉.
OpenAI, (2023). GPT-4 Technical Report ⧉.
Touvron, H., vd., Meta AI, (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models ⧉.
Jiang, A., vd., Mistral AI, (2023). Mistral 7B ⧉.

Son inceleme 2026-08-06.

Bu makaleyi yeniden yayınla

2023'te Üretken Yapay Zeka: Nasıl Çalışır, İlk Nerede Yer Bulur — Sebastien Rousseau

2023'te üretken yapay zeka: nasıl çalışır, finansal hizmetlerde ilk nerede uygulanır ve sorulması gereken etik ve mimari sorular.

Bu makale şu lisans altında yayınlanmıştır Creative Commons Attribution 4.0 International. Yeniden yayın, kanonik URL'ye atıfta bulunulmasını gerektirir.

2023'te Üretken Yapay Zeka: Nasıl Çalışır, İlk Nerede Yer Bulur — Sebastien Rousseau

2023'te üretken yapay zeka: nasıl çalışır, finansal hizmetlerde ilk nerede uygulanır ve sorulması gereken etik ve mimari sorular.

Originally published at https://sebastienrousseau.com/tr/2023-11-12-uretken-yapay-zekayi-kesfetmek/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER