.class="img-fluid clearfix"
Akopọ Alase / Awọn Ẹkọ Pataki
- Ẹya ti o yi ohun gbogbo pada. Iwe transformer ti ọdun 2017 ṣafihan self-attention: ẹrọ kan ti o ṣe iṣiro awọn iwuwo pataki laarin gbogbo tọkọtaya ti awọn token ninu titẹ sii, rọpo sisẹ lẹsẹsẹ ti RNNs pẹlu awọn iṣẹ matrix ti a le jẹ ẹgbẹ. Gbogbo awoṣe ede pataki ni ọdun 2023 jẹ iyatọ transformer (Vaswani et al., 2017).
- GPT-4 gẹgẹ bi benchmark ti ọdun 2023. Ti tu silẹ ni Oṣù Kẹta 2023, GPT-4 gba percentile 90th ninu idanwo Bar AMẸRIKA, 99th ninu GRE Verbal, ati ṣafihan ero inu igbese pupọ kọja awọn iwe aṣẹ gigun. O ṣeto benchmark agbara ti awọn awoṣe atẹle ní ero lati pade tabi ju kọja (OpenAI, 2023).
- Awọn awoṣe open-weight ṣe ijọba tiwantiwa iraye si. Llama 2 ti Meta (Oṣù Keje 2023) ati Mistral 7B ti Mistral AI (Oṣù Kẹsan 2023) fihan pe awọn awoṣe ti o dije pẹlu agbara kilasi GPT-3.5 le ṣiṣẹ lori amayederun ikọkọ — ti o ni ipa awọn ibeere ibugbe data ti awọn ile-iṣẹ ti o ṣakoso.
- Awọn awakọ iṣẹ owo ni ọdun 2023. Awọn imọran gbooro ni ipari ọdun 2023 pẹlu atunyẹwo adehun ofin (iwadi DocLLM JPMorgan), ibojuwo iyipada ilana, ati awọn irinṣẹ iṣelọpọ olupilẹṣẹ. Goldman Sachs royin lilo inu ti awọn oluranlọwọ koodu AI kọja awọn olupilẹṣẹ 10,000.
- Hallucination jẹ idena iṣelọpọ. Awọn LLM ṣe awọn abajade ti ko tọ ti o dun ni igbẹkẹle ni awọn oṣuwọn ti o yatọ nipasẹ iru iṣẹ ati awoṣe. Ninu awọn ọran lilo ti o ṣakoso — awọn ipinnu kirẹditi, awọn ero inu ibamu, awọn ifihan si alabara — hallucination kii ṣe abawọn ohun ọṣọ; o jẹ ewu ilana ati ojuṣe ti o nilo awọn idinku ẹya bii retrieval-augmented generation (RAG).
Bii Ẹya Transformer Ṣe Ṣiṣẹ #
Gbogbo awoṣe ede pataki ti a fi ranṣẹ ni ọdun 2023 — GPT-4, Claude 2, Llama 2, Mistral, Falcon — ni a kọ lori ẹya transformer ti a ṣafihan ninu iwe ti ọdun 2017 "Attention Is All You Need." Oye ti ẹrọ akọkọ ṣalaye idi ti awọn awoṣe wọnyi ṣe ṣiṣẹ ati ibi ti wọn kuna.
Awọn token ati awọn embedding. Awoṣe bẹrẹ nipa pipin ọrọ titẹ sii sinu awọn token ọrọ-abẹ (ni gbogbogbo nipa lilo byte-pair encoding). Token kọọkan ni a ṣe afiwe si vector iwọn giga (embedding) ti o ṣe koodu awọn ibatan itumo rẹ pẹlu awọn token miiran, ti a kọ lakoko pre-training.
Self-attention. Fun token kọọkan, awoṣe ṣe iṣiro awọn vector mẹta: Query (kini token yii n wa), Key (kini token yii nfunni), ati Value (kini token yii n ṣe ipa). Awọn ami attention ni a ṣe iṣiro nipa ṣiṣe ọja dot ti Query kọọkan si gbogbo Keys, ṣiṣe softmax lati ṣe awọn iwuwo, ati yiyi awọn Value ti a wọn pẹlu awọn ami wọnyẹn. Eyi tumọ si pe token kọọkan fiyesi si gbogbo token miiran ninu window ẹsun ni akoko kanna — ẹrọ ti o fun awọn transformer agbara wọn lati mu awọn igbẹkẹle gigun.
Multi-head attention. Awọn ori attention pupọ n ṣiṣẹ ni afiwera, olukuluku n kọ awọn iru ibatan ti o yatọ (atọwọdọwọ, itumo, ipo). Awọn abajade wọn ni a sopọ ati ṣe asọtẹlẹ laini.
Awọn Layer feed-forward. Lẹhin attention, ipo kọọkan kọja nipasẹ awọn iyipada laini meji pẹlu imudara ti kii ṣe laini. Layer yii n ṣe iṣiro fun token kọọkan ni ominira, ti o mu awọn iyipada ẹya agbegbe.
Iwọn. GPT-4 ni ifoju ni ju trillion kan lọ awọn paramita (ti OpenAI ko tii jẹrisi). Llama 2 70B nlo 70 bilionu. Mistral 7B nlo 7 bilionu, pẹlu grouped-query attention ati sliding window attention fun ṣiṣe daradara. Awọn awoṣe nla ni gbogbogbo ṣe afihan ero inu zero-shot ati few-shot ti o dara julọ — awọn agbara ti n jade ti o jẹ ki wọn ṣe anfani fun awọn iṣẹ ti a ko kọ wọn ni gbangba fun.
Ala-Ilẹ Awoṣe ti ọdun 2023 #
Ọdun 2023 gbekalẹ awọn ifilọlẹ awoṣe pataki diẹ sii ju ọdun kankan ti iṣaaju:
GPT-4 (OpenAI, Oṣù Kẹta 2023). Ọpọ-ọna (ọrọ + titẹ sii aworan), window ẹsun to awọn token 128,000 ni iyatọ GPT-4 Turbo nigbamii, ero inu igbese-pupọ ti o lagbara. Ṣeto benchmark fun awọn iṣẹ ibugbe alamọja.
Claude 2 (Anthropic, Oṣù Keje 2023). Window ẹsun token 100,000 (gigun julọ ni ifilọlẹ), iṣẹ ti o lagbara lori awọn iṣẹ iwe aṣẹ gigun bii atunyẹwo adehun ati itupalẹ ilana. Ikẹkọ Constitutional AI fun awọn abajade ipalara ti dinku.
Llama 2 (Meta, Oṣù Keje 2023). Ifilọlẹ open-weight ni awọn iyatọ paramita 7B, 13B, 34B, ati 70B. Lilo iṣowo jẹ laaye. Ṣiṣẹ imọran on-premise fun awọn ile-iṣẹ ti o ṣakoso. Bí ọgọọgọrun awọn iyatọ fine-tuned (Code Llama, Vicuna, WizardLM).
Mistral 7B (Mistral AI, Oṣù Kẹsan 2023). 7 bilionu paramita ti o ju Llama 2 13B lọ lori ọpọlọpọ awọn benchmark. Grouped-query attention ati sliding window attention din iye owo inference kù. Awoṣe agbegbe Ilu Yuroopu pataki akọkọ, ti o yẹ ni ẹsun GDPR ati EU AI Act.
Falcon 180B (TII, Oṣù Kẹsan 2023). Awoṣe open-weight ti 180 bilionu paramita, ti a kọ lori awọn token 3.5 ẹgbẹrun bilionu ti data RefinedWeb. Ṣe afihan pe awọn awoṣe open-weight le sunmọ iwọn kilasi GPT-4.
Ibi Ti Generative AI Wọ Ni Akọkọ Ninu Awọn Iṣẹ Owo #
Ni ipari ọdun 2023, awọn ile-iṣẹ owo ti yipada lati idanwo inu si awọn eto awakọ ti a ṣeto ni ọpọlọpọ awọn ọran lilo iyatọ:
Iṣelọpọ olupilẹṣẹ. Awọn irinṣẹ ẹda koodu (GitHub Copilot, Amazon CodeWhisperer, awọn awoṣe fine-tuned inu) di ẹka ti a fi ranṣẹ gbooro julọ. Goldman Sachs royin pe awọn olupilẹṣẹ 10,000 ni iraye si iranlọwọ koodu AI. Morgan Stanley fi ranṣẹ GPT-4 inu lati ṣe iranlọwọ fun awọn alamọran owo gba alaye lati ipilẹ imọ iwe aṣẹ 100,000.
Sisẹ iwe aṣẹ ofin ati ilana. Isẹ gbigba abala adehun, ibojuwo iyipada ilana, ati maapu ibamu jẹ awọn awakọ iye ti o ga julọ. Iwadi JPMorgan lori DocLLM fihan pe awọn awoṣe ede ti o mọ aṣa iwe aṣẹ ju awọn LLM gbogbogbo lọ lori awọn iṣẹ oye iwe aṣẹ owo.
Imudara iṣẹ alabara. Awọn banki fi ranṣẹ awọn oluranlọwọ ti LLM ṣe agbara fun awọn ibeere alabara ila-akọkọ, pẹlu igoke eniyan fun imọran ti o ṣakoso. Awọn ihamọ pataki: awoṣe ko le fun imọran ti o ṣakoso, ko gbọdọ hallucinate awọn ofin ọja, ati pe o gbọdọ jẹ ayẹwọ.
Ẹda itan KYC ati AML. Ṣidinku awọn ilana iṣowo eka ati awọn profaili alabara fun atunyẹwo onínọmbà — rọpo ohun ti ti jẹ iṣẹ kikọ ọwọ — jade bi ọran lilo ti a le gbẹkẹle pẹlu ewu hallucination kekere nitori awoṣe ṣidinku data ti a pese dipo ṣe awọn ẹtọ tuntun.
Awọn Ewu Ti Iṣelọpọ Ṣafihan #
Gbigbe lati afihan si iṣelọpọ ninu awọn iṣẹ owo ṣafihan eto awọn ewu ti o nilo awọn idahun ẹya:
Hallucination. Awọn LLM ṣe awọn abajade ti o dun ni igbẹkẹle ti ko tọ ni awọn oṣuwọn ti o yatọ nipasẹ iru iṣẹ ati awoṣe. Lori awọn iṣẹ iranti otitọ, paapaa GPT-4 ṣe hallucinate ni awọn oṣuwọn ti ko ṣe gbanilaaye fun awọn ero inu ibamu tabi awọn ifihan kirẹditi. Idinku akọkọ jẹ retrieval-augmented generation (RAG): ṣe aaye abajade awoṣe ni awọn iwe aṣẹ ti a gba, ti a le jẹrisi dipo gbẹkẹle imọ paramita nikan.
Prompt injection. Awọn titẹ sii ọtá ti a fi sinu awọn iwe aṣẹ tabi awọn ifiranṣẹ olumulo le tun tọ ihuwasi awoṣe. Ninu awọn iṣẹ owo, ibi ti awọn LLM n ṣe ilana awọn iwe aṣẹ ti a ko gbẹkẹle (awọn adehun, awọn imeeli, awọn ifisilẹ alabara), prompt injection jẹ ewu aabo iṣelọpọ, kii ṣe imọ-ọrọ.
Jiju data. Awọn awoṣe fine-tuned tabi ti a fun pẹlu data ikọkọ le ṣe atunṣe data yẹn ninu abajade — ewu ohun elo fun PII, awọn ipo iṣowo, ati alaye alabara. Awọn iṣakoso ẹya (imọran ikọkọ, iṣakoso data-ninu-ẹsun, sisẹ abajade) ni a nilo, kii ṣe aṣayan.
Ipilẹṣẹ awoṣe ati iyẹwọ. Awọn aṣofin nireti awọn ile-iṣẹ owo lati ṣe alaye awọn ipinnu adaṣe. LLM kan ti o ṣe igbelewọn kirẹditi laisi itọpa ero inu ti a le ṣe ayẹwo kuna awọn ibeere ṣiṣe alaye ti GDPR Abala 22, awọn ipese AI eewu-giga ti EU AI Act, ati itọnisọna eewu awoṣe FCA ti isiyi.
Imọ ti ogbo. Awọn LLM ni awọn ọjọ ipalẹmọ ikẹkọ. Awoṣe ti a kọ lori data titi di ibẹrẹ ọdun 2023 ko mọ nipa awọn iyipada ilana, awọn ipinnu oṣuwọn, tabi awọn iṣẹlẹ ọja lẹhin ọjọ yẹn — ihamọ pataki fun lilo akoko gidi tabi awọn ọran lilo asọye ọja laisi RAG tabi gbigba akoko gidi.
Awọn Ibeere Ijọba Ṣaaju Imọran #
Awọn akosemose iṣẹ owo ti n ṣiṣẹ ni ọdun 2023 ko duro de idaniloju ilana ṣaaju imọran — ṣugbọn awọn ile-iṣẹ olori gba awọn ilana iṣakoso eewu awoṣe (MRM) ti a ṣatunṣe lati itọnisọna SR 11-7 ati SS3/18:
Ipo awoṣe ati iwe aṣẹ. Awọn LLM ti a fi ranṣẹ fun awọn iṣẹ iṣowo nilo iwe aṣẹ ti ipilẹṣẹ data ikẹkọ, ilana fine-tuning, awọn ipo ikuna ti a mọ, ati iṣẹ lori awọn eto ijẹrisi pato ibugbe.
Awọn aaye iṣayẹwo eniyan ninu lupu. Fun awọn abajade ti o ṣakoso (awọn ipinnu kirẹditi, awọn ero inu ibamu, awọn ifihan si alabara), atunyẹwo eniyan wa ni pataki ni ọdun 2023. Adaṣe ni a lo si ṣiṣẹda ati idinku; ifọwọsi ikẹhin wa ni eniyan.
Ewu ti o ta. Lilo API awoṣe ẹgbẹ-kẹta (OpenAI, Anthropic, Google) ṣe afihan ewu ifọkansi ti o ta, ewu ibugbe data, ati ewu iyipada awoṣe (awọn olupese le ṣe imudojuiwọn awọn awoṣe ni farasin). Awọn adehun ile-iṣẹ ati awọn imọran ikọkọ ṣe idinku apa kan iwọnyi.
Ifowosowopo ilana. FCA, PRA, ECB, ati FINRA gbogbo wọn gbekalẹ awọn iwe tabi awọn ọrọ lori ijọba AI ni ọdun 2023. Ifiranṣẹ ti o ni ibamu: awọn ilana eewu awoṣe ti o wa tẹlẹ kan si AI, ati awọn ile-iṣẹ yẹ ki o jẹ proactive ni ṣiṣe iwe aṣẹ ọna ijọba wọn ṣaaju itọnisọna osise.
Awọn Ibeere Ti A Saba Beere #
Kini iyatọ laarin awoṣe ede nla ati awoṣe ipilẹ?
Awoṣe ede nla (LLM) jẹ awoṣe ti a kọ lori data ọrọ ni iwọn lati sọtẹlẹ ati ṣe ede. Awoṣe ipilẹ jẹ ọrọ ti o gbooro julọ fun eyikeyi awoṣe ti a ti kọ tẹlẹ nla ti o le ṣatunṣe (fine-tuned tabi ti a fun) fun ọpọlọpọ awọn iṣẹ downstream — pẹlu awọn LLM ṣugbọn tun awọn awoṣe iran, awọn awoṣe koodu, ati awọn awoṣe ọpọ-ọna. GPT-4 jẹ LLM mejeeji ati awoṣe ipilẹ. DALL-E 3 jẹ awoṣe ipilẹ ṣugbọn kii ṣe LLM. Ni iṣe, awọn ọrọ naa ni a maa n lo ni paarọ nigbati o n tọka si awọn ọna ṣiṣe ẹda ọrọ.
Kini retrieval-augmented generation ati idi ti o ṣe pataki fun awọn iṣẹ owo?
RAG darapo awoṣe ede pẹlu eto gbigba: dipo gbẹkẹle nikan lori imọ paramita ti awoṣe (ohun ti o kọ lakoko ikẹkọ), RAG ṣe gbigba awọn iwe aṣẹ ti o yẹ ni akoko inference ati pese wọn bi ẹsun. Eyi ṣe idinku hallucination pataki lori awọn iṣẹ otitọ nitori awoṣe n ṣe ajọpọ ọrọ ti a pese dipo iranti awọn otitọ ti a kọ. Fun awọn iṣẹ owo, RAG ṣiṣẹ awọn ọran lilo bii ibojuwo iyipada ilana (nigbagbogbo ṣe gbigba awọn ofin lọwọlọwọ) ati atunyẹwo adehun (fi awoṣe sii ninu ọrọ adehun gidi) ti yoo jẹ hallucination-prone pupọ pẹlu ọna ẹda mimọ.
Bawo ni awọn ile-iṣẹ owo ṣe yẹ ki o ṣe mu EU AI Act si awọn imọran generative AI ni ọdun 2023?
EU AI Act wa ni ilana ofin ni ọdun 2023 (Ile-igbimọ Ilu Yuroopu gbekalẹ ni Oṣù Kẹta 2024, wọ si agbara Oṣù Kẹjọ 2024). Sibẹsibẹ, awọn ile-iṣẹ ti o ni awọn iṣẹ EU tabi awọn alabara EU ti n ṣe iṣiro awọn paipu wọn tẹlẹ. Awọn ọna ṣiṣe AI eewu-giga ni ṣiṣe aami kirẹditi, awọn ipinnu iṣẹ, ati amayederun pataki nilo awọn igbelewọn ibamu, awọn ẹrọ abojuto eniyan, ati iwesilẹ ayẹwo. Awọn awoṣe General-purpose AI (GPAI) — eyiti o pẹlu awọn awoṣe ipilẹ bii GPT-4 — ni ipele tiwọn ti awọn ibeere ni ayika ìmọ ati eewu eto. Awọn ile-iṣẹ ti o bẹrẹ iṣẹ iwe aṣẹ ati ijọba ni ọdun 2023 wa ni ipo ti o dara julọ fun awọn ọjọ gbepọ imọran.
Kini iyatọ iṣe laarin fine-tuning ati prompt engineering fun awọn imọran LLM ile-iṣẹ?
Fine-tuning ṣe atunṣe awọn iwuwo awoṣe nipa tẹsiwaju ikẹkọ lori data pato ibugbe — o kọ awoṣe imọ tuntun ati awọn ilana ihuwasi. O nilo data ikẹkọ ti a samisi, isuna iṣiro, ati itọju itẹsiwaju bi awọn awoṣe ipilẹ ti wa ni imudojuiwọn. Prompt engineering (pẹlu awọn apẹẹrẹ few-shot ati awọn prompt eto) ṣe apẹrẹ ihuwasi ni akoko inference laisi yiyipada awọn iwuwo — yiyara lati ṣe imọran ati imudojuiwọn, ṣugbọn ti diwọn nipasẹ ohun ti awoṣe ipilẹ mọ tẹlẹ. Fun ọpọlọpọ awọn imọran iṣẹ owo ọdun 2023, RAG pẹlu prompt engineering ni ibẹrẹ ibẹrẹ ti a fẹ; fine-tuning ni a fi pamọ fun awọn ọran ibi ti awoṣe nilo lati kọ ọrọ-aṣẹ tabi gba awọn ọna abajade to muna.
Awọn Itọkasi #
- Vaswani, A., et al., (2017). Attention Is All You Need ⧉.
- OpenAI, (2023). GPT-4 Technical Report ⧉.
- Touvron, H., et al., Meta AI, (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models ⧉.
- Jiang, A., et al., Mistral AI, (2023). Mistral 7B ⧉.
Àyẹ̀wò àkọ́kọ́ .
Àyẹ̀wò àkọ́kọ́ .