.class="img-fluid clearfix"
కార్యనిర్వాహక సారాంశం / ముఖ్య అంశాలు
- ప్రతిదానినీ మార్చిన ఆర్కిటెక్చర్. 2017 నాటి ట్రాన్స్ఫార్మర్ పత్రం సెల్ఫ్-అటెన్షన్ను ప్రవేశపెట్టింది: ఇది ఇన్పుట్లోని ప్రతి జత టోకెన్ల మధ్య ప్రాసంగికత బరువులను గణించే యంత్రాంగం, RNNల క్రమానుగత ప్రాసెసింగ్ను సమాంతరీకరించదగిన మ్యాట్రిక్స్ కార్యకలాపాలతో భర్తీ చేస్తుంది. 2023లోని ప్రతి ప్రధాన భాషా నమూనా ఒక ట్రాన్స్ఫార్మర్ రూపాంతరం (Vaswani et al., 2017).
- 2023 ప్రమాణంగా GPT-4. మార్చి 2023లో విడుదలైన GPT-4 US బార్ పరీక్షలో 90వ శాతభాగంలో, GRE వెర్బల్లో 99వ శాతభాగంలో స్కోర్ చేసింది, మరియు దీర్ఘ పత్రాలలో బహుళ-దశల తార్కికతను ప్రదర్శించింది. తదుపరి నమూనాలు చేరుకోవడానికి లేదా అధిగమించడానికి లక్ష్యంగా పెట్టుకున్న సామర్థ్య ప్రమాణాన్ని ఇది నిర్దేశించింది (OpenAI, 2023).
- ఓపెన్-వెయిట్ నమూనాలు ప్రాప్యతను ప్రజాస్వామ్యీకరించాయి. Meta యొక్క Llama 2 (జూలై 2023) మరియు Mistral AI యొక్క Mistral 7B (సెప్టెంబర్ 2023) GPT-3.5-తరగతి సామర్థ్యంతో పోటీపడే నమూనాలు ప్రైవేట్ మౌలిక సదుపాయాలపై నడవగలవని చూపించాయి — నియంత్రిత పరిశ్రమల డేటా నివాస అవసరాలను తీర్చాయి.
- 2023లో ఆర్థిక సేవల పైలట్లు. 2023 చివరి నాటికి విస్తృత విస్తరణలలో న్యాయ ఒప్పంద సమీక్ష (JPMorgan యొక్క DocLLM పరిశోధన), నియంత్రణ మార్పు పర్యవేక్షణ, మరియు డెవలపర్ ఉత్పాదకత సాధనాలు ఉన్నాయి. Goldman Sachs 10,000 డెవలపర్లలో AI కోడింగ్ సహాయకుల అంతర్గత వినియోగాన్ని నివేదించింది.
- భ్రాంతి ఒక ఉత్పాదన అడ్డంకి. LLMలు నమ్మదగినట్లుగా అనిపించే కానీ వాస్తవంగా తప్పైన అవుట్పుట్లను ముఖ్యమైన రేట్లలో ఉత్పత్తి చేస్తాయి. నియంత్రిత వినియోగ సందర్భాలలో — క్రెడిట్ నిర్ణయాలు, సమ్మతి అభిప్రాయాలు, కస్టమర్ వెల్లడింపులు — భ్రాంతి కేవలం ఒక అలంకారిక లోపం కాదు; ఇది రిట్రీవల్-అగ్మెంటెడ్ జనరేషన్ (RAG) వంటి నిర్మాణ ఉపశమనాలు అవసరమయ్యే ఒక నియంత్రణ మరియు బాధ్యత నష్టం.
ట్రాన్స్ఫార్మర్ ఆర్కిటెక్చర్ ఎలా పనిచేస్తుంది
2023లో విస్తరించిన ప్రతి ప్రధాన భాషా నమూనా — GPT-4, Claude 2, Llama 2, Mistral, Falcon — 2017 నాటి "Attention Is All You Need" పత్రంలో ప్రవేశపెట్టిన ట్రాన్స్ఫార్మర్ ఆర్కిటెక్చర్పై నిర్మించబడింది. ప్రధాన యంత్రాంగాన్ని అర్థం చేసుకోవడం ఈ నమూనాలు ఎందుకు పనిచేస్తాయో మరియు ఎక్కడ విఫలమవుతాయో రెండింటినీ వివరిస్తుంది.
టోకెన్లు మరియు ఎంబెడ్డింగ్లు. నమూనా ముందుగా ఇన్పుట్ టెక్స్ట్ను సబ్-వర్డ్ టోకెన్లుగా విభజించడంతో ప్రారంభమవుతుంది (సాధారణంగా బైట్-పెయిర్ ఎన్కోడింగ్ను ఉపయోగించి). ప్రతి టోకెన్ ఒక ఉన్నత-పరిమాణ వెక్టర్కు (ఒక ఎంబెడ్డింగ్) మ్యాప్ చేయబడుతుంది, ఇది ప్రీ-ట్రైనింగ్ సమయంలో నేర్చుకున్న ఇతర టోకెన్లతో దాని అర్థ సంబంధాలను ఎన్కోడ్ చేస్తుంది.
సెల్ఫ్-అటెన్షన్. ప్రతి టోకెన్ కోసం, నమూనా మూడు వెక్టర్లను గణిస్తుంది: ఒక Query (ఈ టోకెన్ ఏమి వెతుకుతోంది), ఒక Key (ఈ టోకెన్ ఏమి అందిస్తోంది), మరియు ఒక Value (ఈ టోకెన్ ఏమి దోహదపడుతోంది). ప్రతి Queryని అన్ని Keyలకు వ్యతిరేకంగా డాట్ ప్రొడక్ట్ తీసుకొని, బరువులను ఉత్పత్తి చేయడానికి softmax వర్తింపజేసి, ఆ స్కోర్లతో బరువు వేయబడిన Valueలను కూడబెట్టడం ద్వారా అటెన్షన్ స్కోర్లు గణించబడతాయి. అంటే ప్రతి టోకెన్ కాంటెక్స్ట్ విండోలోని ప్రతి ఇతర టోకెన్ను ఏకకాలంలో పరిగణిస్తుంది — ఇది ట్రాన్స్ఫార్మర్లకు దీర్ఘ-శ్రేణి ఆధారితతలను నిర్వహించే సామర్థ్యాన్ని ఇచ్చే యంత్రాంగం.
మల్టీ-హెడ్ అటెన్షన్. బహుళ అటెన్షన్ హెడ్లు సమాంతరంగా నడుస్తాయి, ప్రతి ఒక్కటి విభిన్న రకాల సంబంధాలను (వాక్యనిర్మాణ, అర్థపరమైన, స్థానపరమైన) నేర్చుకుంటుంది. వాటి అవుట్పుట్లు కలిపి, రేఖీయంగా ప్రొజెక్ట్ చేయబడతాయి.
ఫీడ్-ఫార్వర్డ్ లేయర్లు. అటెన్షన్ తర్వాత, ప్రతి స్థానం ఒక నాన్-లీనియర్ యాక్టివేషన్తో రెండు రేఖీయ పరివర్తనల ద్వారా వెళుతుంది. ఈ లేయర్ ప్రతి-టోకెన్ గణనను స్వతంత్రంగా నిర్వహిస్తుంది, స్థానిక ఫీచర్ పరివర్తనలను సంగ్రహిస్తుంది.
స్కేల్. GPT-4 ఒక ట్రిలియన్ కంటే ఎక్కువ పారామీటర్లుగా అంచనా వేయబడింది (OpenAI ధృవీకరించలేదు). Llama 2 70B 70 బిలియన్లను ఉపయోగిస్తుంది. Mistral 7B 7 బిలియన్లను ఉపయోగిస్తుంది, సామర్థ్యం కోసం గ్రూప్డ్-క్వెరీ అటెన్షన్ మరియు స్లైడింగ్ విండో అటెన్షన్తో. పెద్ద నమూనాలు సాధారణంగా మెరుగైన జీరో-షాట్ మరియు ఫ్యూ-షాట్ తార్కికతను ప్రదర్శిస్తాయి — ఇవి స్పష్టంగా శిక్షణ ఇవ్వని పనుల కోసం వాటిని ఉపయోగకరంగా చేసే ఉద్భవ సామర్థ్యాలు.
2023 నమూనా దృశ్యం
2023 ఏ మునుపటి సంవత్సరం కంటే ఎక్కువ ప్రధాన నమూనా విడుదలలను ఉత్పత్తి చేసింది:
GPT-4 (OpenAI, మార్చి 2023). బహుళ-మాధ్యమ (టెక్స్ట్ + ఇమేజ్ ఇన్పుట్), తరువాతి GPT-4 Turbo రూపాంతరంలో 128,000 టోకెన్ల వరకు కాంటెక్స్ట్ విండో, బలమైన బహుళ-దశల తార్కికత. వృత్తిపరమైన-డొమైన్ పనుల కోసం ప్రమాణాన్ని నిర్దేశించింది.
Claude 2 (Anthropic, జూలై 2023). 100,000-టోకెన్ కాంటెక్స్ట్ విండో (ప్రారంభంలో అత్యంత పొడవైనది), ఒప్పంద సమీక్ష మరియు నియంత్రణ విశ్లేషణ వంటి దీర్ఘ-పత్ర పనులపై బలమైన పనితీరు. హానికర అవుట్పుట్లను తగ్గించడానికి కాన్స్టిట్యూషనల్ AI శిక్షణ.
Llama 2 (Meta, జూలై 2023). 7B, 13B, 34B, మరియు 70B పారామీటర్ రూపాంతరాలలో ఓపెన్-వెయిట్ విడుదల. వాణిజ్య వినియోగం అనుమతించబడింది. నియంత్రిత పరిశ్రమల కోసం ఆన్-ప్రిమైజ్ విస్తరణను ప్రారంభించింది. వందల ఫైన్-ట్యూన్డ్ రూపాంతరాలను (Code Llama, Vicuna, WizardLM) సృష్టించింది.
Mistral 7B (Mistral AI, సెప్టెంబర్ 2023). చాలా ప్రమాణాలపై Llama 2 13Bను అధిగమిస్తున్న 7 బిలియన్ పారామీటర్లు. గ్రూప్డ్-క్వెరీ అటెన్షన్ మరియు స్లైడింగ్ విండో అటెన్షన్ ఇన్ఫరెన్స్ ఖర్చును తగ్గిస్తాయి. GDPR మరియు EU AI Act సందర్భాన్ని బట్టి సంబంధితమైన మొదటి ప్రధాన యూరోపియన్ ఫ్రాంటియర్ నమూనా.
Falcon 180B (TII, సెప్టెంబర్ 2023). 180 బిలియన్ పారామీటర్ ఓపెన్-వెయిట్ నమూనా, 3.5 ట్రిలియన్ టోకెన్ల RefinedWeb డేటాపై శిక్షణ పొందింది. ఓపెన్-వెయిట్ నమూనాలు GPT-4-తరగతి స్కేల్ను చేరుకోగలవని ప్రదర్శించింది.
ఆర్థిక సేవలలో జనరేటివ్ AI ముందుగా ఎక్కడ చేరింది
2023 చివరి నాటికి, ఆర్థిక సంస్థలు అంతర్గత ప్రయోగాల నుండి పలు విభిన్న వినియోగ సందర్భాలలో నిర్మాణాత్మక పైలట్ కార్యక్రమాలకు మారాయి:
డెవలపర్ ఉత్పాదకత. కోడ్ ఉత్పత్తి సాధనాలు (GitHub Copilot, Amazon CodeWhisperer, అంతర్గతంగా ఫైన్-ట్యూన్డ్ నమూనాలు) అత్యంత విస్తృతంగా విస్తరించిన వర్గంగా మారాయి. 10,000 డెవలపర్లకు AI కోడింగ్ సహాయం అందుబాటులో ఉందని Goldman Sachs నివేదించింది. Morgan Stanley 100,000-పత్రాల జ్ఞాన స్థావరం నుండి సమాచారాన్ని తిరిగి పొందడంలో ఆర్థిక సలహాదారులకు సహాయపడటానికి GPT-4ను అంతర్గతంగా విస్తరించింది.
న్యాయ మరియు నియంత్రణ పత్ర ప్రాసెసింగ్. ఒప్పంద నిబంధన సంగ్రహణ, నియంత్రణ మార్పు పర్యవేక్షణ, మరియు సమ్మతి మ్యాపింగ్ అత్యధిక-విలువ కలిగిన పైలట్లు. DocLLMపై JPMorgan యొక్క పరిశోధన, పత్ర-లేఅవుట్-గుర్తింపు కలిగిన భాషా నమూనాలు ఆర్థిక పత్ర అవగాహన పనులపై సాధారణ LLMలను అధిగమించాయని ప్రదర్శించింది.
కస్టమర్ సేవ విస్తరణ. బ్యాంకులు మొదటి-వరుస కస్టమర్ ప్రశ్నల కోసం LLM-ఆధారిత సహాయకులను విస్తరించాయి, నియంత్రిత సలహా కోసం మానవ ఎస్కలేషన్తో. ముఖ్య పరిమితులు: నమూనా నియంత్రిత సలహా ఇవ్వలేదు, ఉత్పత్తి నిబంధనలను భ్రాంతి చేయకూడదు, మరియు ఆడిట్ చేయదగినదిగా ఉండాలి.
KYC మరియు AML వివరణ ఉత్పత్తి. విశ్లేషకుల సమీక్ష కోసం సంక్లిష్ట లావాదేవీ నమూనాలు మరియు కస్టమర్ ప్రొఫైల్లను సారాంశం చేయడం — గతంలో మాన్యువల్ రైట్-అప్ పనిగా ఉన్నదాన్ని భర్తీ చేయడం — తక్కువ భ్రాంతి నష్టంతో ఒక విశ్వసనీయ వినియోగ సందర్భంగా ఉద్భవించింది ఎందుకంటే నమూనా కొత్త వాదనలను ఉత్పత్తి చేయడం కంటే అందించిన డేటాను సారాంశం చేస్తుంది.
ఉత్పాదన బహిర్గతం చేసిన నష్టాలు
ఆర్థిక సేవలలో డెమో నుండి ఉత్పాదనకు మారడం నిర్మాణ ప్రతిస్పందనలు అవసరమయ్యే నష్టాల సమూహాన్ని బహిర్గతం చేసింది:
భ్రాంతి. LLMలు పని రకం మరియు నమూనాను బట్టి మారే రేట్లలో ఆత్మవిశ్వాసంగా అనిపించే తప్పైన అవుట్పుట్లను ఉత్పత్తి చేస్తాయి. వాస్తవ రీకాల్ పనులపై, GPT-4 కూడా సమ్మతి అభిప్రాయాలు లేదా క్రెడిట్ వెల్లడింపుల కోసం ఆమోదయోగ్యం కాని రేట్లలో భ్రాంతి చేస్తుంది. ప్రాథమిక ఉపశమనం రిట్రీవల్-అగ్మెంటెడ్ జనరేషన్ (RAG): పారామెట్రిక్ జ్ఞానంపై మాత్రమే ఆధారపడటం కంటే తిరిగి పొందిన, ధృవీకరించదగిన పత్రాలలో నమూనా యొక్క అవుట్పుట్ను స్థాపించడం.
ప్రాంప్ట్ ఇంజెక్షన్. పత్రాలు లేదా వినియోగదారు సందేశాలలో పొందుపరచబడిన శత్రు ఇన్పుట్లు నమూనా ప్రవర్తనను మళ్లించగలవు. LLMలు అవిశ్వసనీయ పత్రాలను (ఒప్పందాలు, ఇమెయిల్లు, కస్టమర్ సమర్పణలు) ప్రాసెస్ చేసే ఆర్థిక సేవలలో, ప్రాంప్ట్ ఇంజెక్షన్ ఒక సైద్ధాంతిక సమస్య కాదు, ఒక ఉత్పాదన భద్రతా నష్టం.
డేటా లీకేజ్. గోప్య డేటాపై ఫైన్-ట్యూన్ చేయబడిన లేదా ప్రాంప్ట్ చేయబడిన నమూనాలు ఆ డేటాను అవుట్పుట్లో పునరుత్పత్తి చేయగలవు — PII, ట్రేడింగ్ స్థానాలు, మరియు క్లయింట్ సమాచారానికి ఒక భౌతిక నష్టం. నిర్మాణ నియంత్రణలు (ప్రైవేట్ విస్తరణ, డేటా-ఇన్-కాంటెక్స్ట్ నిర్వహణ, అవుట్పుట్ ఫిల్టరింగ్) అవసరం, ఐచ్ఛికం కాదు.
నమూనా మూలం మరియు ఆడిటబిలిటీ. నియంత్రకులు ఆర్థిక సంస్థలు స్వయంచాలక నిర్ణయాలను వివరించాలని ఆశిస్తారు. ఆడిట్ చేయదగిన తార్కిక ట్రయల్ లేకుండా క్రెడిట్ మదింపును ఉత్పత్తి చేసే LLM, GDPR ఆర్టికల్ 22 యొక్క వివరణీయత అవసరాలను, EU AI Act యొక్క అధిక-నష్ట AI నిబంధనలను, మరియు ప్రస్తుత FCA నమూనా నష్ట మార్గదర్శకాలను తీర్చడంలో విఫలమవుతుంది.
పాతబడిన జ్ఞానం. LLMలకు శిక్షణ కటాఫ్లు ఉంటాయి. 2023 ప్రారంభం వరకు డేటాపై శిక్షణ పొందిన నమూనా ఆ తేదీ తర్వాత నియంత్రణ మార్పులు, రేటు నిర్ణయాలు, లేదా మార్కెట్ సంఘటనల గురించి తెలియదు — RAG లేదా రియల్-టైమ్ రిట్రీవల్ లేకుండా రియల్-టైమ్ సమ్మతి లేదా మార్కెట్ వ్యాఖ్యాన వినియోగ సందర్భాల కోసం ఒక ముఖ్యమైన పరిమితి.
విస్తరణకు ముందు పాలన అవసరాలు
2023లో పనిచేస్తున్న ఆర్థిక సేవల అభ్యాసకులు విస్తరించడానికి ముందు నియంత్రణ ఖచ్చితత్వం కోసం వేచి ఉండలేదు — కానీ ప్రముఖ సంస్థలు SR 11-7 మరియు SS3/18 మార్గదర్శకాల నుండి అనుకూలీకరించిన నమూనా నష్ట నిర్వహణ (MRM) ఫ్రేమ్వర్క్లను అవలంబించాయి:
నమూనా జాబితా మరియు డాక్యుమెంటేషన్. వ్యాపార విధుల కోసం విస్తరించిన LLMలకు శిక్షణ డేటా మూలం, ఫైన్-ట్యూనింగ్ పద్ధతి, తెలిసిన వైఫల్య మోడ్లు, మరియు డొమైన్-నిర్దిష్ట ధృవీకరణ సెట్లపై పనితీరు యొక్క డాక్యుమెంటేషన్ అవసరం.
హ్యూమన్-ఇన్-ద-లూప్ చెక్పాయింట్లు. నియంత్రిత అవుట్పుట్ల కోసం (క్రెడిట్ నిర్ణయాలు, సమ్మతి అభిప్రాయాలు, కస్టమర్ వెల్లడింపులు), 2023లో మానవ సమీక్ష తప్పనిసరిగా ఉంది. ముసాయిదా మరియు సారాంశీకరణకు ఆటోమేషన్ వర్తింపజేయబడింది; తుది ఆమోదం మానవుడిగానే మిగిలింది.
వెండర్ నష్టం. మూడవ-పక్ష నమూనా API (OpenAI, Anthropic, Google)ను ఉపయోగించడం వెండర్ కేంద్రీకరణ నష్టం, డేటా నివాస నష్టం, మరియు నమూనా మార్పు నష్టం (ప్రొవైడర్లు నమూనాలను నిశ్శబ్దంగా నవీకరించగలరు)ను ప్రవేశపెడుతుంది. ఎంటర్ప్రైజ్ ఒప్పందాలు మరియు ప్రైవేట్ విస్తరణలు వీటిని పాక్షికంగా ఉపశమింపజేస్తాయి.
నియంత్రణ నిమగ్నత. FCA, PRA, ECB, మరియు FINRA అన్నీ 2023లో AI పాలనపై పత్రాలు లేదా ప్రసంగాలను జారీ చేశాయి. స్థిరమైన సందేశం: ప్రస్తుత నమూనా నష్ట ఫ్రేమ్వర్క్లు AIకి వర్తిస్తాయి, మరియు సంస్థలు అధికారిక మార్గదర్శకాలకు ముందుగా తమ పాలన విధానాన్ని డాక్యుమెంట్ చేయడంలో ముందస్తుగా ఉండాలి.
తరచుగా అడిగే ప్రశ్నలు
పెద్ద భాషా నమూనా మరియు ఫౌండేషన్ మోడల్ మధ్య తేడా ఏమిటి?
పెద్ద భాషా నమూనా (LLM) అనేది భాషను అంచనా వేయడానికి మరియు ఉత్పత్తి చేయడానికి పెద్ద స్థాయిలో టెక్స్ట్ డేటాపై శిక్షణ పొందిన నమూనా. ఫౌండేషన్ మోడల్ అనేది బహుళ డౌన్స్ట్రీమ్ పనుల కోసం అనుకూలీకరించదగిన (ఫైన్-ట్యూన్డ్ లేదా ప్రాంప్ట్ చేయబడిన) ఏదైనా పెద్ద ప్రీ-ట్రైన్డ్ నమూనాకు విస్తృత పదం — LLMలతో పాటు విజన్ నమూనాలు, కోడ్ నమూనాలు, మరియు బహుళ-మాధ్యమ నమూనాలను కూడా కలిగి ఉంటుంది. GPT-4 ఒక LLM మరియు ఒక ఫౌండేషన్ మోడల్ రెండూ. DALL-E 3 ఒక ఫౌండేషన్ మోడల్ కానీ ఒక LLM కాదు. ఆచరణలో, టెక్స్ట్-ఉత్పత్తి వ్యవస్థలను సూచించేటప్పుడు ఈ పదాలు తరచుగా పరస్పరం మార్చుకుని ఉపయోగించబడతాయి.
రిట్రీవల్-అగ్మెంటెడ్ జనరేషన్ అంటే ఏమిటి మరియు ఆర్థిక సేవలకు అది ఎందుకు ముఖ్యం?
RAG ఒక భాషా నమూనాను ఒక రిట్రీవల్ వ్యవస్థతో కలుపుతుంది: నమూనా యొక్క పారామెట్రిక్ జ్ఞానంపై (శిక్షణ సమయంలో అది నేర్చుకున్నది) మాత్రమే ఆధారపడటం కంటే, RAG ఇన్ఫరెన్స్ సమయంలో సంబంధిత పత్రాలను తీసుకొచ్చి వాటిని కాంటెక్స్ట్గా అందిస్తుంది. ఇది వాస్తవ పనులపై భ్రాంతిని గణనీయంగా తగ్గిస్తుంది ఎందుకంటే నమూనా నేర్చుకున్న వాస్తవాలను గుర్తుచేసుకోవడం కంటే అందించిన టెక్స్ట్ను సంశ్లేషిస్తుంది. ఆర్థిక సేవల కోసం, RAG నియంత్రణ మార్పు పర్యవేక్షణ (ఎల్లప్పుడూ ప్రస్తుత నియమాలను తిరిగి పొందుతుంది) మరియు ఒప్పంద సమీక్ష (వాస్తవ ఒప్పంద టెక్స్ట్లో నమూనాను స్థాపిస్తుంది) వంటి వినియోగ సందర్భాలను ప్రారంభిస్తుంది, ఇవి స్వచ్ఛమైన ఉత్పత్తి విధానంతో చాలా భ్రాంతి-సంభావ్యంగా ఉండేవి.
2023లో జనరేటివ్ AI విస్తరణలకు సంబంధించి ఆర్థిక సంస్థలు EU AI Actను ఎలా నిర్వహించాలి?
EU AI Act 2023లో ఇంకా శాసన ప్రక్రియలో ఉంది (మార్చి 2024లో యూరోపియన్ పార్లమెంట్ ఆమోదించింది, ఆగస్టు 2024లో అమల్లోకి వచ్చింది). అయితే, EU కార్యకలాపాలు లేదా EU కస్టమర్లు కలిగిన సంస్థలు ఇప్పటికే తమ పైప్లైన్లను మదింపు చేస్తున్నాయి. క్రెడిట్ స్కోరింగ్, ఉపాధి నిర్ణయాలు, మరియు కీలక మౌలిక సదుపాయాలలో అధిక-నష్ట AI వ్యవస్థలకు అనుగుణ్యత మదింపులు, మానవ పర్యవేక్షణ యంత్రాంగాలు, మరియు ఆడిట్ లాగింగ్ అవసరం. సాధారణ-ప్రయోజన AI (GPAI) నమూనాలు — వీటిలో GPT-4 వంటి ఫౌండేషన్ మోడల్లు ఉన్నాయి — పారదర్శకత మరియు వ్యవస్థాగత నష్టం చుట్టూ వాటి స్వంత శ్రేణి అవసరాలను కలిగి ఉంటాయి. 2023లో డాక్యుమెంటేషన్ మరియు పాలన పనిని ప్రారంభించిన సంస్థలు అమలు గడువుల కోసం మెరుగైన స్థితిలో ఉన్నాయి.
ఎంటర్ప్రైజ్ LLM విస్తరణల కోసం ఫైన్-ట్యూనింగ్ మరియు ప్రాంప్ట్ ఇంజనీరింగ్ మధ్య ఆచరణాత్మక తేడా ఏమిటి?
ఫైన్-ట్యూనింగ్ డొమైన్-నిర్దిష్ట డేటాపై శిక్షణను కొనసాగించడం ద్వారా నమూనా యొక్క బరువులను సవరిస్తుంది — ఇది నమూనాకు కొత్త జ్ఞానం మరియు ప్రవర్తనా నమూనాలను నేర్పుతుంది. దీనికి లేబుల్ చేయబడిన శిక్షణ డేటా, గణన బడ్జెట్, మరియు బేస్ నమూనాలు నవీకరించబడినప్పుడు కొనసాగుతున్న నిర్వహణ అవసరం. ప్రాంప్ట్ ఇంజనీరింగ్ (ఫ్యూ-షాట్ ఉదాహరణలు మరియు సిస్టమ్ ప్రాంప్ట్లతో సహా) బరువులను మార్చకుండా ఇన్ఫరెన్స్ సమయంలో ప్రవర్తనను రూపొందిస్తుంది — అమలు చేయడానికి మరియు నవీకరించడానికి వేగవంతమైనది, కానీ బేస్ నమూనాకు ఇప్పటికే తెలిసిన దాని ద్వారా పరిమితం. చాలా 2023 ఆర్థిక సేవల విస్తరణల కోసం, RAG మరియు ప్రాంప్ట్ ఇంజనీరింగ్ ప్రాధాన్య ప్రారంభ స్థానం; నమూనా యాజమాన్య పరిభాషను నేర్చుకోవాల్సిన లేదా కఠినమైన అవుట్పుట్ ఫార్మాట్లను అవలంబించాల్సిన సందర్భాల కోసం ఫైన్-ట్యూనింగ్ కేటాయించబడింది.
సూచనలు
- Vaswani, A., et al., (2017). Attention Is All You Need ⧉.
- OpenAI, (2023). GPT-4 Technical Report ⧉.
- Touvron, H., et al., Meta AI, (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models ⧉.
- Jiang, A., et al., Mistral AI, (2023). Mistral 7B ⧉.
చివరిగా సమీక్షించబడింది .
ఈ వ్యాసాన్ని క్రాస్-పోస్ట్ చేయండి
Medium కోసం ఫార్మాట్ చేసి కాపీ చేయండి
# 2023లో జనరేటివ్ AI: ఇది ఎలా పనిచేస్తుంది, ఎక్కడ చేరుతుంది — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/te/2023-11-12-exploring-generative-ai/](https://sebastienrousseau.com/te/2023-11-12-exploring-generative-ai/) 2023లో జనరేటివ్ AIని అన్వేషించండి: ఇది ఎలా పనిచేస్తుంది, ఆర్థిక సేవలలో అది ముందుగా ఎక్కడ చేరుతుంది, మరియు అడగదగిన నైతిక మరియు నిర్మాణ ప్రశ్నలు. Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/te/2023-11-12-exploring-generative-ai/
Mastodon కోసం ఫార్మాట్ చేసి కాపీ చేయండి
2023లో జనరేటివ్ AI: ఇది ఎలా పనిచేస్తుంది, ఎక్కడ చేరుతుంది — Sebastien Rousseau 2023లో జనరేటివ్ AIని అన్వేషించండి: ఇది ఎలా పనిచేస్తుంది, ఆర్థిక సేవలలో అది ముందుగా ఎక్కడ చేరుతుంది, మరియు అడగదగిన నైతిక మరియు నిర్మాణ ప్రశ్నలు. https://sebastienrousseau.com/te/2023-11-12-exploring-generative-ai/
LinkedIn కోసం ఫార్మాట్ చేసి కాపీ చేయండి
2023లో జనరేటివ్ AI: ఇది ఎలా పనిచేస్తుంది, ఎక్కడ చేరుతుంది — Sebastien Rousseau 2023లో జనరేటివ్ AIని అన్వేషించండి: ఇది ఎలా పనిచేస్తుంది, ఆర్థిక సేవలలో అది ముందుగా ఎక్కడ చేరుతుంది, మరియు అడగదగిన నైతిక మరియు నిర్మాణ ప్రశ్నలు. ముఖ్యమైన వ్యూహాత్మక అంశాలు ఇవి: - ట్రాన్స్ఫార్మర్ ఆర్కిటెక్చర్ ఎలా పనిచేస్తుంది. 2023లో విస్తరించిన ప్రతి ప్రధాన భాషా నమూనా — GPT-4, Claude 2, Llama 2, Mistral, Falcon — 2017 నాటి "Attention Is All You Need" పత్రంలో ప్రవేశపెట్టిన ట్రాన్స్ఫార్మర్ ఆర్కిటెక్చర్పై నిర్మించబడింది. - 2023 నమూనా దృశ్యం. 2023 ఏ మునుపటి సంవత్సరం కంటే ఎక్కువ ప్రధాన నమూనా విడుదలలను ఉత్పత్తి చేసింది:. - ఆర్థిక సేవలలో జనరేటివ్ AI ముందుగా ఎక్కడ చేరింది. 2023 చివరి నాటికి, ఆర్థిక సంస్థలు అంతర్గత ప్రయోగాల నుండి పలు విభిన్న వినియోగ సందర్భాలలో నిర్మాణాత్మక పైలట్ కార్యక్రమాలకు మారాయి:. - ఉత్పాదన బహిర్గతం చేసిన నష్టాలు. ఆర్థిక సేవలలో డెమో నుండి ఉత్పాదనకు మారడం నిర్మాణ ప్రతిస్పందనలు అవసరమయ్యే నష్టాల సమూహాన్ని బహిర్గతం చేసింది:. ఈ వ్యాసంలో వివరించిన సవాళ్లకు మీ సంస్థ దృక్పథం ఏమిటి? → https://sebastienrousseau.com/te/2023-11-12-exploring-generative-ai/ #జనరేటివ్Ai #పెద్దభాషానమూనా #ట్రాన్స్ఫార్మర్ఆర్కిటెక్చర్ #Gpt4 #ఆర్థికసేవలAi Sebastien Rousseau | CC-BY-4.0
ఈ వ్యాసాన్ని ఉదహరించండి
2023లో జనరేటివ్ AI: ఇది ఎలా పనిచేస్తుంది, ఎక్కడ చేరుతుంది — Sebastien Rousseau
2023లో జనరేటివ్ AIని అన్వేషించండి: ఇది ఎలా పనిచేస్తుంది, ఆర్థిక సేవలలో అది ముందుగా ఎక్కడ చేరుతుంది, మరియు అడగదగిన నైతిక మరియు నిర్మాణ ప్రశ్నలు.
BibTeX
@online{rousseau20232023ల,
author = {Rousseau, Sebastien},
title = {{2023లో జనరేటివ్ AI: ఇది ఎలా పనిచేస్తుంది, ఎక్కడ చేరుతుంది — Sebastien Rousseau}},
year = {2023},
url = {https://sebastienrousseau.com/te/2023-11-12-exploring-generative-ai/},
urldate = {2023}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - 2023లో జనరేటివ్ AI: ఇది ఎలా పనిచేస్తుంది, ఎక్కడ చేరుతుంది — Sebastien Rousseau PY - 2023 UR - https://sebastienrousseau.com/te/2023-11-12-exploring-generative-ai/ ER -
Vancouver
Rousseau S. 2023లో జనరేటివ్ AI: ఇది ఎలా పనిచేస్తుంది, ఎక్కడ చేరుతుంది — Sebastien Rousseau. sebastienrousseau.com. 2023 Nov 12. Available from: https://sebastienrousseau.com/te/2023-11-12-exploring-generative-ai/
Chicago
Rousseau, Sebastien. "2023లో జనరేటివ్ AI: ఇది ఎలా పనిచేస్తుంది, ఎక్కడ చేరుతుంది — Sebastien Rousseau." sebastienrousseau.com. November 12, 2023. https://sebastienrousseau.com/te/2023-11-12-exploring-generative-ai/.
APA
Rousseau, S. (2023, November 12). 2023లో జనరేటివ్ AI: ఇది ఎలా పనిచేస్తుంది, ఎక్కడ చేరుతుంది — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/te/2023-11-12-exploring-generative-ai/
ఈ వ్యాసాన్ని పునఃప్రచురించండి
2023లో జనరేటివ్ AI: ఇది ఎలా పనిచేస్తుంది, ఎక్కడ చేరుతుంది — Sebastien Rousseau
2023లో జనరేటివ్ AIని అన్వేషించండి: ఇది ఎలా పనిచేస్తుంది, ఆర్థిక సేవలలో అది ముందుగా ఎక్కడ చేరుతుంది, మరియు అడగదగిన నైతిక మరియు నిర్మాణ ప్రశ్నలు.
ఈ వ్యాసం కింది లైసెన్స్ కింద ఉంది Creative Commons Attribution 4.0 International. పునఃప్రచురణకు కానానికల్ URLకు ఆపాదన అవసరం.
2023లో జనరేటివ్ AI: ఇది ఎలా పనిచేస్తుంది, ఎక్కడ చేరుతుంది — Sebastien Rousseau 2023లో జనరేటివ్ AIని అన్వేషించండి: ఇది ఎలా పనిచేస్తుంది, ఆర్థిక సేవలలో అది ముందుగా ఎక్కడ చేరుతుంది, మరియు అడగదగిన నైతిక మరియు నిర్మాణ ప్రశ్నలు. Originally published at https://sebastienrousseau.com/te/2023-11-12-exploring-generative-ai/ by Sebastien Rousseau. Licensed under CC-BY-4.0.