Generative AI in 2023: How It Works, Where It Lands

.class="img-fluid clearfix"

סיכום מנהלים / תובנות מרכזיות

• הארכיטקטורה שהחלה הכול. מאמר ה-transformer משנת 2017 הציג את ה-self-attention: מנגנון המחשב משקולות רלוונטיות בין כל זוג טוקנים בקלט, ומחליף את העיבוד הסדרתי של RNN בפעולות מטריציות הניתנות לביצוע מקביל. כל מודל שפה גדול משנת 2023 הוא וריאנט של transformer (Vaswani et al., 2017).
• GPT-4 כאמת מידה של 2023. שוחרר במרץ 2023, GPT-4 השיג אחוזון 90 בבחינת הבר האמריקאית, אחוזון 99 ב-GRE Verbal, והפגין חשיבה רב-שלבית על פני מסמכים ארוכים. הוא קבע את אמת מידת היכולת שמודלים מאוחרים שאפו להשיג או לעלות עליה (OpenAI, 2023).
• מודלים עם משקולות פתוחות דמוקרטיזו את הגישה. Llama 2 של Meta (יולי 2023) ו-Mistral 7B של Mistral AI (ספטמבר 2023) הראו שמודלים עם יכולות תחרותיות לרמת GPT-3.5 יכולים לרוץ על תשתית פרטית — מה שנותן מענה לדרישות האחסון של תעשיות מוסדרות.
• פיילוטים בשירותים פיננסיים ב-2023. פריסות נרחבות בסוף 2023 כללו סקירת חוזים משפטיים (מחקר DocLLM של JPMorgan), ניטור שינויי רגולציה וכלי פרודוקטיביות למפתחים. Goldman Sachs דיווח על שימוש פנימי בעוזרי קוד AI בקרב 10,000 מפתחים.
• הלוצינציה היא חסם ייצורי. LLM מייצרים תוצרים הנשמעים סבירים אך שגויים עובדתית בשיעורים לא מבוטלים. במקרי שימוש מוסדרים — החלטות אשראי, חוות דעת ציות, גילויים ללקוחות — הלוצינציה אינה פגם קוסמטי; היא סיכון רגולטורי ואחריות משפטית הדורש הפחתות ארכיטקטורליות כגון retrieval-augmented generation (RAG).

כיצד עובדת ארכיטקטורת ה-Transformer

כל מודל שפה משמעותי שנפרס ב-2023 — GPT-4, Claude 2, Llama 2, Mistral, Falcon — בנוי על ארכיטקטורת ה-transformer שהוצגה במאמר משנת 2017 "Attention Is All You Need". הבנת המנגנון המרכזי מסבירה גם מדוע מודלים אלה עובדים וגם היכן הם נכשלים.

טוקנים ואמבדינגים. המודל מתחיל בפיצול טקסט הקלט לטוקנים של תת-מילים (בדרך כלל באמצעות byte-pair encoding). כל טוקן ממופה לווקטור ממימד גבוה (אמבדינג) המקודד את יחסיו הסמנטיים עם טוקנים אחרים, שנלמדו במהלך הפרה-אימון.

Self-attention. עבור כל טוקן, המודל מחשב שלושה ווקטורים: Query (מה הטוקן הזה מחפש), Key (מה הטוקן הזה מציע) ו-Value (מה הטוקן הזה תורם). ציוני תשומת הלב מחושבים על ידי לקיחת המכפלה הסקלרית של כל Query מול כל ה-Keys, הפעלת softmax ליצירת משקולות, וסיכום ה-Values המשוקללים באמצעות ציונים אלה. המשמעות היא שכל טוקן מסתכל בו-זמנית על כל טוקן אחר בחלון ההקשר — המנגנון שמקנה ל-transformers את יכולתם לטפל בתלויות על טווח ארוך.

Multi-head attention. ראשי תשומת לב מרובים פועלים במקביל, כל אחד לומד סוגים שונים של יחסים (תחביריים, סמנטיים, מיקומיים). התוצרים שלהם מחוברים ומוקרנים לינארית.

שכבות Feed-forward. אחרי תשומת הלב, כל מיקום עובר דרך שתי טרנספורמציות לינאריות עם הפעלה לא-לינארית. שכבה זו מבצעת חישוב לכל טוקן בנפרד, לוכדת טרנספורמציות של תכונות מקומיות.

סקאלה. GPT-4 מוערך בלמעלה מטריליון פרמטרים (לא אושר על ידי OpenAI). Llama 2 70B משתמש ב-70 מיליארד. Mistral 7B משתמש ב-7 מיליארד, עם grouped-query attention ו-sliding window attention ליעילות. מודלים גדולים יותר מציגים בדרך כלל חשיבת zero-shot ו-few-shot טובה יותר — יכולות אמרגנטיות שהופכות אותם לשימושיים למשימות שלא אומנו עבורן במפורש.

נוף המודלים של 2023

2023 הביאה יותר שחרורים משמעותיים של מודלים מאשר כל שנה קודמת:

GPT-4 (OpenAI, מרץ 2023). מולטימודאלי (קלט טקסט + תמונה), חלון הקשר של עד 128,000 טוקנים בוריאנט GPT-4 Turbo המאוחר, חשיבה רב-שלבית חזקה. קבע אמת מידה למשימות בתחומים מקצועיים.

Claude 2 (Anthropic, יולי 2023). חלון הקשר של 100,000 טוקנים (הארוך ביותר בעת השקתו), ביצועים חזקים במשימות מסמכים ארוכים כגון סקירת חוזים וניתוח רגולטורי. אימון Constitutional AI להפחתת תוצרים מזיקים.

Llama 2 (Meta, יולי 2023). שחרור עם משקולות פתוחות בוריאנטים של 7B, 13B, 34B ו-70B פרמטרים. שימוש מסחרי מותר. אפשר פריסה on-premise לתעשיות מוסדרות. הוליד מאות וריאנטים מכווננים (Code Llama, Vicuna, WizardLM).

Mistral 7B (Mistral AI, ספטמבר 2023). 7 מיליארד פרמטרים העולים על Llama 2 13B ברוב המדדים. Grouped-query attention ו-sliding window attention מפחיתים עלויות אינפרנס. המודל האירופי הגבולי המשמעותי הראשון, רלוונטי בהקשר של GDPR ו-EU AI Act.

Falcon 180B (TII, ספטמבר 2023). מודל עם משקולות פתוחות בן 180 מיליארד פרמטרים, אומן על 3.5 טריליון טוקנים של נתוני RefinedWeb. הדגים שמודלים עם משקולות פתוחות יכולים להתקרב לסקאלה של רמת GPT-4.

היכן הנחית הבינה המלאכותית הגנרטיבית לראשונה בשירותים פיננסיים

עד סוף 2023, מוסדות פיננסיים עברו מניסוי פנימי לתוכניות פיילוט מובנות במספר מקרי שימוש מובחנים:

פרודוקטיביות מפתחים. כלי ייצור קוד (GitHub Copilot, Amazon CodeWhisperer, מודלים מכווננים פנימית) הפכו לקטגוריה הנפוצה ביותר. Goldman Sachs דיווח ש-10,000 מפתחים ניגשו לסיוע בקידוד AI. Morgan Stanley פרס את GPT-4 פנימית כדי לסייע ליועצים פיננסיים לאחזר מידע מבסיס ידע של 100,000 מסמכים.

עיבוד מסמכים משפטיים ורגולטוריים. חילוץ סעיפי חוזה, ניטור שינויי רגולציה ומיפוי ציות היו הפיילוטים בעלי הערך הגבוה ביותר. מחקר JPMorgan על DocLLM הדגים שמודלי שפה המודעים לפריסת המסמך עלו על LLM גנריים במשימות הבנת מסמכים פיננסיים.

הגדלת שירות לקוחות. בנקים פרסו עוזרים המופעלים על ידי LLM לשאילתות לקוחות קדמיות, עם הסלמה אנושית לייעוץ מוסדר. אילוצים מרכזיים: המודל אינו יכול לתת ייעוץ מוסדר, אסור לו להזות תנאי מוצר, ועליו להיות ניתן לביקורת.

יצירת נרטיבים ל-KYC וה-AML. סיכום דפוסי עסקאות מורכבים ופרופילי לקוחות לסקירת אנליסטים — החלפת מה שהיה עבודת כתיבה ידנית — עלה כמקרה שימוש אמין עם סיכון הלוצינציה נמוך יותר מכיוון שהמודל מסכם נתונים שסופקו ולא מייצר טענות חדשות.

הסיכונים שחשף הייצור

המעבר מהדגמה לייצור בשירותים פיננסיים חשף קבוצת סיכונים שדרשו מענים ארכיטקטוראליים:

הלוצינציה. LLM מייצרים תוצרים לא נכונים הנשמעים משכנעים בשיעורים המשתנים לפי סוג המשימה והמודל. במשימות שחזור עובדתי, אפילו GPT-4 מזה בשיעורים בלתי קבילים לחוות דעת ציות או גילויי אשראי. ההפחתה העיקרית היא retrieval-augmented generation (RAG): עיגון תוצר המודל במסמכים מאוחזרים וניתנים לאימות במקום להסתמך על ידע פרמטרי בלבד.

הזרקת הנחיות. קלטים עוינים המוטמעים במסמכים או בהודעות משתמשים יכולים להפנות מחדש את התנהגות המודל. בשירותים פיננסיים, שבהם LLM מעבדים מסמכים לא מהימנים (חוזים, מיילים, הגשות לקוחות), הזרקת הנחיות היא סיכון אבטחה ייצורי, לא תיאורטי.

דליפת נתונים. מודלים מכווננים או עם הנחיות על נתונים סודיים יכולים לשחזר נתונים אלה בתוצר — סיכון מהותי ל-PII, עמדות מסחר ומידע על לקוחות. בקרות ארכיטקטורליות (פריסה פרטית, ניהול נתונים בהקשר, סינון תוצרים) הן הכרחיות, לא אופציונליות.

מקור המודל ויכולת ביקורת. גורמים מרסנים מצפים ממוסדות פיננסיים להסביר החלטות אוטומטיות. LLM המייצר הערכת אשראי ללא מסלול חשיבה הניתן לביקורת נכשל בדרישות ההסברה של סעיף 22 ב-GDPR, בהוראות ה-EU AI Act על AI בסיכון גבוה ובהנחיית סיכוני מודלים הקיימת של ה-FCA.

ידע מיושן. ל-LLM יש תאריכי קיצוץ של אימון. מודל שאומן על נתונים עד תחילת 2023 אינו יודע על שינויי רגולציה, החלטות ריבית או אירועי שוק לאחר תאריך זה — מגבלה משמעותית עבור מקרי שימוש בציות בזמן אמת או הערות שוק ללא RAG או אחזור בזמן אמת.

דרישות ממשל לפני הפריסה

אנשי מקצוע בשירותים פיננסיים שפעלו ב-2023 לא חיכו לוודאות רגולטורית לפני הפריסה — אך מוסדות מובילים אימצו מסגרות ניהול סיכוני מודל (MRM) המותאמות להנחיות SR 11-7 ו-SS3/18:

מלאי ותיעוד מודלים. LLM המופרסים לפונקציות עסקיות דורשים תיעוד של מקור נתוני האימון, מתודולוגיית fine-tuning, מצבי כשל ידועים וביצועים על קבוצות אימות ספציפיות לתחום.

נקודות בדיקה עם אנושי בלולאה. לתוצרים מוסדרים (החלטות אשראי, חוות דעת ציות, גילויים ללקוחות), סקירה אנושית נותרה חובה ב-2023. האוטומציה הוחלה על ניסוח וסיכום; אישור סופי נותר אנושי.

סיכון ספק. שימוש ב-API של מודל צד שלישי (OpenAI, Anthropic, Google) מכניס סיכון ריכוז ספקים, סיכון אחסון נתונים וסיכון שינוי מודל (ספקים יכולים לעדכן מודלים בשקט). הסכמים ארגוניים ופריסות פרטיות מפחיתים חלקית סיכונים אלה.

מעורבות רגולטורית. FCA, PRA, ECB ו-FINRA כולם פרסמו מאמרים או נאומים על ממשל AI ב-2023. המסר העקבי: מסגרות סיכוני מודל קיימות חלות על AI, ועל חברות להיות פרואקטיביות בתיעוד גישת הממשל שלהן לפני הנחיות רשמיות.

שאלות נפוצות

מה ההבדל בין מודל שפה גדול ל-foundation model?

מודל שפה גדול (LLM) הוא מודל שאומן על נתוני טקסט בסקאלה כדי לחזות ולייצר שפה. foundation model הוא מונח רחב יותר לכל מודל גדול שעבר פרה-אימון ויכול להיות מותאם (fine-tuned או עם הנחיות) למשימות downstream מרובות — כולל LLM אך גם מודלי ראייה, מודלי קוד ומודלים מולטימודאליים. GPT-4 הוא גם LLM וגם foundation model. DALL-E 3 הוא foundation model אך לא LLM. בפועל, המונחים משמשים לעתים קרובות לסירוגין כאשר מתייחסים למערכות ייצור טקסט.

מהו retrieval-augmented generation ומדוע הוא חשוב לשירותים פיננסיים?

RAG משלב מודל שפה עם מערכת אחזור: במקום להסתמך אך ורק על הידע הפרמטרי של המודל (מה שלמד במהלך האימון), RAG מאחזר מסמכים רלוונטיים בזמן האינפרנס ומספק אותם כהקשר. זה מפחית משמעותית הלוצינציה במשימות עובדתיות מכיוון שהמודל מסנתז טקסט שסופק ולא מזכיר עובדות שנלמדו. לשירותים פיננסיים, RAG מאפשר מקרי שימוש כמו ניטור שינויי רגולציה (תמיד מאחזר כללים עדכניים) וסקירת חוזים (מעגן את המודל בטקסט החוזה בפועל) שיהיו מועדים מדי להלוצינציה עם גישת ייצור טהורה.

כיצד על מוסדות פיננסיים לנהל את ה-EU AI Act ביחס לפריסות AI גנרטיבי ב-2023?

ה-EU AI Act עדיין היה בהליך חקיקה ב-2023 (אומץ על ידי הפרלמנט האירופי במרץ 2024, נכנס לתוקף באוגוסט 2024). עם זאת, מוסדות עם פעולות באיחוד האירופי או לקוחות מהאיחוד האירופי כבר העריכו את צנרות העבודה שלהם. מערכות AI בסיכון גבוה בניקוד אשראי, החלטות בעסקה ותשתיות קריטיות דורשות הערכות תאימות, מנגנוני פיקוח אנושי ורישום ביקורת. מודלי AI למטרות כלליות (GPAI) — הכולל foundation models כמו GPT-4 — מגיעים עם רמת דרישות משלהם בנוגע לשקיפות וסיכון מערכתי. חברות שהחלו בעבודת תיעוד וממשל ב-2023 היו ממוקמות טוב יותר לעמוד בלוחות הזמנים של היישום.

מה ההבדל המעשי בין fine-tuning להנדסת הנחיות לפריסות LLM ארגוניות?

Fine-tuning משנה את משקולות המודל על ידי המשך אימון על נתונים ספציפיים לתחום — הוא מלמד את המודל ידע חדש ודפוסי התנהגות. הוא דורש נתוני אימון מתויגים, תקציב חישוב ותחזוקה שוטפת כאשר מודלי הבסיס מתעדכנים. הנדסת הנחיות (כולל דוגמאות few-shot והנחיות מערכת) מעצבת התנהגות בזמן האינפרנס מבלי לשנות משקולות — מהירה יותר ליישום ועדכון, אך מוגבלת במה שמודל הבסיס כבר יודע. לרוב פריסות השירותים הפיננסיים ב-2023, RAG בתוספת הנדסת הנחיות היה נקודת ההתחלה המועדפת; fine-tuning שמור למקרים שבהם המודל נדרש ללמוד טרמינולוגיה קניינית או לאמץ פורמטי תוצאות נוקשים.

מקורות

• Vaswani, A., et al., (2017). Attention Is All You Need ⧉.
• OpenAI, (2023). GPT-4 Technical Report ⧉.
• Touvron, H., et al., Meta AI, (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models ⧉.
• Jiang, A., et al., Mistral AI, (2023). Mistral 7B ⧉.

נסקר לאחרונה בתאריך 2026-05-24.

נסקר לאחרונה 2026-07-02.

# Generative AI in 2023: How It Works, Where It Lands — Sebastien Rousseau

> Originally published at [https://sebastienrousseau.com/he/2023-11-12-exploring-generative-ai/](https://sebastienrousseau.com/he/2023-11-12-exploring-generative-ai/)

כיצד עובדים מודלי transformer, אילו מודלים ב-2023 קבעו את הבנצ'מרק, היכן generative AI נוחת ראשון בשירותים פיננסיים, ואילו שאלות ממשל נדרשות לפני פריסה.

Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/he/2023-11-12-exploring-generative-ai/

Generative AI in 2023: How It Works, Where It Lands — Sebastien Rousseau

כיצד עובדים מודלי transformer, אילו מודלים ב-2023 קבעו את הבנצ'מרק, היכן generative AI נוחת ראשון בשירותים פיננסיים, ואילו שאלות ממשל נדרשות לפני פריסה.

https://sebastienrousseau.com/he/2023-11-12-exploring-generative-ai/

Generative AI in 2023: How It Works, Where It Lands — Sebastien Rousseau

כיצד עובדים מודלי transformer, אילו מודלים ב-2023 קבעו את הבנצ'מרק, היכן generative AI נוחת ראשון בשירותים פיננסיים, ואילו שאלות ממשל נדרשות לפני פריסה.

להלן עיקרי הנקודות האסטרטגיות:

- כיצד עובדת ארכיטקטורת ה-Transformer. כל מודל שפה משמעותי שנפרס ב-2023 — GPT-4, Claude 2, Llama 2, Mistral, Falcon — בנוי על ארכיטקטורת ה-transformer שהוצגה במאמר משנת 2017 "Attention Is All You Need".
- נוף המודלים של 2023. 2023 הביאה יותר שחרורים משמעותיים של מודלים מאשר כל שנה קודמת:.
- היכן הנחית הבינה המלאכותית הגנרטיבית לראשונה בשירותים פיננסיים. עד סוף 2023, מוסדות פיננסיים עברו מניסוי פנימי לתוכניות פיילוט מובנות במספר מקרי שימוש מובחנים:.
- הסיכונים שחשף הייצור. המעבר מהדגמה לייצור בשירותים פיננסיים חשף קבוצת סיכונים שדרשו מענים ארכיטקטוראליים:.

כיצד מתמודד הארגון שלכם עם האתגרים המתוארים במאמר זה?

→ https://sebastienrousseau.com/he/2023-11-12-exploring-generative-ai/

#GenerativeAi #LargeLanguageModel #TransformerArchitecture #Gpt4 #Aiבשירותיםפיננסיים

Sebastien Rousseau | CC-BY-4.0

@online{rousseau2023generative,
  author  = {Rousseau, Sebastien},
  title   = {{Generative AI in 2023: How It Works, Where It Lands — Sebastien Rousseau}},
  year    = {2023},
  url     = {https://sebastienrousseau.com/he/2023-11-12-exploring-generative-ai/},
  urldate = {2023}
}

TY  - GEN
AU  - Rousseau, Sebastien
TI  - Generative AI in 2023: How It Works, Where It Lands — Sebastien Rousseau
PY  - 2023
UR  - https://sebastienrousseau.com/he/2023-11-12-exploring-generative-ai/
ER  -

Rousseau S. Generative AI in 2023: How It Works, Where It Lands — Sebastien Rousseau. sebastienrousseau.com. 2023 Nov 12. Available from: https://sebastienrousseau.com/he/2023-11-12-exploring-generative-ai/

Rousseau, Sebastien. "Generative AI in 2023: How It Works, Where It Lands — Sebastien Rousseau." sebastienrousseau.com. November 12, 2023. https://sebastienrousseau.com/he/2023-11-12-exploring-generative-ai/.

Rousseau, S. (2023, November 12). Generative AI in 2023: How It Works, Where It Lands — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/he/2023-11-12-exploring-generative-ai/

Generative AI in 2023: How It Works, Where It Lands — Sebastien Rousseau

כיצד עובדים מודלי transformer, אילו מודלים ב-2023 קבעו את הבנצ'מרק, היכן generative AI נוחת ראשון בשירותים פיננסיים, ואילו שאלות ממשל נדרשות לפני פריסה.

Originally published at https://sebastienrousseau.com/he/2023-11-12-exploring-generative-ai/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU · FOUNDER · ENGINEER