Генеративний ШІ у 2023 році: як він працює, де впроваджується

TL;DR. Дослідіть генеративний ШІ у 2023 році: як він працює, де він впроваджується в першу чергу у сфері фінансових послуг, а також етичні та архітектурні питання, які варто поставити.

Points clés

Як працює архітектура трансформера. Кожна значуща мовна модель, розгорнута у 2023 році — GPT-4, Claude 2, Llama 2, Mistral, Falcon — побудована на архітектурі трансформера, представленій у статті 2017 року «Attention Is All You Need».
Ландшафт моделей 2023 року. 2023 рік приніс більше значущих релізів моделей, ніж будь-який попередній рік:.
Де генеративний ШІ впроваджувався в першу чергу у сфері фінансових послуг. До кінця 2023 року фінансові установи перейшли від внутрішніх експериментів до структурованих пілотних програм у кількох конкретних сценаріях використання:.
Ризики, які виявило практичне впровадження. Перехід від демо-версій до промислової експлуатації у сфері фінансових послуг виявив низку ризиків, що вимагали архітектурних рішень:.

Абстрактна візуалізація нейронної мережі в синіх та фіолетових тонах, що представляє обробку ШІ .class="img-fluid clearfix"

Резюме для керівництва / Основні висновки

Архітектура, яка змінила все. Стаття 2017 року про трансформери представила механізм самоуваги (self-attention) — механізм, який обчислює ваги релевантності між кожною парою токенів на вході, замінюючи послідовну обробку рекурентних нейронних мереж (RNN) матричними операціями, що піддаються паралелізації. Кожна велика мовна модель у 2023 році є варіантом трансформера (Vaswani et al., 2017).

GPT-4 як орієнтир 2023 року. Випущена в березні 2023 року, модель GPT-4 набрала бали на рівні 90-го процентиля на іспиті на статус адвоката в США (US Bar exam), 99-го процентиля на мовній частині іспиту GRE (GRE Verbal) та продемонструвала багатокрокове міркування у довгих документах. Вона встановила стандарт можливостей, який наступні моделі намагалися досягти або перевершити (OpenAI, 2023).

Моделі з відкритими вагами демократизували доступ. Модель Llama 2 від Meta (липень 2023 року) та Mistral 7B від Mistral AI (вересень 2023 року) продемонстрували, що моделі, які конкурують за можливостями з класом GPT-3.5, можуть працювати на приватній інфраструктурі, що вирішує вимоги щодо локалізації даних у регульованих галузях.

Пілотні проєкти у сфері фінансових послуг у 2023 році. Широке розгортання до кінця 2023 року включало перевірку юридичних контрактів (дослідження DocLLM від JPMorgan), моніторинг регуляторних змін та інструменти підвищення продуктивності розробників. Goldman Sachs повідомив про внутрішнє використання ШІ-асистентів для написання коду серед 10 000 розробників.

Галюцинації є перешкодою для впровадження у виробництво. LLM генерують правдоподібні, але фактично неправильні результати з непоодинокою частотою. У регульованих сценаріях використання — кредитних рішеннях, висновках щодо відповідності нормативним вимогам (комплаєнсу), розкритті інформації клієнтам — галюцинація є не просто косметичним недоліком, а регуляторним ризиком та ризиком відповідальності, що вимагає архітектурних заходів пом'якшення, таких як генерація, доповнена пошуком (RAG).

Як працює архітектура трансформера

Кожна значуща мовна модель, розгорнута у 2023 році — GPT-4, Claude 2, Llama 2, Mistral, Falcon — побудована на архітектурі трансформера, представленій у статті 2017 року «Attention Is All You Need». Розуміння основного механізму пояснює як те, чому ці моделі працюють, так і те, де вони зазнають невдачі.

Токени та ембедінги. Модель починає з розділення вхідного тексту на субсловникові токени (зазвичай з використанням кодування пар байтів — byte-pair encoding). Кожен токен відображається у високорозмірний вектор (ембедінг), який кодує його семантичні зв'язки з іншими токенами, засвоєні під час попереднього навчання (pre-training).

Самоувага. Для кожного токена модель обчислює три вектори: запит — Query (що шукає цей токен), ключ — Key (що пропонує цей токен) і значення — Value (який внесок робить цей токен). Оцінки уваги обчислюються шляхом скалярного добутку кожного запиту (Query) на всі ключі (Keys), застосування функції softmax для отримання ваг і підсумовування значень (Values), зважених за цими оцінками. Це означає, що кожен токен звертається до кожного іншого токена у вікні контексту одночасно — механізм, який дає трансформерам можливість обробляти довготривалі залежності.

Багатоголова увага. Кілька голів уваги працюють паралельно, кожна з яких вивчає різні типи зв'язків (синтаксичні, семантичні, позиційні). Їхні вихідні дані об'єднуються і лінійно проєктуються.

Повнозв'язні шари. Після шару уваги кожна позиція проходить через два лінійні перетворення з нелінійною активацією. Цей шар виконує обчислення для кожного токена незалежно, фіксуючи локальні перетворення ознак.

Масштаб. За оцінками, GPT-4 має понад один трильйон параметрів (не підтверджено OpenAI). Llama 2 70B використовує 70 мільярдів. Mistral 7B використовує 7 мільярдів із застосуванням уваги з групуванням запитів та уваги з ковзним вікном для підвищення ефективності. Більші моделі зазвичай демонструють кращі міркування з нульовим (zero-shot) та кількома (few-shot) прикладами — це емерджентні можливості, які роблять їх корисними для завдань, на які вони не були явно навчені.

Ландшафт моделей 2023 року

2023 рік приніс більше значущих релізів моделей, ніж будь-який попередній рік:

GPT-4 (OpenAI, березень 2023 року). Мультимодальна модель (вхідні дані: текст + зображення), вікно контексту до 128 000 токенів у пізнішому варіанті GPT-4 Turbo, потужне багатокрокове міркування. Встановила стандарт для завдань у професійних областях.

Claude 2 (Anthropic, липень 2023 року). Вікно контексту в 100 000 токенів (найдовше на момент запуску), висока продуктивність у завданнях з довгими документами, такими як перевірка контрактів та регуляторний аналіз. Навчання за методом «Конституційного ШІ» (Constitutional AI) для зменшення шкідливих результатів.

Llama 2 (Meta, липень 2023 року). Реліз моделей з відкритими вагами у варіантах на 7B, 13B, 34B та 70B параметрів. Дозволено комерційне використання. Дозволила локальне розгортання (on-premise) для регульованих галузей. Дала початок сотням тонко налаштованих варіантів (Code Llama, Vicuna, WizardLM).

Mistral 7B (Mistral AI, вересень 2023 року). Модель на 7 мільярдів параметрів, що перевершує Llama 2 13B за більшістю тестів. Увага з групуванням запитів та увага з ковзним вікном знижують вартість виведення (inference). Перша значуща європейська передова модель, актуальна в контексті GDPR та Закону ЄС про ШІ (EU AI Act).

Falcon 180B (TII, вересень 2023 року). Модель з відкритими вагами на 180 мільярдів параметрів, навчена на 3,5 трильйонах токенів даних RefinedWeb. Продемонструвала, що моделі з відкритими вагами можуть наближатися до масштабів класу GPT-4.

Де генеративний ШІ впроваджувався в першу чергу у сфері фінансових послуг

До кінця 2023 року фінансові установи перейшли від внутрішніх експериментів до структурованих пілотних програм у кількох конкретних сценаріях використання:

Продуктивність розробників. Інструменти генерації коду (GitHub Copilot, Amazon CodeWhisperer, внутрішньо налаштовані моделі) стали категорією, що впроваджувалася найширше. Goldman Sachs повідомив, що 10 000 розробників отримали доступ до ШІ-помічників для кодування. Morgan Stanley розгорнув GPT-4 всередині компанії, щоб допомогти фінансовим консультантам знаходити інформацію в базі знань зі 100 000 документів.

Обробка юридичних та регуляторних документів. Вилучення умов контрактів, моніторинг регуляторних змін та відповідність нормативним вимогам були найбільш цінними пілотними проектами. Дослідження JPMorgan щодо DocLLM продемонструвало, що мовні моделі, які враховують розмітку та макет документів, перевершують універсальні LLM у завданнях розуміння фінансових документів.

Розширення підтримки клієнтів. Банки розгортали асистентів на базі LLM для першої лінії запитів клієнтів із передачею складних питань людині для надання регульованих консультацій. Ключові обмеження: модель не може надавати регульованих консультацій, не повинна галюцинувати щодо умов продуктів і має підлягати аудиту.

Створення звітів (наративів) для KYC та AML. Узагальнення складних паттернів транзакцій та профілів клієнтів для перегляду аналітиками — заміна того, що раніше робилося вручну, — стало переконливим сценарієм використання з нижчим ризиком галюцинацій, оскільки модель підсумовує надані дані, а не створює нові твердження.

Ризики, які виявило практичне впровадження

Перехід від демо-версій до промислової експлуатації у сфері фінансових послуг виявив низку ризиків, що вимагали архітектурних рішень:

Галюцинації. LLM генерують неправильні відповіді, що звучать впевнено, з частотою, яка залежить від типу завдання та моделі. У завданнях на відтворення фактів навіть GPT-4 галюцинує з частотою, неприйнятною для комплаєнс-висновків або розкриття інформації про кредитування. Основним заходом пом'якшення є генерація, доповнена пошуком (RAG): прив'язка результатів моделі до знайдених верифікованих документів замість того, щоб покладатися виключно на параметричні знання.

Ін'єкція промптів (Prompt injection). Шкідливі вхідні дані, вбудовані в документи або повідомлення користувачів, можуть змінити поведінку моделі. У сфері фінансових послуг, де LLM обробляють неперевірені документи (контракти, електронні листи, запити клієнтів), ін'єкція промптів є реальним ризиком безпеки для промислових систем, а не теоретичним.

Витік даних. Моделі, які пройшли тонке налаштування або отримали промпти з конфіденційними даними, можуть відтворювати ці дані у своїх вихідних результатах — це суттєвий ризик для персональних даних (PII), торгових позицій та інформації про клієнтів. Архітектурні заходи контролю (приватне розгортання, управління даними в контексті, фільтрація вихідних даних) є обов'язковими, а не опціональними.

Походження та можливість аудиту моделі. Регулятори очікують, що фінансові установи зможуть пояснити автоматизовані рішення. LLM, яка створює кредитну оцінку без ланцюжка міркувань, зафіксованого в журналі аудиту, не відповідає вимогам щодо пояснюваності Статті 22 GDPR, положенням Закону ЄС про ШІ щодо систем ШІ високого ризику та чинним рекомендаціям FCA щодо ризиків моделей.

Застарілі знання. LLM мають часове обмеження навчання. Модель, навчена на даних до початку 2023 року, не знає про регуляторні зміни, рішення щодо відсоткових ставок або ринкові події після цієї дати — це суттєве обмеження для сценаріїв комплаєнсу в реальному часі або коментарів щодо ринку без використання RAG або пошуку в реальному часі.

Вимоги до управління перед розгортанням

Практики у сфері фінансових послуг у 2023 році не чекали на регуляторну визначеність перед розгортанням — натомість провідні установи впроваджували структури управління ризиками моделей (MRM), адаптовані на основі керівних принципів SR 11-7 та SS3/18:

Інвентаризація та документування моделей. LLM, розгорнуті для бізнес-функцій, вимагають документування походження навчальних даних, методології тонкого налаштування, відомих режимів збоїв та продуктивності на валідаційних наборах даних для конкретної предметної області.

Контрольні точки за участю людини (Human-in-the-loop). Для регульованих результатів (кредитних рішень, комплаєнс-висновків, розкриття інформації клієнтам) участь людини у процесі перевірки залишалася обов'язковою у 2023 році. Автоматизація застосовувалася для підготовки чернеток та узагальнення, але остаточне затвердження здійснювалося людиною.

Ризик постачальника. Використання API сторонніх моделей (OpenAI, Anthropic, Google) несе в собі ризик концентрації постачальників, ризик локалізації даних та ризик зміни моделі (постачальники можуть непомітно оновлювати моделі). Корпоративні угоди та приватні розгортання частково пом'якшують ці ризики.

Взаємодія з регуляторами. У 2023 році FCA, PRA, ЄЦБ та FINRA випустили документи або заяви щодо управління ШІ. Спільний посил був такий: існуючі моделі управління ризиками застосовуються і до ШІ, і компаніям слід проактивно документувати свій підхід до управління ще до появи офіційних інструкцій.

Часті запитання

Яка різниця між великою мовною моделлю та базовою моделлю?

Велика мовна модель (LLM) — це модель, яка навчається на текстових даних великого масштабу для передбачення та генерації мови. Базова модель (foundation model) — це ширший термін для будь-кої великої попередньо навченої моделі, яку можна адаптувати (шляхом тонкого налаштування або промптів) для кількох кінцевих завдань, включаючи LLM, а також моделі комп'ютерного зору, моделі генерації коду та мультимодальні моделі. GPT-4 є одночасно і LLM, і базовою моделлю. DALL-E 3 є базовою моделлю, але не є LLM. На практиці ці терміни часто використовуються взаємозамінно, коли мова йде про системи генерації тексту.

Що таке генерація, доповнена пошуком, і чому вона важлива для фінансових послуг?

RAG об'єднує мовну модель із пошуковою системою: замість того, щоб покладатися виключно на параметричні знання моделі (те, чого вона навчилася під час навчання), RAG знаходить релевантні документи під час виконання запиту і надає їх як контекст. Це значно знижує рівень галюцинацій у завданнях на знання фактів, оскільки модель синтезує наданий текст, а не згадує вивчені факти. Для фінансових послуг RAG уможливлює такі сценарії використання, як моніторинг регуляторних змін (завжди знаходить чинні правила) та перевірка контрактів (модель спирається на реальний текст контракту), які були б занадто схильні до галюцинацій при використанні чисто генеративного підходу.

Як фінансовим установам слід ставитися до Закону ЄС про ШІ у зв'язку з розгортанням генеративного ШІ у 2023 році?

У 2023 році Закон ЄС про ШІ все ще перебував у стадії розробки законодавства (прийнятий Європейським парламентом у березні 2024 року, набув чинності в серпні 2024 року). Проте установи, що здійснюють діяльність в ЄС або мають клієнтів в ЄС, вже оцінювали свої процеси розробки. Системи ШІ високого ризику в кредитному скорингу, рішеннях щодо працевлаштування та критичній інфраструктурі вимагають оцінки відповідності, механізмів нагляду з боку людини та ведення журналу аудиту (audit logging). Моделі ШІ загального призначення (GPAI) — до яких належать такі базові моделі, як GPT-4 — мають власний рівень вимог щодо прозорості та системного ризику. Фірми, які розпочали роботу з документування та управління у 2023 році, опинилися в кращому становищі перед настанням термінів впровадження.

Яка практична різниця між тонким налаштуванням та проектуванням промптів (інженерією підказок) для корпоративного розгортання LLM?

Тонке налаштування змінює ваги моделі шляхом продовження навчання на даних з конкретної предметної області — це вчить модель новим знанням та шаблонам поведінки. Воно вимагає розмічених навчальних даних, обчислювального бюджету та постійного обслуговування в міру оновлення базових моделей. Проектування промптів (включаючи кілька прикладів — few-shot та системні промпти) формує поведінку під час виконання запиту без зміни ваг — його швидше впроваджувати та оновлювати, але воно обмежене тим, що базова модель уже знає. Для більшості впроваджень у сфері фінансових послуг у 2023 році RAG та проектування промптів були кращою відправною точкою; тонке налаштування використовувалося у випадках, коли моделі потрібно було вивчити власну термінологію компанії або суворо дотримуватися форматів вихідних даних.

Джерела

Vaswani, A., et al., (2017). Attention Is All You Need ⧉.
OpenAI, (2023). Технічний звіт про GPT-4 ⧉.
Touvron, H., et al., Meta AI, (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models ⧉.
Jiang, A., et al., Mistral AI, (2023). Mistral 7B ⧉.

Останній перегляд 2026-06-23.

Останній перегляд 2026-07-16.

Перевидати цю статтю

Генеративний ШІ у 2023 році: як він працює, де впроваджується — Sebastien Rousseau

Дослідіть генеративний ШІ у 2023 році: як він працює, де він впроваджується в першу чергу у сфері фінансових послуг, а також етичні та архітектурні питання, які варто поставити.

Ця стаття поширюється за ліцензією Creative Commons Attribution 4.0 International. Перевидання вимагає посилання на канонічну URL-адресу.

Генеративний ШІ у 2023 році: як він працює, де впроваджується — Sebastien Rousseau

Дослідіть генеративний ШІ у 2023 році: як він працює, де він впроваджується в першу чергу у сфері фінансових послуг, а також етичні та архітектурні питання, які варто поставити.

Originally published at https://sebastienrousseau.com/uk/2023-11-12-doslidzhuyuchy-heneratyvnyy-shi/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER