Παραγωγική Τεχνητή Νοημοσύνη το 2023: Πώς Λειτουργεί, Πού Εφαρμόζεται

TL;DR. Εξερευνήστε την παραγωγική τεχνητή νοημοσύνη το 2023: πώς λειτουργεί, πού εφαρμόζεται πρώτα στις χρηματοοικονομικές υπηρεσίες, και ποια ηθικά και αρχιτεκτονικά ερωτήματα αξίζει να τεθούν.

Points clés

Πώς Λειτουργεί η Αρχιτεκτονική Transformer. Κάθε σημαντικό γλωσσικό μοντέλο που αναπτύχθηκε το 2023 — GPT-4, Claude 2, Llama 2, Mistral, Falcon — βασίζεται στην αρχιτεκτονική transformer που παρουσιάστηκε στην εργασία του 2017 «Attention Is All You Need».
Το Τοπίο των Μοντέλων το 2023. Το 2023 παρήγαγε περισσότερες σημαντικές κυκλοφορίες μοντέλων από κάθε προηγούμενο έτος:.
Πού Εφαρμόστηκε Πρώτα η Παραγωγική ΤΝ στις Χρηματοοικονομικές Υπηρεσίες. Στα τέλη του 2023, τα χρηματοπιστωτικά ιδρύματα είχαν περάσει από τον εσωτερικό πειραματισμό σε δομημένα πιλοτικά προγράμματα σε πολλές διακριτές περιπτώσεις χρήσης:.
Οι Κίνδυνοι που Αποκάλυψε η Παραγωγή. Η μετάβαση από την επίδειξη στην παραγωγή στις χρηματοοικονομικές υπηρεσίες ανέδειξε ένα σύνολο κινδύνων που απαιτούσαν αρχιτεκτονικές απαντήσεις:.

Αφηρημένη οπτικοποίηση νευρωνικού δικτύου σε μπλε και μοβ τόνους που αναπαριστά την επεξεργασία ΤΝ .class="img-fluid clearfix"

Εκτελεστική Περίληψη / Βασικά Συμπεράσματα

Η αρχιτεκτονική που άλλαξε τα πάντα. Η εργασία του 2017 για τους transformer εισήγαγε την αυτο-προσοχή (self-attention): έναν μηχανισμό που υπολογίζει βάρη συνάφειας μεταξύ κάθε ζεύγους token στην είσοδο, αντικαθιστώντας τη σειριακή επεξεργασία των RNN με παραλληλοποιήσιμες πράξεις πινάκων. Κάθε σημαντικό γλωσσικό μοντέλο το 2023 είναι μια παραλλαγή transformer (Vaswani et al., 2017).

Το GPT-4 ως το benchmark του 2023. Κυκλοφόρησε τον Μάρτιο του 2023, το GPT-4 βαθμολογήθηκε στο 90ό εκατοστημόριο στις εξετάσεις του Δικηγορικού Συλλόγου των ΗΠΑ, στο 99ο στο GRE Verbal, και επέδειξε συλλογισμό πολλαπλών βημάτων σε μεγάλα έγγραφα. Έθεσε το benchmark ικανοτήτων που τα επόμενα μοντέλα στόχευαν να επιτύχουν ή να ξεπεράσουν (OpenAI, 2023).

Τα μοντέλα ανοικτών βαρών εκδημοκράτισαν την πρόσβαση. Το Llama 2 της Meta (Ιούλιος 2023) και το Mistral 7B της Mistral AI (Σεπτέμβριος 2023) έδειξαν ότι μοντέλα ανταγωνιστικά με ικανότητες κλάσης GPT-3.5 μπορούσαν να εκτελεστούν σε ιδιωτική υποδομή — αντιμετωπίζοντας τις απαιτήσεις παραμονής δεδομένων (data residency) των ρυθμιζόμενων κλάδων.

Πιλοτικά προγράμματα χρηματοοικονομικών υπηρεσιών το 2023. Οι ευρείες αναπτύξεις στα τέλη του 2023 περιλάμβαναν τον έλεγχο νομικών συμβάσεων (η έρευνα DocLLM της JPMorgan), την παρακολούθηση ρυθμιστικών αλλαγών και εργαλεία παραγωγικότητας προγραμματιστών. Η Goldman Sachs ανέφερε εσωτερική χρήση βοηθών κωδικοποίησης ΤΝ σε 10.000 προγραμματιστές.

Η παραίσθηση είναι εμπόδιο για την παραγωγή. Τα LLM παράγουν εξόδους που ακούγονται εύλογες αλλά είναι πραγματολογικά εσφαλμένες με μη αμελητέα συχνότητα. Σε ρυθμιζόμενες περιπτώσεις χρήσης — πιστωτικές αποφάσεις, γνωμοδοτήσεις συμμόρφωσης, γνωστοποιήσεις προς πελάτες — η παραίσθηση δεν είναι επιφανειακό ελάττωμα· είναι ρυθμιστικός κίνδυνος και κίνδυνος ευθύνης που απαιτεί αρχιτεκτονικές μετριάσεις όπως η ανάκτηση-επαυξημένη παραγωγή (RAG).

Πώς Λειτουργεί η Αρχιτεκτονική Transformer

Κάθε σημαντικό γλωσσικό μοντέλο που αναπτύχθηκε το 2023 — GPT-4, Claude 2, Llama 2, Mistral, Falcon — βασίζεται στην αρχιτεκτονική transformer που παρουσιάστηκε στην εργασία του 2017 «Attention Is All You Need». Η κατανόηση του βασικού μηχανισμού εξηγεί τόσο γιατί λειτουργούν αυτά τα μοντέλα όσο και πού αποτυγχάνουν.

Token και ενσωματώσεις (embeddings). Το μοντέλο ξεκινά διαχωρίζοντας το κείμενο εισόδου σε υπο-λεκτικά token (τυπικά χρησιμοποιώντας κωδικοποίηση byte-pair). Κάθε token αντιστοιχίζεται σε ένα διάνυσμα υψηλής διάστασης (μια ενσωμάτωση) που κωδικοποιεί τις σημασιολογικές του σχέσεις με άλλα token, οι οποίες μαθαίνονται κατά την προεκπαίδευση.

Αυτο-προσοχή (self-attention). Για κάθε token, το μοντέλο υπολογίζει τρία διανύσματα: ένα Query (τι αναζητά αυτό το token), ένα Key (τι προσφέρει αυτό το token) και ένα Value (τι συνεισφέρει αυτό το token). Οι βαθμολογίες προσοχής υπολογίζονται λαμβάνοντας το εσωτερικό γινόμενο κάθε Query με όλα τα Key, εφαρμόζοντας softmax για την παραγωγή βαρών, και αθροίζοντας τα Value σταθμισμένα με αυτές τις βαθμολογίες. Αυτό σημαίνει ότι κάθε token προσέχει κάθε άλλο token στο παράθυρο συμφραζομένων ταυτόχρονα — ο μηχανισμός που δίνει στους transformer την ικανότητά τους να χειρίζονται εξαρτήσεις μεγάλης εμβέλειας.

Προσοχή πολλαπλών κεφαλών (multi-head attention). Πολλαπλές κεφαλές προσοχής εκτελούνται παράλληλα, καθεμία μαθαίνοντας διαφορετικούς τύπους σχέσεων (συντακτικές, σημασιολογικές, θέσης). Οι έξοδοί τους συνενώνονται και προβάλλονται γραμμικά.

Στρώματα προώθησης (feed-forward). Μετά την προσοχή, κάθε θέση περνά από δύο γραμμικούς μετασχηματισμούς με μια μη γραμμική ενεργοποίηση. Αυτό το στρώμα εκτελεί υπολογισμό ανά token ανεξάρτητα, αποτυπώνοντας τοπικούς μετασχηματισμούς χαρακτηριστικών.

Κλίμακα. Το GPT-4 εκτιμάται σε πάνω από ένα τρισεκατομμύριο παραμέτρους (μη επιβεβαιωμένο από την OpenAI). Το Llama 2 70B χρησιμοποιεί 70 δισεκατομμύρια. Το Mistral 7B χρησιμοποιεί 7 δισεκατομμύρια, με ομαδοποιημένη προσοχή ερωτημάτων (grouped-query attention) και προσοχή κυλιόμενου παραθύρου (sliding window attention) για αποδοτικότητα. Τα μεγαλύτερα μοντέλα γενικά επιδεικνύουν καλύτερο συλλογισμό zero-shot και few-shot — τις αναδυόμενες ικανότητες που τα καθιστούν χρήσιμα για εργασίες για τις οποίες δεν εκπαιδεύτηκαν ρητά.

Το Τοπίο των Μοντέλων το 2023

Το 2023 παρήγαγε περισσότερες σημαντικές κυκλοφορίες μοντέλων από κάθε προηγούμενο έτος:

GPT-4 (OpenAI, Μάρτιος 2023). Πολυτροπικό (είσοδος κειμένου + εικόνας), παράθυρο συμφραζομένων έως 128.000 token στην μεταγενέστερη παραλλαγή GPT-4 Turbo, ισχυρός συλλογισμός πολλαπλών βημάτων. Έθεσε το benchmark για εργασίες επαγγελματικού τομέα.

Claude 2 (Anthropic, Ιούλιος 2023). Παράθυρο συμφραζομένων 100.000 token (το μεγαλύτερο κατά την κυκλοφορία), ισχυρή απόδοση σε εργασίες μεγάλων εγγράφων όπως ο έλεγχος συμβάσεων και η ρυθμιστική ανάλυση. Εκπαίδευση Constitutional AI για μειωμένες επιβλαβείς εξόδους.

Llama 2 (Meta, Ιούλιος 2023). Κυκλοφορία ανοικτών βαρών σε παραλλαγές παραμέτρων 7B, 13B, 34B και 70B. Επιτρέπεται η εμπορική χρήση. Επέτρεψε την ανάπτυξη εντός εγκαταστάσεων (on-premise) για ρυθμιζόμενους κλάδους. Γέννησε εκατοντάδες λεπτομερώς ρυθμισμένες παραλλαγές (Code Llama, Vicuna, WizardLM).

Mistral 7B (Mistral AI, Σεπτέμβριος 2023). 7 δισεκατομμύρια παράμετροι που ξεπερνούν το Llama 2 13B στα περισσότερα benchmarks. Η ομαδοποιημένη προσοχή ερωτημάτων και η προσοχή κυλιόμενου παραθύρου μειώνουν το κόστος συμπερασμού. Το πρώτο σημαντικό ευρωπαϊκό μοντέλο αιχμής, σημαντικό δεδομένου του πλαισίου του GDPR και της Πράξης της ΕΕ για την ΤΝ.

Falcon 180B (TII, Σεπτέμβριος 2023). Μοντέλο ανοικτών βαρών 180 δισεκατομμυρίων παραμέτρων, εκπαιδευμένο σε 3,5 τρισεκατομμύρια token δεδομένων RefinedWeb. Απέδειξε ότι τα μοντέλα ανοικτών βαρών μπορούσαν να προσεγγίσουν κλίμακα κλάσης GPT-4.

Πού Εφαρμόστηκε Πρώτα η Παραγωγική ΤΝ στις Χρηματοοικονομικές Υπηρεσίες

Στα τέλη του 2023, τα χρηματοπιστωτικά ιδρύματα είχαν περάσει από τον εσωτερικό πειραματισμό σε δομημένα πιλοτικά προγράμματα σε πολλές διακριτές περιπτώσεις χρήσης:

Παραγωγικότητα προγραμματιστών. Τα εργαλεία παραγωγής κώδικα (GitHub Copilot, Amazon CodeWhisperer, εσωτερικά λεπτομερώς ρυθμισμένα μοντέλα) έγιναν η ευρύτερα αναπτυγμένη κατηγορία. Η Goldman Sachs ανέφερε ότι 10.000 προγραμματιστές είχαν πρόσβαση σε βοήθεια κωδικοποίησης ΤΝ. Η Morgan Stanley ανέπτυξε το GPT-4 εσωτερικά για να βοηθήσει τους χρηματοοικονομικούς συμβούλους να ανακτούν πληροφορίες από μια βάση γνώσης 100.000 εγγράφων.

Επεξεργασία νομικών και ρυθμιστικών εγγράφων. Η εξαγωγή ρητρών συμβάσεων, η παρακολούθηση ρυθμιστικών αλλαγών και η χαρτογράφηση συμμόρφωσης ήταν τα πιλοτικά προγράμματα υψηλότερης αξίας. Η έρευνα της JPMorgan για το DocLLM απέδειξε ότι τα γλωσσικά μοντέλα που έχουν επίγνωση της διάταξης του εγγράφου (document-layout-aware) ξεπερνούσαν τα γενικά LLM σε εργασίες κατανόησης χρηματοοικονομικών εγγράφων.

Ενίσχυση εξυπηρέτησης πελατών. Οι τράπεζες ανέπτυξαν βοηθούς με τεχνολογία LLM για ερωτήματα πελατών πρώτης γραμμής, με ανθρώπινη κλιμάκωση για ρυθμιζόμενες συμβουλές. Βασικοί περιορισμοί: το μοντέλο δεν μπορεί να δώσει ρυθμιζόμενες συμβουλές, δεν πρέπει να παραισθάνεται όρους προϊόντων, και πρέπει να είναι ελέγξιμο.

Παραγωγή αφηγήσεων KYC και AML. Η σύνοψη σύνθετων μοτίβων συναλλαγών και προφίλ πελατών για έλεγχο από αναλυτή — αντικαθιστώντας ό,τι ήταν χειροκίνητη εργασία σύνταξης — αναδείχθηκε ως αξιόπιστη περίπτωση χρήσης με χαμηλότερο κίνδυνο παραίσθησης, επειδή το μοντέλο συνοψίζει τα παρεχόμενα δεδομένα αντί να παράγει νέους ισχυρισμούς.

Οι Κίνδυνοι που Αποκάλυψε η Παραγωγή

Η μετάβαση από την επίδειξη στην παραγωγή στις χρηματοοικονομικές υπηρεσίες ανέδειξε ένα σύνολο κινδύνων που απαιτούσαν αρχιτεκτονικές απαντήσεις:

Παραίσθηση. Τα LLM παράγουν εσφαλμένες εξόδους που ακούγονται με αυτοπεποίθηση, με συχνότητα που ποικίλλει ανάλογα με τον τύπο εργασίας και το μοντέλο. Σε εργασίες πραγματολογικής ανάκλησης, ακόμη και το GPT-4 παραισθάνεται με συχνότητα που είναι απαράδεκτη για γνωμοδοτήσεις συμμόρφωσης ή πιστωτικές γνωστοποιήσεις. Η κύρια μετρίαση είναι η ανάκτηση-επαυξημένη παραγωγή (RAG): η θεμελίωση της εξόδου του μοντέλου σε ανακτημένα, επαληθεύσιμα έγγραφα αντί της αποκλειστικής εξάρτησης από την παραμετρική γνώση.

Ένεση εντολών (prompt injection). Επιθετικές είσοδοι ενσωματωμένες σε έγγραφα ή μηνύματα χρηστών μπορούν να ανακατευθύνουν τη συμπεριφορά του μοντέλου. Στις χρηματοοικονομικές υπηρεσίες, όπου τα LLM επεξεργάζονται μη έμπιστα έγγραφα (συμβάσεις, email, υποβολές πελατών), η ένεση εντολών είναι κίνδυνος ασφαλείας στην παραγωγή, όχι θεωρητικός.

Διαρροή δεδομένων. Μοντέλα λεπτομερώς ρυθμισμένα ή τροφοδοτημένα με εμπιστευτικά δεδομένα μπορούν να αναπαράγουν αυτά τα δεδομένα στην έξοδο — ουσιώδης κίνδυνος για PII, θέσεις διαπραγμάτευσης και πληροφορίες πελατών. Οι αρχιτεκτονικοί έλεγχοι (ιδιωτική ανάπτυξη, διαχείριση δεδομένων στα συμφραζόμενα, φιλτράρισμα εξόδου) είναι απαραίτητοι, όχι προαιρετικοί.

Προέλευση μοντέλου και δυνατότητα ελέγχου. Οι ρυθμιστικές αρχές αναμένουν από τα χρηματοπιστωτικά ιδρύματα να εξηγούν τις αυτοματοποιημένες αποφάσεις. Ένα LLM που παράγει μια πιστωτική αξιολόγηση χωρίς ελέγξιμο ίχνος συλλογισμού αποτυγχάνει στις απαιτήσεις εξηγησιμότητας του Άρθρου 22 του GDPR, στις διατάξεις της Πράξης της ΕΕ για την ΤΝ σχετικά με την ΤΝ υψηλού κινδύνου, και στην υφιστάμενη καθοδήγηση της FCA για τον κίνδυνο μοντέλων.

Παρωχημένη γνώση. Τα LLM έχουν όρια εκπαίδευσης (training cutoffs). Ένα μοντέλο εκπαιδευμένο σε δεδομένα έως τις αρχές του 2023 δεν γνωρίζει για ρυθμιστικές αλλαγές, αποφάσεις επιτοκίων ή γεγονότα της αγοράς μετά από αυτή την ημερομηνία — σημαντικός περιορισμός για περιπτώσεις χρήσης συμμόρφωσης σε πραγματικό χρόνο ή σχολιασμού της αγοράς χωρίς RAG ή ανάκτηση σε πραγματικό χρόνο.

Απαιτήσεις Διακυβέρνησης Πριν την Ανάπτυξη

Οι επαγγελματίες των χρηματοοικονομικών υπηρεσιών που λειτουργούσαν το 2023 δεν περίμεναν ρυθμιστική βεβαιότητα πριν την ανάπτυξη — αλλά τα κορυφαία ιδρύματα υιοθέτησαν πλαίσια διαχείρισης κινδύνου μοντέλων (MRM) προσαρμοσμένα από την καθοδήγηση SR 11-7 και SS3/18:

Απογραφή και τεκμηρίωση μοντέλων. Τα LLM που αναπτύσσονται για επιχειρηματικές λειτουργίες απαιτούν τεκμηρίωση της προέλευσης των δεδομένων εκπαίδευσης, της μεθοδολογίας λεπτομερούς ρύθμισης, των γνωστών τρόπων αποτυχίας, και της απόδοσης σε σύνολα επικύρωσης ειδικά για τον τομέα.

Σημεία ελέγχου με άνθρωπο στη διαδικασία (human-in-the-loop). Για ρυθμιζόμενες εξόδους (πιστωτικές αποφάσεις, γνωμοδοτήσεις συμμόρφωσης, γνωστοποιήσεις προς πελάτες), ο ανθρώπινος έλεγχος παρέμεινε υποχρεωτικός το 2023. Η αυτοματοποίηση εφαρμόστηκε στη σύνταξη και τη σύνοψη· η τελική έγκριση παρέμεινε ανθρώπινη.

Κίνδυνος προμηθευτή. Η χρήση API μοντέλου τρίτου μέρους (OpenAI, Anthropic, Google) εισάγει κίνδυνο συγκέντρωσης προμηθευτή, κίνδυνο παραμονής δεδομένων, και κίνδυνο αλλαγής μοντέλου (οι πάροχοι μπορούν να ενημερώνουν τα μοντέλα σιωπηλά). Οι εταιρικές συμφωνίες και οι ιδιωτικές αναπτύξεις μετριάζουν εν μέρει αυτούς τους κινδύνους.

Ρυθμιστική συνεργασία. Η FCA, η PRA, η ΕΚΤ και η FINRA εξέδωσαν όλες εργασίες ή ομιλίες για τη διακυβέρνηση της ΤΝ το 2023. Το σταθερό μήνυμα: τα υφιστάμενα πλαίσια κινδύνου μοντέλων ισχύουν για την ΤΝ, και οι εταιρείες θα πρέπει να είναι προορατικές στην τεκμηρίωση της προσέγγισής τους στη διακυβέρνηση, ενόψει επίσημης καθοδήγησης.

Συχνές Ερωτήσεις

Ποια είναι η διαφορά μεταξύ ενός μεγάλου γλωσσικού μοντέλου και ενός θεμελιώδους μοντέλου;

Ένα μεγάλο γλωσσικό μοντέλο (LLM) είναι ένα μοντέλο εκπαιδευμένο σε δεδομένα κειμένου σε κλίμακα για να προβλέπει και να παράγει γλώσσα. Το θεμελιώδες μοντέλο (foundation model) είναι ένας ευρύτερος όρος για οποιοδήποτε μεγάλο προεκπαιδευμένο μοντέλο που μπορεί να προσαρμοστεί (με λεπτομερή ρύθμιση ή εντολές) για πολλαπλές μεταγενέστερες εργασίες — περιλαμβάνοντας τα LLM αλλά και μοντέλα όρασης, μοντέλα κώδικα και πολυτροπικά μοντέλα. Το GPT-4 είναι τόσο LLM όσο και θεμελιώδες μοντέλο. Το DALL-E 3 είναι θεμελιώδες μοντέλο αλλά όχι LLM. Στην πράξη, οι όροι χρησιμοποιούνται συχνά εναλλακτικά όταν αναφέρονται σε συστήματα παραγωγής κειμένου.

Τι είναι η ανάκτηση-επαυξημένη παραγωγή και γιατί έχει σημασία για τις χρηματοοικονομικές υπηρεσίες;

Το RAG συνδυάζει ένα γλωσσικό μοντέλο με ένα σύστημα ανάκτησης: αντί να βασίζεται αποκλειστικά στην παραμετρική γνώση του μοντέλου (ό,τι έμαθε κατά την εκπαίδευση), το RAG ανακτά σχετικά έγγραφα κατά τον χρόνο συμπερασμού και τα παρέχει ως συμφραζόμενα. Αυτό μειώνει σημαντικά την παραίσθηση σε πραγματολογικές εργασίες, επειδή το μοντέλο συνθέτει παρεχόμενο κείμενο αντί να ανακαλεί μαθημένα γεγονότα. Για τις χρηματοοικονομικές υπηρεσίες, το RAG επιτρέπει περιπτώσεις χρήσης όπως η παρακολούθηση ρυθμιστικών αλλαγών (ανακτά πάντα τους τρέχοντες κανόνες) και ο έλεγχος συμβάσεων (θεμελιώνει το μοντέλο στο πραγματικό κείμενο της σύμβασης), οι οποίες θα ήταν πολύ επιρρεπείς σε παραισθήσεις με μια καθαρά παραγωγική προσέγγιση.

Πώς πρέπει τα χρηματοπιστωτικά ιδρύματα να χειριστούν την Πράξη της ΕΕ για την ΤΝ σε σχέση με τις αναπτύξεις παραγωγικής ΤΝ το 2023;

Η Πράξη της ΕΕ για την ΤΝ βρισκόταν ακόμη σε νομοθετική διαδικασία το 2023 (ψηφίστηκε από το Ευρωπαϊκό Κοινοβούλιο τον Μάρτιο του 2024, τέθηκε σε ισχύ τον Αύγουστο του 2024). Ωστόσο, τα ιδρύματα με δραστηριότητες στην ΕΕ ή πελάτες στην ΕΕ αξιολογούσαν ήδη τις ροές τους. Τα συστήματα ΤΝ υψηλού κινδύνου στη βαθμολόγηση πιστοληπτικής ικανότητας, στις αποφάσεις απασχόλησης και στις κρίσιμες υποδομές απαιτούν αξιολογήσεις συμμόρφωσης, μηχανισμούς ανθρώπινης εποπτείας και καταγραφή ελέγχου. Τα μοντέλα ΤΝ γενικού σκοπού (GPAI) — που περιλαμβάνουν θεμελιώδη μοντέλα όπως το GPT-4 — έχουν τη δική τους βαθμίδα απαιτήσεων σχετικά με τη διαφάνεια και τον συστημικό κίνδυνο. Οι εταιρείες που ξεκίνησαν τεκμηρίωση και εργασία διακυβέρνησης το 2023 ήταν σε καλύτερη θέση για τις προθεσμίες εφαρμογής.

Ποια είναι η πρακτική διαφορά μεταξύ της λεπτομερούς ρύθμισης και της μηχανικής εντολών για εταιρικές αναπτύξεις LLM;

Η λεπτομερής ρύθμιση (fine-tuning) τροποποιεί τα βάρη του μοντέλου συνεχίζοντας την εκπαίδευση σε δεδομένα ειδικά για τον τομέα — διδάσκει στο μοντέλο νέα γνώση και μοτίβα συμπεριφοράς. Απαιτεί επισημασμένα δεδομένα εκπαίδευσης, υπολογιστικό προϋπολογισμό και συνεχή συντήρηση καθώς ενημερώνονται τα βασικά μοντέλα. Η μηχανική εντολών (prompt engineering, συμπεριλαμβανομένων few-shot παραδειγμάτων και εντολών συστήματος) διαμορφώνει τη συμπεριφορά κατά τον χρόνο συμπερασμού χωρίς να αλλάζει τα βάρη — ταχύτερη στην υλοποίηση και ενημέρωση, αλλά περιορισμένη από ό,τι ήδη γνωρίζει το βασικό μοντέλο. Για τις περισσότερες αναπτύξεις χρηματοοικονομικών υπηρεσιών το 2023, το RAG σε συνδυασμό με τη μηχανική εντολών ήταν το προτιμώμενο σημείο εκκίνησης· η λεπτομερής ρύθμιση επιφυλασσόταν για περιπτώσεις όπου το μοντέλο έπρεπε να μάθει ιδιόκτητη ορολογία ή να υιοθετήσει αυστηρές μορφές εξόδου.

Αναφορές

Vaswani, A., et al., (2017). Attention Is All You Need ⧉.
OpenAI, (2023). GPT-4 Technical Report ⧉.
Touvron, H., et al., Meta AI, (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models ⧉.
Jiang, A., et al., Mistral AI, (2023). Mistral 7B ⧉.

Τελευταία αναθεώρηση 2026-07-17.

Αναδημοσίευση αυτού του άρθρου

Παραγωγική Τεχνητή Νοημοσύνη το 2023: Πώς Λειτουργεί, Πού Εφαρμόζεται — Sebastien Rousseau

Εξερευνήστε την παραγωγική τεχνητή νοημοσύνη το 2023: πώς λειτουργεί, πού εφαρμόζεται πρώτα στις χρηματοοικονομικές υπηρεσίες, και ποια ηθικά και αρχιτεκτονικά ερωτήματα αξίζει να τεθούν.

Αυτό το άρθρο διατίθεται με άδεια Creative Commons Attribution 4.0 International. Η αναδημοσίευση απαιτεί αναφορά στην κανονική διεύθυνση URL.

Παραγωγική Τεχνητή Νοημοσύνη το 2023: Πώς Λειτουργεί, Πού Εφαρμόζεται — Sebastien Rousseau

Εξερευνήστε την παραγωγική τεχνητή νοημοσύνη το 2023: πώς λειτουργεί, πού εφαρμόζεται πρώτα στις χρηματοοικονομικές υπηρεσίες, και ποια ηθικά και αρχιτεκτονικά ερωτήματα αξίζει να τεθούν.

Originally published at https://sebastienrousseau.com/el/2023-11-12-exploring-generative-ai/ by Sebastien Rousseau.
Licensed under CC-BY-4.0.

SEBASTIEN ROUSSEAU FOUNDER · ENGINEER