Introduction
Ìṣepọ̀ ti ṣíṣe ede adayeba ati idanimọ aworan ti yọrí sí ìdàgbàsókè ti Awọn Awoṣe Ede Nla Multimodal (MLLMs). Nínú ìwé wọn, Apple ṣàfihàn MM1, àkójọpọ̀ àwọn àwoṣe Multimodal AI tí ó papọ̀ ìran ati òye ede. Nípasẹ̀ àwọn àdánwò kíkún, àwọn olùwádìí ṣàyẹ̀wò àwọn nǹkan tí ó ṣèrànwọ́ sí iṣẹ́ àwọn àwoṣe wọ̀nyí, nípa ṣíṣàwárí àwọn yíyàn eto oríṣiríṣi ati àwọn àkójọpọ̀ data ìkẹ́kọ̀ọ́ iṣáájú. Ìwé MM1 n pese alaye pàtàkì nípa bí a ṣe ṣètò tí a sì tún kọ́ àwọn MLLM lẹ́kọ̀ọ́. Ó sọ̀rọ̀ nípa ọ̀nà ìwádìí náà ati àwọn awárí pàtàkì, tí ó sì ń ṣàfihàn ipa tí wọ́n le ní lórí ọjọ́-iwájú AI.
.class="m-10 w-100"
The Emergence of Multimodal AI
Agbègbè AI ti rí àwọn ìlọsíwájú tí ó jọjú ní àwọn ọdún aipẹ́ yìí, ní pàtàkì ní àwọn agbègbè ti ṣíṣe ede adayeba (NLP) ati computer vision. Awọn Awoṣe Ede Nla (LLMs) ti yí ọ̀nà tí àwọn ẹ̀rọ fi ń lóye tí wọ́n sì ń ṣẹ̀dá ede ènìyàn padà, ní mímú kí wọ́n lè ṣe àwọn iṣẹ́ dídíjú bíi títúmọ̀ ede, àkópọ̀ ọ̀rọ̀, ati kíkọ̀wé aláròjinlẹ̀ pàápàá. Bẹ́ẹ̀ gẹ́gẹ́, convolutional neural networks (CNNs) ti yí idanimọ aworan padà, ní gbígbà fún àwọn ẹ̀rọ láti rí ati láti túmọ̀ data ìran pẹ̀lú ìpéye tí kò nípàdánù rí.
Àwọn MLLM dúró fún ààlà tí ó kàn nínú AI, nípa kíkójọpọ̀ àwọn agbára ti NLP ati computer vision méjèèjì láti ṣẹ̀dá àwọn àwoṣe tí ó le ṣiṣẹ́ lórí rẹ̀ tí wọ́n sì lè ṣẹ̀dá alaye kọjá lórí ọ̀rọ̀ ati àwọn aworan láìsí ìkọ̀sẹ̀. Ìṣọ̀kan yìí ti àwọn ọ̀nà oríṣiríṣi ń ṣí ilẹ̀kùn sí ọ̀pọ̀lọpọ̀ àwọn mímúṣẹṣe, láti ọ̀dọ̀ àwọn olùrànlọ́wọ́ foju-inu tí ó fani-mọ́ra sí àwọn irinṣẹ́ ìṣẹ̀dá àkóónú olóye tí ó le ṣẹ̀dá àwọn ìrírí multimedia tí ó wùn-ún-ni.
.class="m-10 w-100"
The MM1 Study: A Landmark in Multimodal AI Research
Ìwádìí MM1: Methods Analysis & Insights from Multimodal LLM Pre-training ⧉ dúró gẹ́gẹ́ bí àkókò pàtàkì nínú ìdàgbàsókè ti àwọn MLLM. Labẹ́ àkóso ẹgbẹ́ kan ti àwọn olùwádìí olókìkí, ìwádìí yìí ní lọ́kàn láti ṣí àwọn kókó pàtàkì ati àwọn ètò kókó tí ó ṣe kókó fún ìkẹ́kọ̀ọ́ iṣáájú MLLM tí ó múnádóko, nípa gbígbájúmọ́ àwoṣe MM1 gẹ́gẹ́ bí òpómúléró fún Multimodal AI.
Methodology and Objectives
Ìwé àtẹ̀jáde MM1 lo ọ̀nà àdánwò tí ó múnádóko láti ṣe ìwádìí lórí àwọn dídíjú ti eto multimodal ati àwọn ètò ìkẹ́kọ̀ọ́ iṣáájú. Àwọn olùwádìí ṣàyẹ̀wò oríṣiríṣi apá ti àwoṣe náà, pẹ̀lú image encoder, vision-language connector, ati yíyàn ti àwọn àkójọpọ̀ data ìkẹ́kọ̀ọ́ iṣáájú tí ó yàtọ̀. Nípa ṣíṣe àtúpalẹ̀ àwọn nǹkan wọ̀nyí ní sísẹ̀-n-tẹ̀lé, ìwádìí náà wá láti ṣe ìdámọ̀ àwọn nǹkan pàtàkì tí ó ń ṣèrànwọ́ sí iṣẹ́ MLLM tí ó dára sí i.
Ọkan nínú àwọn olú àfojúsù ti ìwádìí náà ni láti pinnu àkójọpọ̀ tí ó dára jùlọ ti data ìkẹ́kọ̀ọ́ iṣáájú láti ṣàṣeyọrí àwọn agbára few-shot learning tí ó tayọ. Few-shot learning ń tọ́ka sí agbára àwoṣe kan láti faramọ́ kí ó sì kẹ́kọ̀ọ́ láti ara iye àwọn àpẹẹrẹ ti ó mọ níwọ̀n, abala pàtàkì fún àwọn ètò AI tí ó ní láti jẹ́ ẹlẹ́rọ̀ tí ó sì múnádóko nínú àwọn ohun èlò ayé gidi.
.class="m-10 w-100"
Key Findings and Insights
Ìwádìí MM1 yọrí sí ọ̀pọ̀lọpọ̀ àwọn ìjìnlẹ̀ òye tuntun tí ó ti yí bí a ṣe lóye àwọn MLLM ati agbára wọn padà. Ọkan nínú àwọn awárí tó ṣe kókó jùlọ ni pataki ti àkójọpọ̀ dáradára ti data ìkẹ́kọ̀ọ́ iṣáájú. Àwọn olùwádìí rí i pé kíkójọ data image-caption, data interleaved image-text, ati data text-only ṣe pàtàkì láti ṣàṣeyọrí iṣẹ́ few-shot learning tí ó dára jùlọ. Ìjìnlẹ̀ òye yìí tẹnu mọ́ iwúlò fún àwọn àkójọpọ̀ data ìkẹ́kọ̀ọ́ iṣáájú tí ó yàtọ̀ tí wọ́n sì kún rẹ́rẹ́ tí wọ́n lè gba àwọn àwọ̀ ti ìjùmọ̀sọ̀rọ̀ multimodal mú.
Abala mìíràn tí ó ṣe akiyesi nínú ìwádìí MM1 ni pípèsè àwọn dense models pẹ̀lú títí di 30B parameters ati àwọn mixture-of-experts (MoE) variants, tí ó ń ṣàfihàn bí eto náà ṣe le fẹ̀ sí i ati bí ó ṣe rọrùn láti tẹ̀ mọ́. Ìwádìí náà fihàn pé image resolution ni ó ní ipa tí ó tóbi jùlọ lórí iṣẹ́ àwoṣe náà, pàápàá jù iwọ̀n àwoṣe fúnrarẹ̀ lọ, tí ó ń tẹnu mọ́ pataki ti visual input didara giga nínú ìkẹ́kọ̀ọ́ multimodal.
Yíyàn ti eto image encoder, bíi ResNet tabi ViT, ní ipa pàtàkì lórí agbára àwoṣe láti yọ àwọn ẹya ti ó nítumọ̀ kúrò nínú data ìran kí ó sì ṣepọ̀ wọn pẹ̀lú alaye ọ̀rọ̀. Ní àfikún, resolution ti àwọn aworan tí a mú wọlé ṣeré pàtàkì nínú pípin iye ati granularity ti àwọn ẹya ìran tí àwoṣe náà gbà mú.
Ìwádìí MM1 tún tan ìmọ́lẹ̀ lórí pataki ti vision-language connector nínú mímú kí ìbáṣepọ̀ láìsí ìkọ̀sẹ̀ wáyé láàárín àwọn ọ̀nà ìran ati ti ọ̀rọ̀. Àwọn olùwádìí dán oríṣiríṣi àwọn ọ̀nà wò láti so alaye pọ̀ láti ara image encoder ati language model, ní mímú àwọn cross-attention mechanisms ati multi-head attention wá gẹ́gẹ́ bí àwọn ètò múnádóko láti ṣàṣeyọrí àwọn ìbáṣepọ̀ ọlọ́rọ̀ ati eyi ti ó bá àyíká mu.
.class="m-10 w-100"
MM1 Model Architecture and Multimodal Learning Process
.class="m-10 w-100"
Àwòrán yìí ṣàfihàn eto ati ilana ìkẹ́kọ̀ọ́ ti àwoṣe MM1. Data ìkẹ́kọ̀ọ́ iṣáájú ní nínú visual input (aworan tí a mú wọlé) ati text input (ọ̀rọ̀ tí a mú wọlé), pẹ̀lú visual input tí a ń ṣiṣẹ́ lórí rẹ̀ nípasẹ̀ Image Encoder ati text input tí ń wọ̀ tààrà lórí pre-trained LLM transformer. Image Encoder ń yọ àwọn ẹya ìran kúrò nínú àwọn aworan tí a mú wọlé, èyí tí a wá ń gbé lọ sí VL Connector (Vision-Language Connector). VL Connector ń ṣepọ̀ àwọn ẹya ìran náà pẹ̀lú alaye ọ̀rọ̀ láti ara pre-trained LLM transformer. Ìṣọ̀kan multimodal yìí ń mú kí àwoṣe náà lè gbé iṣẹ́ àkópọ̀ ọ̀rọ̀ VQA (Visual Question Answering) jáde nípasẹ̀ supervised fine-tuning.
Ìwọ̀n data ìkẹ́kọ̀ọ́ iṣáájú náà ní nínú 45% data interleaved, 45% captions, ati 10% data text-only, tí ó ń tẹnu mọ́ pataki ti àwọn irúfẹ́ data oríṣiríṣi nínú dídán àwoṣe MM1 lẹ́kọ̀ọ́.
.class="m-10 w-100"
MM1: A Benchmark for Multimodal AI
Àwoṣe MM1, tí a tẹ̀dó gẹ́gẹ́ bí apá kan ìwádìí náà, ń ṣiṣẹ́ gẹ́gẹ́ bí òpómúléró (benchmark) fún multimodal AI, ní ṣíṣàfihàn agbára àwọn MLLM nínú àwọn ohun èlò oríṣiríṣi. Pẹ̀lú eto rẹ̀ tí a ṣe fojúsùn dáradára ati ètò ìkẹ́kọ̀ọ́ iṣáájú, MM1 fihàn iṣẹ́ àràbarà kọjá àwọn iṣẹ́ oríṣiríṣi, láti orí visual question-answering títí de image captioning.
Ọkan nínú àwọn agbára pàtàkì ti MM1 wà nínú agbára rẹ̀ láti ṣẹ̀dá ọ̀rọ̀ tí ó ní ìbáṣepọ̀ tí ó sì bá àyíká mu nípasẹ̀ visual input. Fún àpẹẹrẹ, nígbà tí a bá fi aworan títì ìlú tí ó kún fún èrò han MM1, ó le ṣẹ̀dá àpèjúwe kíkún ati ti ó daju, ní gbígba kókó ohun tí ń ṣẹlẹ̀ nínú aworan náà ati títọ́ka sí àwọn kókó nǹkan bíi eto ilé (architecture), àwọn ènìyàn, ati àwọn ìgbòkègbodò.
Implications and Future Directions
Àwọn awárí ti ìwádìí MM1 ní àwọn ipa gbòòrò fún ọjọ́-iwájú AI ati ìkẹ́kọ̀ọ́ multimodal. Àwọn ìjìnlẹ̀ òye tí a rí gbà láti inú ìwádìí yìí ń pèsè ìpìlẹ̀ tó lágbára fún ìdàgbàsókè ti àwọn eto MLLM tí ó tún tẹ̀síwájú tí wọ́n sì ní agbára sí i, ní ṣíṣí ọ̀nà fún àwọn ètò AI tí ó le ṣiṣẹ́ tí wọ́n sì le túmọ̀ ayé multimodal tí a ń gbé láìsí ìkọ̀sẹ̀.
E jẹ́ kí a lọ ṣẹ̀dá ọjọ́-ọ̀la dípò kíkọminú nípa ohun tí ó ṣẹlẹ̀ lánàá. - Steve Jobs
Agbègbè moriwu kan fún ìwádìí lọ́jọ́-iwájú ni ṣíṣàwárí àwọn ọ̀nà tuntun láti ṣepọ̀ alaye ìran ati ti ọ̀rọ̀ nínú àwọn MLLM. Ìwádìí MM1 tẹnu mọ́ múnádóko ti cross-attention mechanisms ati multi-head attention, ṣùgbọ́n agbára nla ṣì wà fún àwọn nǹkan tuntun ní agbègbè yìí. Àwọn olùwádìí le ṣe ìwádìí lórí àwọn eto tuntun tí wọ́n le yípadà nípa fojúsùn àkóónú ati eto ti data tí a mú wọlé, ní mímú kí àwọn ìbáṣepọ̀ multimodal tí ó rọrùn tí wọ́n sì bá àyíká mu wáyé sí i.
Another promising direction is the application of MLLMs to real-world scenarios, such as intelligent virtual assistants, educational tools, and creative content generation. The ability of MLLMs to process and generate information across text and images opens up a wide range of possibilities for enhancing human-machine communication and creating more engaging and immersive experiences.
Ìgbésẹ̀ nla tí ó kàn nínú AI yóò jẹ́ àwọn ẹ̀rọ tí wọ́n lóye ayé tí ó yí wọn ká dáradára sí i, nípa níní agbára láti lóye ati láti rò lórí data tí wọn kò rí rí tẹ́lẹ̀. - Yann LeCun
.class="m-10 w-100"
Conclusion
Ìwádìí MM1 dúró gẹ́gẹ́ bí òpómúléró pàtàkì nínú ìdàgbàsókè ti Awọn Awoṣe Ede Nla Multimodal, ní pípèsè àwọn ìjìnlẹ̀ òye iyebíye nínú eto, àwọn ètò ìkẹ́kọ̀ọ́ iṣáájú, ati agbára àwọn ètò AI tó lágbára wọ̀nyí. Nípa ṣíṣe àtúpalẹ̀ fínnífínní ti àwọn kókó pàtàkì ati àwọn ọ̀nà ìwádìí tí ó ṣe dandan fún ìkẹ́kọ̀ọ́ iṣáájú MLLM múnádóko, ìwádìí yìí ti fi ìpìlẹ̀ lélẹ̀ fún àwọn nǹkan tuntun lọ́jọ́-iwájú nínú multimodal AI.
Àwọn ẹ̀kọ́ tí a rí kọ́ láti inú ìwádìí MM1 yóò yí ìdàgbàsókè ti àwọn MLLM tí ó tún díjú tí wọ́n sì ní agbára sí i padà láìsí iyèméjì. Àwọn àwoṣe wọ̀nyí ní agbára láti yí ọ̀nà tí a ń gbà bá àwọn ẹ̀rọ lò padà, ní mímú kí ìjùmọ̀sọ̀rọ̀ tí ó jẹ́ ti ẹ̀dá, rọrùn, ati eyi ti ó bá àyíká mu wáyé kọjá lórí àwọn ọ̀nà ọ̀rọ̀ ati ti ìran.
Àwoṣe MM1 fúnrarẹ̀ ń ṣiṣẹ́ gẹ́gẹ́ bí ẹ̀rí sí agbára àgbàyanu ti àwọn MLLM, ní ṣíṣàfihàn iṣẹ́ àràbarà kọjá àwọn iṣẹ́ oríṣiríṣi ati bí ó ṣe gbé òpómúléró tuntun kalẹ̀ fún multimodal AI. Bí àwọn olùwádìí ṣe ń tẹ̀síwájú láti kọ́ sọ́nà lórí àwọn ìjìnlẹ̀ òye tí a rí gbà láti inú ìwádìí yìí, a le retí ọjọ́-iwájú kan níbi tí àwọn ètò AI le ṣiṣẹ́ tí wọ́n sì le túmọ̀ ayé dídíjú ati ti multimodal tí a ń gbé, ní mímú wa súnmọ́ àfojúsùn ti àwọn ẹ̀rọ olóye gidi.
Láti kẹ́kọ̀ọ́ sí i nípa ìwádìí MM1 tó tayọ yìí ati láti ṣàwárí ayé dídùn ti Awọn Awoṣe Ede Nla Multimodal, mo ké sí ọ láti ka ìwé ìwádìí atilẹba náà: MM1: Methods Analysis & Insights from Multimodal LLM Pre-training ⧉
Àtúnyẹ̀wò kẹ́hìn .
---Àyẹ̀wò àkọ́kọ́ .
Tẹ àpilẹ̀kọ yìí jáde lẹ́ẹ̀kan sí i
Daakọ ọ̀nà fún Medium
# Mímú AI Tẹ̀síwájú pẹ̀lú Multimodal LLMs: Ìjìnlẹ̀ Òye láti MM1 — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/yo/2024-03-18-advancing-ai-with-multimodal-llms-insights-from-mm1/](https://sebastienrousseau.com/yo/2024-03-18-advancing-ai-with-multimodal-llms-insights-from-mm1/) Ṣawari iwe MM1 ti Apple lori Awọn Awoṣe Ede Nla Multimodal (MLLMs). Kọ ẹkọ nipa eto wọn, awọn ilana ikẹkọ iṣaaju, ati agbara AI. Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/yo/2024-03-18-advancing-ai-with-multimodal-llms-insights-from-mm1/
Daakọ ọ̀nà fún Mastodon
Mímú AI Tẹ̀síwájú pẹ̀lú Multimodal LLMs: Ìjìnlẹ̀ Òye láti MM1 — Sebastien Rousseau Ṣawari iwe MM1 ti Apple lori Awọn Awoṣe Ede Nla Multimodal (MLLMs). Kọ ẹkọ nipa eto wọn, awọn ilana ikẹkọ iṣaaju, ati agbara AI. https://sebastienrousseau.com/yo/2024-03-18-advancing-ai-with-multimodal-llms-insights-from-mm1/
Daakọ tí a ṣe ìtọ́nà fún LinkedIn
Mímú AI Tẹ̀síwájú pẹ̀lú Multimodal LLMs: Ìjìnlẹ̀ Òye láti MM1 — Sebastien Rousseau Ṣawari iwe MM1 ti Apple lori Awọn Awoṣe Ede Nla Multimodal (MLLMs). Kọ ẹkọ nipa eto wọn, awọn ilana ikẹkọ iṣaaju, ati agbara AI. Èyí ni àwọn èrò àgbékalẹ̀ pàtàkì: - The Emergence of Multimodal AI. Agbègbè AI ti rí àwọn ìlọsíwájú tí ó jọjú ní àwọn ọdún aipẹ́ yìí, ní pàtàkì ní àwọn agbègbè ti ṣíṣe ede adayeba (NLP) ati computer vision. - The MM1 Study: A Landmark in Multimodal AI Research. Ìwádìí [MM1: Methods Analysis & Insights from Multimodal LLM Pre-training ⧉][00] dúró gẹ́gẹ́ bí àkókò pàtàkì nínú ìdàgbàsókè ti àwọn MLLM. - Key Findings and Insights. Ìwádìí MM1 yọrí sí ọ̀pọ̀lọpọ̀ àwọn ìjìnlẹ̀ òye tuntun tí ó ti yí bí a ṣe lóye àwọn MLLM ati agbára wọn padà. - MM1 Model Architecture and Multimodal Learning Process. Àwòrán yìí ṣàfihàn eto ati ilana ìkẹ́kọ̀ọ́ ti àwoṣe MM1. Kí ni ọ̀nà àgbékalẹ̀ ilé-iṣẹ́ yín sí àwọn ìpèníjà tí a sọ nínú àpilẹ̀kọ yìí? → https://sebastienrousseau.com/yo/2024-03-18-advancing-ai-with-multimodal-llms-insights-from-mm1/ #LlmsMultimodal #ẸkọMm1 #IlọsiwajuAi #AwọnIlanaIkẹkọIṣaaju #IdanimọAworan Sebastien Rousseau | CC-BY-4.0
Tọka àpilẹkọ yìí
Mímú AI Tẹ̀síwájú pẹ̀lú Multimodal LLMs: Ìjìnlẹ̀ Òye láti MM1 — Sebastien Rousseau
Ṣawari iwe MM1 ti Apple lori Awọn Awoṣe Ede Nla Multimodal (MLLMs). Kọ ẹkọ nipa eto wọn, awọn ilana ikẹkọ iṣaaju, ati agbara AI.
BibTeX
@online{rousseau2024mímú,
author = {Rousseau, Sebastien},
title = {{Mímú AI Tẹ̀síwájú pẹ̀lú Multimodal LLMs: Ìjìnlẹ̀ Òye láti MM1 — Sebastien Rousseau}},
year = {2024},
url = {https://sebastienrousseau.com/yo/2024-03-18-advancing-ai-with-multimodal-llms-insights-from-mm1/},
urldate = {2024}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - Mímú AI Tẹ̀síwájú pẹ̀lú Multimodal LLMs: Ìjìnlẹ̀ Òye láti MM1 — Sebastien Rousseau PY - 2024 UR - https://sebastienrousseau.com/yo/2024-03-18-advancing-ai-with-multimodal-llms-insights-from-mm1/ ER -
Vancouver
Rousseau S. Mímú AI Tẹ̀síwájú pẹ̀lú Multimodal LLMs: Ìjìnlẹ̀ Òye láti MM1 — Sebastien Rousseau. sebastienrousseau.com. 2024 Mar 18. Available from: https://sebastienrousseau.com/yo/2024-03-18-advancing-ai-with-multimodal-llms-insights-from-mm1/
Chicago
Rousseau, Sebastien. "Mímú AI Tẹ̀síwájú pẹ̀lú Multimodal LLMs: Ìjìnlẹ̀ Òye láti MM1 — Sebastien Rousseau." sebastienrousseau.com. March 18, 2024. https://sebastienrousseau.com/yo/2024-03-18-advancing-ai-with-multimodal-llms-insights-from-mm1/.
APA
Rousseau, S. (2024, March 18). Mímú AI Tẹ̀síwájú pẹ̀lú Multimodal LLMs: Ìjìnlẹ̀ Òye láti MM1 — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/yo/2024-03-18-advancing-ai-with-multimodal-llms-insights-from-mm1/
Tun àpilẹkọ yìí jade
Mímú AI Tẹ̀síwájú pẹ̀lú Multimodal LLMs: Ìjìnlẹ̀ Òye láti MM1 — Sebastien Rousseau
Ṣawari iwe MM1 ti Apple lori Awọn Awoṣe Ede Nla Multimodal (MLLMs). Kọ ẹkọ nipa eto wọn, awọn ilana ikẹkọ iṣaaju, ati agbara AI.
A ti fun àpilẹkọ yìí ni iwe-ẹri labẹ Creative Commons Attribution 4.0 International. Atunjade nilo idanimọ si URL akọkọ.
Mímú AI Tẹ̀síwájú pẹ̀lú Multimodal LLMs: Ìjìnlẹ̀ Òye láti MM1 — Sebastien Rousseau Ṣawari iwe MM1 ti Apple lori Awọn Awoṣe Ede Nla Multimodal (MLLMs). Kọ ẹkọ nipa eto wọn, awọn ilana ikẹkọ iṣaaju, ati agbara AI. Originally published at https://sebastienrousseau.com/yo/2024-03-18-advancing-ai-with-multimodal-llms-insights-from-mm1/ by Sebastien Rousseau. Licensed under CC-BY-4.0.