OpenVoice ⧉ jẹ́ ìmọ̀-ẹ̀rọ ìdàkọ ohùn tuntun tí ó kún fún àtinúdá tí a tẹ̀dó nípasẹ̀ MIT ⧉, Tsinghua University ⧉, àti MyShell ⧉, iléeṣẹ́ AI tuntun ti orílẹ̀-èdè Canada. Ó ń jẹ́ kí ìṣẹ̀dá ohùn yára kí ó sì pé pẹ̀lú ìdarí kíkún lórí àwọn àbùdá ohùn. MyShell kó ipa pàtàkì nínú dídàgbàsókè OpenVoice, èyí tí a ti lò ní àràádọ́ta ọ̀kẹ́ ìgbà gẹ́gẹ́ bí backend fún ìdàkọ ohùn lórí pèpéle wọn. Ó ta yọ fún iyára, pípé, àti àtúnṣe rẹ̀.
OpenVoice ń pèsè àwọn àǹfààní pàtàkì lórí àwọn ohun èlò tí ó wà tẹ́lẹ̀. Ó ń yọ̀ǹda fún ìdarí ara ohùn tí ó rọrùn kọjá ohùn orin àti timbre. Ó tún ní àwọn agbára zero-shot cross-lingual láìsí data púpọ̀ fún èdè kọ̀ọ̀kan. Bí OpenVoice ṣe jẹ́ open-source jẹ́ kí ó wúlò ní oríṣiríṣi àwọn abala, pẹ̀lú àyè fún àwọn tí ara kò pé, iléeṣẹ́ eré idaraya, àti iṣẹ́ ìsìn oníbàárà. Ó ń ṣèlérí àwọn àtúnṣe títí lọ, ní fífìdí ipò rẹ̀ múlẹ̀ gẹ́gẹ́ bí olùdarí nínú ìṣẹ̀dá ohùn àtọwọ́dá.
Ìṣáájú
Bí OpenAI ⧉ ṣe pinnu láti dín àyè sí ohun èlò ìdàkọ ohùn ti tirẹ̀ kù nítorí lílò lódì tí ó lè wáyé, OpenVoice ń pèsè yíyàn tí ó ní ẹrù-iṣẹ́. Pẹ̀lú àwọn ìdarí to ti gbéjú àti àwọn aṣayan àtúnṣe fínní-fínní, OpenVoice ń jẹ́ kí àwọn olùlo pèsè ohùn tí ó jọ ojú rí, tí a lè tún ṣe nígbà tí a bá fi àwọn àníyàn ìwà rere síwájú. Àpilẹ̀kọ yìí yóò wo inú àwọn àbùdá aṣáájú ti OpenVoice, àwọn ìlò rẹ̀ ní ayé gidi, àti ọjọ́ iwájú ti ìmọ̀-ẹ̀rọ ìdàkọ ohùn.
.class="m-10 w-100"
Ojú Ìbẹ̀rẹ̀ ti OpenVoice
OpenVoice yàtọ̀ sí àwọn yòókù nípasẹ̀ ìyáwọ̀ rẹ̀ nínú ìdàkọ ohùn, ní nilò kíkọ̀ ohùn kúkúrú kan pèré láti da ohùn olùsọdọ̀ kọ lẹ́sẹ̀kẹsẹ̀ kọjá àwọn èdè púpọ̀. Ìgbékalẹ̀ rẹ̀ ní apá méjì: base speaker model kan àti tone colour converter kan. Èyí ń yọ̀ǹda fún ìdarí pípé lórí àwọn ara ohùn, pẹ̀lú ohùn orin ẹ̀dùn ọkàn, àkópọ̀ ohùn, rhythm, àti intonation. Ó tún ń pa àwọn àbùdá ohùn àrà ọ̀tọ̀ ti olùsọdọ̀ mọ́. Ìyípadà yìí ń fún àwọn olùṣẹ̀dá àti àwọn onímọ̀-ẹ̀rọ ní agbára láti ṣẹ̀dá ohùn tí ó ní ìbáramu pẹ̀lú òtítọ́ àti ẹ̀dùn ọkàn tó jinlẹ̀.
.class="m-10 w-100"
Iyára àti Pípé: Ìṣẹ́gun Pípé Mejì
Ìgbékalẹ̀ OpenVoice jẹ́ kí ó yára kọjá àwọn olùdíje rẹ̀ nínú iyára àti pípé, ní pípèsè ọ̀rọ̀ ní ìgbà 12 yára ju àkókò gidi lórí GPU kan ṣoṣo láìsí dídín dídára ohùn tí a dákọ kù. Ìṣe-nǹkan kíákíá yìí tún ní pípé tó ta yọ nínú rẹ̀.
OpenVoice ta yọ nínú gbígba àwọn àbùdá ohùn àrà ọ̀tọ̀ àti àwọn ìyàtọ̀ èdè ti ohùn àtọwọ́dá tí a tọ́ka sí. Èyí jẹ́ kí ó jẹ́ ojútùú olùṣáájú nínú ìmọ̀-ẹ̀rọ ìdàkọ ohùn.
.class="m-10 w-100"
Zero-Shot Cross-Lingual Voice Cloning
Ọ̀kan lára àwọn àwòrán dídára jùlọ ti OpenVoice ni agbára rẹ̀ láti ṣaṣeyọri zero-shot cross-lingual voice cloning láìní data púpọ̀ fún èdè kọ̀ọ̀kan. OpenVoice ń lo ètò phoneme àgbáyé kan àti aṣojú tí kò ní èdè kan pàtó nínú tone colour converter rẹ̀. Ó lè da ohùn kọ ní àwọn èdè tuntun tí kò sí nínú àwọn ìsọfúnni ìdánilẹ́kọ̀ọ́ rẹ̀. Èyí jẹ́ àǹfààní ńlá lórí àwọn ọ̀nà tẹ́lẹ̀.
.class="m-10 w-100"
Ìdarí Pípé: Ṣíṣẹ̀dá Ohùn pẹ̀lú Pípé
Agbára láti ṣe àtúnṣe àwọn kókó ohùn yà OpenVoice sọ́tọ̀, ní pípèsè ìdarí tí kò ní irú rẹ̀ fún àwọn olùlo lórí ìgbésẹ̀ ìṣẹ̀dá ọ̀rọ̀. Sísọ ohùn di ti ara ẹni àti ṣíṣe àpèjúwe ṣe kókó ní àwọn abala bíi ti eré idaraya, ẹ̀kọ́, àti iṣẹ́ ìsìn oníbàárà. Àwọn abala yìí nílò ọ̀nà ọ̀rọ̀ sísọ tí ó ní àtúnṣe láti mú kí ìkópa àti òye àwọn olùlo sunwọ̀n sí i.
.class="m-10 w-100"
Ìlò Tó Dájú ní Ayé Gidi
OpenVoice ti fi hàn pé ó wúlò ní ayé gidi, ní ti pé a ti lò ó ní àràádọ́ta ọ̀kẹ́ ìgbà gẹ́gẹ́ bí backend fún ìdàkọ ohùn fún MyShell.ai láàárín oṣù Kárùn-ún àti Ọ̀wàrà ọdún 2023. Lílo tó gbòòrò yìí ń ṣàfihàn bí OpenVoice ṣe dájú tó àti ìmúrasílẹ̀ rẹ̀ fún gbígbéṣe ní àwọn àyíká ìṣejáde ìṣòwò nla.
.class="m-10 w-100"
Ìdàdàsílẹ̀ nípasẹ̀ Ìfọwọ́sowọ́pọ̀ Open-Source
Ètò open-source ti OpenVoice kò kàn mú kí àyè sí ìmọ̀-ẹ̀rọ ìdàkọ ohùn gíga rọrùn fún gbogbo ènìyàn nìkan, ṣùgbọ́n ó tún ń mú kí àyíká ìfọwọ́sowọ́pọ̀ dídára wà fún àtúnṣe títí lọ. Nípa pípe àwọn àfikún láti ọ̀dọ̀ agbègbè onímọ̀-ẹ̀rọ àgbáyé, OpenVoice ń rí i dájú pé ìdàgbàsókè yíyára wà fún àwọn agbára rẹ̀, ní wíwá ojútùú sí àwọn àìní tuntun àti mímú kí àyè ìlò rẹ̀ gbòòrò sí i. Code orísun àti àwọn model weights ti wà ní gbangba láti dọ̀kan fún ìwádìí àti ìdàgbàsókè síwájú sí i.
.class="m-10 w-100"
Ìtúpalẹ̀ Ìfiwéra pẹ̀lú Ohun èlò Ìdàkọ Ohùn ti OpenAI
Bí ó tilẹ̀ jẹ́ pé Ohun èlò Ìdàkọ Ohùn ti OpenAI ń ṣàfihàn ìtẹ̀síwájú pàtàkì nínú ìṣẹ̀dá ohùn, OpenVoice kọjá rẹ̀ nípa pípèsè àyípadà àti ìdarí tó tóbi jù. Àwọn ìfiwéra tààrà láàárín àwọn ojútùú ìdàkọ ohùn lè ṣòro. Èyí rí bẹ́ẹ̀ nítorí àwọn ojútùú ọ̀tọ̀ọ̀tọ̀ ń lo datasets, àwọn ìwọ̀n ìtúpalẹ̀, àti àwọn agbègbè ìfojúsùn ọ̀tọ̀ọ̀tọ̀. OpenVoice ta yọ nínú ìdàkọ ohùn fún àwọn agbára rẹ̀ àrà ọ̀tọ̀. Ó lè ṣe zero-shot cross-lingual voice cloning ati pé ó ní ìyípadà ńlá ní ìdarí àwọn ara ohùn. Àkópọ̀ àwọn àbùdá yìí ń mú kí OpenVoice ní ìbáramu gíga àti agbára, ní sísọ ọ́ di ohun èlò tó ta yọ fún ìdàkọ ohùn.
.class="m-10 w-100"
Àwọn Ìlò Oríṣiríṣi Kọjá Àwọn Iléeṣẹ́
Àwọn ìlò OpenVoice gbòòrò kọjá àwọn abala oríṣiríṣi. Ó ń ṣèlérí láti yí àyè fún àwọn tí ara kò pé padà nípa pípèsè ìtọ́sọ́nà ohùn ti àdánidá fún àwọn tí kò ríran. Ní ti eré idaraya, ó ń jẹ́ kí ṣíṣẹ̀dá àwọn ohùn ọ̀tọ̀ọ̀tọ̀ fún àwọn ohun èlò digital ṣeé ṣe. Iṣẹ́ ìsìn oníbàárà lè lo OpenVoice láti mú kí àwọn ètò interactive voice response sunwọ̀n sí i, ní pípèsè àwọn ìrírí tí ó ní ti ara ẹni àti ìkópa tó dára fún àwọn olùlo.
.class="m-10 w-100"
Àwọn Àníyàn AI Tí Ó Ní Ẹrù-Iṣẹ́
Gẹ́gẹ́ bí ó ṣe rí pẹ̀lú ìmọ̀-ẹ̀rọ èyíkéyìí tó ní agbára, ó ṣe pàtàkì láti gbé àwọn àbájáde ìwà rere àti lílò lódì tí ó lè wáyé ti ìdàkọ ohùn yẹ̀ wò.
Àwọn olùgbéjade OpenVoice pinnu láti tẹ̀lé àwọn ìlànà AI tí ó ní ẹrù-iṣẹ́:
- Gbígba àṣẹ láti ọ̀dọ̀ àwọn ènìyàn tí a da ohùn wọn kọ
- Lílò watermarking láti dá ohun èlò tí a ṣẹ̀dá mọ̀
- Fífún àwọn olùlo ní ẹ̀kọ́ lórí lílo ìmọ̀-ẹ̀rọ tó tọ́.
- Ìwádìí títí lọ àti ìfọwọ́sowọ́pọ̀ pẹ̀lú àwọn onímọ̀ nípa ìwà rere àti àwọn olùṣe ìlànà yóò ṣe kókó láti wá ojútùú sí àwọn ìpèníjà tí ń yọ jáde nínú abala yìí.
.class="m-10 w-100"
Ojú-Ojú ti Àwọn Ìdàgbàsókè Ọjọ́ Iwájú
Bí OpenVoice ṣe ń tẹ̀síwájú, roadmap rẹ̀ pọkàn pọ̀ lórí:
- Ṣíṣe àtúnṣe model rẹ̀ láti gba àwọn ara ohùn àti àkópọ̀ ohùn púpọ̀ sí i.
- Mú kí àwọn agbára cross-lingual synthesis tẹ̀síwájú.
- Optimising iyára inference.
Ìdàgbàsókè open-source ń rí i dájú pé OpenVoice dúró ní ilé-iṣẹ́ tuntun. Àwọn àfikún agbègbè àti àwọn ìtẹ̀síwájú ìmọ̀-ẹ̀rọ yóò pa á mọ́ sí iwájú ti ìdàkọ ohùn.
.class="m-10 w-100"
Ìparí
OpenVoice jẹ́ àmì pàtàkì nínú ìdàgbàsókè ti ìmọ̀-ẹ̀rọ ìdàkọ ohùn. OpenVoice ń ṣàkópọ̀ ìṣẹ̀dá ohùn tó yára, tó pé pẹ̀lú ìdarí tí kò ní irú rẹ̀ lórí àwọn àbùdá ohùn. Ó kọjá àwọn ohun èlò tí ó wà tẹ́lẹ̀, ó sì ń gbé àwọn ìlànà ilé-iṣẹ́ tuntun kalẹ̀. Gẹ́gẹ́ bí iṣẹ́ open-source pẹ̀lú àwọn ìlò ayé gidi, OpenVoice ti pinnu fún àtúnṣe títí lọ. Ó jẹ́ ìmọ̀-ẹ̀rọ kókó kan tí yóò ṣe àpẹẹrẹ bí a ṣe ń ṣe ọ̀rọ̀ àtọwọ́dá ní ọjọ́ iwájú, pẹ̀lú àwọn ìlò ní oríṣiríṣi àwọn abala àti ìlò.
Àwọn Ìtọ́kasí
- MyShell. (2023). OpenVoice: Asáájú nínú Ìdàsílẹ̀ ti Ìmọ̀-ẹ̀rọ Àdàkọ Ohùn. Gba láti https://research.myshell.ai/open-voice
- Qin, Z., Zhao, W., Yu, X., & Sun, X. (2023). OpenVoice: Versatile Instant Voice Cloning. arXiv preprint arXiv:2312.01479. Gba láti https://arxiv.org/abs/2312.01479
Àtúnyẹ̀wò kẹyìn .
---Àyẹ̀wò àkọ́kọ́ .
Tẹ àpilẹ̀kọ yìí jáde lẹ́ẹ̀kan sí i
Daakọ ọ̀nà fún Medium
# OpenVoice: Asáájú nínú Ìdàsílẹ̀ ti Ìmọ̀-ẹ̀rọ Àdàkọ Ohùn — Sebastien Rousseau > Originally published at [https://sebastienrousseau.com/yo/2024-04-01-openvoice-leading-innovation-in-voice-cloning-technology/](https://sebastienrousseau.com/yo/2024-04-01-openvoice-leading-innovation-in-voice-cloning-technology/) OpenVoice from MIT, Tsinghua and MyShell: production-grade voice cloning with tone, accent and emotion control — and the trade-offs worth knowing. Read the full article on sebastienrousseau.com: https://sebastienrousseau.com/yo/2024-04-01-openvoice-leading-innovation-in-voice-cloning-technology/
Daakọ ọ̀nà fún Mastodon
OpenVoice: Asáájú nínú Ìdàsílẹ̀ ti Ìmọ̀-ẹ̀rọ Àdàkọ Ohùn — Sebastien Rousseau OpenVoice from MIT, Tsinghua and MyShell: production-grade voice cloning with tone, accent and emotion control — and the trade-offs worth knowing. https://sebastienrousseau.com/yo/2024-04-01-openvoice-leading-innovation-in-voice-cloning-technology/
Daakọ tí a ṣe ìtọ́nà fún LinkedIn
OpenVoice: Asáájú nínú Ìdàsílẹ̀ ti Ìmọ̀-ẹ̀rọ Àdàkọ Ohùn — Sebastien Rousseau OpenVoice from MIT, Tsinghua and MyShell: production-grade voice cloning with tone, accent and emotion control - and the trade-offs worth knowing. Èyí ni àwọn èrò àgbékalẹ̀ pàtàkì: - Ìṣáájú. Bí [OpenAI ⧉][02] ṣe pinnu láti dín àyè sí ohun èlò ìdàkọ ohùn ti tirẹ̀ kù nítorí lílò lódì tí ó lè wáyé, OpenVoice ń pèsè yíyàn tí ó ní ẹrù-iṣẹ́. - Ojú Ìbẹ̀rẹ̀ ti OpenVoice. OpenVoice yàtọ̀ sí àwọn yòókù nípasẹ̀ ìyáwọ̀ rẹ̀ nínú ìdàkọ ohùn, ní nilò kíkọ̀ ohùn kúkúrú kan pèré láti da ohùn olùsọdọ̀ kọ lẹ́sẹ̀kẹsẹ̀ kọjá àwọn èdè púpọ̀. - Iyára àti Pípé: Ìṣẹ́gun Pípé Mejì. Ìgbékalẹ̀ OpenVoice jẹ́ kí ó yára kọjá àwọn olùdíje rẹ̀ nínú iyára àti pípé, ní pípèsè ọ̀rọ̀ ní ìgbà 12 yára ju àkókò gidi lórí GPU kan ṣoṣo láìsí dídín dídára ohùn tí a dákọ kù. - Zero-Shot Cross-Lingual Voice Cloning. Ọ̀kan lára àwọn àwòrán dídára jùlọ ti OpenVoice ni agbára rẹ̀ láti ṣaṣeyọri zero-shot cross-lingual voice cloning láìní data púpọ̀ fún èdè kọ̀ọ̀kan. Kí ni ọ̀nà àgbékalẹ̀ ilé-iṣẹ́ yín sí àwọn ìpèníjà tí a sọ nínú àpilẹ̀kọ yìí? → https://sebastienrousseau.com/yo/2024-04-01-openvoice-leading-innovation-in-voice-cloning-technology/ #Openvoice #Ìmọ̀ÌdàkọOhùn #AiỌ̀rọ̀Àgbékalẹ̀ #ÌdàkọOhùnOpenSource #Ìṣọpọ̀OhùnGbaÈdè Sebastien Rousseau | CC-BY-4.0
Tọka àpilẹkọ yìí
OpenVoice: Asáájú nínú Ìdàsílẹ̀ ti Ìmọ̀-ẹ̀rọ Àdàkọ Ohùn — Sebastien Rousseau
OpenVoice from MIT, Tsinghua and MyShell: production-grade voice cloning with tone, accent and emotion control — and the trade-offs worth knowing.
BibTeX
@online{rousseau2024openvoice,
author = {Rousseau, Sebastien},
title = {{OpenVoice: Asáájú nínú Ìdàsílẹ̀ ti Ìmọ̀-ẹ̀rọ Àdàkọ Ohùn — Sebastien Rousseau}},
year = {2024},
url = {https://sebastienrousseau.com/yo/2024-04-01-openvoice-leading-innovation-in-voice-cloning-technology/},
urldate = {2024}
}RIS
TY - GEN AU - Rousseau, Sebastien TI - OpenVoice: Asáájú nínú Ìdàsílẹ̀ ti Ìmọ̀-ẹ̀rọ Àdàkọ Ohùn — Sebastien Rousseau PY - 2024 UR - https://sebastienrousseau.com/yo/2024-04-01-openvoice-leading-innovation-in-voice-cloning-technology/ ER -
Vancouver
Rousseau S. OpenVoice: Asáájú nínú Ìdàsílẹ̀ ti Ìmọ̀-ẹ̀rọ Àdàkọ Ohùn — Sebastien Rousseau. sebastienrousseau.com. 2024 Apr 1. Available from: https://sebastienrousseau.com/yo/2024-04-01-openvoice-leading-innovation-in-voice-cloning-technology/
Chicago
Rousseau, Sebastien. "OpenVoice: Asáájú nínú Ìdàsílẹ̀ ti Ìmọ̀-ẹ̀rọ Àdàkọ Ohùn — Sebastien Rousseau." sebastienrousseau.com. April 1, 2024. https://sebastienrousseau.com/yo/2024-04-01-openvoice-leading-innovation-in-voice-cloning-technology/.
APA
Rousseau, S. (2024, April 1). OpenVoice: Asáájú nínú Ìdàsílẹ̀ ti Ìmọ̀-ẹ̀rọ Àdàkọ Ohùn — Sebastien Rousseau. sebastienrousseau.com. https://sebastienrousseau.com/yo/2024-04-01-openvoice-leading-innovation-in-voice-cloning-technology/
Tun àpilẹkọ yìí jade
OpenVoice: Asáájú nínú Ìdàsílẹ̀ ti Ìmọ̀-ẹ̀rọ Àdàkọ Ohùn — Sebastien Rousseau
OpenVoice from MIT, Tsinghua and MyShell: production-grade voice cloning with tone, accent and emotion control — and the trade-offs worth knowing.
A ti fun àpilẹkọ yìí ni iwe-ẹri labẹ Creative Commons Attribution 4.0 International. Atunjade nilo idanimọ si URL akọkọ.
OpenVoice: Asáájú nínú Ìdàsílẹ̀ ti Ìmọ̀-ẹ̀rọ Àdàkọ Ohùn — Sebastien Rousseau OpenVoice from MIT, Tsinghua and MyShell: production-grade voice cloning with tone, accent and emotion control — and the trade-offs worth knowing. Originally published at https://sebastienrousseau.com/yo/2024-04-01-openvoice-leading-innovation-in-voice-cloning-technology/ by Sebastien Rousseau. Licensed under CC-BY-4.0.