發(fā)布時(shí)間:2024-08-15 17:27:59 瀏覽量:196次
一直沒(méi)有寫過(guò)關(guān)于聲音克隆的文章,所以這次補(bǔ)上,畢竟這個(gè)用的還真是有點(diǎn)多,也為后面更多的個(gè)性化配音做好準(zhǔn)備。
TTS 的英文全名是 Text To Speech,中文譯名是“文本轉(zhuǎn)語(yǔ)音”。它是一種將文本內(nèi)容轉(zhuǎn)換為語(yǔ)音的技術(shù),通過(guò)TTS技術(shù),計(jì)算機(jī)可以將文字信息轉(zhuǎn)換成人類可聽懂的語(yǔ)音輸出,實(shí)現(xiàn)語(yǔ)音合成的功能。

目前市場(chǎng)上的AI聲音
我們最多用的還是普通的TTS,即把文字通過(guò)軟件輸出指定人的聲音,這塊微軟做的不錯(cuò),之前自己寫過(guò)一個(gè)免費(fèi)的TTS小軟件,API用的就是微軟的,如有需要,請(qǐng)看自己開發(fā) 一個(gè)免費(fèi)的文本轉(zhuǎn)語(yǔ)音小工具(這里插不進(jìn)來(lái)鏈接,聯(lián)系小編)。
如果你覺得功能少,可以使用國(guó)內(nèi)的魔音工坊,但是要收費(fèi)的哈。
但這些都不能指定聲音轉(zhuǎn)換,所以這里使用聲音克隆,來(lái)將指定人聲訓(xùn)練成模型,然后文字轉(zhuǎn)音頻。
接下來(lái)說(shuō)重點(diǎn)聲音克隆
開源項(xiàng)目地址:
https://github.com/fishaudio/Bert-VITS2
https://github.com/RVC-Boss/GPT-SoVITS
GPT-SoVITS是由RVC變聲器的創(chuàng)始人(GitHub昵稱為RVC-Boss)與AI音色轉(zhuǎn)換技術(shù)專家Rcell合作開發(fā)的一個(gè)開源項(xiàng)目。它是一個(gè)跨語(yǔ)言音色克隆工具,專注于聲音的轉(zhuǎn)換和克隆。
Bert-VITS2是由社區(qū)開發(fā)者fishaudio發(fā)起的一個(gè)開源項(xiàng)目,它基于VITS(Variational Inference for Text-to-Speech)模型進(jìn)行開發(fā),旨在提供高質(zhì)量的文本到語(yǔ)音(TTS)服務(wù)。
GPT-SoVITS在訓(xùn)練時(shí)間上具有明顯的優(yōu)勢(shì),因?yàn)樗С諪ew-shot學(xué)習(xí),能夠在短時(shí)間內(nèi)(如一分鐘的語(yǔ)音數(shù)據(jù))訓(xùn)練出具有相似音色的模型。
Bert-VITS2可能需要更長(zhǎng)的訓(xùn)練時(shí)間(1-4個(gè)小時(shí))來(lái)達(dá)到高質(zhì)量的語(yǔ)音合成效果,尤其是在數(shù)據(jù)集較大或模型較為復(fù)雜的情況下。
簡(jiǎn)單來(lái)說(shuō)就是如果你需要更穩(wěn)定和標(biāo)準(zhǔn)的聲音,辛苦一次永久使用就選擇Bert-VITS;
如果你想快速實(shí)現(xiàn)聲音克隆,跨語(yǔ)言就選擇 GPT-SoVITS;
這里以GPT-SoVITS為例,寫一篇詳細(xì)教程,因?yàn)樗?jiǎn)單有效還節(jié)省時(shí)間,至于Bert-VITS,我感覺即使寫了,他幾個(gè)小時(shí)的訓(xùn)練時(shí)間加上大量的素材收集,許多人也沒(méi)時(shí)間去嘗試,效果也不一定能好很多,這里力推GPT-SoVITS!讓我們開始吧!
開始前準(zhǔn)備,注冊(cè) OpenBayes 平臺(tái)賬號(hào)
新用戶注冊(cè) OpenBayes即可獲得3小時(shí)免費(fèi)RTX4090使用時(shí)長(zhǎng),用下方注冊(cè)鏈接你我都可以多加一個(gè)小時(shí)免費(fèi)時(shí)長(zhǎng)哈
點(diǎn)擊咨詢
1 GPT-SoVITS一鍵克隆環(huán)境:
選擇公共資源下的公眾教程,選擇 GPT-SoVITS 音頻合成在線 Demo

點(diǎn)擊右上角克隆,之后選擇審核并執(zhí)行,繼續(xù)執(zhí)行


等待幾分鐘, 等待數(shù)據(jù)同步成功
完成后 打開工作空間

4 打開 run.ipynb,一鍵運(yùn)行所有單元格

5 等幾秒鐘運(yùn)行完畢,打開輸出的 public URL

6 打開音頻選擇數(shù)據(jù)類型

7 點(diǎn)擊開始選練

8 等待幾分鐘訓(xùn)練時(shí)間
可以后臺(tái)看到訓(xùn)練15epoch后訓(xùn)練成功,前端顯示模型開始預(yù)測(cè)


4 訓(xùn)練填寫新綁定的數(shù)據(jù)集目錄


5 重復(fù)之前開頭的步驟,最后我們看下效果
說(shuō)中文效果
克隆李雪健-中文
說(shuō)英文效果
克隆李雪健English-version
最后,這個(gè)教程看著多了點(diǎn),其實(shí)可能我只是盡可能把每個(gè)步驟的圖貼完整,盡量滿足各種不懂編程的人都?jí)蝽樌寺÷曇舫晒?/p>
這個(gè)項(xiàng)目還是蠻牛皮,重點(diǎn)在于省時(shí)省力,簡(jiǎn)單有效,當(dāng)之為當(dāng)前性價(jià)比速度之神,也期待你能有更多更好玩的用處
如果是英文,建議去llElevenlabs
文章不易,如果你覺得不錯(cuò),記得點(diǎn)個(gè)贊、在看、轉(zhuǎn)發(fā)吧,感謝!

熱門資訊
1. 華為手機(jī)神奇“AI修圖”功能,一鍵消除衣服!原圖變身大V領(lǐng)深V!
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議,通過(guò)簡(jiǎn)單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎?點(diǎn)擊查看!
2. 四款值得推薦的AI以圖生圖軟件,有需要的趕緊來(lái)試試!
近年來(lái),人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語(yǔ)以及上傳參考圖就能智能高效生成符合要求的...
3. 照片變漫畫效果,這4個(gè)方法操作簡(jiǎn)單有效,快來(lái)試試吧!
想將照片變成漫畫效果?這篇文章分享了4個(gè)方法,包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖,簡(jiǎn)單操作就能實(shí)現(xiàn),快來(lái)嘗試一下吧!
4. 一款免費(fèi)無(wú)限制的AI視頻生成工具火了!國(guó)內(nèi)無(wú)障礙訪問(wèn)!附教程
人人都可以動(dòng)手制作AI視頻! 打開網(wǎng)址https://pixverse.ai/,用郵箱注冊(cè)后,點(diǎn)擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
5. 趕緊收藏好!這4個(gè)完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個(gè)基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
6. 零基礎(chǔ)10分鐘生成漫畫,教大家如何用AI生成自己的漫畫
接下來(lái),我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來(lái)盈利的漫畫。我們將一起探索如何利用這個(gè)工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來(lái)...
8. AI視頻制作神器Viggle:讓靜態(tài)人物動(dòng)起來(lái),創(chuàng)意無(wú)限!
Viggle AI是一款免費(fèi)制作視頻的AI工具,能讓靜態(tài)人物圖片動(dòng)起來(lái),快來(lái)了解Viggle AI的功能和優(yōu)勢(shì)吧!
9. 10個(gè)建筑AI工具,從設(shè)計(jì)到施工全覆蓋!肯定有你從來(lái)沒(méi)聽過(guò)的
講述了建筑業(yè)比較著名的AI公司小庫(kù)科技做出的探索,在這兒就不多說(shuō)了。今天,我們?cè)囍谝?guī)劃設(shè)計(jì)、建筑方案設(shè)計(jì)、住宅設(shè)計(jì)、管道設(shè)計(jì)、出渲染圖、3D掃...
10. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計(jì)徹底不用求人了。接下來(lái)詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說(shuō)關(guān)于怎么樣利用AI來(lái)提高生產(chǎn)效率、還能做什么AI...
最新文章
同學(xué)您好!