火星網(wǎng)校
理解Stable Diffusion技術(shù)的運(yùn)行原理和AI繪畫生成過(guò)程
發(fā)布時(shí)間：2024-06-08 10:22:03 瀏覽量：275次
理解Stable Diffusion技術(shù)的運(yùn)行原理和AI繪畫生成過(guò)程
AIGC熱潮正席卷而來(lái)，Stable Diffusion開(kāi)源發(fā)布提高了AI圖像生成的高度，引入ControlNet和T2I-Adapter控制模塊提高了生成可控性，正在改變部分行業(yè)生產(chǎn)模式。本文整理了學(xué)習(xí)過(guò)程中記錄的技術(shù)內(nèi)容，主要解析了Stable Diffusion技術(shù)運(yùn)行機(jī)制，旨在幫助大家深入了解。
圖1 兩個(gè)stable diffusion例子
Stable Diffusion是2022年發(fā)布的文本到圖像潛在擴(kuò)散模型，由CompVis、Stability AI和LAION的研究人員創(chuàng)建。Stable Diffusion提出者StabilityAI公司在2022年10月完成了10億美元融資，估值已超過(guò)10億美元。本文將重點(diǎn)介紹Stable Diffusion技術(shù)思路和重要模塊運(yùn)行機(jī)制。
背景介紹
AI繪畫作為AIGC的一個(gè)應(yīng)用方向，在2022年以來(lái)成為AI領(lǐng)域熱門話題。AI繪畫借助其獨(dú)特創(chuàng)意和便捷工具走紅，受到廣泛關(guān)注。
原理簡(jiǎn)介
Stable Diffusion技術(shù)作為Diffusion改進(jìn)版本，解決了Diffusion的速度瓶頸，可用于文生成圖、圖生成圖、特定角色刻畫，甚至超分或上色任務(wù)。本文重點(diǎn)介紹文生成圖任務(wù)，解析Stable Diffusion計(jì)算思路和重要組成模塊。
圖2 Stable Diffusion組成
Stable Diffusion核心思想是利用文本中的分布信息逐步去噪，生成匹配文本信息的圖片。它包含多個(gè)模型子模塊，主要包括文本編碼器、圖片信息生成器和圖片解碼器。
模塊分析
1. Unet網(wǎng)絡(luò)
Stable Diffusion采用UNetModel模型，通過(guò)Encoder-Decoder結(jié)構(gòu)預(yù)估噪聲，具體網(wǎng)絡(luò)結(jié)構(gòu)詳見(jiàn)圖5。
圖5 Unet網(wǎng)絡(luò)結(jié)構(gòu)示意圖
UNetModel模型的訓(xùn)練目標(biāo)是去噪，訓(xùn)練集可通過(guò)向普通照片添加噪聲獲得。訓(xùn)練后，從加噪圖片預(yù)測(cè)噪聲，通過(guò)去除噪聲來(lái)恢復(fù)原始圖片，生成清晰的圖片。
2. 采樣器迭代
采樣階段是對(duì)加噪后圖片去噪，得到生成圖片的潛在空間表示。采樣器采用貝葉斯公式計(jì)算逆向過(guò)程分布和預(yù)估分布的KL散度差異，通過(guò)重參數(shù)技巧生成圖片。
3. CLIP模型
CLIP模型用于提取語(yǔ)義信息，用于訓(xùn)練配對(duì)的圖片和文字，訓(xùn)練目標(biāo)是預(yù)測(cè)圖文是否匹配。完成訓(xùn)練后，輸入配對(duì)的圖片和文字，CLIP模型能輸出相似的向量。
本文小結(jié)
AI繪畫領(lǐng)域不斷發(fā)展，Stable Diffusion技術(shù)將AI繪畫推向新高度。通過(guò)了解其技術(shù)原理和模塊運(yùn)行機(jī)制，我們能更好地控制AI繪畫生成，預(yù)期AI在不斷迭代發(fā)展中將有更多驚喜。
參考鏈接
GitHub - CompVis/stable-diffusion: A latent text-to-image diffusion model
The Illustrated Stable Diffusion: Visualizing machine learning one concept at a time
熱門課程推薦
熱門資訊
-
1. 華為手機(jī)神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領(lǐng)深V！
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議，通過(guò)簡(jiǎn)單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點(diǎn)擊查看！
-
2. 四款值得推薦的AI以圖生圖軟件，有需要的趕緊來(lái)試試!
近年來(lái),人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語(yǔ)以及上傳參考圖就能智能高效生成符合要求的...
-
3. 照片變漫畫效果，這4個(gè)方法操作簡(jiǎn)單有效，快來(lái)試試吧！
想將照片變成漫畫效果？這篇文章分享了4個(gè)方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡(jiǎn)單操作就能實(shí)現(xiàn)，快來(lái)嘗試一下吧！
-
4. 一款免費(fèi)無(wú)限制的AI視頻生成工具火了!國(guó)內(nèi)無(wú)障礙訪問(wèn)!附教程
人人都可以動(dòng)手制作AI視頻! 打開(kāi)網(wǎng)址https://pixverse.ai/,用郵箱注冊(cè)后,點(diǎn)擊右上角Create,就可以開(kāi)始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
-
5. 趕緊收藏好!這4個(gè)完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個(gè)基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
-
6. 零基礎(chǔ)10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來(lái),我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來(lái)盈利的漫畫。我們將一起探索如何利用這個(gè)工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來(lái)...
-
8. AI視頻制作神器Viggle：讓靜態(tài)人物動(dòng)起來(lái)，創(chuàng)意無(wú)限！
Viggle AI是一款免費(fèi)制作視頻的AI工具，能讓靜態(tài)人物圖片動(dòng)起來(lái)，快來(lái)了解Viggle AI的功能和優(yōu)勢(shì)吧！
-
9. 10個(gè)建筑AI工具，從設(shè)計(jì)到施工全覆蓋!肯定有你從來(lái)沒(méi)聽(tīng)過(guò)的
講述了建筑業(yè)比較著名的AI公司小庫(kù)科技做出的探索,在這兒就不多說(shuō)了。今天,我們?cè)囍谝?guī)劃設(shè)計(jì)、建筑方案設(shè)計(jì)、住宅設(shè)計(jì)、管道設(shè)計(jì)、出渲染圖、3D掃...
-
10. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計(jì)徹底不用求人了。接下來(lái)詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說(shuō)關(guān)于怎么樣利用AI來(lái)提高生產(chǎn)效率、還能做什么AI...
最新文章
