發(fā)布時間:2024-06-16 10:54:27 瀏覽量:245次
Hello~ 同學們,歡迎回到趣聞屋。經(jīng)過大約一個月的使用穩(wěn)定擴散webUI,發(fā)現(xiàn)txt2img還是有些知識點不太熟悉。于是決定記錄下學習過程,寫一篇關于生產(chǎn)圖像的txt2img的隨筆,加深理解。是筆記也是為與同學們分享,給大家提供一些啟發(fā)和幫助。好好學習,天天向上!歐耶~(本文總字數(shù)6000字,建議同學們收藏下來慢慢看)
穩(wěn)定擴散是一種用于生成高質量圖像的神經(jīng)網(wǎng)絡模型,它基于擴散過程,在保持圖像特征的同時增強了圖像細節(jié)。它由自編碼器、U-Net和一個文本編碼器(CLIP)組成。
1. Variational Autoencoder(VAE)是一種用于生成模型的神經(jīng)網(wǎng)絡結構,通過學習數(shù)據(jù)的潛在表示來生成新的數(shù)據(jù)。在穩(wěn)定擴散中,它被用作概率編碼器(Encoder)和解碼器(Decoder)。VAE通過將輸入數(shù)據(jù)映射到潛在空間中進行編碼,然后將編碼的向量與潛在變量的高斯分布進行重參數(shù)化,以便可以直接從潛在空間中進行采樣。
2. Unet是一種基于卷積神經(jīng)網(wǎng)絡的圖像分割模型,采用了一種特殊的“U”形結構,使得輸入的分辨率逐步減小而輸出的分辨率逐步增加。在穩(wěn)定擴散中,Unet能夠對圖像進行部分特征提取,同時在解碼器的過程中,能夠對生成的圖像進行重構,以獲得高的生成品質。
3. CLIP檢索網(wǎng)絡是一種文本-圖像匹配的神經(jīng)網(wǎng)絡算法,可以將輸入的文本和圖像進行語義相關性匹配,從而使其能夠實現(xiàn)對照片、視頻、插畫等圖像內(nèi)容的理解。在穩(wěn)定擴散中,CLIP檢索網(wǎng)絡不僅用于評估生成的圖像,也可以用于指導數(shù)據(jù)的采樣,以提高生成的圖像的多樣性和相關性。
具體來說,穩(wěn)定擴散在訓練模型時,將原始圖像通過不斷的隨機擴散和反向擴散來進行圖像變形,將圖像的細節(jié)信息逐漸壓縮到低頻區(qū)域。通過這一過程,穩(wěn)定擴散不僅能夠提取圖像的潛在表示,而且能夠將圖像的噪聲和細節(jié)信息分離出來。

前向擴散過程將圖像轉換到低維潛空間

逆擴散通過
熱門資訊
1. 華為手機神奇“AI修圖”功能,一鍵消除衣服!原圖變身大V領深V!
最近華為手機Pura70推出的“AI修圖”功能引發(fā)熱議,通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎?點擊查看!
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術尤為引人注目。只需在特定軟件中輸入關鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
想將照片變成漫畫效果?這篇文章分享了4個方法,包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖,簡單操作就能實現(xiàn),快來嘗試一下吧!
4. 一款免費無限制的AI視頻生成工具火了!國內(nèi)無障礙訪問!附教程
人人都可以動手制作AI視頻! 打開網(wǎng)址https://pixverse.ai/,用郵箱注冊后,點擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
5. 趕緊收藏好!這4個完全免費的AI視頻制作網(wǎng)站和工具
以下是一些免費的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉換為視頻。 用戶可以使...
6. 零基礎10分鐘生成漫畫,教大家如何用AI生成自己的漫畫
接下來,我將親自引導你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
就能快速生成一幅極具藝術效果的作品,讓現(xiàn)實中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細操作!有需要的快來...
8. AI視頻制作神器Viggle:讓靜態(tài)人物動起來,創(chuàng)意無限!
Viggle AI是一款免費制作視頻的AI工具,能讓靜態(tài)人物圖片動起來,快來了解Viggle AI的功能和優(yōu)勢吧!
9. 10個建筑AI工具,從設計到施工全覆蓋!肯定有你從來沒聽過的
講述了建筑業(yè)比較著名的AI公司小庫科技做出的探索,在這兒就不多說了。今天,我們試著在規(guī)劃設計、建筑方案設計、住宅設計、管道設計、出渲染圖、3D掃...
10. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設計徹底不用求人了。接下來詳細演示一遍操作流程首先進入Logo D... 想學習更多AI技能,比如說關于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
最新文章
同學您好!