亚洲AV免费看深爱成人|日韩av另类一级特黄片在线|中国免费一级黄片|国产av一二三区|亚洲有码AV在线|久久亚洲国产日韩欧美|成人免费AV网站|婷婷一区综合一区|亚洲AV无码导航|高级欧美成人网站

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

揭秘AI生成圖片的奧秘

發(fā)布時(shí)間：2024-08-31 12:44:47 瀏覽量：155次

想必大家對于LLM（大規(guī)模語言模型）很是熟悉，也知道了它能做什么，甚至很多人也能說出GPT是怎么生成的問題的回復(fù)（概括為一句話：GPT已經(jīng)理解人們語義的生成原理，因此可以基于自己的理解和泛化能力回答，而不是從數(shù)據(jù)里找答案）。但現(xiàn)在火極一時(shí)的Midjourney、Stable diffusion或者剛出圈的Pika的生成，背后依靠怎樣的模型和機(jī)制，有可能你并不是非常了解……

作者研讀了來自微軟研究團(tuán)隊(duì)在今年9月份最新發(fā)表的論文《Multimodal Foundation Models: From Specialists to General Purpose Assistants》，來說說AI是怎么理解圖片的。

和文本類的GPT相似，AI如果要生成一張符合人類要求的圖片，它需要做到理解圖片，進(jìn)而生成圖片，并且能夠編輯直至達(dá)成人類的需求。

圖片理解主要分成三大分類，分別是打標(biāo)簽式的監(jiān)督學(xué)習(xí)、語義式的監(jiān)督學(xué)習(xí)和純圖片式的自監(jiān)督學(xué)習(xí)。

首先我們來看一下打標(biāo)簽式的監(jiān)督學(xué)習(xí)。打標(biāo)簽式的監(jiān)督學(xué)習(xí)，顧名思義它其實(shí)是需要有一個(gè)標(biāo)簽的這個(gè)準(zhǔn)備，就是我們傳統(tǒng)意義上來說的傳統(tǒng)的這個(gè) supervision learning 就是監(jiān)督式的這種學(xué)習(xí)，也就是最早的這種機(jī)器學(xué)習(xí)的方式，全監(jiān)督式的學(xué)習(xí)。舉一個(gè)例子就是圖片里面這些標(biāo)簽的話，它是和圖片的話是一一對應(yīng)的關(guān)系。

第二類的是語義式的監(jiān)督學(xué)習(xí)，也就是 language supervision，這種學(xué)習(xí)的方式是通過自然語言的處理來學(xué)習(xí)視覺的概念，而這些自然語言和圖片是成對出現(xiàn)的，也就是 image 和test，它是按對來出現(xiàn)的。語義式的這種監(jiān)督學(xué)習(xí)和前面的相比，其實(shí)它對于這種打標(biāo)簽的一些基礎(chǔ)的工作依賴性更低了，但它需要這種自然語言和圖片的這種成對的這種方式，它也是會依賴于這個(gè)我們所謂的這個(gè) NLP 的這樣的一些輔助幫助。

第三類是純圖片的自監(jiān)督學(xué)習(xí)，圖片的這種自監(jiān)督學(xué)習(xí)，它主要可以再細(xì)分成為三大類。

第一種是對比學(xué)習(xí)，也就是 contrast learning。這種對比學(xué)習(xí)，它鼓勵(lì)的是正向的樣本，和學(xué)習(xí)內(nèi)容是正相關(guān)的，它也會需要負(fù)向樣本，因?yàn)樗枰獙τ谪?fù)面的這種樣本進(jìn)行標(biāo)注，進(jìn)行相應(yīng)的一個(gè)削弱。

第二種是非對比學(xué)習(xí)。比對比學(xué)習(xí)來說，它的要求會相對來說會更低一些，它不需要負(fù)面樣本，它只需要正面樣本。比如說我們需要訓(xùn)練這個(gè)貓和狗的這個(gè)圖片，那對于如果想訓(xùn)練貓的圖片的話，那我們就不需要狗的圖片。

第三種是現(xiàn)在一直在使用非常廣泛的一種叫做蒙版圖片建模，英文是MIM，全稱是 masked image modeling。它的主要的這個(gè)使用的這個(gè)方式流程包括說首先需要把圖片轉(zhuǎn)譯成token， token也會作為一個(gè)附加的一個(gè)標(biāo)記，也就是圖片它會轉(zhuǎn)譯成一些分散的 token 的這種模式。在第二步模型收到被隨機(jī)覆蓋部分區(qū)域的圖像之后，它要去推測被覆蓋圖像。接下來在推測完被覆蓋的圖像之后，它會輸出低像素和高像素的兩種不同類型的這種輸出對象。

但是對于蒙板圖片建模這種模型來說，它的一個(gè)不足之處，是缺少一些足量足夠量級的全球的圖像，所以有研究者提出會使用這個(gè)自我提純的方式來保證他的這個(gè)對圖片的這個(gè)理解是沒有這個(gè)欠缺的。

接下來我們來看一下不同理解方法的這個(gè)融合，之前的一些融合的方式，最近比較融合的這個(gè)好的這種最佳范例是BEiT-3（BEiT和BERT的結(jié)合）。

當(dāng)然我們說了這些圖片理解的方式也是需要不斷加強(qiáng)的，那加強(qiáng)的方案第一種就是我們傳統(tǒng)上來說的這個(gè)卷積網(wǎng)絡(luò)，這樣使用卷積網(wǎng)絡(luò)的方式能夠提取出圖片的這個(gè)特征，也就是我們最傳統(tǒng)的一種方式，那當(dāng)前比較火的這種方式是使用Transformer，也就是ViT，那它其實(shí)是能夠在圖片識別的時(shí)候去使用NLP，進(jìn)而將圖片進(jìn)行分類，或者是去捕捉相應(yīng)的物體。

除此之外其實(shí)還有兩種預(yù)訓(xùn)練的模式能夠去強(qiáng)化機(jī)器對圖片的理解。第一種的話是區(qū)域級的這個(gè)預(yù)訓(xùn)練，還有一種是像素級的預(yù)訓(xùn)練的模式……

查看完整視頻講解和腦圖請移步揭秘AI對圖片理解的發(fā)展歷程（完整視頻講解+腦圖梳理）

點(diǎn)擊咨詢

參考來源：

https://arxiv.org/pdf/2309.10020.pdf

https://sh-tsang.medium.com/review-imagenet-21k-pretraining-for-the-masses-25a6b19e5ee8

https://github.com/openai/CLIP

https://www.kaggle.com/code/basu369victor/playing-with-vqgan-clip

https://neptune.ai/blog/knowledge-distillation

https://arxiv.org/pdf/2208.10442.pd

https://viso.ai/deep-learning/vision-transformer-vit/

https://arxiv.org/pdf/2304.02643.pdf

熱門課程推薦

熱門資訊

請綁定手機(jī)號

獲取驗(yàn)證碼
x

同學(xué)您好！

您已成功報(bào)名0元試學(xué)活動(dòng)，老師會在第一時(shí)間與您取得聯(lián)系，請保持電話暢通！
確定