生成 AI 是機器學習的一種，計算機可以根據用戶的提示生成原創(chuàng)的新內容。今天，文本和圖像是這項技術最成熟的應用，但幾乎每個創(chuàng)意領域都在開展工作，從動畫到音效，再到音樂，甚至創(chuàng)建具有完全充實個性的虛擬角色。

當然，人工智能在游戲中的應用并不是什么新鮮事。即使是早期的游戲，如 Atari 的 Pong，也有計算機控制的對手來挑戰(zhàn)玩家。然而，這些虛擬敵人并沒有像我們今天所知道的那樣運行人工智能。它們只是游戲設計師編寫的腳本程序。他們模擬了一個人工智能對手，但他們無法學習，他們只能和建造他們的程序員一樣好。

由于更快的微處理器和云計算，現(xiàn)在的不同之處在于可用的計算能力。有了這種能力，就可以構建大型神經網絡來識別高度復雜領域中的模式和表征。到目前，市場上有很多生成 AI應用的公司。當然，游戲領域的發(fā)展有經歷過諸多時代和技術。

2D 圖像

生成 2D 圖像已經是生成人工智能應用最廣泛的領域之一。Midjourney、Stable Diffusion 和 Dall-E 2 等工具可以從文本生成高質量的 2D 圖像，并且已經在游戲生命周期的多個階段進入游戲制作。

概念藝術

生成 AI 工具擅長“構思”或幫助非藝術家（如游戲設計師）快速探索概念和想法以生成概念圖，這是制作過程的關鍵部分。例如，一個工作室（保持匿名）正在使用其中的幾個工具來從根本上加快他們的概念藝術過程，只需要一天就可以創(chuàng)建一個圖像，而以前需要長達 3 周的時間。

• 首先，他們的游戲設計師使用 Midjourney 探索不同的想法并生成他們覺得鼓舞人心的圖像。
• 這些被移交給專業(yè)的概念藝術家，他們將它們組裝在一起并在結果上繪畫以創(chuàng)建一個單一的連貫圖像——然后將其輸入到 Stable Diffusion 中以創(chuàng)建一系列變化。
• 他們討論這些變化，選擇一個，手動繪制一些編輯——然后重復這個過程，直到他們對結果滿意為止。
• 在那個階段，最后一次將此圖像傳回 Stable Diffusion 以“升級”它以創(chuàng)建最終的藝術作品。

2D 制作藝術

一些工作室已經在嘗試使用相同的工具來制作游戲中的藝術品。例如，這里有一篇來自 Albert Bozesan 的精彩教程，介紹如何使用 Stable Diffusion 創(chuàng)建游戲中的 2 D 資產。

3D 藝術品

3D 資產是所有現(xiàn)代游戲以及即將到來的元宇宙的基石。虛擬世界或游戲關卡本質上只是 3D 資產的集合，經過放置和修改以填充環(huán)境。然而，創(chuàng)建 3D 資產比創(chuàng)建 2D 圖像更復雜，并且涉及多個步驟，包括創(chuàng)建 3D 模型和添加紋理和效果。對于動畫角色，它還涉及創(chuàng)建內部“骨架”，然后在該骨架之上創(chuàng)建動畫。

我們看到幾家不同的初創(chuàng)公司在這個 3D 資產創(chuàng)建過程的每個階段都在努力，包括模型創(chuàng)建、角色動畫和關卡構建。然而，這還不是一個已解決的問題——還沒有任何解決方案準備好完全集成到生產中。

3D 資產

試圖解決 3 D 模型創(chuàng)建問題的初創(chuàng)公司包括 Kaedim、Mirage 和 Hypothetic。更大的公司也在關注這個問題，包括 Nvidia 的 Get3 D 和 Autodesk 的 ClipForge。Kaedim 和 Get3 d 專注于圖像到 3 D（image-to-3 D）；ClipForge 和 Mirage 專注于文本到 3 D（text-to-3 D），而 Hypothetic 對文本到 3 D（text-to-3 D）搜索以及圖像到 3 D（image-to-3 D）都感興趣。

3D 紋理

3D 模型的逼真度取決于應用于網格的紋理或材料。決定將哪種長滿苔蘚、風化的石頭紋理應用于中世紀城堡模型可以完全改變場景的外觀和感覺。紋理包含關于光如何對材料做出反應的元數(shù)據（即粗糙度、光澤度等）。允許藝術家根據文本或圖像提示輕松生成紋理對于提高創(chuàng)作過程中的迭代速度非常有價值。幾個團隊正在尋求這個機會，包括 BariumAI、Ponzu 和 ArmorLab。

動畫

創(chuàng)建出色的動畫是游戲創(chuàng)建過程中最耗時、最昂貴且最需要技巧的部分之一。降低成本并創(chuàng)建更逼真的動畫的一種方法是使用動作捕捉，您可以讓演員或舞者穿上動作捕捉服，并記錄他們在配備特殊儀器的動作捕捉舞臺上的移動。

我們現(xiàn)在看到了可以直接從視頻中捕捉動畫的生成 AI 模型。這樣效率更高，既因為它消除了對昂貴的動作捕捉裝備的需求，也因為這意味著您可以從現(xiàn)有視頻中捕捉動畫。這些模型的另一個令人興奮的方面是，它們還可以用于對現(xiàn)有動畫應用過濾器，例如讓它們看起來喝醉了、老了或開心了。進入這一領域的公司包括 Kinetix、DeepMotion、RADiCAL、Move Ai 和 Plask。

關卡設計和世界建設

游戲創(chuàng)作中最耗時的一個方面是構建游戲世界，生成 AI 應該非常適合這項任務。Minecraft、No Man's Sky 和 Diablo 等游戲已經以使用程序技術生成關卡而聞名，其中關卡是隨機創(chuàng)建的，每次都不同，但遵循關卡設計師制定的規(guī)則。新的 Unreal 5 游戲引擎的一大賣點是其用于開放世界設計的程序工具集，例如植被放置。

我們已經看到該領域的一些舉措，例如 Promethean、MLXAR 或 Meta 的 Builder Bot，并且認為生成技術在很大程度上取代程序技術只是時間問題。該領域的學術研究已經有一段時間了，包括 Minecraft 的生成技術或 Doom 的關卡設計。

期待用于關卡設計的生成式 AI 工具的另一個令人信服的理由是能夠創(chuàng)建不同風格的關卡和世界。你可以想象在 1920 年的紐約拍板時代要求工具生成一個世界，對比反烏托邦的銀翼殺手式未來，對比托爾金式的幻想世界。

音頻

聲音和音樂是游戲體驗的重要組成部分。我們開始看到公司使用 Generative AI 來生成音頻，以補充圖形方面已經發(fā)生的工作。

聲音特效

音效是 AI 極具吸引力的開放領域。已有學術論文探索使用 AI 在電影中生成“foley”（例如腳步聲）的想法，但游戲中的商業(yè)產品還很少。

我們認為這只是時間問題，因為游戲的交互性使其成為生成 AI 的明顯應用，既可以在制作過程中創(chuàng)建靜態(tài)音效（“激光槍聲，星球大戰(zhàn)風格”），又在運行時創(chuàng)建實時交互式音效。

考慮為玩家角色生成腳步聲這樣簡單的事情。大多數(shù)游戲通過包含少量預先錄制的腳步聲來解決這個問題：在草地上行走、在礫石上行走、在草地上奔跑、在礫石上奔跑等。生成和管理這些聲音很乏味，并且在運行時聽起來重復且不真實。

更好的方法是實時生成擬音效果的 AI 模型，它可以動態(tài)生成適當?shù)囊粜В看味悸杂胁煌?，對游戲中的參?shù)（如地面、角色體重、步態(tài)、鞋類等

音樂

音樂一直是游戲的挑戰(zhàn)。這很重要，因為它可以像在電影或電視中一樣幫助設定情感基調，但由于游戲可以持續(xù)數(shù)百甚至數(shù)千小時，它很快就會變得重復或煩人。此外，由于游戲的互動性，音樂可能很難在任何給定時間精確匹配屏幕上發(fā)生的事情。

二十多年來，自適應音樂一直是游戲音頻領域的一個話題，一直追溯到微軟用于創(chuàng)建互動音樂的“DirectMusic”系統(tǒng)。DirectMusic 從未被廣泛采用，主要是因為以這種格式進行創(chuàng)作很困難。只有少數(shù)游戲，如 Monolith 的 No One Lives Forever，創(chuàng)造了真正的互動配樂。

現(xiàn)在我們看到許多公司正在嘗試創(chuàng)建 AI 生成的音樂，例如 Soundful、Musico、Harmonai、Infinite Album 和 Aiva。雖然今天的一些工具，如 Open AI 的 Jukebox，計算密集度很高，不能實時運行，但大多數(shù)都可以在初始模型構建后實時運行。

語音和對話

有大量公司試圖為游戲中的角色創(chuàng)造逼真的聲音。考慮到嘗試通過語音合成為計算機提供聲音的悠久歷史，這并不奇怪。這些公司包括 Sonantic、Coqui、Replica Studios、Resemble.ai、Readspeaker.ai 等等。

使用生成 AI 進行語音有多種優(yōu)勢，這在一定程度上解釋了為什么這個領域如此擁擠。

即時生成對話。通常游戲中的語音是由配音演員預先錄制的，但這些僅限于預先錄制的錄音語音。通過生成 AI 對話，角色可以說任何話——這意味著他們可以對玩家的行為做出充分的反應。結合用于 NPC 的更智能的 AI 模型（不在本博客的范圍內，但現(xiàn)在是一個同樣令人興奮的創(chuàng)新領域），對玩家完全反應的游戲的承諾即將到來。

• 角色扮演。許多玩家想扮演與他們在現(xiàn)實世界中的身份幾乎沒有相似之處的奇幻角色。然而，一旦玩家用自己的聲音說話，這種幻想就會破滅。使用與玩家頭像相匹配的生成聲音可以保持這種錯覺。
• 控制。生成語音時，您可以控制聲音的細微差別，如音色、音調變化、情感共鳴、音素長度、重音等。
• 本土化。允許將對話翻譯成任何語言并以相同的聲音說出來。像 Deepdub 這樣的公司專門專注于這個利基市場。

NPC 或玩家角色

許多初創(chuàng)公司正在考慮使用生成式 AI 來創(chuàng)建可以與之互動的可信角色，部分原因是這是一個在游戲之外具有如此廣泛適用性的市場，例如虛擬助理或接待員。

創(chuàng)造可信角色的努力可以追溯到 AI 研究的開端。事實上，經典的人工智能“圖靈測試”的定義是，人類應該無法區(qū)分與人工智能和人類的聊天對話。

目前，有數(shù)百家公司在構建通用聊天機器人，其中許多由類似 GPT-3 的語言模型提供支持。少數(shù)人專門嘗試構建以娛樂為目的的聊天機器人，例如試圖構建虛擬朋友的 Replika 和 Anima。正如電影《她》中探討的那樣，與虛擬女友約會的概念可能比您想象的更接近。

我們現(xiàn)在看到了這些聊天機器人平臺的下一次迭代，例如 Charisma.ai、Convai.com 或 Inworld.ai，旨在為完全渲染的 3 D 角色提供動力、情感和代理，并提供工具讓創(chuàng)作者提供這些人物目標。如果他們要融入游戲或在推進情節(jié)中有一個敘事位置，而不是純粹的門面裝飾，這一點很重要。

多合一平臺

Runwayml.com 是最成功的生成 AI 工具之一，因為它在一個軟件包中匯集了廣泛的創(chuàng)作者工具套件。目前還沒有這樣的視頻游戲平臺，我們認為這是一個被忽視的機會。我們很樂意投資具有以下特點的解決方案：

• 涵蓋整個生產過程的全套人工智能生成工具。（代碼、資產生成、紋理、音頻、描述等）
• 與 Unreal 和 Unity 等流行游戲引擎緊密集成。
• 旨在適應典型的游戲制作流程。