亚洲AV免费看深爱成人|日韩av另类一级特黄片在线|中国免费一级黄片|国产av一二三区|亚洲有码AV在线|久久亚洲国产日韩欧美|成人免费AV网站|婷婷一区综合一区|亚洲AV无码导航|高级欧美成人网站

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

Sora視頻生成引爆AI剪輯，華人作者掀風(fēng)暴

發(fā)布時間：2024-05-20 11:59:31 瀏覽量：99次

機器之心報道

編輯：杜偉、小舟

未來，視頻剪輯可能也會像視頻生成領(lǐng)域一樣迎來 AI 自動化操作的大爆發(fā)。

這幾天，AI 視頻領(lǐng)域異常地?zé)狒[，其中 OpenAI 推出的視頻生成大模型 Sora 更是火出了圈。而在視頻剪輯領(lǐng)域，AI 尤其是大模型賦能的 Agent 也開始大顯身手。

隨著自然語言被用來處理與視頻剪輯相關(guān)的任務(wù)，用戶可以直接傳達(dá)自己的意圖，從而不需要手動操作。但目前來看，大多數(shù)視頻剪輯工具仍然嚴(yán)重依賴手動操作，并且往往缺乏定制化的上下文幫助。因此，用戶只能自己處理復(fù)雜的視頻剪輯問題。

關(guān)鍵在于如何設(shè)計一個可以充當(dāng)協(xié)作者、并在剪輯過程中不斷協(xié)助用戶的視頻剪輯工具？在本文中，研究者提出利用大語言模型（LLM）的多功能語言能力來進(jìn)行視頻剪輯，并探討了未來的視頻剪輯范式，從而減少與手動視頻剪輯過程的阻礙。

  • 論文標(biāo)題：LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing
  • 論文地址：點擊咨詢

具體而言，研究者推出了視頻剪輯工具 LAVE，它具備了一系列由 LLM 提供的語言增強功能。LAVE 引入了一個基于 LLM 的規(guī)劃和執(zhí)行智能體，該智能體可以解釋用戶的自由格式語言命令、進(jìn)行規(guī)劃和執(zhí)行相關(guān)操作以實現(xiàn)用戶剪輯目標(biāo)。智能體可以提供概念化幫助（如創(chuàng)意頭腦風(fēng)暴和視頻素材概覽）和操作幫助（包括基于語義的視頻檢索、故事板和剪輯修剪）。

為了使這些智能體的操作順利進(jìn)行，LAVE 使用視覺語言模型（VLM）自動生成視頻視覺效果的語言描述。這些視覺敘述使 LLM 能夠理解視頻內(nèi)容，并利用它們的語言能力協(xié)助用戶完成剪輯。此外，LAVE 提供了兩種交互視頻剪輯模式，即智能體協(xié)助和直接操作。雙重模式為用戶提供了靈活性，并允許他們按需改進(jìn)智能體操作。

至于 LAVE 的剪輯效果怎么樣？研究者對包括剪輯新手和老手在內(nèi)的 8 名參與者進(jìn)行了用戶研究，結(jié)果表明，參與者可以使用 LAVE 制作出令人滿意的 AI 協(xié)作視頻。

值得關(guān)注的是，這項研究的作者中有 5 位華人，包括一作、多倫多大學(xué)計算機科學(xué)博士生 Bryan Wang、Meta 研究科學(xué)家 Yuliang Li、Zhaoyang Lv 和 Yan Xu、加州大學(xué)圣迭戈分校助理教授 Haijun Xia。

LAVE 用戶界面（UI）

我們首先來看 LAVE 的系統(tǒng)設(shè)計，具體如下圖 1 所示。

LAVE 的用戶界面包含三個主要組件，分別如下：

  • 語言增強視頻庫，顯示帶有自動生成的語言描述的視頻片段；
  • 視頻剪輯時間軸，包括用于剪輯的主時間軸；
  • 視頻剪輯智能體，使用戶與一個會話智能體進(jìn)行交互并獲得幫助。

設(shè)計邏輯是這樣的：當(dāng)用戶與智能體交互時，消息交換會在聊天 UI 中顯示。當(dāng)進(jìn)行相關(guān)操作時，智能體對視頻庫和剪輯時間軸進(jìn)行更改。此外，用戶可以使用光標(biāo)直接對視頻庫和時間軸進(jìn)行操作，類似于傳統(tǒng)的剪輯界面。

語言增強視頻庫

語言增強視頻庫的功能如下圖 3 所示。

與傳統(tǒng)工具一樣，該功能允許剪輯播放，但會提供視覺敘述，即為每個視頻自動生成文本描述，包括語義標(biāo)題和摘要。這些標(biāo)題可以幫助理解和索引剪輯，摘要則提供了每個剪輯的視覺內(nèi)容的概述，幫助用戶形成自身編輯項目的故事情節(jié)。每個視頻下方都會顯示標(biāo)題和時長。

此外，LAVE 使用戶可以利用語義語言查詢來搜索視頻，檢索到的視頻會在視頻庫中顯示并按相關(guān)性排序。這一功能必須通過剪輯智能體來執(zhí)行。

視頻剪輯時間軸

從視頻庫中選定視頻并將它添加到剪輯時間軸后，它們會顯示在界面底部的視頻剪輯時間軸上，如下圖 2 所示。其中，時間軸上的每個剪輯都由一個框表示，并顯示三個縮略圖幀，分別是開始幀、中間幀和結(jié)束幀。

在 LAVE 系統(tǒng)中，每個縮略圖幀代表剪輯中一秒鐘的素材。與視頻庫一樣，每個剪輯的標(biāo)題和描述都會提供。LAVE 中的剪輯時間軸具有兩個關(guān)鍵功能，即剪輯排序和修剪。

其中在時間軸上進(jìn)行剪輯排序是視頻剪輯中的一項常見任務(wù)，對于創(chuàng)建連貫的敘述非常重要。LAVE 支持兩種排序方法，一是基于 LLM 的排序利用視頻剪輯智能體的故事板功能進(jìn)行操作，二是手動排序通過用戶直接操作來排序，拖放每個視頻框來設(shè)置剪輯出現(xiàn)的順序。

修剪在視頻剪輯中也很重要，可以突出顯示關(guān)鍵片段并刪除多余內(nèi)容。在修剪時，用戶雙擊時間軸中的剪輯，打開一個顯示一秒幀的彈出窗口。

視頻剪輯智能體

LAVE 的視頻剪輯智能體是一個基于聊天的組件，可促進(jìn)用戶和基于 LLM 的智能體之間的交互。與命令行工具不同，用戶可以使用自由格式的語言與智能體進(jìn)行交互。該智能體利用 LLM 的語言智能提供視頻剪輯輔助，并提供具體的響應(yīng)，以在整個編輯過程中指導(dǎo)和幫助用戶。LAVE 的智能體協(xié)助功能是通過智能體操作提供的，每個智能體操作都涉及執(zhí)行系統(tǒng)支持的編輯功能。

總的來說，LAVE 提供的功能涵蓋了從構(gòu)思和預(yù)先規(guī)劃到實際編輯操作的整個工作流程，但該系統(tǒng)并沒有強制規(guī)定嚴(yán)格的工作流程。用戶可以靈活地利用與其編輯目標(biāo)相符的功能子集。例如，具有清晰編輯愿景和明確故事情節(jié)的用戶可能會繞過構(gòu)思階段并直接投入編輯。

后端系統(tǒng)

該研究采用 OpenAI 的 GPT-4 來闡述 LAVE 后端系統(tǒng)的設(shè)計，主要包括智能體設(shè)計、實現(xiàn)由 LLM 驅(qū)動的編輯功能兩個方面。

智能體設(shè)計

該研究利用 LLM（即 GPT-4）的多種語言能力（包括推理、規(guī)劃和講故事）構(gòu)建了 LAVE 智能體。

LAVE 智能體有兩種狀態(tài)：規(guī)劃和執(zhí)行。這種設(shè)置有兩個主要好處：

  • 允許用戶設(shè)置包含多個操作的高級目標(biāo)，從而無需像傳統(tǒng)命令行工具那樣詳細(xì)說明每個單獨的操作。
  • 在執(zhí)行之前，智能體會將規(guī)劃呈現(xiàn)給用戶，提供修改的機會并確保用戶可以完全控制智能體的操作。研究團隊設(shè)計了一個后端 pipeline 來完成規(guī)劃和執(zhí)行流程。

如下圖 6 所示，該 pipeline 首先根據(jù)用戶輸入創(chuàng)建行動規(guī)劃。然后，該規(guī)劃從文本描述轉(zhuǎn)換為函數(shù)調(diào)用，隨后執(zhí)行相應(yīng)的函數(shù)。

實現(xiàn) LLM 驅(qū)動的編輯功能

為了幫助用戶完成視頻編輯任務(wù)，LAVE 主要支持五種由 LLM 驅(qū)動的功能，包括：

  • 素材概述
  • 創(chuàng)意頭腦風(fēng)暴
  • 視頻檢索
  • 故事板
  • 剪輯修剪

其中前四個可通過智能體來訪問，而剪輯修剪功能可通過雙擊時間軸中的剪輯，打開一個顯示一秒幀的彈出窗口。

感興趣的讀者可以閱讀論文原文，了解更多研究內(nèi)容。

熱門課程推薦

熱門資訊

請綁定手機號

獲取驗證碼
x

同學(xué)您好！

您已成功報名0元試學(xué)活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定