項目簡介

Open-Sora項目是一項高效制作高質量視頻的工作，明確所有權使用其模型、工具和內容的計劃。通過采用開源原則，Open-Sora 不僅實現(xiàn)了先進的視頻生成技術的普及，還提供了一個專業(yè)且用戶界面的方案，簡化了視頻制作的復雜性。

通過 Open-Sora，我們希望更多的開發(fā)者一起探索內容創(chuàng)作領域的創(chuàng)新、創(chuàng)造和遏制。

項目展示

項目地址

https://github.com/hpcaitech/Open-Sora

新功能

• Open-Sora-v1 已發(fā)布。這里提供了模型權重。只需400K視頻片段和在單卡H800上訓200天（類比穩(wěn)定視頻擴散的152M樣本），我們就可以生成2秒的512×512視頻。
• ? 從圖像擴散模型到視頻擴散模型的三階段訓練。我們提供每個階段的權重。
• ? 支持訓練加速，包括 Transformer 加速、更快的 T5 和 VAE 以及序列任務。在對 64x512x512 視頻進行訓練時，Open-Sora 可將訓練速度提高55%。詳細信息請參見訓練加速。
• ? 我們提供用于數(shù)據(jù)修復的視頻剪輯和字幕工具。有關說明請點擊此處，我們的數(shù)據(jù)收集計劃請點擊數(shù)據(jù)集。
• ? 我們發(fā)現(xiàn)來自VideoGPT的 VQ-VAE 質量較低，因此采用了來自Stability-AI的高質量 VAE。我們還發(fā)現(xiàn)使用添加時間維度的采樣會導致質量降低。更多討論，請參閱我們的報告。
• ? 我們研究了不同的架構，包括 DiT、Latte 和我們提出的STDiT。我們的 STDiT 在質量和速度之間實現(xiàn)了更好的權衡。更多討論，請參閱我們的報告。
• ? 支持剪輯和 T5 文本調節(jié)。
• ? 通過將圖像視為單幀視頻，我們的項目支持在圖像和視頻（如 ImageNet 和 UCF101）上訓練 DiT。更多說明請參見指令解析。
• ?利用DiT、Latte和PixArt的官方權重支持推理。

查看更多

下一步計劃【按優(yōu)先級排序】

• 完成數(shù)據(jù)處理流程（包括密集光流、美學評分、文本圖像相似性、重復數(shù)據(jù)刪除等）。更多信息請參見數(shù)據(jù)集。[項目進行中]
• 訓練視頻-VAE。[項目進行中]

查看更多

• 支持圖像和視頻調節(jié)。
• 評估流程。
• 加入更好的調度程序，如SD3中的整流流程程序。
• 支持可變長寬比、分辨率和持續(xù)時間。
• 發(fā)布后支持SD3。

目錄

• 安裝
• 模型權重
• 推理
• 數(shù)據(jù)處理
• 訓練
• 貢獻
• 聲明
• 引用

安裝

# create a virtual env
conda create -n opensora python=3.10

# install torch
# the command below is for CUDA 12.1, choose install commands from 
# https://pytorch.org/get-started/locally/ based on your own CUDA version
pip3 install torch torchvision

# install flash attention (optional)
pip install packaging ninja
pip install flash-attn --no-build-isolation

# install apex (optional)
pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --config-settings "--build-option=--cpp_ext" --config-settings "--build-option=--cuda_ext" git+https://github.com/NVIDIA/apex.git

# install xformers
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121

# install this project
git clone https://github.com/hpcaitech/Open-Sora
cd Open-Sora
pip install -v .

安裝完成后，建議閱讀結構，了解項目結構以及如何使用配置文件。

模型權重

我們模型的權重部分由PixArt-α初始化。參數(shù)數(shù)量為724M。有關訓練的更多信息，請參閱我們的報告。有關數(shù)據(jù)集的更多信息，請參閱數(shù)據(jù)。HQ 表示水平。 :warning:轟炸性：我們的模型是在有限的預算內訓練出來的。質量和文本掃描度相對較差。特別是在生成人類時，模型表現(xiàn)很差，無法遵循詳細的指令。我們正在努力改進質量和文本掃描。

推理

要使用我們提供的權重進行推理，首先將T5權重下載到
pretrained_models/t5_ckpts/t5-v1_1-xxl中。然后下載模型權重。運行以下命令配置生成樣本。請參見此處自定義模型。

# Sample 16x256x256 (5s/sample)
torchrun --standalone --nproc_per_node 1 scripts/inference.py configs/opensora/inference/16x256x256.py --ckpt-path ./path/to/your/ckpt.pth

# Sample 16x512x512 (20s/sample, 100 time steps)
torchrun --standalone --nproc_per_node 1 scripts/inference.py configs/opensora/inference/16x512x512.py --ckpt-path ./path/to/your/ckpt.pth

# Sample 64x512x512 (40s/sample, 100 time steps)
torchrun --standalone --nproc_per_node 1 scripts/inference.py configs/opensora/inference/64x512x512.py --ckpt-path ./path/to/your/ckpt.pth

# Sample 64x512x512 with sequence parallelism (30s/sample, 100 time steps)
# sequence parallelism is enabled automatically when nproc_per_node is larger than 1
torchrun --standalone --nproc_per_node 2 scripts/inference.py configs/opensora/inference/64x512x512.py --ckpt-path ./path/to/your/ckpt.pth

我們在H800 GPU上進行了速度測試。如需使用其他模型進行推理，請參見此處獲取更多說明。

數(shù)據(jù)處理

高質量數(shù)據(jù)是高質量模型的關鍵。這里有我們使用過的數(shù)據(jù)集和數(shù)據(jù)收集計劃。我們提供處理視頻數(shù)據(jù)的工具。目前，我們數(shù)據(jù)的處理流程包括以下步驟：

1. 下載數(shù)據(jù)集。[文件]
2. 將視頻分割成片段。 [文件]
3. 生成視頻字幕。 [文件]

訓練

要啟動訓練，首先T5權重下載到
pretrained_models/t5_ckpts/t5-v1_1-xxl中。然后運行以下命令在單個節(jié)點上啟動訓練。

# 1 GPU, 16x256x256
torchrun --nnodes=1 --nproc_per_node=1 scripts/train.py configs/opensora/train/16x256x512.py --data-path YOUR_CSV_PATH
# 8 GPUs, 64x512x512
torchrun --nnodes=1 --nproc_per_node=8 scripts/train.py configs/opensora/train/64x512x512.py --data-path YOUR_CSV_PATH --ckpt-path YOUR_PRETRAINED_CKPT

要在多個節(jié)點上啟動訓練，請根據(jù)ColossalAI準備一個主機文件，并運行以下命令。

colossalai run --nproc_per_node 8 --hostfile hostfile scripts/train.py configs/opensora/train/64x512x512.py --data-path YOUR_CSV_PATH --ckpt-path YOUR_PRETRAINED_CKPT

有關其他模型的訓練和高級使用方法，請參閱此處獲取更多說明。

貢獻

如果您希望為該項目做出貢獻，可以參考貢獻指南。

聲明

• DiT：帶有 Transformer 的可擴展擴散模型。
• OpenDiT：DiT 訓練的加速。我們采用了有價值的 OpenDiT 訓練進度加速策略。
• PixArt：一種基于 DiT 的開源文本到圖像模型。
• Latte：嘗試有效地訓練視頻 DiT。
• StabilityAI VAE：強大的圖像 VAE 模型。
• CLIP：強大的文本圖像嵌入模型。
• T5：強大的文本編碼器。
• LLaVA：基于Yi-34B 的強大圖像字幕模型。

資訊

[2024.03.18] 我們發(fā)布了Open-Sora 1.0，這是一個完全開源的視頻生成項目。

Open-Sora 1.0 支持視頻數(shù)據(jù)構建、加速訓練、推理等流程。

我們提供的模型權只需3天的訓練就可以生成2秒的512x512視頻。

[2024.03.04] Open-Sora：開源Sora復現(xiàn)方案，成本降低46%，序列擴充至近百萬