Ovi：双骨干跨模态融合的音频-视频生成技术详解

# 克隆仓库
git clone https://github.com/character-ai/Ovi.git

cd Ovi

# 创建并激活虚拟环境
virtualenv ovi-env
source ovi-env/bin/activate

# 首先安装PyTorch
pip install torch==2.6.0 torchvision torchaudio

# 安装其他依赖
pip install -r requirements.txt

# 安装Flash Attention
pip install flash_attn --no-build-isolation

# 默认下载到./ckpts，推理yaml设置为./ckpts，因此无需更改
python3 download_weights.py

# 或者指定--output-dir下载到特定目录
python3 download_weights.py --output-dir <custom_dir>

# 如果只有约24Gb GPU VRAM，请下载fp8量化版本
wget -O "./ckpts/Ovi/model_fp8_e4m3fn.safetensors" "https://huggingface.co/rkfg/Ovi-fp8_quantized/resolve/main/model_fp8_e4m3fn.safetensors"

# 输出和模型配置
output_dir: "/path/to/save/your/videos"  # 保存生成视频的目录
ckpt_dir: "/path/to/your/ckpts/dir"      # 模型检查点路径

# 生成质量设置
num_steps: 50              # 去噪步骤数。较低（30-40）= 更快生成
solver_name: "unipc"       # 去噪过程的采样算法
shift: 5.0                 # 采样调度器的时间步偏移因子
seed: 100                  # 可重现结果的随机种子

# 引导强度控制
audio_guidance_scale: 3.0  # 音频条件强度。较高 = 更好的音频-文本同步
video_guidance_scale: 4.0  # 视频条件强度。较高 = 更好的视频-文本遵循
slg_layer: 11              # 应用SLG（跳过层引导）技术的层

# 多GPU和性能
sp_size: 1                 # 序列并行大小。设置为使用的GPU数量
cpu_offload: False         # CPU卸载，将大幅减少峰值GPU VRAM，但增加端到端运行时间约20秒
fp8: False                 # 加载fp8版本模型，会有质量下降，推理时间不会加快

# 输入配置
text_prompt: "/path/to/csv" or "your prompt here"  # 文本提示或包含提示的CSV/TSV文件路径
mode: ['i2v', 't2v', 't2i2v']  # 生成t2v、i2v或t2i2v
video_frame_height_width: [512, 992]  # T2V模式的视频尺寸[高度，宽度]
each_example_n_times: 1    # 每个提示生成的次数

# 质量控制（负面提示）
video_negative_prompt: "jitter, bad hands, blur, distortion"  # 视频中要避免的伪影
audio_negative_prompt: "robotic, muffled, echo, distorted"    # 音频中要避免的伪影

python3 inference.py --config-file ovi/configs/inference/inference_fusion.yaml

torchrun --nnodes 1 --nproc_per_node 8 inference.py --config-file ovi/configs/inference/inference_fusion.yaml

python3 gradio_app.py

# 启用CPU卸载以节省GPU VRAM
python3 gradio_app.py --cpu_offload

# 启用额外的图像生成模型为I2V生成第一帧
python3 gradio_app.py --use_image_gen

# 使用24Gb GPU VRAM运行模型
python3 gradio_app.py --cpu_offload --qint8

@misc{low2025ovitwinbackbonecrossmodal,
      title={Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation}, 
      author={Chetwin Low and Weimin Wang and Calder Katyal},
      year={2025},
      eprint={2510.01284},
      archivePrefix={arXiv},
      primaryClass={cs.MM},
      url={https://arxiv.org/abs/2510.01284}, 
}