Seedance 2.0视频生成技术详解

如何使用Seedance 2.0制作引人注目的视频

AI视频曾经非常糟糕。（我们都已经无数次见过某知名演员吃意大利面的场景，所以这里就不再赘述了。）

然而，去年我们真正开始看到AI视频的腾飞，出现了诸如某机构的Veo 3系列和某机构的Kling等领跑者。随着每个新模型的发布，我们在提示词遵循度、音频集成和解决“AI合成感”方面逐步取得了改进。

Seedance 2.0是数月来我们看到的最大飞跃。用这个工具，你可以制作电影。

（此处为文章中的多个视频场景描述，为保持简洁，省略部分示例文本，结构与原文一致）

（例如：近地轨道上两座大型空间站的灾难性碰撞。金属在慢动作中剪切，空间站相互碾压，碎片如冰雹般旋飞而出。整个舱段像锡罐一样 crumple。加压舱在剧烈爆发中喷出结晶化的大气。太阳能电池板破碎，翻滚着进入虚空。镜头在残骸中翻滚，一名宇航员失控飘过，手臂挥舞。爆炸沿着空间站主体接连发生。地球在背景中巨大而沉静，无动于衷。超写实，灾难规模，ISO碎片场，8k，《地心引力》碰撞序列能量。）

（此处省略多个类似的高质量视频描述示例）

这是一个革命性的视频模型。

本文旨在讨论Seedance 2.0的一些实用且最出色的功能，以便了解如何驾驭这项不可思议的技术。阅读完后，将掌握所有技巧，帮助生成真正精彩的视频。

参考任何内容

大多数视频模型接收文本提示并生成一个片段。Seedance 2.0的工作方式不同。可以向它输入最多9张图片、3个视频片段、3个音频文件和一个文本提示。该模型理解如何使用每一个输入元素。可以从照片中提取构图，从视频片段中提取摄像机运动，从音轨中提取节奏，并用文字描述它们如何协同工作。

这个过程更像是导演，而不是简单地写提示词。

示例：

将某个角色放入某个室内场景中，并让他说出某段音频。

为了在提示中引用任何输入素材（图片、视频或音频），我们将其分别标记为[Image1]或[Audio1]。例如：

“[Image2]角色处于[Image1]的室内环境中，保持了[Image2]的风格，但[Image1]的真实感得以保留。他说出了[Audio1]中的内容。“

使用此技巧的一些提示：在提示词中直接输入音频的文本内容，并将视频时长设置为与音频长度相同。

借助引用能力，可以在视频中保持风格一致性。例如，输入几张特定风格的图片，要求Seedance 2.0将它们融合成一个视频。这本来是视频编辑需要花费数天才能完成的工作。

在所有照片之间创建流畅的变形效果

甚至无需要求添加背景音乐，但效果令人满意！

可以看到，Seedance 2.0中的引用功能扩展到了几种常见的工作流程：

• 角色一致性：提供角色的参考图像，以在不同生成中保持其外观。
• 动作迁移：上传一个视频片段，模型会在新场景中重现其运动模式。
• 风格与构图：使用图像作为取景、调色板或艺术风格的视觉参考。
• 音频驱动节奏：提供音乐曲目，模型会将剪辑和运动与节拍同步。

来自同一引擎的音频

Seedance 2.0并非先生成视频再叠加配音。音频和视频来自同一个统一架构，这意味着它们在毫秒级别上同步。

该模型生成带有多个分层轨道的双通道立体声。这意味着可以得到背景音乐、环境音效和角色画外音的混合。

示例： （爵士钢琴手在烟雾缭绕的夜店中，双手在三角钢琴键上飞舞的特写镜头……超写实，私密爵士俱乐部氛围，8k，清脆的琴键敲击声，行走低音线，刷动军鼓，气息浓郁的萨克斯旋律。）

每个乐器都清晰可闻，并与演奏者的动作同步。钢琴琴键、行走低音线、刷动军鼓——所有声音都与画面同时生成，而非后期叠加。

对话也是如此。每个词都清晰干净，与口型运动精确匹配。通常，一次性生成长而复杂的对话也相当容易。

示例： （两个穿着典型日常服装的古怪成年人——一个穿着略显 oversized 的雨衣，另一个穿着做旧的牛仔夹克——在西村一个雨中的街角进行激烈、活泼的对话特写中景……超写实，8k）

处理物理效果

最喜欢这个模型的一点是它处理复杂物理效果的能力。这是先前视频模型的一个大问题。任何复杂的运动或交互都会布满伪影。使用Seedance 2.0，一切都运行良好，甚至是疯狂复杂的场景。

热衷于用这个模型制作高强度的太空视频，因为这些碰撞看起来既惊人又逼真。

示例： （近地轨道上两座大型空间站的灾难性碰撞……超写实，灾难规模，轨道碎片场，8k，《地心引力》碰撞序列能量。）

再看另一个例子。从一张输入图片开始，只需让Seedance 2.0为场景添加动画。典型的视频模型只会让车辆作为一个刚体向前移动，但Seedance 2.0会额外模拟车辆在不平地形上行驶时的上下起伏。这更像是我们在高预算电影中期望看到的品质。

为这张图片添加动画效果

同样的物理理解也适用于风格化输出。从某机构的Dreamina 3.1输入一张图片开始。即使渲染成油画，流体动力学仍然准确——水体以正确的粘度运动，飞溅物正确破碎，表面行为符合物理规律。

为这张图片添加动画效果

带镜头规划的多镜头输出

Seedance 2.0可以生成长达15秒、包含多镜头构图的视频。模型会根据提示规划镜头语言——剪辑、转场、跟拍、推拉——而无需指定每一个摄影机运动。

时间编码的多镜头提示

可以通过在提示中写入时间戳，来指导一次15秒生成中的单个镜头。

示例格式：

[0-4秒]: 广角定场镜头，固定摄像机，黎明时分的雾竹林 [4-9秒]: 中景，缓慢推进，战士向前迈步 [9-15秒]: 特写，环绕镜头，战士出击，慢动作

甚至可以直接列出想要的场景，但这种带时间戳的方法可以精确控制片段的长度。令人惊奇的是，即使提示中包含如此密集和具体的信息，模型也不会产生幻觉。

每个镜头应指定摄像机位置、主体动作和光照状态。镜头之间的转场语言（如“硬切到”、“无缝变形为”）为模型提供了明确的剪辑指令，而不是让它即兴发挥。

以下是展示时间编码提示功能的四个示例：

1. 日落时的武士——变焦推拉和起重机镜头： （0-4秒: 从地面仰拍的广角镜头，固定，风吹山脊上……12-15秒: 快切到极端特写……超写实，8k，黑泽明电影摄影，汉斯·季默音效设计。）
2. 香水广告——产品视频、用户生成内容等： （(0-3秒) 奢侈品香水瓶的微距镜头……(12-15秒) 无缝拉出到产品主视觉……超写实，8k，时尚商业广告电影摄影。）
3. 火星登陆——类似《星际穿越》的孤寂感： （0-4秒: 广角镜头……12-15秒: 面罩反射中地球作为微小蓝点的极端特写……超写实，8k，《地心引力》电影摄影，《星际穿越》音效设计。）
4. 霓虹东京——仿《银翼杀手》雨景序列： （0-4秒: 广角定场镜头……12-15秒: 硬切到雨滴落在霓虹水坑中的极端特写……超写实，8k，《银翼杀手2049》电影摄影，罗杰·狄金斯灯光。）

这四个示例都遵循了电影制作中相同的递进模式：广角 > 中景 > 特写 > 极端特写。这种进展自然地映射到15秒的时间窗口上，为模型提供了清晰的结构。

API入门

以下是使用Seedance 2.0生成视频的方法：

Python示例：

import replicate

output = replicate.run(
    "某机构/seedance-2.0",
    input={
        "prompt": "一架战斗机在日落时分从航空母舰上弹射起飞。弹射器启动，战斗机加速，加力燃烧室喷出火焰。蒸汽从弹射轨道中喷涌而出。摄像机从甲板角度跟随，战斗机滑出船头，陡峭地爬升进入橙色的天空。超写实，《壮志凌云》电影摄影，8k。",
        "duration": 10,
        "resolution": "720p",
        "aspect_ratio": "16:9",
        "generate_audio": True,
        # "reference_images": ["https://..."] 用于角色/风格参考
        # "reference_videos": ["https://..."] 用于动作迁移
        # "reference_audios": ["https://..."] 用于音频驱动生成
    }
)

print(output)

JavaScript (Node.js)示例：

import Replicate from "replicate";

const replicate = new Replicate();

const output = await replicate.run(
  "某机构/seedance-2.0",
  {
    input: {
      prompt: "一架战斗机在日落时分从航空母舰上弹射起飞。弹射器启动，战斗机加速，加力燃烧室喷出火焰。蒸汽从弹射轨道中喷涌而出。摄像机从甲板角度跟随，战斗机滑出船头，陡峭地爬升进入橙色的天空。超写实，《壮志凌云》电影摄影，8k。",
      duration: 10,
      resolution: "720p",
      aspect_ratio: "16:9",
      generate_audio: true,
    }
  }
);

console.log(output);

提示词技巧

以下是从该模型中榨取最大价值的最终提示词技巧：

• 过度描述。在提示词中加入大量细节。不要只写“汽车追逐”，而要写“一场在湿滑的东京街道上的高速夜间追逐，霓虹灯倒影划过湿漉漉的沥青路面，车头灯穿透薄雾”。
• 描述音频，而不仅仅是视觉。由于模型原生生成音频，在提示词中谈论声音会得到想要的效果。“双涡扇发动机的尖啸声和弹射器的金属撞击声”为模型提供了清晰的音频方向。
• 使用“超写实，8k”作为质量锚点。这些术语会促使模型生成最高保真度的输出。
• 描述摄像机，而不仅仅是主体。“摄像机安装在领头车的引擎盖上”、“快速的变焦推拉”、“摄像机位于地面水平”——这些描述能确立镜头感，并产生更令人信服的结果。
• 组合使用参考类型以获得最大控制。使用图像确定角色外观，使用视频片段确定运动风格，使用音轨确定节奏。FINISHED