首个3D人像视频生成模型来了：仅需1张2D人像，眨眼、口型都能改变 | ICLR 2023

最近，来自新加坡国立大学（NUS）和字节跳动的研究人员，在静态3D模型的基础上，提出了首个3D人像视频生成模型：PV3D（3D model for Portrait Video generation）。 PV3D的训练继承了3D GAN模型的优点，即无需动态的三维数据监督，只需要在足够数量的单视角2D视频数据上进行训练。 在训练阶段，PV3D采用稀疏训练的策略，对于一个视频采样两个噪声、两个时间戳以及各自时刻对应的相机视角。 相对应的，模型生成两帧对应的3D表征进行渲染得到粗糙的结果。 PV3D设计了两个独立的判别器监督网络的学习，其中视频判别器会编码两帧的相机视角以及时间间隔去判断生成结果的合理性。 实验部分 评价指标 研究人员使用FVD来评估生成视频的质量。 消融实验 研究人员对PV3D的各部分设计进行了消融实验，例如：运动信息的编码和注入的位置，运动信息的插入方式，相机视角的采样策略，以及视频判别器的设计。