- 综合排序
- 最热优先
- 最新优先
Sora——最强文本视频生成模型！
引言以ChatGPT闻名海外的OPENAI，最近推出首个**文本视频生成模型——Sora**，其效果极其流畅程度令人叹为观止！ 先来感受一下Sora依据文本生成的视频：提示词： A stylish woman walks down a Tokyo street filled with warm glowing neon and 根据OpenAI给出的技术报告，Sora的技术特色：将视觉数据转换为Patch视频压缩网络时空潜在补丁转换变换器以生成视频变化的持续时间、分辨率、宽高比对语言的理解图像、视频、文本均可作为提示词视频拼接图像生成能力涌现的模拟能力就像 OpenAI自己在官网说的：我们正在教授人工智能理解和模拟运动中的物理世界，目标是训练模型帮助人们解决需要现实世界交互的问题。 但是，对于很多人说，未来可能是输入小说直接生成对应的视频图像我仍然持保留态度。因为自我观点，Sora只是通过大量输入数据的学习，对文本处理后进行图像模拟，还远远达不到对真实物理世界的智能理解。
40000编辑于 2024-03-04- 来自专栏AI智韵
混元视频：大型视频生成模型的系统框架
“弥合闭源与开源视频基础模型之间的差距，加速社区探索。” 混元基础模型团队 摘要 视频生成技术的最新进展极大地改变了个人与行业日常生活的面貌。 然而，主流的视频生成模型仍为闭源，导致行业与公众社区在视频生成能力上存在显著的性能差异。 在本报告中，我们提出了HunyuanVideo，这是一种新型开源视频基础模型，其视频生成性能可与主流闭源模型相媲美，甚至更优。 然而，与图像生成领域在各种开放平台上涌现出大量新颖算法和应用的情况不同，基于扩散的视频生成模型仍相对沉寂。 特别是对于大型视频模型和高分辨率视频生成，同时生成文本条件和无文本条件视频时的推理负担极为昂贵。为解决这一局限性，我们将无条件输入和条件输入的合并输出蒸馏到单个学生模型[60]中。
1.7K10编辑于 2024-12-19 - 来自专栏AI算法能力提高班
Sora | 最强AI视频生成大模型
[AI Milestone] Sora | 2024年最强AI视频生成大模型 本文主要从Sora的诞生背景、技术原理、能力演示、应用前景和变现思路等多个角度进行介绍这一划时代的最新视频生成技术。 OpenAI发布的Sora模型在演示视频中展示了显著的进步，其生成的视频内容在质量上几乎无法被察觉为AI制作。Sora能够生成长达一分钟的视频，这在当时的AI视频中是一个重要的突破。 智能条件设置机制：这是Sora的最后阶段，它类似于CLIP模型，使用大语言模型（LLM）增强的用户指令和可能的视觉提示来指导视频生成过程。 这种策略允许模型在没有外部分类器引导的情况下，自主生成高质量的视频内容。通过首先确定关键帧，然后在这些关键帧之间进行插值，Sora能够实现高时间分辨率的视频生成。 随着视频模型技术的不断发展，我们可能会看到更加逼真和复杂的虚拟场景被创造出来，从而推动娱乐产业的创新。 05 图像生成能力 Sora模型不仅能够生成视频内容，还具备生成图像的能力。
2.5K10编辑于 2024-03-13 混合AI模型秒生成高清流畅视频
混合AI模型实现秒级高清视频生成研究人员开发出一种名为CausVid的混合人工智能方法，能够在数秒内创建高质量视频。该方法结合了扩散模型和自回归架构，类似于知识渊博的教师指导聪慧学生的学习过程。 技术原理与传统逐帧生成（自回归）或全序列处理（扩散模型）不同，CausVid采用混合方法：使用预训练的扩散模型作为"教师模型"训练自回归的"学生模型"快速预测下一帧确保视频质量和帧间一致性核心功能该工具能够 ：根据简单文本提示生成视频片段将静态照片转换为动态场景扩展现有视频长度在生成过程中通过新输入实时修改内容性能表现在测试中，CausVid展现出卓越性能：生成高分辨率10秒视频的速度比竞争对手快100倍在 30秒长视频测试中质量和一致性领先在900多个文本提示测试中获得84.27的最高综合评分在图像质量和真实人类动作等类别中表现最佳应用前景该技术可用于：视频编辑任务辅助实时直播多语言同步视频生成视频游戏内容渲染机器人训练模拟快速生成技术优势相比传统方法 ：解决自回归模型错误累积问题大幅提升生成速度保持高质量输出支持实时交互式创作研究人员表示，通过特定领域数据集训练，该模型还可为机器人和游戏应用生成更高质量的片段。
36110编辑于 2025-08-31新型图像与视频生成模型技术详解
新型图像与视频生成模型两个新模型使用扩散Transformer技术来生成工作室质量的视觉内容。 Nova系列模型包括为满足不同延迟、成本和精度需求而设计的三种不同规格的理解模型。同时，也宣布了两个新的创意内容生成模型，能够根据输入的文本提示和图像生成工作室质量的图像和视频。 图像条件生成：输入参考图像和文本提示，模型生成的图像在布局和构图上遵循参考图像，但在内容上遵循文本提示。 色彩引导内容生成：提供一个包含一到十个十六进制颜色代码的列表以及文本提示，生成的图像将融合规定的调色板。另一个模型支持两个功能：（1）文本生成视频；（2）文本和图像生成视频。 通过这两个功能，生成的视频分辨率为1280 x 720，每秒24帧，持续时间为6秒。模型架构两个模型都是具有Transformer骨干网络的潜在扩散模型，即扩散Transformer。
32910编辑于 2025-12-16- 来自专栏新智元
单张人像生成视频！中国团队提出最新3D人脸视频生成模型，实现SOTA
文中，作者设计了一套三维动态预测和人脸视频生成模型(FaceAnime)来预测单张人脸图像的3D动态序列。 目标驱动的视频预测： 对于LSTM来讲，要实现目标引导的运动生成，模型需要两个输入，即source dynamic和target dynamic。 损失函数： 给一个source人脸图像，作者使用2DAL模型回归出相应的3DMM系数，用来表示初始的3D dynamic d0。之后模型通过观测d0来生成一个系数序列d1:T hat。 需要注意的是，在身份信息损失中，R为预训练的人脸识别模型。网络整体的损失函数为： 结果和分析 作者分别对人脸视频重定向、视频预测以及目标驱动的视频预测三个任务做了相应的大量实验。 实验表明，所提出的FaceAnime模型可以很好的将source人脸图像中的表情和动作重定向到目标图像上，生成相对应的姿态和讲话表情。
1.6K30发布于 2021-08-25 - 来自专栏全栈技术
AI短视频制作一本通：文本生成视频、图片生成视频、视频生成视频
第三部分：视频生成视频1. 视频生成视频原理视频生成视频是一种使用人工智能技术合成新视频的方法。它借助生成对抗网络（GANs）和深度学习模型，可以用于各种应用，包括电影特效、艺术实验和视频内容生成。 视频生成视频工作流程视频生成视频的工作流程包括以下步骤：步骤1：数据准备首先，您需要准备用于训练生成模型的视频数据。这可以是现有的视频素材，也可以是您自己制作的。 步骤2：训练生成模型使用生成对抗网络或其他深度学习模型，对视频数据进行训练。模型将学会从输入数据生成逼真的视频。步骤3：生成新视频一旦训练完成，您可以使用生成模型来合成新的视频内容。 您提供一些输入或引导，生成模型将生成相应的视频。步骤4：后期处理（可选）生成的视频可能需要进行后期处理，如添加特效、音频合成等。3. 您可以根据需要使用不同的生成模型和后期处理技术。这就完成了本指南的三部分：文本生成视频、图片生成视频和视频生成视频。
3.3K62编辑于 2023-11-07 - 来自专栏大模型
国产 AIGC 视频生成：腾讯混元开源模型
国产AIGC视频大模型正加速落地，顶级消费级显卡凭借强大算力与大显存，成为本地部署腾讯混元、阿里通义万相等前沿视频生成模型的最佳选择，开启桌面级AI创作新时代。 三、项目解析：国产AIGC视频模型的创新之路腾讯混元和阿里通义千问在视频生成领域都发布了令人瞩目的开源模型。虽然具体细节可能因项目而异，但其核心都围绕着高品质、高可控性和高效生成。 4.2.2阿里通义万相(Wan2.2)部署流程Wan2.2是阿里通义系列在视频生成领域的最新力作，其模型和代码同样开源。 AIGC视频生成速度对比表(旗舰显卡)模型任务(Task)分辨率(Resolution)帧数(Frames)FPS(Avg)(参考值)显存占用(峰值)腾讯混元视频模型Text-to-Video512x51216 加载与权重管理：模型权重动辄数十GB。方案：将常用模型放在NVMeSSD，利用缓存减少重复下载。长视频稳定性：生成长视频易漂移，画面不连贯。方案：拆分视频+帧传递保持连贯，调整参数寻求稳定/创意平衡。
88121编辑于 2026-01-04 - 来自专栏量子位
谷歌发布“Vlogger”模型：单张图片生成10秒视频
嗯，拍一张肖像，录好演讲音频就可以（手动狗头） 用声音控制肖像生成视频 这个框架名叫VLOGGER。 其中，前者负责将音频波形作为输入，生成人物的身体控制动作，包括眼神、表情和手势、身体整体姿势等等。 后者则是一个时间维度的图像到图像模型，用于扩展大型图像扩散模型，使用刚刚预测的动作来生成相应的帧。 具体来看，如下表所示： Face Reenactment方法无法用音频和文本来控制此类视频生成。 Audio-to-motion倒是可以音频生成，方式也是将音频编码为3D人脸动作，不过它生成的效果不够逼真。 Lip sync可以处理不同主题的视频，但只能模拟嘴部动作。 说到视频编辑，如下图所示，VLOGGER模型的应用之一就是这个，它可以一键让人物闭嘴、闭眼、只闭左眼或者全程睁眼： 另一个应用则是视频翻译： 例如将原视频的英语讲话改成口型一致的西班牙语。
51110编辑于 2024-03-21 - 来自专栏技术汇总专栏
AIGC视频模型：视频生成技术的现状与未来发展趋势
AIGC视频模型：视频生成技术的现状与未来发展趋势随着人工智能生成内容（AIGC）技术的快速发展，视频生成技术作为其重要分支，正在逐步改变传统视频制作和创作的方式。 生成与优化：通过生成模型生成视频，并采用对抗训练、感知损失等技术优化生成质量。 二、AIGC视频生成技术的现状2.1 当前主流的AIGC视频生成模型目前，AIGC视频生成领域的主流技术包括基于GAN的生成模型和基于Transformer的生成模型。 这些技术在图像生成和视频生成之间架起了桥梁。2.1.1 基于GAN的AIGC视频生成模型生成对抗网络（GANs）是当前AIGC视频生成技术中最为广泛应用的生成模型。 三、AIGC视频生成技术的未来发展趋势3.1 模型的多模态融合未来的AIGC视频生成模型将不仅仅局限于视觉信息的生成，还将逐步融合音频、文本等多模态信息。
2.8K10编辑于 2025-03-13 - 来自专栏新智元
全球首发，国产开源「文本-视频生成」模型！免费在线体验，一键实现视频生成自由
而在视频生成领域，目前各家大厂还是只敢拿demo出来演示，普通用户还无法使用。 最近阿里达摩院在ModelScope上首发开源了「基于文本的视频生成」的模型参数，一起实现「视频自由」！ 国内首发「文本-视频生成」 文本到视频生成扩散模型由「文本特征提取」、「文本特征到视频隐空间扩散模型」、「视频隐空间到视频视觉空间」三个子网络组成，整体模型参数约17亿。 多阶段文本到视频生成扩散模型采用Unet3D结构，通过从纯高斯噪声视频中迭代去噪的过程，实现视频生成的功能。 在实现上参考的相关论文主要有两篇。 VideoFusion：用于高质量视频生成的分解扩散模型 扩散概率模型（DPM）通过逐渐向数据点添加噪声来构造正向扩散过程，并学习反向去噪过程以生成新样本，已被证明能够处理复杂的数据分布。 实验中进一步表明，分解公式可以受益于预先训练的图像扩散模型和良好的支持文本条件下的视频生成。
3.2K30编辑于 2023-04-04 AI视频生成模型全面对比与技术解析
对比AI视频模型要跟上每一个新的视频模型发布步伐是困难的。本篇内容将帮助您根据需求选择最佳的模型。分析将分为两个部分：核心模型规格：例如价格、分辨率、时长、帧率、生成速度和发布日期。 功能特性：例如文生视频、图生视频、主体参照和原生音频。所有视频模型均在 Replicate 平台上提供商业用途。规格说明若给出价格范围，则是基于视频时长和分辨率从最低价到最高价。 生成速度同样是一个从最快到最慢的范围。时间和价格数据截至2025年7月7日。视频生成速度可能会随着模型优化或切换到更好的硬件而提升。 模型价格（每视频）分辨率时长帧率生成速度发布日期某中心 Veo 3$6720p, 1080p8s2492s2025年5月某中心 Veo 3 Fast$3.20720p, 1080p8s2459s2025 1080p5s/8s3017s-60s2025年5月Pixverse Pixverse v4$0.30-$0.80360p, 540p,720p, 1080p5s/8s3017s-60s2025年2月功能特性模型支持不支持某中心
89510编辑于 2025-12-30- 来自专栏媒矿工厂
Sora: 作为世界模拟器的视频生成模型
其中最大的Sora模型支持长达一分钟的高保真视频生成。OpenAI称大规模视频生成模型是构建物理世界通用模拟器的有前景的途径。 相关工作 视频生成模型可以大致分为四种类别： recurrent network 生成对抗网络（GAN） 自回归Transfromer 扩散模型 这些已有的工作仅针对有限的视觉数据，并且生成的视频时间短 这一特性可以让模型直接生成适配各尺寸设备的视频，同时也支持先生成小分辨率的预览结果。 视频压缩网络 训练了一个视觉编码器将输入的视频在时间和空间维度进行压缩，降低生成模型的复杂度，同时训练一个解码器用于将生成潜在编码对应到真实世界的视频。 语言理解 训练文本到视频模型需要大量配对的数据，本文采用了DALL·E 3技术为视频添加描述，训练一个高度描述性的字幕模型为训练集中的视频添加描述信息，高度描述性的提示提升了生成视频的文字忠实性和总体质量
62310编辑于 2024-02-21 Wan2.1开源视频生成模型API调用指南
Wan2.1：通过API生成视频如果你最近关注AI视频领域，可能已经注意到它正在爆炸式发展。新的模型每周都在发布，带来了更好的输出效果、更高的分辨率和更快的生成速度。 生成一段5秒的视频，480p分辨率需要39秒，720p分辨率需要150秒。它是开源的，包括模型权重和代码。社区已经在构建工具来增强它。它能生成具有真实世界准确度的惊艳视频。 模型版本该模型在某平台上提供了多个不同版本：Wan 2.1 文本生成视频，480p – wavespeedai/wan-2.1-t2v-480p (140亿参数)Wan 2.1 图像生成视频，480p 2.1 图像生成视频，720p – wavespeedai/wan-2.1-i2v-720p (140亿参数)Wan 2.1 文本生成视频，480p – wan-video/wan-2.1-1.3b 发现较低的guide_scale和shift值（大约为4和2）可以生成非常逼真的视频。社区的共同努力没有众多开源贡献者的工作，这个模型就不会存在。
48510编辑于 2026-02-10- 来自专栏CVer
谷歌用扩散模型来生成视频了！刷新SOTA
最终，该模型在无条件视频生成任务中达到全新SOTA。 一起来看。 由图像扩散模型扩展而成 这个扩散视频模型，由标准的图像扩散模型UNet扩展而成。 评估无条件和文本条件下的生成效果 对于无条件视频生成，训练和评估在现有基准上进行。 该模型最终获得了最高的FID分数和IS分数，大大超越了此前的SOTA模型。 对于文本条件下的视频生成，作者在1000万个字幕视频的数据集上进行了训练，空间分辨率为64x64px； 在此之前，视频生成模型采用的都是各种GAN、VAE，以及基于流的模型以及自回归模型。 所以这也是他们首次报告扩散模型根据文本生成视频的结果。 下图则显示了无分类器引导对该模型生成质量的影响：与其他非扩散模型一致，添加引导会增加每个单独图像的保真度（右为该视频扩散模型，可以看到它的图片更加真实和清晰）。
81730编辑于 2022-04-18 - 来自专栏Backup@zzk
生成模型&判别模型
#生成模型 #判别模型机器学习中的判别式模型和生成式模型目录：基本概念用例子说明概念判别式模型和生成式模型的区别二者所包含的算法在机器学习中，对于有监督学习可以将其分为两类模型：判别式模型和生成式模型。 1.3 两个模型的小结不管是生成式模型还是判别式模型，它们最终的判断依据都是条件概率P(y|x)，但是生成式模型先计算了联合概率P(x,y)，再由贝叶斯公式计算得到条件概率。 但是，生成式模型的概率分布可以有其他应用，就是说生成式模型更一般更普适。不过判别式模型更直接，更简单。两种方法目前交叉较多。由生成式模型可以得到判别式模型，但由判别式模型得不到生成式模型。3. 判别式模型和生成式模型的区别3.1 判别式模型和生成式模型的对比图图片上图左边为判别式模型而右边为生成式模型，可以很清晰地看到差别，判别式模型是在寻找一个决策边界，通过该边界来将样本划分到对应类别。 生成式模型的学习收敛速度更快，当样本容量增加时，学习到的模型可以更快的收敛到真实模型，当存在隐变量时，依旧可以用生成式模型，此时判别式方法就不行了。
90100编辑于 2023-08-17 - 来自专栏技术专家成长之路
直接生成16秒高清视频 我国自研视频大模型Vidu在京发布
今年初，全球人工智能领域掀起了一场关于文生视频大模型Sora的热议，这是一款仅需一段文字指令就能生成逼真视频的模型。 最近，我国自主研发的另一款文生视频大模型Vidu在2024年中关村论坛年会上首次亮相，这款模型以其“长时长、高一致性、高动态性”的特性引发了广泛关注。 清华大学人工智能研究院副院长、生数科技首席科学家朱军说，目前国内的视频大模型生成的视频时长大多为4秒左右，而Vidu则能够一次性生成长达16秒的视频。 此外，Vidu还能生成如熊猫、龙等各种形象，点击下面链接可观看原视频： 据了解，Vidu的技术突破来自于团队在机器学习和多模态大模型方面的长期积累。 朱军表示：“作为一款通用视觉模型，我们坚信，Vidu未来能够支持生成更多样化、更长时长的视频内容，探索各种生成任务。其灵活的架构也将兼容更广泛的模态，进一步推动多模态通用能力的边界。”
39710编辑于 2024-05-06 - 来自专栏全栈程序员必看
生成模型_常见的模型生成方式
（一）生成模型简介 1、什么是生成模型 在概率统计理论中，生成模型是指能够在给定某些隐含参数的条件下，随机设工程观测数据的模型，他给观测值和标测数据序列指定一个联合概率分布，在机器学习中，生成模型可以用用来直接对数据进行建模 ，如根据某个变量的概率密度函数进行数据采样，也可以用来建立变量间的条件概率分布，条件概率分布可以由生成模型根据贝叶斯定理形成。 对于生成模型，可以分为两种类型， （1）可以完全表示出确切的分布函数 （2）第二种生成模型智能做到新数据的生成，二数据分布函数是模糊的。 生成模型的作用： （1）生成模型具有表现和处理高维概率分布的能力，而这种能力可以有效应用在数学或工程领域。 （2）与强化模型结合。 （3）通过提供生成数据，优化完善半监督学习。 生成模型： 自动编码器 变分自动编码器 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/166893.html原文链接：https://javaforall.cn
99520编辑于 2022-09-19 Veo 3.1视频生成模型技术详解与API调用指南
如何提示Veo 3.1某中心最近发布了Veo 3.1，为视频生成提供了几项新工具，包括角色参考图像和首尾帧输入。本快速提示指南旨在展示该模型的功能。 与某中心的视频模型一样，有一个通用的指导原则需要遵循，以确保输出效果尽可能出色：镜头构图：指定镜头的构图和主体数量（例如，“单镜头”、“双人镜头”、“过肩镜头”）。 与仅提供起始图像的传统图像转视频不同，你需要同时提供第一帧和最后一帧。然后模型会根据你的文本提示指导，在这两个点之间进行插值。 模型生成的视频内容以你的图像开始，并遵循你的提示指令。我们还注意到，视频模型中融入了知识，因为它能够从输入的图像中进行推理。 模型理解输入图像的内容，并生成感觉自然且有目的性的运动。这里不需要提示特定的过渡——Veo 3.1能够提取图像中的信息，并过渡到一个在上下文上有意义的适当视频序列。
85810编辑于 2025-12-20- 来自专栏CreateAMind
3d模型生成-使用深度网络 视频代码ppt论文
Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling 提供已经训练好的模型 https://github.com/zck119/3dgan-release repository contains pre-trained models and sampling code 视频
53011发布于 2018-07-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号