- 综合排序
- 最热优先
- 最新优先
- 来自专栏muller的测试分享
文生视频大模型
简介Sora 官网地址：https://openai.com/sora文生视频指的是将文本描述转化为视频内容的技术，2024年2月15日 OpenAI 正式对外发布 Sora 人工智能模型，在人工智能领域掀起了一场风波 视频地址可以看出，Sora根据文本所产生的视频完美地展示了文本所表达的含义，并且视频的质量非常出色。除了描述的主体内容外，视频还展示了与天气和时间相关的光影效果，增添了画面的层次和真实感。 Sora 除了根据文本生成视频，还可有以下几种生成视频的方式：图像生成视频：图像视频扩展生成的视频：视频1视频2改变视频风格：改变前改变后连接视频：视频1视频2连接后扩展能力3D 一致性Sora 还可以在单个生成的视频中创建多个镜头 ，准确地保留视频主体和视频的风格，使得视频主体可以跟随环境的变化而一同变化。 现状文生视频还处在开发并且测试的阶段，基于安全考虑，目前 Sora 还是仅仅是邀请 “red teamers” 也就是对抗性角色领域的专家来对 Sora 进行安全测试。
61710编辑于 2024-11-11 - 来自专栏AI工程落地
文生视频模型调研
开源文生视频一览表 模型名称 机构 是否开源 时长（秒） 分辨率&帧率 模型参数量(B) 模型地址/体验入口 Wan2.1 阿里 是 5 720*1280 16 14/1.3 https://huggingface.co jimeng.jianying.com/ TeleAI 中国电信 否 - - - - Open-Sora 潞晨科技 是 15 1280*720 https://hpcaitech.github.io/Open-Sora/ 文生视频评测榜单 ：VBench Leaderboard - a Hugging Face Space by Vchitect 模型量化 文生视频模型参数量越来越大，视频时长越来越长，帧率越来越高。 文生视频量化需求越来越迫切，目前这方面论文比较少，是一个可以深入研究的领域。 下面总结了几篇当前可以支持文生图模型量化的论文： ViDiT-Q：2406.02540 逐Token的量化参数确定（Token-wise Quantization）：DiT所采用的Transformer
61910编辑于 2025-03-13 - 来自专栏AI算法能力提高班
VideoCrafter | 图文生成视频
code https://github.com/ailab-cvc/videocrafter image-20231108102745812 Abstract 商用的Text2Video模型可以生成高质量的视频 （I2V模型输入为text和reference image） Contributions T2V模型可以生成高分辨率高质量视频，训练集集为2千万视频和6亿张图像 I2V模型可以很好的保留参考图像的内容、 X0喂给VAE编码器E，映射到隐层Z0，其可以以低维表示压缩的视频表征 Z0通过解码器D反映射会视频数据空间，进行重构X0' VAE采用的是Stable Diffusion的VAE，将每一帧独自投影，不包含时间信息 image-20231108111414839 video diffusion 对视频隐层Z0进行去噪，最后通过VAE解码器在像素空间生成视频 采用3D U-Net架构，包含了时间维度 Denoising 主要在语义水平表征视频内容，同时很少捕捉细节。
2.3K20编辑于 2023-11-09 - 来自专栏刘旷专栏
从文生图到文生视频，AI行业卷疯了
比如，影视和游戏等行业就是文生视频落地的重要场景，文生视频用文字就可以编辑和生成想要的故事情节，实现创意辅助和降本增效。而凭借为内容生成赋能这一独特优势，文生视频的前景也是毋庸置疑。 作为文生文、文生图的升级，文生视频对算力以及模型的工程化能力要求更高。据了解，文生视频的人工智能模型参数为10亿级别至100亿级别。 文生图和文生视频的人工智能模型在底层技术框架上有着较高的相似性，一定程度上来说，文生视频可以看作是文生图的进阶版技术，这也就意味着，文生图的技术和经验可供文生视频加以运用和参考。 只不过，目前国内文生视频技术还在发展的初级阶段，虽然看上去文生视频与文生图的逻辑极其相似，但事实上，文生视频的难度要大得多，需要突破的瓶颈也有很多。 从文生图到文生视频，AIGC赛道的竞争已经非常激烈。虽然国内文生视频的进展相对缓慢，尚且没有明星产品的出现，但更多有人才、有技术的文生视频公司正在不断涌现。
69210编辑于 2023-12-26 - 来自专栏腾讯技术工程官方号的专栏
Sora的前世今生：从文生图到文生视频
无论是文生图还是文生视频，很多这方面的工作其实都可以看成是自编码器的进阶版本，让我们从自编码器开始入手。 LDM文生图（选读） 下面关于LDM的一些细节介绍，不感兴趣的同学可以直接跳过。 理解了latent的含义后，接下来再考虑下如何根据文本来生成图片呢？ 用的就是 CoCa 的方法，也就是同时考虑对比损失和LM损失 模型推理策略 官方展示Sora的应用有很多，比如文生视频、图生视频、视频反推、视频编辑、视频融合等。 这里就会涉及一些有意思的做法，比如可以这么做（以下做法并不唯一） 1.文生视频：喂入DiT的就是文本embedding+全噪声patch 2.视频编辑：类似SDEdit的做法，在视频上加点噪声（不要搞成全是噪声 不知道大家有没有注意到，Sora还提到了它除了文生视频，也支持文生图，这里其实透露出了一种统一的味道。
1.8K31编辑于 2024-02-23 - 来自专栏CSDN社区搬运
Pixverse：开启文生视频与图生视频新纪元
Pixverse：开启文生视频与图生视频新纪元 随着科技的飞速发展，视频制作与图像处理领域正迎来前所未有的变革。 Pixverse软件，以其独特的文生视频和图生视频功能，以及基于图像生成形象固定角色视频的创新技术，正成为行业内的翘楚。 一、Pixverse软件概述 Pixverse是一款集文生视频、图生视频以及基于图像生成角色视频于一体的综合性软件。它利用先进的算法和人工智能技术，将文字描述和静态图像转化为生动逼真的视频内容。 二、文生视频与图生视频功能 Pixverse的文生视频功能允许用户通过输入文字描述，自动生成与之相匹配的视频内容。 五、总结与展望 Pixverse作为一款集文生视频、图生视频以及基于图像生成角色视频于一体的软件，以其独特的功能和技术优势，正成为创意内容制作领域的新宠。
2K10编辑于 2024-04-20 - 来自专栏个人总结系列
开源AIGC学习—文生视频模型本地运行
一、模型下载 可以参见之前文章介绍：开源AIGC学习—文生图模型本地运行 1、模型地址 参见huggingface，https://huggingface.co/cerspense/zeroscope_v2 10, height=320, width=576, num_frames=24).frames video_path = export_to_video(video_frames) # 查看当前生成的视频路径 更换另外一种文生视频算法ali-vilab/text-to-video-ms-1.7b import torch from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
1.6K10编辑于 2024-03-15 AI文生视频软件系统哪家有实力？
AI文生视频技术应运而生，它不仅能够快速将文字转化为生动有趣的视频，还能根据用户需求进行个性化定制，极大地提高了内容创作的效率与质量。 面对这一新兴且充满潜力的市场，选择一款实力强劲的AI文生视频软件系统显得尤为重要。接下来，我们就来盘点一下市面上备受瞩目的五大AI文生视频工具，看看它们各自有何亮点。 紧随其后的是Runway ML，这是一款来自国外的AI文生视频神器。Runway ML以其独特的机器学习模型著称，能够在短时间内分析大量数据并输出高质量的视频作品。 再来看国内的灵境云创，这款产品专注于为企业提供一站式AI视频解决方案。从文案撰写到视频制作再到后期剪辑，灵境云创全程参与其中，帮助企业节省了大量的时间和人力成本。 综上所述，每一种AI文生视频工具都有自己独特之处：有的侧重于技术创新，力求突破传统界限；有的则更加贴近市场需求，致力于解决实际问题。
52610编辑于 2025-08-06- 来自专栏机器之心
文生视频下一站，Meta已经开始视频生视频了
机器之心报道 编辑：小舟、大盘鸡 文本指导的视频到视频（V2V）合成在各个领域具有广泛的应用，例如短视频创作以及更广泛的电影行业。 扩散模型已经改变了图像到图像（I2I）的合成方式，但在视频到视频（V2V）合成方面面临维持视频帧间时间一致性的挑战。在视频上应用 I2I 模型通常会在帧之间产生像素闪烁。 给定输入视频和文本 prompt，FlowVid 就可以合成时间一致的视频。 研究者基于 inflated 空间控制 I2I 模型构建了一个视频扩散模型。他们利用空间条件（如深度图）和时间条件（流变形视频）对模型进行训练，以预测输入视频。 对于每个训练视频，研究者按顺序采样 16 个间隔为 {2,4,8} 的帧，这些帧代表持续时间为 {1,2,4} 秒的视频（视频的 FPS 为 30）。
83310编辑于 2024-01-04 - 来自专栏JVMGC
文生视频,轻松做视频
OpenAI官网展现了多段Sora制作的视频，身着黑色皮衣、红色裙子的女子在雨后的夜晚行走在东京市区街道上，女子皮肤毛孔色沉清晰可见，路面积水反映着路灯倒影，视频真实度十分之高，如果不是偶尔穿帮的左右腿 ，很难一眼判断是AI制作的视频。 通过提供视频主题或关键词，MoneyPrinterTurbo能够自动生成视频文案、搜集视频素材、生成视频字幕、选择背景音乐，并最终合成高质量的短视频。 AI生成视频文案的功能可以节约用户的时间和精力，同时也支持用户自定义文案，以满足不同用户的个性化需求。 例如，内容创作者可以利用该项目快速生成各类视频内容，节省制作时间，提高工作效率。同时，数字营销人员可以利用MoneyPrinterTurbo快速制作精美广告视频，吸引更多用户关注。
70710编辑于 2024-04-12 - 来自专栏AI绘画
腾讯AI运动笔刷但是文生视频
但是这些的笔刷他都是图片，也就是文生图t2i阶段的，我们不能拿这些所有的效果去跟专业的AE渲染去比，就算要比，就比能不能一键，可控性强不强，但我们今天要分享的是文生视频。 MOFA_Video通过提供一种全新的视频内容控制方式，使得用户能够以更加直观和灵活的方式操控视频内容，从而创造出更加丰富和个性化的视频作品。 2. 此外，MOFA_Video还支持将原有视频中的面部表情迁移到新生成的人脸视频中，这使得用户能够创造出全新的角色和情感表达，极大地丰富了视频内容的创意空间。 箭头控制视频运动：用户可以通过简单的箭头操作，控制视频内容的运动方向，实现视频内容的精确操控。 通过MOFA_Video，用户不仅能够体验到视频内容控制的便捷性，还能享受到创造个性化视频的乐趣。腾讯的这一创新技术，无疑将为视频制作领域带来新的变革，推动视频内容创作的进一步发展。
45410编辑于 2024-07-01 - 来自专栏JVMGC
7.4K Star文生视频Sora开源了?
Sora 前段时间OpenAI发布了文生视频工具Sora火爆全球。Sora是一个能以文本描述生成视频的人工智能模型，由美国人工智能研究机构OpenAI开发。 文生视频效果展示 向日葵田充满活力的美丽。向日葵排列整齐，营造出秩序感和对称感。 宁静的水下场景，海龟在珊瑚礁中游动。乌龟，有着绿棕色的壳 森林地区宁静的夜景。[...] 该视频是一段延时视频，捕捉从白天到黑夜的过渡，以湖泊和森林作为恒定的背景。 功能描述 Open-Sora-v1已经发布，提供了模型权重。 使用场景 Open-Sora适用于那些希望使用先进视频生成技术来创建高质量视频内容的开发者和内容创作者。 无论是想要从头开始创建视频，还是对现有视频进行增强、调整，Open-Sora都提供了一套功能强大而简单易用的工具，方便用户实现他们的视频创意。
54810编辑于 2024-03-25 - 来自专栏音视频开发之旅
音视频开发之旅（68）-SD文生图
目录 效果展示 sd使用流程：选大模型、写关键词和设置参数 SDWebui文生图调用流程 StableDiffusion原理浅析 参考资料 一、效果显示 1girl,smile,highres,wallpaper 三、SDWebui文生图调用流程 点击webui通过gradio和fastapi来实现通过点击生成按钮调用api函数进行图片的生成 3.1 初始化 initialize.initialize # 初始化 Denoising Diffusion Probabilistic Models arxiv.org/pdf/2006.11… AIGC专栏2——Stable Diffusion结构解析-以文本生成图像（文生图
53710编辑于 2024-02-24 - 来自专栏AIGC
【AI视频】Runway：Gen-2 图文生视频与运动模式详解
前言 在上一篇文章【AI视频】Runway Gen-2与Gen-3：仅文本生成视频详解中，我们深入探讨了Gen-2和Gen-3的纯文本生成视频技术及其应用原理。 接下来，本文将进一步解析Runway的图文生成视频模式和运动模式，探讨如何结合图像和文字更高效地生成复杂的视频内容，并重点分析运动模式在动态场景中的表现与应用场景，助力创作者开拓更多元的创作空间。 图加文生成视频 图加文生成视频是一种结合图像和文本提示的AI生成方式，通过输入一张静态图片和相应的描述性文字，系统能够自动生成动态视频。 小结 Runway的图加文生成视频模式和运动模式为创作者提供了极大的创作灵活性。通过结合静态图片和文本提示，用户能够快速生成高质量的动态视频。 随着AI视频技术的快速发展，如Runway的图加文生成视频和运动模式正逐渐改变创作的方式，为未来的视频内容制作带来无限可能。
2.1K10编辑于 2024-10-17 - 来自专栏AiCharm
文生视频 | Pika 1.0闪亮登场，电影级特效震撼全网
AI生视频领域，又要发生大地震了。 这是一次重大的产品升级 ，包括一个新的 AI 模型，能够生成和编辑各种风格的视频，如 3D 动画、动漫、卡通和电影。另外使用起来也更简单。 在 Pika 1.0 中，通过文字就能够生成非常贴近且生动的视频。不仅如此，使用图片，甚至是视频，还可以对它们进行「再加工」。风格多变，随你挑选。 在一些网友看来，它最酷的一点是允许你上传自己的视频片段，并使用生成式 AI 来编辑和重新构想场景。「仅此一项就使它成为最有用的 AI 视频工具之一。」 此外，新的模型还能对生成内容进行更精细的编辑和控制 —— 调整视频宽高比和视角、换装、增减物品（比如给机器人带上墨镜）都不在话下。
1.6K60编辑于 2023-11-30 AI文生视频究竟有哪些实用技巧？
在当下这个创意与技术交织的时代，“AI文生视频”无疑成为了内容创作领域的一颗璀璨新星。然而，随着其热度的不断攀升，市场上关于“AI文生视频”的报价也变得五花八门，让人眼花缭乱。 作为深耕网络推广软件功能测评的新媒体人，我们深知选择一款正规、高效的“AI文生视频”工具对于提升工作效率和作品质量的重要性。 正规的“AI文生视频”行业应当遵循一套严谨且透明的逻辑：从用户输入文本描述开始，经过智能分析理解意图，再结合先进的算法与庞大的素材库进行匹配组合，最终通过渲染技术输出高质量的视频成品。 除了基础的文生视频功能外，巨推管家AI首尾帧视频制作工具更是为用户提供了个性化创作的无限可能。它允许用户在保持整体流畅性的同时，自定义视频的首末画面，为整个作品增添独特的视觉冲击力或情感色彩。 总之，AI文生视频以其专业的技术支持、丰富的资源和友好的交互方式重新定义了什么是真正的智能化影视后期解决方案。
25510编辑于 2025-08-05- 来自专栏算法一只狗
OpenAI发布文生视频Sora爆炸出圈
公众号：算法一只狗春节准备过完，OpenAI发布了震撼科技圈的文生视频模型Sora。它出圈的地方就在于，能够把原来生成的几秒视频硬生生拔高到可以生成1分钟左右的视频。 这就先要谈谈之前的文生视频模型的局限性。文生视频模型的局限性我们都知道，在上一年的年末，各种文本视频生成模型突然爆火，让AI技术在文生视频领域也有了一定的用武之地。 生成的视频存在闪烁问题，这个主要是因为目前的大部分文生视频模型其实是通过多张图片生成后，在进行合并生成视频的。因此它难以保证每一张图片都符合上下文。 同时，以前的文生视频模型或软件，往往只能生成几秒的视频，这是因为长视频的生成往往容易导致画面不连贯，同时时间过长会耗费大量的算力。因此以前的模型最长只有10几秒的视频。 从目前来看，Sora距离真正的世界模型还是有一定的距离，但是不妨碍其是一个出色的文生视频模型。要想真正实现通用化的AI模型，需要统一多种模态，来理解世界规律。
37910编辑于 2024-03-12 - 来自专栏Java项目实战
腾讯与香港科技大学开源 VideoCrafter 文生视频
VideoCrafter是一款由腾讯和香港科技大学合作推出的视频生成模型。该模型通过扩散模型来创建和编辑视频，能够从文本描述生成照片和视频。 不需要视频编辑或动画经验的人也可以利用VideoCrafter轻松制作专业品质的视频。该项目提供了两种开放的扩散模型，分别是文本到视频（T2V）和图像到视频(I2V)任务。 T2V模型能够生成具有1024576分辨率、逼真且具有电影质量的视频，其质量在同类开源T2V模型中表现优秀。而I2V模型的目标是生成与提供的参考图像内容严格一致的视频，保留其内容、结构和风格。 根据自己的喜好设置视频相关参数，包括分辨率和帧速率。使用“生成”按钮。输入一些文字，VideoCrafter将为您生成视频。生成的视频可以在集成编辑器的帮助下进行修改。 在进行调整后，可以将视频保存为多种格式，包括MP4、MOV和AVI。
1.1K10编辑于 2024-01-19 - 来自专栏人工智能前沿讲习
【源头活水】OpenAI Sora文生视频模型技术报告中英全文
训练文本到视频生成系统需要大量带有相应文字标题的视频。我们将在DALL·E 3中引入的重新标注技术应用到视频上。我们首先训练一个高度描述性的标注模型，然后使用它为我们训练集中的所有视频生成文字标题。 我们发现，在高度描述性的视频标题上进行训练可以提高文本的准确性以及视频的整体质量。 这项能力使得Sora能够执行广泛的图像和视频编辑任务——创建完美循环的视频，为静态图像添加动画，向前或向后延长视频的时间等。 Sora也能够将视频向前或向后延长时间。下面是四个视频，它们都是从生成的视频片段开始向后延长的。因此，这四个视频的开头各不相同，但最终都会达到相同的结局。 我们还可以使用Sora在两个输入视频之间逐渐插值，创建在完全不同主题和场景构成的视频之间的无缝过渡。在下面的例子中，中间的视频在左右两边对应视频之间进行插值。
67510编辑于 2024-02-22 - 来自专栏Java项目实战
AI绘画专栏之HAI起来~Stablediffusion|文生视频|Controlnet|SDXL|Comfyui插件
SDXLLighting、PlaygroundV2.5，Stable webui1.8等 作品展示 写作契机 本文从AI绘画的入门，到实际操作，一步一步带领大家从小白到上手，那么其中最重要的Controlnet和文生视频部分 最重要的是它是开源的，具有丰富的插件，庞大的社区以及目前非常完善的生态,包括大模型，Lora，插件，文生图，文生视频等等，而最近大火的Sora以及Stablediffusion3具有同样的架构，也让Stablediffusion 它使用来自 LAION-5B 开源数据库子集的512x512图像进行训练，通过引入隐向量空间来解决 Diffusion 速度瓶颈，除了可用于文生图任务，还可以用于图生图、特定角色刻画，甚至是超分或者上色任务 可搭配LCM提升有效提升效率 九、最新技术分享和学习和探索的资源链接 Sora可参考OpenAI Sora 1分钟视频生成 现实不存在了！ Stableforge 以前我们分享的SVD不管是文生视频还是长视频还是图生视频，都是在Comfyui中实现的，但是大多数的用户还是在webui中使用的，那么forge它来了，A111点赞的实现SVD的整合方式
4K512编辑于 2024-03-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号