- 综合排序
- 最热优先
- 最新优先
- 来自专栏muller的测试分享
文生视频大模型
简介Sora 官网地址：https://openai.com/sora文生视频指的是将文本描述转化为视频内容的技术，2024年2月15日 OpenAI 正式对外发布 Sora 人工智能模型，在人工智能领域掀起了一场风波 视频地址可以看出，Sora根据文本所产生的视频完美地展示了文本所表达的含义，并且视频的质量非常出色。除了描述的主体内容外，视频还展示了与天气和时间相关的光影效果，增添了画面的层次和真实感。 Sora 除了根据文本生成视频，还可有以下几种生成视频的方式：图像生成视频：图像视频扩展生成的视频：视频1视频2改变视频风格：改变前改变后连接视频：视频1视频2连接后扩展能力3D 一致性Sora 还可以在单个生成的视频中创建多个镜头 ，准确地保留视频主体和视频的风格，使得视频主体可以跟随环境的变化而一同变化。 现状文生视频还处在开发并且测试的阶段，基于安全考虑，目前 Sora 还是仅仅是邀请 “red teamers” 也就是对抗性角色领域的专家来对 Sora 进行安全测试。
62710编辑于 2024-11-11 - 来自专栏AI工程落地
文生视频模型调研
开源文生视频一览表 模型名称 机构 是否开源 时长（秒） 分辨率&帧率 模型参数量(B) 模型地址/体验入口 Wan2.1 阿里 是 5 720*1280 16 14/1.3 https://huggingface.co 加州大学 是 - 320*512 2 https://t2v-turbo-v2.github.io/ MiniMax-Video-01 MinMax 否 6 1280*720 - https://platform.minimaxi.com jimeng.jianying.com/ TeleAI 中国电信 否 - - - - Open-Sora 潞晨科技 是 15 1280*720 https://hpcaitech.github.io/Open-Sora/ 文生视频评测榜单 ：VBench Leaderboard - a Hugging Face Space by Vchitect 模型量化 文生视频模型参数量越来越大，视频时长越来越长，帧率越来越高。 文生视频量化需求越来越迫切，目前这方面论文比较少，是一个可以深入研究的领域。
78810编辑于 2025-03-13 - 来自专栏AIGC
【AI视频】Runway：Gen-2 图文生视频与运动模式详解
前言 在上一篇文章【AI视频】Runway Gen-2与Gen-3：仅文本生成视频详解中，我们深入探讨了Gen-2和Gen-3的纯文本生成视频技术及其应用原理。 接下来，本文将进一步解析Runway的图文生成视频模式和运动模式，探讨如何结合图像和文字更高效地生成复杂的视频内容，并重点分析运动模式在动态场景中的表现与应用场景，助力创作者开拓更多元的创作空间。 图加文生成视频 图加文生成视频是一种结合图像和文本提示的AI生成方式，通过输入一张静态图片和相应的描述性文字，系统能够自动生成动态视频。 小结 Runway的图加文生成视频模式和运动模式为创作者提供了极大的创作灵活性。通过结合静态图片和文本提示，用户能够快速生成高质量的动态视频。 随着AI视频技术的快速发展，如Runway的图加文生成视频和运动模式正逐渐改变创作的方式，为未来的视频内容制作带来无限可能。
2.1K10编辑于 2024-10-17 - 来自专栏AI算法能力提高班
VideoCrafter | 图文生成视频
模型可以生成高质量的视频，但是不开源，无法研究 VideoCrafter开源了2个模型，Text2Video和Image2Video，其中I2V可以生成1024X576高分辨率的电影质量的视频，在质量上超过其它开源模型 （I2V模型输入为text和reference image） Contributions T2V模型可以生成高分辨率高质量视频，训练集集为2千万视频和6亿张图像 I2V模型可以很好的保留参考图像的内容、 ：video vae 和 video diffusion video vae 负责降低采样维度 视频数据X0喂给VAE编码器E，映射到隐层Z0，其可以以低维表示压缩的视频表征 Z0通过解码器D反映射会视频数据空间 主要在语义水平表征视频内容，同时很少捕捉细节。 这个I2V效果更好
2.3K20编辑于 2023-11-09 - 来自专栏刘旷专栏
从文生图到文生视频，AI行业卷疯了
比如，影视和游戏等行业就是文生视频落地的重要场景，文生视频用文字就可以编辑和生成想要的故事情节，实现创意辅助和降本增效。而凭借为内容生成赋能这一独特优势，文生视频的前景也是毋庸置疑。 作为文生文、文生图的升级，文生视频对算力以及模型的工程化能力要求更高。据了解，文生视频的人工智能模型参数为10亿级别至100亿级别。 文生图和文生视频的人工智能模型在底层技术框架上有着较高的相似性，一定程度上来说，文生视频可以看作是文生图的进阶版技术，这也就意味着，文生图的技术和经验可供文生视频加以运用和参考。 只不过，目前国内文生视频技术还在发展的初级阶段，虽然看上去文生视频与文生图的逻辑极其相似，但事实上，文生视频的难度要大得多，需要突破的瓶颈也有很多。 从文生图到文生视频，AIGC赛道的竞争已经非常激烈。虽然国内文生视频的进展相对缓慢，尚且没有明星产品的出现，但更多有人才、有技术的文生视频公司正在不断涌现。
70810编辑于 2023-12-26 - 来自专栏腾讯技术工程官方号的专栏
Sora的前世今生：从文生图到文生视频
作者：monychen 在2月16日凌晨，OpenAI首款文本生成视频模型Sora正式亮相，迅速在网络上引发广泛关注。 无论是文生图还是文生视频，很多这方面的工作其实都可以看成是自编码器的进阶版本，让我们从自编码器开始入手。 用的就是 CoCa 的方法，也就是同时考虑对比损失和LM损失 模型推理策略 官方展示Sora的应用有很多，比如文生视频、图生视频、视频反推、视频编辑、视频融合等。 这里就会涉及一些有意思的做法，比如可以这么做（以下做法并不唯一） 1.文生视频：喂入DiT的就是文本embedding+全噪声patch 2.视频编辑：类似SDEdit的做法，在视频上加点噪声（不要搞成全是噪声 不知道大家有没有注意到，Sora还提到了它除了文生视频，也支持文生图，这里其实透露出了一种统一的味道。
1.8K31编辑于 2024-02-23 - 来自专栏CSDN社区搬运
Pixverse：开启文生视频与图生视频新纪元
Pixverse：开启文生视频与图生视频新纪元 随着科技的飞速发展，视频制作与图像处理领域正迎来前所未有的变革。 Pixverse软件，以其独特的文生视频和图生视频功能，以及基于图像生成形象固定角色视频的创新技术，正成为行业内的翘楚。 一、Pixverse软件概述 Pixverse是一款集文生视频、图生视频以及基于图像生成角色视频于一体的综合性软件。它利用先进的算法和人工智能技术，将文字描述和静态图像转化为生动逼真的视频内容。 二、文生视频与图生视频功能 Pixverse的文生视频功能允许用户通过输入文字描述，自动生成与之相匹配的视频内容。 五、总结与展望 Pixverse作为一款集文生视频、图生视频以及基于图像生成角色视频于一体的软件，以其独特的功能和技术优势，正成为创意内容制作领域的新宠。
2K10编辑于 2024-04-20 AI文生视频软件系统哪家有实力？
AI文生视频技术应运而生，它不仅能够快速将文字转化为生动有趣的视频，还能根据用户需求进行个性化定制，极大地提高了内容创作的效率与质量。 面对这一新兴且充满潜力的市场，选择一款实力强劲的AI文生视频软件系统显得尤为重要。接下来，我们就来盘点一下市面上备受瞩目的五大AI文生视频工具，看看它们各自有何亮点。 紧随其后的是Runway ML，这是一款来自国外的AI文生视频神器。Runway ML以其独特的机器学习模型著称，能够在短时间内分析大量数据并输出高质量的视频作品。 再来看国内的灵境云创，这款产品专注于为企业提供一站式AI视频解决方案。从文案撰写到视频制作再到后期剪辑，灵境云创全程参与其中，帮助企业节省了大量的时间和人力成本。 综上所述，每一种AI文生视频工具都有自己独特之处：有的侧重于技术创新，力求突破传统界限；有的则更加贴近市场需求，致力于解决实际问题。
53310编辑于 2025-08-06- 来自专栏个人总结系列
开源AIGC学习—文生视频模型本地运行
一、模型下载 可以参见之前文章介绍：开源AIGC学习—文生图模型本地运行 1、模型地址 参见huggingface，https://huggingface.co/cerspense/zeroscope_v2 _576w 2、模型下载拷贝 pipe = DiffusionPipeline.from_pretrained("cerspense/zeroscope_v2_576w", torch_dtype=torch.float16 这里和snapshot_download一样，都是在当前用户.cache路径 # cp -r .cache/huggingface/hub/models--cerspense--zeroscope_v2_ 10, height=320, width=576, num_frames=24).frames video_path = export_to_video(video_frames) # 查看当前生成的视频路径 更换另外一种文生视频算法ali-vilab/text-to-video-ms-1.7b import torch from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
1.6K10编辑于 2024-03-15 - 来自专栏机器之心
文生视频下一站，Meta已经开始视频生视频了
机器之心报道 编辑：小舟、大盘鸡 文本指导的视频到视频（V2V）合成在各个领域具有广泛的应用，例如短视频创作以及更广泛的电影行业。 扩散模型已经改变了图像到图像（I2I）的合成方式，但在视频到视频（V2V）合成方面面临维持视频帧间时间一致性的挑战。在视频上应用 I2I 模型通常会在帧之间产生像素闪烁。 研究者基于 inflated 空间控制 I2I 模型构建了一个视频扩散模型。他们利用空间条件（如深度图）和时间条件（流变形视频）对模型进行训练，以预测输入视频。 在生成过程中，研究者采用编辑 - 传播程序：(1) 用流行的 I2I 模型编辑第一帧。(2) 使用本文模型在整个视频中传播编辑内容。 对于每个训练视频，研究者按顺序采样 16 个间隔为 {2,4,8} 的帧，这些帧代表持续时间为 {1,2,4} 秒的视频（视频的 FPS 为 30）。
86710编辑于 2024-01-04 - 来自专栏JVMGC
文生视频,轻松做视频
OpenAI官网展现了多段Sora制作的视频，身着黑色皮衣、红色裙子的女子在雨后的夜晚行走在东京市区街道上，女子皮肤毛孔色沉清晰可见，路面积水反映着路灯倒影，视频真实度十分之高，如果不是偶尔穿帮的左右腿 ，很难一眼判断是AI制作的视频。 通过提供视频主题或关键词，MoneyPrinterTurbo能够自动生成视频文案、搜集视频素材、生成视频字幕、选择背景音乐，并最终合成高质量的短视频。 2.多种语音合成：用户可以选择多种语音合成选项，丰富视频声音，增强观众的听觉体验。 3.字幕生成与自定义：用户可以自主控制字幕外观，包括字体、位置、颜色和大小，确保信息传达准确且视觉效果优秀。 例如，内容创作者可以利用该项目快速生成各类视频内容，节省制作时间，提高工作效率。同时，数字营销人员可以利用MoneyPrinterTurbo快速制作精美广告视频，吸引更多用户关注。
71310编辑于 2024-04-12 - 来自专栏服务器运维日常
从零开始：基于 ModelScope 本地部署 CogVideoX-2B 文生视频完全指南
本文档记录了使用魔搭社区 ModelScope 平台，从零开始在本地部署 CogVideoX-2B 文生视频模型的完整过程，包括环境配置、依赖安装、模型下载、提示词编写技巧以及实战示例。 视频生成较慢，单次约 6-10 分钟，请耐心等待 ║ ║ 2. 到这里你已经掌握了基于 ModelScope 本地部署 CogVideoX-2B 文生视频模型的完整流程。 ：创建 Python 文件，实现交互式视频生成、命令管理等功能高级配置：自定义生成参数、调整推理步数、优化显存占用学习掌握的能力完成本教程后，一般来说将能够：✅ 独立部署文生视频模型：掌握从环境配置到模型运行的完整流程 ：尝试使用图片作为参考生成视频的 Image-to-Video 模式集成到应用：将模型集成到 Web 应用、自动化工具中结合文生图：先用 SDXL 生成静态图，再用视频模型赋予动态效果感谢阅读希望这篇教程能帮助你顺利部署属于自己的
72221编辑于 2026-01-15 - 来自专栏AI绘画
腾讯AI运动笔刷但是文生视频
但是这些的笔刷他都是图片，也就是文生图t2i阶段的，我们不能拿这些所有的效果去跟专业的AE渲染去比，就算要比，就比能不能一键，可控性强不强，但我们今天要分享的是文生视频。 MOFA_Video通过提供一种全新的视频内容控制方式，使得用户能够以更加直观和灵活的方式操控视频内容，从而创造出更加丰富和个性化的视频作品。 2. 箭头控制视频运动：用户可以通过简单的箭头操作，控制视频内容的运动方向，实现视频内容的精确操控。 通过采用稀疏到密集 （S2D） 运动生成和基于流的运动适应，MOFA-Video 可以使用各种类型的控制信号（包括轨迹、关键点序列及其组合）有效地为单个图像制作动画。 5. 通过MOFA_Video，用户不仅能够体验到视频内容控制的便捷性，还能享受到创造个性化视频的乐趣。腾讯的这一创新技术，无疑将为视频制作领域带来新的变革，推动视频内容创作的进一步发展。
46510编辑于 2024-07-01 - 来自专栏JVMGC
7.4K Star文生视频Sora开源了?
Sora 前段时间OpenAI发布了文生视频工具Sora火爆全球。Sora是一个能以文本描述生成视频的人工智能模型，由美国人工智能研究机构OpenAI开发。 文生视频效果展示 向日葵田充满活力的美丽。向日葵排列整齐，营造出秩序感和对称感。 宁静的水下场景，海龟在珊瑚礁中游动。乌龟，有着绿棕色的壳 森林地区宁静的夜景。[...] 只需使用400K视频片段在单卡H800上训练200天（类似Stable Video Diffusion的152M样本），就能够生成2秒长的512×512视频。 2.训练加速：采用多种加速技术，提高训练速度，增强效率。 3.数据预处理工具：提供视频切割和字幕工具，方便用户进行数据准备。 4.架构研究：通过研究不同架构，找到在质量和速度之间的最佳平衡点。 无论是想要从头开始创建视频，还是对现有视频进行增强、调整，Open-Sora都提供了一套功能强大而简单易用的工具，方便用户实现他们的视频创意。
56010编辑于 2024-03-25 - 来自专栏音视频开发之旅
音视频开发之旅（68）-SD文生图
目录 效果展示 sd使用流程：选大模型、写关键词和设置参数 SDWebui文生图调用流程 StableDiffusion原理浅析 参考资料 一、效果显示 1girl,smile,highres,wallpaper , (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative 三、SDWebui文生图调用流程 点击webui通过gradio和fastapi来实现通过点击生成按钮调用api函数进行图片的生成 3.1 初始化 initialize.initialize # 初始化 script_args = self.init_script_args(txt2imgreq, self.default_script_arg_txt2img, selectable_scripts, —Stable Diffusion结构解析-以文本生成图像（文生图，txt2img）为例 blog.csdn.net/weixin_4479… 从零开始学AI绘画，万字Stable Diffusion终极教程
54110编辑于 2024-02-24 Gitee AI 上线阶跃星辰 StepVideo-T2V 文生视频模型在线体验
2月18日，头部大模型创业公司阶跃星辰宣布开源了文生视频模型Step-Video-T2V，Gitee AI 第一时间上线了该模型的在线体验。 Serverless API 页面现也已新增视频生成分类及Step-Video-T2V模型入口：输入 Prompt 后稍等片刻即可获得生成的视频，视频支持下载至本地：话不多说，直接看看效果：Prompt Step-Video-T2V：性能领跑全球开源视频生成大模型据阶跃星辰公布的数据，Step-Video-T2V模型的参数量达到 300 亿，可以直接生成 204 帧 540P 分辨率的高质量视频。 这意味着生成的视频内容具有极高的信息密度和强大的一致性。为了对开源视频生成模型的性能进行全面评测，阶跃发布并开源了针对文生视频质量评测的新基准数据集Step-Video-T2V-Eval。 想了解更多，立即在线体验Step-Video-T2V文生视频模型吧！
33510编辑于 2025-03-11- 来自专栏AiCharm
文生视频 | Pika 1.0闪亮登场，电影级特效震撼全网
Runway Gen-2最强竞品Pika，暌违半年忽然放出大招——Pika 1.0正式发布！ 仅成立六个月，Pika就结束了测试版，正式发布了第一个产品，能够生成和编辑3D动画、动漫、卡通和电影。 AI生视频领域，又要发生大地震了。 而且，Pika已经获得了5500万美元融资（估值近2亿美元），这使得这家仅有四人的初创公司，具备了和Meta、Adobe、Stability AI等巨头一搏的实力。 在 Pika 1.0 中，通过文字就能够生成非常贴近且生动的视频。不仅如此，使用图片，甚至是视频，还可以对它们进行「再加工」。风格多变，随你挑选。 在一些网友看来，它最酷的一点是允许你上传自己的视频片段，并使用生成式 AI 来编辑和重新构想场景。「仅此一项就使它成为最有用的 AI 视频工具之一。」
1.6K60编辑于 2023-11-30 AI文生视频究竟有哪些实用技巧？
在当下这个创意与技术交织的时代，“AI文生视频”无疑成为了内容创作领域的一颗璀璨新星。然而，随着其热度的不断攀升，市场上关于“AI文生视频”的报价也变得五花八门，让人眼花缭乱。 作为深耕网络推广软件功能测评的新媒体人，我们深知选择一款正规、高效的“AI文生视频”工具对于提升工作效率和作品质量的重要性。 正规的“AI文生视频”行业应当遵循一套严谨且透明的逻辑：从用户输入文本描述开始，经过智能分析理解意图，再结合先进的算法与庞大的素材库进行匹配组合，最终通过渲染技术输出高质量的视频成品。 除了基础的文生视频功能外，巨推管家AI首尾帧视频制作工具更是为用户提供了个性化创作的无限可能。它允许用户在保持整体流畅性的同时，自定义视频的首末画面，为整个作品增添独特的视觉冲击力或情感色彩。 总之，AI文生视频以其专业的技术支持、丰富的资源和友好的交互方式重新定义了什么是真正的智能化影视后期解决方案。
26310编辑于 2025-08-05- 来自专栏算法一只狗
OpenAI发布文生视频Sora爆炸出圈
公众号：算法一只狗春节准备过完，OpenAI发布了震撼科技圈的文生视频模型Sora。它出圈的地方就在于，能够把原来生成的几秒视频硬生生拔高到可以生成1分钟左右的视频。 这就先要谈谈之前的文生视频模型的局限性。文生视频模型的局限性我们都知道，在上一年的年末，各种文本视频生成模型突然爆火，让AI技术在文生视频领域也有了一定的用武之地。 生成的视频存在闪烁问题，这个主要是因为目前的大部分文生视频模型其实是通过多张图片生成后，在进行合并生成视频的。因此它难以保证每一张图片都符合上下文。 同时，以前的文生视频模型或软件，往往只能生成几秒的视频，这是因为长视频的生成往往容易导致画面不连贯，同时时间过长会耗费大量的算力。因此以前的模型最长只有10几秒的视频。 从目前来看，Sora距离真正的世界模型还是有一定的距离，但是不妨碍其是一个出色的文生视频模型。要想真正实现通用化的AI模型，需要统一多种模态，来理解世界规律。
38310编辑于 2024-03-12 - 来自专栏Java项目实战
腾讯与香港科技大学开源 VideoCrafter 文生视频
不需要视频编辑或动画经验的人也可以利用VideoCrafter轻松制作专业品质的视频。该项目提供了两种开放的扩散模型，分别是文本到视频（T2V）和图像到视频(I2V)任务。 T2V模型能够生成具有1024576分辨率、逼真且具有电影质量的视频，其质量在同类开源T2V模型中表现优秀。而I2V模型的目标是生成与提供的参考图像内容严格一致的视频，保留其内容、结构和风格。 这是第一个能够将给定图像转化为视频剪辑并保持内容保存约束的开源I2V基础模型。 模型调用1、通过Hugging Face下载预训练的 T2V 模型，并将其model.ckpt放入checkpoints/base_1024_v1/model.ckpt2、输入命令 sh scripts /run_text2video.shVideoCrafter的用户友好性使其即使对于从未使用过视频或动画软件的人也可以轻松使用。
1.1K10编辑于 2024-01-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号