- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习与生成对抗网络
ICCV 2023 视频AIGC（编辑生成转换）论文 7 篇
它们支持反转真实图像和条件生成（例如，文本生成），使其在高质量图像编辑应用中具有吸引力。本文研究如何利用这些预训练的图像模型进行文本引导的视频编辑。 关键挑战在于在保留源视频内容的同时实现目标编辑。 为生成视频帧，TPoS利用了具有文本语义信息的潜在稳定扩散模型，然后通过预训练的音频编码器产生的顺序音频嵌入进行引导。结果，该方法生成与音频相关的视频内容。 达到了低开销但高质量和非常一致的视频生成。 此外，方法不仅限于文本到视频合成，还适用于其他任务，例如条件和内容专项的视频生成，以及视频指导像素到像素，即指令引导的视频编辑。 开源在：https://github.com/Picsart-AI-Research/Text2Video-Zero 7、Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation 为复制文本到图像生成的成功，最近工作采用大规模视频数据集来训练文本到视频生成器。
69810编辑于 2024-01-10 - 来自专栏全栈技术
AI短视频制作一本通：文本生成视频、图片生成视频、视频生成视频
第一部分：文本生成视频1. 文本生成视频概述随着人工智能（AI）技术的飞速发展，视频制作领域也迎来了创新的浪潮。文本生成视频是其中的一项令人激动的进展，它利用自然语言处理技术将文本内容转化为视频。 文本生成视频的应用非常广泛，可以根据不同场景和目的进行定制。第二部分：图片生成视频1. 图片生成视频原理图片生成视频是将一系列静态图片转化为视频的过程。在这一部分，我们将探讨图片生成视频的基本原理。 第三部分：视频生成视频1. 视频生成视频原理视频生成视频是一种使用人工智能技术合成新视频的方法。它借助生成对抗网络（GANs）和深度学习模型，可以用于各种应用，包括电影特效、艺术实验和视频内容生成。 步骤2：训练生成模型使用生成对抗网络或其他深度学习模型，对视频数据进行训练。模型将学会从输入数据生成逼真的视频。步骤3：生成新视频一旦训练完成，您可以使用生成模型来合成新的视频内容。 您可以根据需要使用不同的生成模型和后期处理技术。这就完成了本指南的三部分：文本生成视频、图片生成视频和视频生成视频。
3.5K62编辑于 2023-11-07 - 来自专栏开源心路
AI生成视频-Pika
背景介绍 Pika 是一个使用 AI 生成和编辑视频的平台。它致力于通过 AI 技术使视频制作变得简单和无障碍。 Pika 1.0 是 Pika 的一个重大产品升级，包含了一个新的 AI 模型,可以在各种风格下生成和编辑视频,如 3D 动画，动漫，卡通和电影风格。 登录申请Pika Discord https://discord.gg/pika 试用交互命令行生成视频。 大拇指向下 告诉机器人(和 Pika 实验室团队)Pika 做了一些丑陋、错误的东西,或者视频完全没有移动。 重新生成 - 重复提示 使用相同的提示词和参数再生成一个视频。 对于第三次生成，我们将使用 “-camera rotate clockwise” 选项。 注意：以上步骤中的每一个生成命令都应该以回车键结束，这样 PIKA 才会开始生成你的视频片段。
2.1K10编辑于 2023-12-06 - 来自专栏ZackSock
Python生成字符视频
Python生成字符视频 一、前言 在之前也写过生成字符视频的文章，但是使用的是命令行窗口输出，效果不是很好，而且存在卡顿的情况。于是我打算直接生成一个mp4的字符视频。 2.6、读取视频 读取视频的操作一般是通用的，代码如下： import cv2 # 读取视频 cap = cv2.VideoCapture('1.mp4') # 获取视频的帧率 fps = cap.get 生成的尺寸我们先除了scale，然后再乘font_size。scale是原图的缩小程度，因为像素有很多，所以我们需要先把图片缩小。而为了让我们的字体显示更清楚，我们需要把生成的字符图片放大。 因此需要注意，虽然我们生成的图片看起来单调，但是当font_size设置为5时，得到的图片已经比较大了。因此当你生成长时间的视频时，会花费比较多的时间，生成的视频也比较大。 生成的字符画 可以看到效果还是很不错的。 五、生成字符视频 有了上面的代码，我们就可以对整个视频进行转换了。
91050发布于 2021-05-18 - 来自专栏人工智能前沿讲习
视频生成的前沿论文，看我们推荐的7篇就够了
关注文章公众号 回复"视频生成"获取本主题精选论文 ? 图像和视频等视觉数据的生成是机器学习和计算机视觉领域的重要研究问题。 由SFFAI16分享嘉宾杨凌波同学和黄怀波同学精选出来的7篇有关视频生成的论文，将使你全面了解视频生成的历史和最新进展。你可以先仔细阅读，并带着问题来现场交流哦。 1 ????? ? ，可以从噪声通过生成器合成一段视频。 和直接由噪声生成视频的无条件生成模型不同，视频预测是根据已有的若干帧图像预测未来帧的条件生成模型。使用VAE来进行视频预测可以增加预测的不确定性。 本文提出了两种视频预测模型，一种对隐码使用固定的先验分布来进行拟合，另外一种使用了可以学习的先验分布。 视频预测任务也是一种常见的视频生成任务。 ? 推荐理由来自：黄怀波 7 ???? ?
1.9K20发布于 2020-05-11 - 来自专栏AI算法能力提高班
VideoCrafter | 图文生成视频
pdf code https://github.com/ailab-cvc/videocrafter image-20231108102745812 Abstract 商用的Text2Video模型可以生成高质量的视频 ，但是不开源，无法研究 VideoCrafter开源了2个模型，Text2Video和Image2Video，其中I2V可以生成1024X576高分辨率的电影质量的视频，在质量上超过其它开源模型，而且是业内第一个开源的的 （I2V模型输入为text和reference image） Contributions T2V模型可以生成高分辨率高质量视频，训练集集为2千万视频和6亿张图像 I2V模型可以很好的保留参考图像的内容、 image-20231108111414839 video diffusion 对视频隐层Z0进行去噪，最后通过VAE解码器在像素空间生成视频 采用3D U-Net架构，包含了时间维度 Denoising 主要在语义水平表征视频内容，同时很少捕捉细节。
2.4K20编辑于 2023-11-09 - 来自专栏AI算法能力提高班
视频生成 | 群魔乱舞
骨架驱动的人形动画生成 输入 人脸图像+视频动画 或者 文本描述 输出 视频 原理简介 人类舞蹈视频生成框架，它基于扩散模型（Diffusion Models，DM）。 旨在根据目标身份和姿势序列生成高质量的定制化人类视频。 使用Minigpt-v2作为视频描述器，生成关键帧的详细描述。 用户可以通过输入文本提示、面部图像或服装图像来生成特定人物的视频。 实验结果： 能够根据指导序列和简单的内容描述（文本提示、图像提示或文本和图像提示）生成高质量和逼真的视频。 总的来说，是一个基于扩散模型的人类视频生成框架，它通过结合文本提示、图像提示和姿势序列来生成定制化的人类视频，具有较高的灵活性和泛化能力。
65820编辑于 2024-01-18 - 来自专栏合集
moviepy，短视频生成
简单说，moviepy可以作为服务端的视频处理，在服务端完成简单的处理，流水线工作。而且考虑到实际上所有的视频处理最后都追踪到 底层的数据处理，理论上知晓视频处理的原理，可以完成甚至开发新的功能。 pip安装 pip install moviepy即可完成安装 opencv opencv也是我们最常用的视频读写库，但是opencv很明显，不太适合简单的视频剪辑，而更适合视频处理的用户，比如完成运动目标检测 /origin/1.mp4') # 读取视频 todo = clip.subclip(0, 5) # 截取视频的前5秒 time_length = clip.duration # 拿到视频的时长 生成列表 random_list = random.sample(count_list, 9) # 从列表中随机选取9个，共计90s bg_audio = editor.AudioFileClip /output/1.mp4', threads=16) # 以16个线程保存视频 这将是一个有趣的东西，计划完成到自动生成营销短视频的程度！
2K20发布于 2021-01-08 - 来自专栏施炯的IoT开发专栏
Windows Phone 7 开发 视频资料
MIX10大会Windows Phone 7相关课程视频 课程ID 课程标题 comment Keynote 大会Keynote CL01 Changing our Game – an Introduction Windows Phone 7 Jump Start Training视频教程 Session 1: Introduction Session 2: Building a Silverlight Application XNA Games for the Windows Phone 7 Platform, Part 2 Session 7: Advanced Application Development, Part Windows Phone Design Day 课程视频下载 Ana and Miles, the Windows Phone personas ( Tracey Lovejoy, 3:33 ) Windows Phone 7的XNA游戏开发系列教程 该系列的教程分为“平台”，“性能”，“润色”三个大的章节，陆续会在9、10、11这三个月放出。
1.1K100发布于 2018-01-10 - 来自专栏AI技术探索和应用
浅析SORA视频生成原理
介绍 官网：https://openai.com/sora OpenAI发布了视频生成模型Sora，最大的Sora模型能够生成一分钟的高保真视频。 同时OpenAI称，可扩展的视频生成模型，是构建物理世界通用模拟器的一条可能的路径。 Sora能够生成横屏1920*1080视频，竖屏1080*1920视频，以及之间的所有内容。 这使得Sora可以兼容不同的视频播放设备，根据特定的纵横比来生成视频内容，这也会大大影响视频创作领域，包括电影制作，电视内容，自媒体等。 另外，进一步利用GPT将视频标注模型生成的简短文本扩展成更长的文本有利于还利用Sora准确遵循用户文本提示生成高质量视频。 应用 视频创作：用户可以根据文本生成高质量视频； 扩展视频：可以在给定的视频或图片基础上，继续向前或向后延伸视频； Video-to-video editing：例如将SDEdit [7]应用于Sora
1.8K20编辑于 2024-03-14 - 来自专栏算法一只狗
CoDeF解决生成视频“闪烁”问题
还记得我之前曾经介绍过的一个模型Rerender，这个AI模型能够有效的解决视频生成中“闪烁”问题。可以看到，生成的视频很丝滑，而且人物的动作衔接的很连贯。 好消息是，来自香港科技大学的学生，也很好的解决了视频生成的“闪烁”问题，而且可以任意转换图片风格。同时他们将代码进行开源，可以自己进行操作。他们发布的模型称为CoDeF。 那我们可以先来看看它生成视频的效果：在对于人物的转换上，也表现出很丝滑的效果，动作和形态都比较相似：不仅仅在人物生成上，风景的风格转换也表现很出色：网友看了都直呼应用效果效果确实很好这是疯了把！ 这就是AI视频生成的未来那这个模型到底是什么做到的呢？ 文件然后再生成canonical图片，执行代码后会在results文件夹下生成canonical_0.png第三步，生成视频然后我们可以把自己所要生成的风格图片上传上去，这里可以用Stable Diffusion
61420编辑于 2024-10-09 - 来自专栏算法一只狗
AI解决生成视频“闪烁”问题
在上一期中，我曾经介绍了用ControlNet结合Mov2Mov插件生成新的视频。虽然它能够快速的对视频中的人物进行转换，但是还存在难以解决的闪烁问题。 首先来看看他们生成的视频效果：可以看到，生成的视频很丝滑，而且人物的动作衔接的很连贯。 这样的前景大有用途，我们久可以利用现有的视频生成不同另一种不同的风格。比如把一个雕像转换成一个真实的人物也是轻而易举：从放出的论文中可以看出，作者把这个方法称为“零样本文本指导视频翻译”方法。 利用上面的方法进行生成后，在连续的十几秒中，每一幅图片的细节都生成相似，就能够有效缓解视频闪烁的情况出现。 下图是作者对比Stable-Diffusion的结果：当然，在不同的模型比较上，该作者提出的方法在生成视频的稳定性上效果明显提高：同时，在输入文本中仅需更改几个词语，在视频背景保持不变的情况下，可以不断的调节视频中的细节
91920编辑于 2024-10-10 - 来自专栏算法一只狗
Stable Diffusion用来生成视频
之前我曾经多次介绍过，可以一键生成视频的模型。包括能够有效解决视频闪烁的Rerender A Video模型还有开源的CoDeF模型：这些模型要不就是没有开源，要不就是有一定的上手难度。 它是由Stability AI发布的，一个基于图像模型稳定扩散的生成视频模型。目前它已经提供了相应的模型和开源代码，普通人可以在20秒内简单上手。 稳定视频扩散以两种图像到视频模型的形式发布，能够以每秒 3 到 30 帧之间的可定制帧速率生成 14 和 25 帧。 比如下面的这个视频，可以看到人物的眼睛有一个明显的上移。风景图片转换这里上传了一张蓝色汽车的图片。从视频效果中可以看到，生成的效果使得汽车在运动，且车速较快，因为它的运动模糊效果很强烈。 比如上传的是一张静态的烟花图：它则能够模拟出烟花的动画效果：未来计划 目前仅仅开源了图片生成视频模型，但是未来将会把文本生成视频模型也一并开源。目前可以加入到它的waitlist中尝试一下。
78810编辑于 2024-10-01 - 来自专栏翩翩白衣少年
MuseV：不限视频时长的AI视频生成工具
在不久前 OpenAI Sora 以其优秀且惊人的视频生成效果迅速走红，更是在一众文生视频模型中脱颖而出，成为了文生视频领域的领头羊。 同时它也推动了行业内文生视频技术的发展。 今天小编为大家分享一款新开源的文生视频项目MuseV，据说可以生成不限时长的AI视频。 项目背景 MuseV 项目在2023年7月就已经实现了，但是受到近期 Sora 进展的启发，才决定开源出来。 项目介绍 MuseV 是一个基于扩散模型的虚拟人视频生成框架。它采用了新颖的视觉条件并行去噪方案，支持无限长度视频的生成。 在更大、更高分辨率、更高质量的文本视频数据集上进行训练可能会使 MuseV 更好。 • 有限类型的长视频生成。视觉条件并行去噪可以解决视频生成的累积误差，但当前的方法只适用于相对固定的摄像机场景。 总结 MuseV 以其无限长度视频生成以及对 Stable Diffusion 生态的支持以及多参考图像技术，成为视频生成领域的新兴力量。
2K10编辑于 2024-04-13 - 来自专栏关键帧Keyframe
iOS AVDemo（7）：视频采集，视频系列来了丨音视频工程示例
莫奈《睡莲》 iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有一定了解后，再借助 iOS/Android 平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程，并借助音视频工具来分析和理解对应的音视频数据。 1、视频采集模块 首先，实现一个 KFVideoCaptureConfig 类用于定义视频采集参数的配置。 updateActiveFrameDuration]; [self.captureDevice unlockForConfiguration]; // 7、 7）实现切换摄像头的功能。 在 -changeDevicePosition: → -_updateDeveicePosition: 方法中实现。注意，这里同样是异步处理。
1.3K30编辑于 2022-06-13 - 来自专栏关键帧Keyframe
Android AVDemo（7）：视频采集，视频系列来了丨音视频工程示例
塞尚《从埃斯塔克眺望马赛湾》 iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有一定了解后，再借助 iOS/Android 平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程，并借助音视频工具来分析和理解对应的音视频数据。 这个 Demo 里包含以下内容： 1）实现两个视频采集模块，分别为 Camera 与 Camera2； 2）实现视频采集逻辑并将采集的视频图像渲染进行预览； 3）详尽的代码注释，帮你理解代码逻辑和原理。 1、视频采集模块 Camera 首先，实现一个 KFVideoCaptureConfig 类用于定义视频采集参数的配置。 创建 CaptureRequest 构造器 mCaptureRequestBuilder，通过构造器设置参数帧率，连接输出对象 mSurface，mSurface 根据 mSurfaceTexture 生成
1.3K21编辑于 2022-06-13 - 来自专栏数据派THU
从视频到语言: 视频标题生成与描述研究综述
来源：专知本文约5000字，建议阅读9分钟最新视频视频标题生成与描述研究综述论文。 视频标题生成与描述是使用自然语言对视频进行总结与重新表达. 视频标题生成与描述研究历史较为悠久. 后来, 人们借鉴机器翻译的流程, 设计出能够生成句式更为灵活、用词更为丰富的“编码−解码” 框架结构, 提升了生成句子质量[7]. , 为视频生成准确、连贯且语义丰富的描述句子. , 已能为视频生成简单描述语句, 或为部分视频生成密集描述/结构化描述语句, 推进了视频标题生成与描述任务的进展.
85940编辑于 2022-03-04 分钟级长视频生成迎来“记忆革命”，7倍成本降低，2.2倍端到端生成速度提升!｜斯坦福&字节
MoC 能够裁剪超过 85% 的 token 对，将注意力 FLOPs 成本最多减少7倍，并在分钟级场景中实现 2.2 倍的端到端生成速度提升。 使用因果路由掩码确保生成过程的无环性，提升长序列生成的鲁棒性。 达到的效果 实现近似线性的计算扩展，大幅降低注意力计算成本（FLOPs 最多减少7倍），生成长度达到约18万token的分钟级视频。 这种块划分策略不仅适用于现有的单镜头文本生成视频模型，也兼容现有的长视频生成方法，该方法直接在交错的文本-视频对构成的超长序列上计算注意力。 对于单镜头视频生成，本工作与原生的 30 亿参数 MMDiT 视频生成模型进行比较，该模型是 LCT 和本工作工作的基础。 对于短的单镜头视频生成和长的多镜头视频生成，本工作遵循以往工作，在广泛使用的 VBench 基准上进行评估。
36410编辑于 2025-11-17- 来自专栏AI智韵
混元视频：大型视频生成模型的系统框架
最后，第7节展示了基于预训练基础模型构建的各种应用，并附有相关可视化以及一些与视频相关的功能模型，如视频到音频生成模型。 3 数据预处理 我们采用图像-视频联合训练策略。 在视频数据上，我们的VAE与其他视频VAE相比，PSNR显著提高。在图像上，我们的性能超过了视频VAE和图像VAE。图7显示了几个分辨率的示例。 根据经验，当推理步骤为50步时， 设置为7，而当推理步骤数小于20时， 应增加到17。时间步平移策略使生成模型能够以较少的步骤匹配大量推理步骤的结果。 7 应用 7.1 基于视频的音频生成 我们的视频转音频（V2A）模块旨在通过加入同步音效和上下文合适的背景音乐来增强生成的视频内容。 ，但其性能仍远远落后于闭源的最先进的视频生成模型，如Sora[7]和MovieGen[67]。
2.1K10编辑于 2024-12-19 - 来自专栏从零开始学自动化测试
pytest文档7-生成html报告
前言 pytest-HTML是一个插件，pytest用于生成测试结果的HTML报告。 2.执行完之后，在当前目录会生成一个report.html的报告文件，显示效果如下 ? 指定报告路径 1.直接执行”pytest —html=report.html”生成的报告会在当前脚本的同一路径，如果想指定报告的存放位置，放到当前脚本的同一目录下的report文件夹里 pytest —
1.6K30发布于 2018-08-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号