- 综合排序
- 最热优先
- 最新优先
- 来自专栏量子位
谷歌发布“Vlogger”模型：单张图片生成10秒视频
谷歌发布了一个新的视频框架： 只需要一张你的头像、一段讲话录音，就能得到一个本人栩栩如生的演讲视频。 视频时长可变，目前看到的示例最高为10s。 可以看到，无论是口型还是面部表情，它都非常自然。 嗯，拍一张肖像，录好演讲音频就可以（手动狗头） 用声音控制肖像生成视频 这个框架名叫VLOGGER。 而和业内此前的同类方法相比，VLOGGER最大的优势则体现在不需要对每个人进行训练、也不依赖于面部检测和裁剪，并且生成的视频很完整（既包括面部和唇部，也包括肢体动作）等等。 具体来看，如下表所示： Face Reenactment方法无法用音频和文本来控制此类视频生成。 Audio-to-motion倒是可以音频生成，方式也是将音频编码为3D人脸动作，不过它生成的效果不够逼真。 Lip sync可以处理不同主题的视频，但只能模拟嘴部动作。
56410编辑于 2024-03-21 - 来自专栏全栈技术
AI短视频制作一本通：文本生成视频、图片生成视频、视频生成视频
video = CompositeVideoClip([background_image.set_duration(10), text_clip.set_duration(10).set_position ('center'), audio_clip.set_duration(10)])video.write_videofile("output_video.mp4", codec='libx264')此示例中 1080)# 步骤3：编码图片序列video = ImageSequenceClip(image_sequence, fps=frame_rate)video = video.set_duration(10 第三部分：视频生成视频1. 视频生成视频原理视频生成视频是一种使用人工智能技术合成新视频的方法。它借助生成对抗网络（GANs）和深度学习模型，可以用于各种应用，包括电影特效、艺术实验和视频内容生成。 您可以根据需要使用不同的生成模型和后期处理技术。这就完成了本指南的三部分：文本生成视频、图片生成视频和视频生成视频。
3.5K62编辑于 2023-11-07 - 来自专栏开源心路
AI生成视频-Pika
背景介绍 Pika 是一个使用 AI 生成和编辑视频的平台。它致力于通过 AI 技术使视频制作变得简单和无障碍。 Pika 1.0 是 Pika 的一个重大产品升级，包含了一个新的 AI 模型,可以在各种风格下生成和编辑视频,如 3D 动画，动漫，卡通和电影风格。 登录申请Pika Discord https://discord.gg/pika 试用交互命令行生成视频。 大拇指向下 告诉机器人(和 Pika 实验室团队)Pika 做了一些丑陋、错误的东西,或者视频完全没有移动。 重新生成 - 重复提示 使用相同的提示词和参数再生成一个视频。 对于第三次生成，我们将使用 “-camera rotate clockwise” 选项。 注意：以上步骤中的每一个生成命令都应该以回车键结束，这样 PIKA 才会开始生成你的视频片段。
2.1K10编辑于 2023-12-06 - 来自专栏ZackSock
Python生成字符视频
Python生成字符视频 一、前言 在之前也写过生成字符视频的文章，但是使用的是命令行窗口输出，效果不是很好，而且存在卡顿的情况。于是我打算直接生成一个mp4的字符视频。 # 字体 cv2.FONT_HERSHEY_SIMPLEX, # 字体大小缩放 20, # 文字颜色 (0, 0, 0), # 文字粗细 10 生成的尺寸我们先除了scale，然后再乘font_size。scale是原图的缩小程度，因为像素有很多，所以我们需要先把图片缩小。而为了让我们的字体显示更清楚，我们需要把生成的字符图片放大。 因此需要注意，虽然我们生成的图片看起来单调，但是当font_size设置为5时，得到的图片已经比较大了。因此当你生成长时间的视频时，会花费比较多的时间，生成的视频也比较大。 生成的字符画 可以看到效果还是很不错的。 五、生成字符视频 有了上面的代码，我们就可以对整个视频进行转换了。
91050发布于 2021-05-18 - 来自专栏AI算法能力提高班
视频生成 | 群魔乱舞
骨架驱动的人形动画生成 输入 人脸图像+视频动画 或者 文本描述 输出 视频 原理简介 人类舞蹈视频生成框架，它基于扩散模型（Diffusion Models，DM）。 旨在根据目标身份和姿势序列生成高质量的定制化人类视频。 视频控制网络负责运动控制，内容引导器负责身份保持。 数据收集和预处理： 为了生成人类视频，作者从互联网收集了大约1,000个高质量的人类舞蹈视频，并将其分割成约6,000个短视频片段（8-10秒）。 用户可以通过输入文本提示、面部图像或服装图像来生成特定人物的视频。 实验结果： 能够根据指导序列和简单的内容描述（文本提示、图像提示或文本和图像提示）生成高质量和逼真的视频。 总的来说，是一个基于扩散模型的人类视频生成框架，它通过结合文本提示、图像提示和姿势序列来生成定制化的人类视频，具有较高的灵活性和泛化能力。
65820编辑于 2024-01-18 - 来自专栏合集
moviepy，短视频生成
count_length = int(time_length / 10) # 以10秒为间隔，拿到全视频10s为片段的数量 count_list = range(0, count_length) # 生成列表 random_list = random.sample(count_list, 9) # 从列表中随机选取9个，共计90s bg_audio = editor.AudioFileClip # 读取音乐 for item in random_list: todo = editor.concatenate_videoclips([todo, clip.subclip(item * 10 , item * 10 + 10)]) # concatenate拼接两个视频 # todo=merge_music_video(todo,bg_audio) todo.write_videofile /output/1.mp4', threads=16) # 以16个线程保存视频 这将是一个有趣的东西，计划完成到自动生成营销短视频的程度！
2K20发布于 2021-01-08 - 来自专栏图形学与OpenGL
实验10 Bezier曲线生成
1．实验目的： 了解曲线的生成原理； 掌握几种常见的曲线生成算法，利用VC+OpenGL实现Bezier曲线生成算法。 2．实验内容： （1）结合示范代码了解曲线生成原理与算法实现，尤其是Bezier曲线。 （2）调试、编译、修改示范程序。 3．实验原理： Bezier曲线是通过一组多边形折线的顶点来定义的。 图A.10（a）Bezier曲线 5．实验提高 模仿上述代码，以( 10, 5, 0 ),( 5, 10, 0 ),( -5, 15, 0 ),( -10, -5, 0 ),( 4, -4, 0 ) ,( 10, 5, 0 ), ( 5, 10, 0 ), ( -5, 15, 0 ), ( -10, -5, 0 )，( 10, 5, 0 )为控制点，将其转变为B样条曲线生成算法，见图A.10(b)。 图A.10（b）B样条曲线
1.4K40发布于 2020-10-29 - 来自专栏AI算法能力提高班
VideoCrafter | 图文生成视频
pdf code https://github.com/ailab-cvc/videocrafter image-20231108102745812 Abstract 商用的Text2Video模型可以生成高质量的视频 ，但是不开源，无法研究 VideoCrafter开源了2个模型，Text2Video和Image2Video，其中I2V可以生成1024X576高分辨率的电影质量的视频，在质量上超过其它开源模型，而且是业内第一个开源的的 （I2V模型输入为text和reference image） Contributions T2V模型可以生成高分辨率高质量视频，训练集集为2千万视频和6亿张图像 I2V模型可以很好的保留参考图像的内容、 image-20231108111414839 video diffusion 对视频隐层Z0进行去噪，最后通过VAE解码器在像素空间生成视频 采用3D U-Net架构，包含了时间维度 Denoising 主要在语义水平表征视频内容，同时很少捕捉细节。
2.4K20编辑于 2023-11-09 - 来自专栏算法一只狗
CoDeF解决生成视频“闪烁”问题
还记得我之前曾经介绍过的一个模型Rerender，这个AI模型能够有效的解决视频生成中“闪烁”问题。可以看到，生成的视频很丝滑，而且人物的动作衔接的很连贯。 好消息是，来自香港科技大学的学生，也很好的解决了视频生成的“闪烁”问题，而且可以任意转换图片风格。同时他们将代码进行开源，可以自己进行操作。他们发布的模型称为CoDeF。 那我们可以先来看看它生成视频的效果：在对于人物的转换上，也表现出很丝滑的效果，动作和形态都比较相似：不仅仅在人物生成上，风景的风格转换也表现很出色：网友看了都直呼应用效果效果确实很好这是疯了把！ 这就是AI视频生成的未来那这个模型到底是什么做到的呢？ 文件然后再生成canonical图片，执行代码后会在results文件夹下生成canonical_0.png第三步，生成视频然后我们可以把自己所要生成的风格图片上传上去，这里可以用Stable Diffusion
61420编辑于 2024-10-09 - 来自专栏AI技术探索和应用
浅析SORA视频生成原理
介绍 官网：https://openai.com/sora OpenAI发布了视频生成模型Sora，最大的Sora模型能够生成一分钟的高保真视频。 同时OpenAI称，可扩展的视频生成模型，是构建物理世界通用模拟器的一条可能的路径。 Sora能够生成横屏1920*1080视频，竖屏1080*1920视频，以及之间的所有内容。 这使得Sora可以兼容不同的视频播放设备，根据特定的纵横比来生成视频内容，这也会大大影响视频创作领域，包括电影制作，电视内容，自媒体等。 最新能力突破 （1）画质突破：视频非常高清，细节极其丰富； （2）帧率和连续性突破：视频帧率高、连续性好（无闪烁或明显的时序不一致）； （3）时长突破：相比之前t2v模型仅能生成几秒的时长，Sora可以生成长达 另外，进一步利用GPT将视频标注模型生成的简短文本扩展成更长的文本有利于还利用Sora准确遵循用户文本提示生成高质量视频。
1.8K20编辑于 2024-03-14 - 来自专栏算法一只狗
Stable Diffusion用来生成视频
之前我曾经多次介绍过，可以一键生成视频的模型。包括能够有效解决视频闪烁的Rerender A Video模型还有开源的CoDeF模型：这些模型要不就是没有开源，要不就是有一定的上手难度。 它是由Stability AI发布的，一个基于图像模型稳定扩散的生成视频模型。目前它已经提供了相应的模型和开源代码，普通人可以在20秒内简单上手。 稳定视频扩散以两种图像到视频模型的形式发布，能够以每秒 3 到 30 帧之间的可定制帧速率生成 14 和 25 帧。 比如下面的这个视频，可以看到人物的眼睛有一个明显的上移。风景图片转换这里上传了一张蓝色汽车的图片。从视频效果中可以看到，生成的效果使得汽车在运动，且车速较快，因为它的运动模糊效果很强烈。 比如上传的是一张静态的烟花图：它则能够模拟出烟花的动画效果：未来计划 目前仅仅开源了图片生成视频模型，但是未来将会把文本生成视频模型也一并开源。目前可以加入到它的waitlist中尝试一下。
78810编辑于 2024-10-01 - 来自专栏媒矿工厂
视频技术10大进展@2020
媒矿工厂盘点了本年度视频技术的一些代表性技术，总结成以下10个方面。 1.新一代视频编码标准正式公布 ? 英伟达率先发力，Facebook紧跟其后，核心技术在于GAN人脸生成技术的进展，将其应用在视频会议特定领域，也是顺利成章。 10/chrome-is-deploying-http3-and-ietf-quic.html 5.视频流媒体核心技术ABR算法研究平台及新Benchmark ? 此外，ITU-T今年也推出了新一代流媒体无参考视频质量评估模型P.1204，适用于H.264、H.265和VP9编码的UHD/4K、60fps、10bit视频序列，该模型可以部署在分发系统中的任何位置， 与此相关的是生成图像的检测和安全问题。
1.7K40发布于 2021-01-11 - 来自专栏翩翩白衣少年
MuseV：不限视频时长的AI视频生成工具
在不久前 OpenAI Sora 以其优秀且惊人的视频生成效果迅速走红，更是在一众文生视频模型中脱颖而出，成为了文生视频领域的领头羊。 同时它也推动了行业内文生视频技术的发展。 项目介绍 MuseV 是一个基于扩散模型的虚拟人视频生成框架。它采用了新颖的视觉条件并行去噪方案，支持无限长度视频的生成。 只需选择你喜欢的功能模式，输入相应的素材（如图片、文本或视频），它将为你生成高保真的虚拟人视频。同时，你还可以根据需要调整各种参数，实现个性化的创作。 在更大、更高分辨率、更高质量的文本视频数据集上进行训练可能会使 MuseV 更好。 • 有限类型的长视频生成。视觉条件并行去噪可以解决视频生成的累积误差，但当前的方法只适用于相对固定的摄像机场景。 总结 MuseV 以其无限长度视频生成以及对 Stable Diffusion 生态的支持以及多参考图像技术，成为视频生成领域的新兴力量。
2K10编辑于 2024-04-13 - 来自专栏算法一只狗
AI解决生成视频“闪烁”问题
在上一期中，我曾经介绍了用ControlNet结合Mov2Mov插件生成新的视频。虽然它能够快速的对视频中的人物进行转换，但是还存在难以解决的闪烁问题。 首先来看看他们生成的视频效果：可以看到，生成的视频很丝滑，而且人物的动作衔接的很连贯。 这样的前景大有用途，我们久可以利用现有的视频生成不同另一种不同的风格。比如把一个雕像转换成一个真实的人物也是轻而易举：从放出的论文中可以看出，作者把这个方法称为“零样本文本指导视频翻译”方法。 利用上面的方法进行生成后，在连续的十几秒中，每一幅图片的细节都生成相似，就能够有效缓解视频闪烁的情况出现。 下图是作者对比Stable-Diffusion的结果：当然，在不同的模型比较上，该作者提出的方法在生成视频的稳定性上效果明显提高：同时，在输入文本中仅需更改几个词语，在视频背景保持不变的情况下，可以不断的调节视频中的细节
91920编辑于 2024-10-10 - 来自专栏数据派THU
从视频到语言: 视频标题生成与描述研究综述
来源：专知本文约5000字，建议阅读9分钟最新视频视频标题生成与描述研究综述论文。 视频标题生成与描述是使用自然语言对视频进行总结与重新表达. 视频标题生成与描述研究历史较为悠久. 目前, 随着深度学习技术的广泛应用, 人们也将其应用在视频描述领域中, 从视频特征编码, 到描述语句生成, 设计了多种有效的模型与方法, 大幅提升了模型性能, 有效改善了生成语句的质量. , 为视频生成准确、连贯且语义丰富的描述句子. , 已能为视频生成简单描述语句, 或为部分视频生成密集描述/结构化描述语句, 推进了视频标题生成与描述任务的进展.
85940编辑于 2022-03-04 视频到音频生成技术突破
视频到音频研究：利用视频像素和文本提示生成丰富音轨视频生成模型正在以惊人速度发展，但许多现有系统只能生成无声输出。为这些无声视频创建音轨是实现生成电影生命力的下一个重要步骤。 目前正在分享视频到音频（V2A）技术的进展，该技术使得同步视听生成成为可能。V2A将视频像素与自然语言文本提示相结合，为屏幕上的动作生成丰富的音景。 该技术可与视频生成模型配对使用，创建具有戏剧性配乐、逼真音效或与视频角色和色调匹配的对话。它还能为各种传统素材生成音轨，包括档案材料、无声电影等，开辟更广泛的创意机会。 增强创意控制重要的是，V2A可为任何视频输入生成无限数量的音轨。可选地，可以定义"正面提示"来引导生成所需声音，或使用"负面提示"来避免不需要的声音。 由于音频输出质量取决于视频输入质量，视频中超出模型训练分布的伪影或失真会导致音频质量显著下降。同时正在改进涉及语音视频的唇形同步。V2A尝试从输入转录生成语音并将其与角色唇部动作同步。
28110编辑于 2025-08-22- 来自专栏AI算法能力提高班
MegActor | 视频驱动的肖像动画生成
⚡[AIGC服务] MegActor | 视频驱动的肖像动画生成 通过原始视频驱动图像，生成肖像动画。即给定一个肖像视频A和一张肖像图像B，即可生成A驱动B的肖像动画。 先睹为快 内容简介 MegActor 是一款无中间表示的肖像动画师，它使用原始视频而不是中间特征作为驱动因素来生成逼真生动的头像视频。 使用AI人脸交换数据、风格化数据和真实数据作为驱动视频，比例分别为40%、10%和50%。 推理细节 在推理阶段，采用重叠滑动窗口方法生成长视频，每次推断16帧，重叠8帧，取两个生成结果在重叠区域的平均值作为最终结果。 未来的工作将致力于改进MegActor生成一致视频的能力，特别是在复杂区域如发际线、配饰和嘴巴等，以及评估MegActor流水线与更强大视频生成基础模型（如SDXL）集成的有效性。
87810编辑于 2024-06-14 - 来自专栏AI智韵
混元视频：大型视频生成模型的系统框架
然而，主流的视频生成模型仍为闭源，导致行业与公众社区在视频生成能力上存在显著的性能差异。 研究表明[7, 4]，描述的精确性和全面性在提高生成模型的即时跟随能力和输出质量方面起着至关重要的作用。以往的大部分工作都集中在提供简短描述[14, 50]或密集描述[93, 9, 10]上。 图10（b）和图10（c）表明，DiT-T2X(I)系列很好地符合幂律。最后，给定计算预算，我们可以计算出最优的模型大小和数据集大小。 图10（d）、图10（e）和图10（f）展示了T2X（V）模型的缩放定律结果，其中，，，。基于图10（b）和图10（e）的结果，并考虑到训练消耗和推理成本，我们最终将模型大小设置为13B。 然后可以计算出图像和视频训练所需的标记数量，如图10（c）和图10（f）所示。值得注意的是，通过图像和视频缩放定律计算出的训练标记数量仅分别与图像和视频训练的第一阶段相关。
2.1K10编辑于 2024-12-19 - 来自专栏ATYUN订阅号
用Python生成抖音字符视频！
视频转图片代码如下。 vc.release() 最后成功生成了369张图片。 draw_object = ImageDraw.Draw(img) # 设置字体 font = ImageFont.truetype('consola.ttf', 10 = 'bear/' + str(i) + '.jpg' print(name) # 保存字符图片 img.save(name, 'JPEG') 最后成功生成了字符图片 # 视频释放 videoWriter.release() 最后成功生成字符视频。
85650发布于 2019-05-13 - 来自专栏用户6291251的专栏
用Python生成抖音字符视频！
视频转图片代码如下。 vc.release() 最后成功生成了369张图片。 draw_object = ImageDraw.Draw(img) # 设置字体 font = ImageFont.truetype('consola.ttf', 10 = 'bear/' + str(i) + '.jpg' print(name) # 保存字符图片 img.save(name, 'JPEG') 最后成功生成了字符图片 # 视频释放 videoWriter.release() 最后成功生成字符视频。 这里懒得去添加原来的BGM，所以凑合着看吧。 据说眯眼看，效果更佳。
82920发布于 2020-10-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号