- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI智能体从入门到实践
构建AI智能体：双剑合璧：大模型在文生文、文生图中的搭配应用
一、温故知新 回顾前面几篇文章，我们分别对文生图的案例演示和RAG Query改写做了详细介绍，今天我们再趣味性的强化一下两者的应用途径，结合两个模型Qwen-Turbo和Qwen-Image 4. 生成图像：只有在提示词生成后才可点击，调用Qwen-Image生成图像并显示。 5. 状态显示：显示操作的状态信息（成功、错误、进行中）。 6. 你的任务是根据用户提供的关键词，生成一段150字以内的详细、生动、富有想象力的图像描述，用于AI文生图模型。 ，指导模型生成适合AI绘画的描述处理API响应并提取生成的提示词输入：用户选择的关键词和风格参数处理：构建API请求，调用Qwen-Turbo模型输出：生成的详细图像描述提示词3.2 图像生成函数 def 生成的图片： 案例4关键词：高楼, 暴雪, 赛博朋克生成的文案：高楼在暴雪中闪烁着冷艳的霓虹光芒，赛博朋克风格的灯光在白色雪花中投下斑斓的光影。
49021编辑于 2025-11-14 - 来自专栏muller的测试分享
文生视频大模型
简介Sora 官网地址：https://openai.com/sora文生视频指的是将文本描述转化为视频内容的技术，2024年2月15日 OpenAI 正式对外发布 Sora 人工智能模型，在人工智能领域掀起了一场风波 OpenAI 也在报告中将 Sora 定义为 “word simulators” 即世界模型或者世界模拟器，可见 OpenAI 对于 sora 的能力具备足够的信心。注意：个人暂时无法体验。 Sora 的能力Sora 是一种扩散模型，旨在对语言更深入的理解，使得模型能够准确的识别出文本的含义，OpenAI 官方表明 Sora 能够生成1分钟的高清视频，并且给出了一个视频生成的示例，该示例展示出了 现状文生视频还处在开发并且测试的阶段，基于安全考虑，目前 Sora 还是仅仅是邀请 “red teamers” 也就是对抗性角色领域的专家来对 Sora 进行安全测试。
63110编辑于 2024-11-11 - 来自专栏AI工程落地
文生视频模型调研
开源文生视频一览表 模型名称 机构 是否开源 时长（秒） 分辨率&帧率 模型参数量(B) 模型地址/体验入口 Wan2.1 阿里 是 5 720*1280 16 14/1.3 https://huggingface.co key=66d1439376e52fcee2853049 Vidu 生数科技 否 4 - - https://www.vidu.studio/zh Kling 快手 否 5或10 - - https:/ ：VBench Leaderboard - a Hugging Face Space by Vchitect 模型量化 文生视频模型参数量越来越大，视频时长越来越长，帧率越来越高。 下面总结了几篇当前可以支持文生图模型量化的论文： ViDiT-Q：2406.02540 逐Token的量化参数确定（Token-wise Quantization）：DiT所采用的Transformer for Text-to-Image Diffusion Models：2311.06322 提出PCR，包含渐进式的校准策略、激活放松策略 提出QDiffBench，第一个高效评估量化文生图扩散模型的
78810编辑于 2025-03-13 - 来自专栏muller的测试分享
文生图大模型
简介Dall-E 由 OpenAI 发布，是一种基于深度学习的生成模型，它是一种改进的 GPT 模型，专门用于图像生成。Dall-E 可以根据文本描述生成与之相符合的原创性、真实的图像。 Dall-E 通过一个拥有 120 亿参数的 Transformer 模型来理解自然语言的输入，并生成相应的图片。这些图片不仅限于现实中已存在的图像，还包括虚拟的、现实中不存在的图像。 一年后的 2022 年 4 月 OpenAI 宣布了新版本的 DALL-E 2，这一版本具备更为强大的功能，并且在分辨率方便也提高了 4 倍。以下是 Dall-E 所具备的扩展的功能：图像生成。 os.path.join("img_" + datetime.datetime.now().strftime("%Y%m%d%H%M%S") + ".png")def test_image_normal(): # 文生图 generate_image_path(), 'wb') as f: f.write(image_response.content)增加图像生成的条件def test_image_style(): # 文生图
62510编辑于 2024-11-07 - 来自专栏AIOT
在Jetson上玩转大模型Day4：SDW文生图
算法整合一个web界面，在https://github.com/AUTOMATIC1111/stable-diffusion-webui中发布，让我们可以在本地部署Stable Diffusion这项非常有趣的文生图应用 ，只需要再搭配合适的模型即可。 不过目前的状态还不能真正执行，因为我们还没有可以执行文生图功能的模型，不过执行的代码中已经嵌入了下载 。 现在我们只要在Web界面左上角点击“刷新”按钮，就可以在命令终端里看到开始下载指定的模型到指定路径的工作，如下图：存放路径为荣器内的/data/models/stable-diffusion/models 如果有的话，我们就可以在Jetson Orin Nano上开始进行有趣的”AI文生图”应用了。
1.2K10编辑于 2024-10-24 - 来自专栏GPUS开发者
在Jetson上玩转大模型Day4：SDW文生图
算法整合一个web界面，在https://github.com/AUTOMATIC1111/stable-diffusion-webui中发布，让我们可以在本地部署Stable Diffusion这项非常有趣的文生图应用 ，只需要再搭配合适的模型即可。 不过目前的状态还不能真正执行，因为我们还没有可以执行文生图功能的模型，不过执行的代码中已经嵌入了下载 。 现在我们只要在Web界面左上角点击“刷新”按钮，就可以在命令终端里看到开始下载指定的模型到指定路径的工作，如下图： 存放路径为荣器内的/data/models/stable-diffusion/models 如果有的话，我们就可以在Jetson Orin Nano上开始进行有趣的”AI文生图”应用了。
68010编辑于 2024-10-25 - 来自专栏AI算法能力提高班
ControlNet-图像控制文生图模型
需要注意的是，在克隆预训练模型之前，需要先选择一个适合特定任务的预训练模型，并对其进行必要的调整和优化。这样才能确保克隆出来的模型能够更好地适应特定任务，并取得更好的效果。 同时，还需要确保这些输入条件能够被有效地传递给神经网络，并且不会对模型性能产生负面影响。 训练可训练副本之前，需要先选择一个适合特定任务的预训练模型，并将其克隆为可训练副本。同时还需要确定哪些输入条件对于特定任务是最重要的，并将其与预训练模型进行连接。 有8个block是下采样或者上采样，其它17block包含4个resnet层和2个ViT层。每个ViT层包括self or cross注意力机制。 We use a tiny network E(·) of four convolution layers with 4 × 4 kernels and 2 × 2 strides (activated
1.3K20编辑于 2023-09-13 - 来自专栏架构驿站
一文读懂开源 Llama 4 模型
Hello folks，我是 Luga，今天我们来聊一下人工智能领域的最新大模型技术进展 - 构建高效、灵活、以及开源的的大模型 - Llama 4 。 本文将带你一文读懂 Llama 4 模型，从其核心架构到实际应用，为大家揭开这款前沿技术的神秘面纱，全面了解它们如何推动 AI 技术的创新与发展 ... —01 — 如何看待 Llama 4 模型 ？ 截至 2025 年 4 月 5 日晚上 7:47 PDT，Llama 4 模型的发布无疑是 AI 领域的一次重要事件，Meta AI 选择在同一天推出三款模型（Scout、Maverick 和 Behemoth —03 — Llama 4 模型内部实现剖析 作为基于一种结构化且创新的训练流程，Meta AI 将 Llama 4 系列模型的开发分为两个关键阶段：预训练和后训练。 1、Llama 4 模型预训练 预训练是 Llama 4 模型知识与能力的基础，Meta 在这一阶段引入了多项突破性创新，确保模型在多模态和高效性上达到行业领先水平。
1.2K20编辑于 2025-04-07 - 来自专栏四楼没电梯
最新爆火文生图模型FLUX
在AI图片生成领域，Flux模型的推出引起了广泛关注。随着AI技术的不断进步，新的模型层出不穷，而Flux正是其中的一颗新星。 Flux：一款迅速走红的AI图片生成模型 8月初，初创公司Black Forest Labs推出了文本生成图像模型Flux。该模型拥有120亿参数，并迅速吸引了公众的关注。 与Midjourney和DALL-E等知名模型相比，Flux在图像生成质量和文本提示响应度上表现出色，特别是在生成人物图像时，其逼真的效果令人惊叹。 Flux的独特之处 Flux模型在多个方面具有显著优势。首先，它开源了部分模型，用户可以在配置不错的笔记本电脑上运行，这使得Flux具有了更广泛的可及性。 设计与性能的平衡 Flux不仅在图像质量和提示响应度上超越了现有的主流模型，还在生成手部图像方面表现出色，这一细节常常是其他模型的弱项。
45410编辑于 2024-10-12 - 来自专栏媒矿工厂
草图指导的文生图扩散模型
sketch-guided-preprint.pdf 项目链接：https://sketch-guided-diffusion.github.io/ 作者：Andrey Voynov, Kfir Aberman等 内容整理：王寒 强大的文生图预训练模型缺乏可以指导合成图像的空间属性的控制方法 草图指导的文生图（Sketch-Guided Text-to-Image Synthesis） 在给定边缘图e和提示词c的基础上，我们希望根据边缘图获得具有较多细节的高分辨率图片。 潜在边缘预测器由 4 个全连接层组成，使用 ReLU 激活、批归一化，隐藏维度 512、256、128、64 ，输出维度 4。 去噪模型的特征取自网络中的 9 个不同层：输入块[第 2、4、8 层]，中间块[第 0、1、2 层]，输出块[第 2、4、8 层]。 图4 文章对比了 SDEdit，其结果如上图所示。SDEdit在输入上加噪 t 步，然后去噪声由于彩图和黑白草图的gap：t小的情况下不够真实，t 大的情况下会不忠于输入。
1K20编辑于 2023-09-19 - 来自专栏自然语言处理(NLP)论文速递
模型实操 | 从零开始，用英伟达T4、A10训练小型文生视频模型
因此建议使用 Colab 或 Kaggle 的 T4 GPU 进行更高效、更快速的训练。 构建目标 我们采用了与传统机器学习或深度学习模型类似的方法，即在数据集上进行训练，然后在未见过数据上进行测试。 同时使用 GAN（生成对抗网络）架构来创建模型，而不是 OpenAI Sora 使用的扩散模型。 我们也尝试使用扩散模型，但内存要求超出了自己的能力。 2, 1) # 3 input channels (RGB), 64 output channels, kernel size 4x4, stride 2, padding 1 self.conv2 = nn.Conv2d(64, 128, 4, 2, 1) # 64 input channels, 128 output channels, kernel size 4x4, stride 2, padding size 4x4, stride 2, padding 1 # Fully connected layer for classification self.fc1
58310编辑于 2024-07-04 13.4 大语言模型文生图能力评测
13.4 大语言模型文生图能力评测 大模型的文生图能力，不仅推动了创意产业的创新，还在教育、医疗、娱乐等多个领域展现出广泛的应用前景。 通过将自然语言处理与计算机视觉相结合，这些模型能够理解文本内容并生成相应的图像，极大地丰富了人机交互的方式。 本节将深入探讨大模型在文生图能力方面的评测方法与标准。 复杂生成：评价大模型根据复杂提示词生成图片的能力 最后是在效率方面对大模型进行评估，分别从生成速度和资源使用进行评价，其中： 生成速度：评估大模型生成图片的速度 资源使用：评估大模型生成图片时使用的资源 综上所述，这些评估方法提供了多元化的视角，帮助研究人员更全面地理解和优化文生图大模型的性能。通过综合运用这些方法，可以推动该领域的进一步发展。 Text2Video：https://github.com/Picsart-AI-Research/Text2Video-Zero [3] Sora: https://openai.com/index/sora/ [4]
95310编辑于 2025-04-07- 来自专栏个人总结系列
开源AIGC学习—文生视频模型本地运行
一、模型下载 可以参见之前文章介绍：开源AIGC学习—文生图模型本地运行 1、模型地址 参见huggingface，https://huggingface.co/cerspense/zeroscope_v2 DiffusionPipeline.from_pretrained("/mnt/d/aigc_model/hub/models--cerspense--zeroscope_v2_576w/snapshots/6963642a64dbefa93663d1ecebb4ceda2d9ecb28 更换另外一种文生视频算法ali-vilab/text-to-video-ms-1.7b import torch from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler export_to_video(video_frames) print(video_path) video_path = export_to_video(video_frames, "/mnt/d/result.mp4" ) # 保存指定位置 效果比之前的zeroscope_v2_576w模型要好一些。
1.6K10编辑于 2024-03-15 - 来自专栏周末程序猿
ChatGPT|字节开源的毫秒文生图模型
介绍 SDXL-Lightning是开源文本到图像生成模型，生成图秒出，图片质量也还不错，其huggingface地址：https://huggingface.co/ByteDance/SDXL-Lightning /radames/Real-Time-Text-to-Image-SDXL-Lightning 体验地址3：https://replicate.com/lucataco/sdxl-lightning-4step # 加载模型，如果是GPU可以将"cpu" -> "cuda" unet = UNet2DConditionModel.from_config(base, subfolder="unet").to("cpu ，对样本进行微调 重复以上步骤 每次迭代后，样本都会更加接近想要的图片分布，知道迭代结束获得清晰的图片 图像生成模型步骤 由于上述生成过程每次只能走一小步，减少梯度误差的累计，所以需要神经网络的大量计算 ，为了减少生成图像所需的步骤数量有两种方式： 减少误差采样的方法，试图生成流更加直线化，但是仍然不能在2个推理步骤生成图像； 模型蒸馏能在少量的推理步骤中生成高质量图像，不同于计算当前流位置下的梯度，模型蒸馏改变模型预测的目标
29510编辑于 2025-02-27 - 来自专栏个人总结系列
开源AIGC学习—文生图模型服务封装
一、模型本地化 详细内容见：开源AIGC学习—文生图模型本地运行 二、服务封装 当前算法模型采用Python + Flask 方式进行Rest API方式进行服务封装，对应封装代码说明如下 main__': server = pywsgi.WSGIServer(('0.0.0.0', 2000), app) server.serve_forever() 也可以直接返回图片，但是文生图模型推理耗时比较长 算法模型需要上传到对于文件，结果生成需要下载文件，系统设计考虑异步调用方案。
69810编辑于 2024-03-15 - 来自专栏个人总结系列
开源AIGC学习—文生图模型本地运行
一、模型本地下载 总共涉及3种方式，来源有huggingface、modelscope，个人学习因为笔记本电脑、网络缘故，选择代码自动下载默认路径然后cp到指定路径。 说明本地模型加载有异常，去在线寻找地址不对报错。 snapshot_download(repo_id) print(model_dir) cp -r model_dir $traget_dir ``` modelscope的也类似 二、文生图模型本地运行 1、本地下载模型 pip install modelscope ``` from modelscope import snapshot_download model_dir = snapshot_download guidance_scale一种提高对条件信号的依从性的方法，在扩散模型的情况下它是文本和整体样本质量。调整它可以更好的使用图像质量更好或更具备多样性。值介于7和8.5之间通常是稳定扩散的好选择。
1.1K10编辑于 2024-03-13 腾讯混元文生图大模型全面开源！
和大家汇报：刚刚，腾讯混元文生图大模型，全面升级并对外开源！作为业内首个中文原生的DiT架构开源模型，腾讯混元文生图支持中英文双语输入及理解。除直接用于文生图，也可作为视频等多模态视觉生成的基础。 介绍一下，我的几项标签：//DiT架构优秀的大模型，离不开领先的技术架构。去年7月，腾讯混元文生图团队就明确了基于DiT架构的模型方向。 今年初，腾讯混元文生图完成了模型架构的全面升级，相比上一代整体效果提升超过20%。 多轮文生图提示词：(1)画一朵长在森林中的白色玫瑰；(2)背景换成室内，花插在瓶中；(3)将花改为百合花；(4)花瓣改为粉色；(5)让蝴蝶落在花瓣上；(6)改成动漫风格。 //全面开源目前，腾讯混元文生图大模型已在 Hugging Face 平台及 Github 上发布，包含模型权重、推理代码、模型算法等完整模型。不管是企业还是个人开发者，全部免费可用。
1.1K10编辑于 2024-05-14- 来自专栏DeepHub IMBA
文生图的基石CLIP模型的发展综述
Open AI在2021年1月份发布的DALL-E和CLIP，这两个都属于结合图像和文本的多模态模型，其中DALL-E是基于文本来生成模型的模型，而CLIP是用文本作为监督信号来训练可迁移的视觉模型。 虽然OpenAI从未明确指定或共享用于训练原始CLIP模型的数据，但CLIP论文提到该模型是在从互联网收集的4亿对图像-文本上进行训练的。 Up Visual and Vision-Language Representation Learning With Noisy Text Supervision 使用CLIP, OpenAI使用了4亿对图像 也就是说随着训练数据量、训练时间或模型大小的增加，人们可以相当准确地预测模型的性能。 在过滤后的数据上训练的CLIP模型优于仅在初始高质量数据上训练的模型和在大量未过滤数据上训练的模型。
2.4K10编辑于 2024-04-01 - 来自专栏翩翩白衣少年
字节开源新型文生视频模型：AnimateDiff-Lightning，最少4步即可生成高质量视频！
项目介绍 AnimateDiff-Lightning 是一款基于深度学习的视频生成模型，只需 4-8 步的推理，就能生成出质量极佳的视频，从而引起了广泛关注。 该模型采用了渐进式对抗扩散蒸馏技术，恰似可以使用闪电般的快速视频生成。同时字节研发团队也提出了跨模式扩散蒸馏，提高蒸馏模块泛化到不同的风格化基本模型的能力。 值得一提的是，AnimateDiff-Lightning模型 是从 AnimateDiff SD1.5 v2 中精心提炼而来，包含了1步、2步、4步和8步提炼模型。 其中，2步、4步和8步模型的生成质量表现尤为突出，为用户带来更加优质的体验。 除了模型本身的优秀表现，字节还建议使用运动LoRA来进一步提升视频质量。 AnimateDiff-Lightning DEMO体验：https://huggingface.co/spaces/ByteDance/AnimateDiff-Lightning 主要特色功能 • 仅需 4-
1.4K20编辑于 2024-03-25 - 来自专栏数据社
腾讯混元大模型文生图操作指南.doc
欢迎大家来到腾讯混元文生图的世界，这里有一份详细的操作指南，请查收！ 一、腾讯混元文生图简介 今天上午，腾讯混元大模型迎来全新升级，并正式对外开放“文生图”功能。 作为“从实践中来，到实践中去”的大模型，腾讯混元文生图能力，目前已经被用于素材创作，商品合成，游戏出图等多项业务中，此外在广告业务下的多轮测评中，腾讯混元文生图的案例优秀率和广告主采纳率分别达到86%和 3、在画面质感方面，混元文生图基于多模型融合的方法，提升生成质感。 经过模型算法的优化之后，混元文生图的人像模型，包含发丝、皱纹等细节的效果提升了30%，场景模型，包含草木、波纹等细节的效果提升了25%。 四、腾讯混元文生图尝鲜 1.1 真实感人像 生成可爱的亚洲 4 岁女孩穿着棉质连衣裙，大眼睛，古代中国，摄影风格，汉服 生成一个亚洲青年男生在高铁站，穿着休闲服装，背着双肩包，等待出行，高铁站内部，摄影风格
2.5K10编辑于 2023-10-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号