- 综合排序
- 最热优先
- 最新优先
- 来自专栏muller的测试分享
文生图大模型
简介Dall-E 由 OpenAI 发布，是一种基于深度学习的生成模型，它是一种改进的 GPT 模型，专门用于图像生成。Dall-E 可以根据文本描述生成与之相符合的原创性、真实的图像。 Dall-E 通过一个拥有 120 亿参数的 Transformer 模型来理解自然语言的输入，并生成相应的图片。这些图片不仅限于现实中已存在的图像，还包括虚拟的、现实中不存在的图像。 os.path.join("img_" + datetime.datetime.now().strftime("%Y%m%d%H%M%S") + ".png")def test_image_normal(): # 文生图 ，指定模型，给出提示语和大小限制 response = client.images.generate( model="dall-e-3", prompt="一只猫在窗户边睡觉 generate_image_path(), 'wb') as f: f.write(image_response.content)增加图像生成的条件def test_image_style(): # 文生图
61210编辑于 2024-11-07 - 来自专栏媒矿工厂
草图指导的文生图扩散模型
sketch-guided-preprint.pdf 项目链接：https://sketch-guided-diffusion.github.io/ 作者：Andrey Voynov, Kfir Aberman等 内容整理：王寒 强大的文生图预训练模型缺乏可以指导合成图像的空间属性的控制方法 在这项工作中，作者引入了一种通用方法，通过在推理期间使用来自另一个域（例如草图）的空间图来指导预训练的文本到图像扩散模型。该方法不需要为任务训练专用模型或专门的编码器。 MLP 经过训练，可将去噪扩散模型网络的内部激活映射到空间边缘图，如图所示。 图1 我们从扩散模型的核心 U-net 网络 U 中的固定中间层序列中提取激活值。 草图指导的文生图（Sketch-Guided Text-to-Image Synthesis） 在给定边缘图e和提示词c的基础上，我们希望根据边缘图获得具有较多细节的高分辨率图片。 总结 提出了一种利用空间图指导预训练文本到图像模型扩散模型的技术。 本文专注于草图引导，并表明该技术可以很好地处理域外草图，这些草图可能具有与训练时看到的完全不同的多种风格。
1K20编辑于 2023-09-19 - 来自专栏四楼没电梯
最新爆火文生图模型FLUX
在AI图片生成领域，Flux模型的推出引起了广泛关注。随着AI技术的不断进步，新的模型层出不穷，而Flux正是其中的一颗新星。 Flux：一款迅速走红的AI图片生成模型 8月初，初创公司Black Forest Labs推出了文本生成图像模型Flux。该模型拥有120亿参数，并迅速吸引了公众的关注。 与Midjourney和DALL-E等知名模型相比，Flux在图像生成质量和文本提示响应度上表现出色，特别是在生成人物图像时，其逼真的效果令人惊叹。 Flux的独特之处 Flux模型在多个方面具有显著优势。首先，它开源了部分模型，用户可以在配置不错的笔记本电脑上运行，这使得Flux具有了更广泛的可及性。 设计与性能的平衡 Flux不仅在图像质量和提示响应度上超越了现有的主流模型，还在生成手部图像方面表现出色，这一细节常常是其他模型的弱项。
44510编辑于 2024-10-12 - 来自专栏AI算法能力提高班
ControlNet-图像控制文生图模型
ControlNet 使用了一种称为 “权重共享” 的技术，该技术可以将预训练模型的权重复制到两个不同的神经网络中。 需要注意的是，在克隆预训练模型之前，需要先选择一个适合特定任务的预训练模型，并对其进行必要的调整和优化。这样才能确保克隆出来的模型能够更好地适应特定任务，并取得更好的效果。 同时，还需要确保这些输入条件能够被有效地传递给神经网络，并且不会对模型性能产生负面影响。 训练可训练副本之前，需要先选择一个适合特定任务的预训练模型，并将其克隆为可训练副本。同时还需要确定哪些输入条件对于特定任务是最重要的，并将其与预训练模型进行连接。 ControlNet 为什么要将diffusion model分成2个copy，而不是在原始模型上训练权重？
1.3K20编辑于 2023-09-13 - 来自专栏周末程序猿
ChatGPT|字节开源的毫秒文生图模型
介绍 SDXL-Lightning是开源文本到图像生成模型，生成图秒出，图片质量也还不错，其huggingface地址：https://huggingface.co/ByteDance/SDXL-Lightning # 加载模型，如果是GPU可以将"cpu" -> "cuda" unet = UNet2DConditionModel.from_config(base, subfolder="unet").to("cpu 原理 图像生成模型是由噪音到清晰图片逐步转换的过程，在这一过程中，通过神经网络学习在这个转化流（flow）中各个位置上的梯度，具体步骤： 在流的起点随机采样一个噪声样本 神经网络计算出梯度值，根据当前位置的梯度值 ，对样本进行微调 重复以上步骤 每次迭代后，样本都会更加接近想要的图片分布，知道迭代结束获得清晰的图片 图像生成模型步骤 由于上述生成过程每次只能走一小步，减少梯度误差的累计，所以需要神经网络的大量计算 ，为了减少生成图像所需的步骤数量有两种方式： 减少误差采样的方法，试图生成流更加直线化，但是仍然不能在2个推理步骤生成图像； 模型蒸馏能在少量的推理步骤中生成高质量图像，不同于计算当前流位置下的梯度，模型蒸馏改变模型预测的目标
28610编辑于 2025-02-27 13.4 大语言模型文生图能力评测
13.4 大语言模型文生图能力评测 大模型的文生图能力，不仅推动了创意产业的创新，还在教育、医疗、娱乐等多个领域展现出广泛的应用前景。 通过将自然语言处理与计算机视觉相结合，这些模型能够理解文本内容并生成相应的图像，极大地丰富了人机交互的方式。 本节将深入探讨大模型在文生图能力方面的评测方法与标准。 图13-29 SuperCLUE-Image评测基准 对于图像质量的评测，分别考虑了构图、光彩、细节处理、用户体验、分辨率、锐度和结构合理性，其中： 构图：评价图像的整体布局和视觉吸引力 光彩：评价图像色彩的对比度和和谐程度 复杂生成：评价大模型根据复杂提示词生成图片的能力 最后是在效率方面对大模型进行评估，分别从生成速度和资源使用进行评价，其中： 生成速度：评估大模型生成图片的速度 资源使用：评估大模型生成图片时使用的资源 综上所述，这些评估方法提供了多元化的视角，帮助研究人员更全面地理解和优化文生图大模型的性能。通过综合运用这些方法，可以推动该领域的进一步发展。
93810编辑于 2025-04-07腾讯混元文生图大模型全面开源！
和大家汇报：刚刚，腾讯混元文生图大模型，全面升级并对外开源！作为业内首个中文原生的DiT架构开源模型，腾讯混元文生图支持中英文双语输入及理解。除直接用于文生图，也可作为视频等多模态视觉生成的基础。 介绍一下，我的几项标签：//DiT架构优秀的大模型，离不开领先的技术架构。去年7月，腾讯混元文生图团队就明确了基于DiT架构的模型方向。 今年初，腾讯混元文生图完成了模型架构的全面升级，相比上一代整体效果提升超过20%。 //中文原生此前，Stable Diffusion等主流文生图开源模型，核心数据集以英文为主，基于Stable Diffusion的中文应用本质上是通过中译英的方式处理文本。 //全面开源目前，腾讯混元文生图大模型已在 Hugging Face 平台及 Github 上发布，包含模型权重、推理代码、模型算法等完整模型。不管是企业还是个人开发者，全部免费可用。
1K10编辑于 2024-05-14- 来自专栏DeepHub IMBA
文生图的基石CLIP模型的发展综述
Open AI在2021年1月份发布的DALL-E和CLIP，这两个都属于结合图像和文本的多模态模型，其中DALL-E是基于文本来生成模型的模型，而CLIP是用文本作为监督信号来训练可迁移的视觉模型。 对于大多数这些下游应用程序，初始CLIP模型被视为“预训练”的起点，并且整个模型针对其新用例进行微调。 也就是说随着训练数据量、训练时间或模型大小的增加，人们可以相当准确地预测模型的性能。 保留OpenAI的CLIP模型架构和训练方法，OpenCLIP模型在样本图像检索任务上表现出更强的缩放能力。 在过滤后的数据上训练的CLIP模型优于仅在初始高质量数据上训练的模型和在大量未过滤数据上训练的模型。
2.4K10编辑于 2024-04-01 - 来自专栏个人总结系列
开源AIGC学习—文生图模型服务封装
一、模型本地化 详细内容见：开源AIGC学习—文生图模型本地运行 二、服务封装 当前算法模型采用Python + Flask 方式进行Rest API方式进行服务封装，对应封装代码说明如下 main__': server = pywsgi.WSGIServer(('0.0.0.0', 2000), app) server.serve_forever() 也可以直接返回图片，但是文生图模型推理耗时比较长 算法模型需要上传到对于文件，结果生成需要下载文件，系统设计考虑异步调用方案。
68310编辑于 2024-03-15 - 来自专栏个人总结系列
开源AIGC学习—文生图模型本地运行
一、模型本地下载 总共涉及3种方式，来源有huggingface、modelscope，个人学习因为笔记本电脑、网络缘故，选择代码自动下载默认路径然后cp到指定路径。 说明本地模型加载有异常，去在线寻找地址不对报错。 snapshot_download(repo_id) print(model_dir) cp -r model_dir $traget_dir ``` modelscope的也类似 二、文生图模型本地运行 1、本地下载模型 pip install modelscope ``` from modelscope import snapshot_download model_dir = snapshot_download guidance_scale一种提高对条件信号的依从性的方法，在扩散模型的情况下它是文本和整体样本质量。调整它可以更好的使用图像质量更好或更具备多样性。值介于7和8.5之间通常是稳定扩散的好选择。
1.1K10编辑于 2024-03-13 - 来自专栏数据社
腾讯混元大模型文生图操作指南.doc
欢迎大家来到腾讯混元文生图的世界，这里有一份详细的操作指南，请查收！ 一、腾讯混元文生图简介 今天上午，腾讯混元大模型迎来全新升级，并正式对外开放“文生图”功能。 作为“从实践中来，到实践中去”的大模型，腾讯混元文生图能力，目前已经被用于素材创作，商品合成，游戏出图等多项业务中，此外在广告业务下的多轮测评中，腾讯混元文生图的案例优秀率和广告主采纳率分别达到86%和 二、腾讯混元文生图技术创新 大模型文生图的难点体现在对提示词的语义理解，生成内容的合理性以及生成图片的效果，针对这三个技术难点，腾讯进行了专项的技术研究，提出了一系列原创算法，来保证生成图片的可用性和画质 3、在画面质感方面，混元文生图基于多模型融合的方法，提升生成质感。 经过模型算法的优化之后，混元文生图的人像模型，包含发丝、皱纹等细节的效果提升了30%，场景模型，包含草木、波纹等细节的效果提升了25%。
2.4K10编辑于 2023-10-30 - 来自专栏资讯分享
腾讯混元大模型文生图操作指南.doc
为了便于大家全面了解和操作腾讯混元文生图，该操作指南大概从以下几个方面展开：1、 腾讯混元文生图简介2、 腾讯混元文生图技术创新3、 prompt使用注意事项4、 腾讯混元文生图测试尝鲜5、 one more thing——彩蛋时刻一、腾讯混元文生图简介今天上午，腾讯混元大模型迎来全新升级，并正式对外开放“文生图”功能。 作为“从实践中来，到实践中去”的大模型，腾讯混元文生图能力，目前已经被用于素材创作，商品合成，游戏出图等多项业务中，此外在广告业务下的多轮测评中，腾讯混元文生图的案例优秀率和广告主采纳率分别达到86%和 3、在画面质感方面，混元文生图基于多模型融合的方法，提升生成质感。 经过模型算法的优化之后，混元文生图的人像模型，包含发丝、皱纹等细节的效果提升了30%，场景模型，包含草木、波纹等细节的效果提升了25%。
1.2K51编辑于 2023-10-27 - 来自专栏信创系统开发
DeepSeek 第二弹：Janus-Pro 文生图模型
Janus-Pro：更强大的文生图 AI Janus-Pro 之所以加上 Pro，是因为它是去年发布的 Janus 的增强版，专为提升多模态理解与视觉生成能力而打造。 相比前代，Janus-Pro 在多个方面进行了优化： 改进的训练策略，使模型学习更高效； 扩展的训练数据，增强理解能力和生成质量； 更大的模型规模，提供更强的表现力。 开源模型，低门槛本地运行 Janus-Pro 目前提供 7B（70 亿）和 1.5B（15 亿） 两个参数规模的版本，并已全面开源。 虽然 Janus-Pro 的参数量相较超大规模模型有所限制，但 DeepSeek 团队通过数据增强策略，大幅提升了其图像生成能力。 这不仅缓解了视觉编码器在不同任务间的角色冲突，也提高了整体模型的灵活性。
2.2K30编辑于 2025-02-05 - 来自专栏Java项目实战
New Stability AI 最新的3个文生图模型
与联想合作，在其新的联想创作者专区中展示 Stability AI 的文本到图像模型。 首先这次一共推出了三种文生图模型 Stable Image Ultra 生成最高品质的逼真输出，是专业印刷媒体和大幅面应用的理想之选。 Stable Image Core 是继 Stable Diffusion XL 之后的下一代模型。 此图像是使用 SD3 Large 生成的，提示词为：油画、一位坐在田野里看风筝在天空中飞舞的女士、传统媒体、油画颜料、数字化、高度详细、概念艺术、错综复杂、专业构图 产品渲染 Stability AI 的模型可用于生成高品质的概念艺术图和产品渲染图 此图像是使用 SD3 Large 生成的，提示词为：白色和青绿色运动鞋的专业 3D 渲染图、居中漂浮、悬停、浮动、高品质、逼真 模型版本对比 如何使用？
35410编辑于 2024-10-08 - 来自专栏刘旷专栏
从文生图到文生视频，AI行业卷疯了
近几年，随着AIGC赋能多业态应用的加速落地，整个行业的热潮，已经逐渐从文生文、文生图，转向了文生视频领域。 AIGC迈入视频时代据了解，字节跳动于11月18日推出了文生视频模型PixelDance；阿里紧随其后也上线了Animate Anyone模型；百度文心大模型的类似功能则在内测中，不久后会以插件形式开放 作为文生文、文生图的升级，文生视频对算力以及模型的工程化能力要求更高。据了解，文生视频的人工智能模型参数为10亿级别至100亿级别。 文生图和文生视频的人工智能模型在底层技术框架上有着较高的相似性，一定程度上来说，文生视频可以看作是文生图的进阶版技术，这也就意味着，文生图的技术和经验可供文生视频加以运用和参考。 而众所周知，字节跳动、阿里、百度等玩家早已在文生图领域有所深耕，甚至有的产品也已投入商用，凭借在文生图技术上的积淀，其在文生视频领域也有望实现大幅进步。
69910编辑于 2023-12-26 - 来自专栏前端数据可视化
『SD』文生图基础讲解
本文将以初学者的角度，逐步讲解 SD 的文生图功能，让你轻松上手 SD 的文生图。 在此之前，你需要先安装好 SD WebUI。 什么是文生图？ 文生图就是文生图，字面意思。就是将文本提示词的内容转换成图片。 小学写的作文经常出现“看图写作”，现在使用 SD 就是先写作，然后让 AI 去画图。 如果要配置模型封面，可以在模型下载的网页把别人做好的图下载下来，并且将图片命名成模型的名字。SD WebUI 会根据名字匹配封面图。 比如我这里有2个模型，分配给它们配置封面图。 具体的使用方法我在 《『SD』文生图-如何生成高分辨率图片？》 里有讲解。 Refiner 精炼器 Refiner 精炼器的作用是可以允许你用2个模型生成一张图片。 此时再生成一张图片就会以8:2的比例结合A图和B图去生成新图。 关于 SD WebUI 文生图的基础功能讲解就到这了。
1K10编辑于 2024-06-11 - 来自专栏前端必修课
DeepSeek 文生图实战指南
生成结果展示 实用技巧与注意事项 提示词优化： 使用详细的英文描述 注意关键细节的描述 合理使用艺术风格词汇 图片参数调优： 调整尺寸满足不同需求 通过 seed 值保存喜欢的效果 实验不同的生成模型
94911编辑于 2025-03-07 - 来自专栏AI工程落地
文生视频模型调研
开源文生视频一览表 模型名称 机构 是否开源 时长（秒） 分辨率&帧率 模型参数量(B) 模型地址/体验入口 Wan2.1 阿里 是 5 720*1280 16 14/1.3 https://huggingface.co ：VBench Leaderboard - a Hugging Face Space by Vchitect 模型量化 文生视频模型参数量越来越大，视频时长越来越长，帧率越来越高。 文生视频量化需求越来越迫切，目前这方面论文比较少，是一个可以深入研究的领域。 下面总结了几篇当前可以支持文生图模型量化的论文： ViDiT-Q：2406.02540 逐Token的量化参数确定（Token-wise Quantization）：DiT所采用的Transformer Relaxing for Text-to-Image Diffusion Models：2311.06322 提出PCR，包含渐进式的校准策略、激活放松策略 提出QDiffBench，第一个高效评估量化文生图扩散模型的
63010编辑于 2025-03-13 - 来自专栏muller的测试分享
文生视频大模型
简介Sora 官网地址：https://openai.com/sora文生视频指的是将文本描述转化为视频内容的技术，2024年2月15日 OpenAI 正式对外发布 Sora 人工智能模型，在人工智能领域掀起了一场风波 OpenAI 也在报告中将 Sora 定义为 “word simulators” 即世界模型或者世界模拟器，可见 OpenAI 对于 sora 的能力具备足够的信心。注意：个人暂时无法体验。 Sora 的能力Sora 是一种扩散模型，旨在对语言更深入的理解，使得模型能够准确的识别出文本的含义，OpenAI 官方表明 Sora 能够生成1分钟的高清视频，并且给出了一个视频生成的示例，该示例展示出了 现状文生视频还处在开发并且测试的阶段，基于安全考虑，目前 Sora 还是仅仅是邀请 “red teamers” 也就是对抗性角色领域的专家来对 Sora 进行安全测试。
61810编辑于 2024-11-11 - 来自专栏深度学习与python
文生图模型又“卷”起来了！比 Stable Diffusion 中文理解能力更强、更懂国人的文生图模型是如何构建的？
1 文生图模型“卷”起来了 2022 年被称为 AIGC（生成式人工智能）的元年。 进入 2023 年，AIGC 技术助推出新的人工智能浪潮，AI 大模型的创新应用按下加速键。而其中，文生图仍是大模型最火热的应用领域之一，国内外发布的文生图模型数量不断攀升。 “生产好的内容之前，需要先理解好的内容” 在丹青模型出现以前，国内外已有多个文生图模型，随着去年 Stable Diffusion 的开源，文生图模型数量激增，很多创业公司直接基于 Stable Diffusion 做文生图模型，如果只是简单的重复并无意义，需要走出自己的一条路子。 3 文生图模型如何应对版权争议？ 文生图作为大模型最火热的应用领域之一，近几年取得了突破性的进展，并成功在多个领域落地应用。与热度随之而来的也有争议，其中，最大争议点在于版权。
1.4K20编辑于 2023-09-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号