- 综合排序
- 最热优先
- 最新优先
- 来自专栏muller的测试分享
文生图大模型
简介Dall-E 由 OpenAI 发布，是一种基于深度学习的生成模型，它是一种改进的 GPT 模型，专门用于图像生成。Dall-E 可以根据文本描述生成与之相符合的原创性、真实的图像。 Dall-E 3 的增强相比较 Dall-E 2 的图像生成，Dall-E 3 对图像的增强有以下几个方面：提示优化：详细的提示会带来更为准确的图片结果。 os.path.join("img_" + datetime.datetime.now().strftime("%Y%m%d%H%M%S") + ".png")def test_image_normal(): # 文生图 ，指定模型，给出提示语和大小限制 response = client.images.generate( model="dall-e-3", prompt="一只猫在窗户边睡觉 generate_image_path(), 'wb') as f: f.write(image_response.content)增加图像生成的条件def test_image_style(): # 文生图
62510编辑于 2024-11-07 - 来自专栏Java项目实战
New Stability AI 最新的3个文生图模型
，当时确实SD3是非常能打的，参数量也是当时最大的，但是奈何生不逢时，FLUX把风头都抢光了，一直说要对标MJ，最终还是被黑森林拉下神坛。 首先这次一共推出了三种文生图模型 Stable Image Ultra 生成最高品质的逼真输出，是专业印刷媒体和大幅面应用的理想之选。 正因如此，SD3 Ultra 才能够准确生成特定的文本、物体和光照条件。 的模型可用于生成高品质的概念艺术图和产品渲染图，也可用于创建视觉效果惊艳的广告牌和印刷广告。 此图像是使用 SD3 Large 生成的，提示词为：白色和青绿色运动鞋的专业 3D 渲染图、居中漂浮、悬停、浮动、高品质、逼真 模型版本对比 如何使用？
35810编辑于 2024-10-08 - 来自专栏AI算法能力提高班
ControlNet-图像控制文生图模型
ControlNet 使用了一种称为 “权重共享” 的技术，该技术可以将预训练模型的权重复制到两个不同的神经网络中。 需要注意的是，在克隆预训练模型之前，需要先选择一个适合特定任务的预训练模型，并对其进行必要的调整和优化。这样才能确保克隆出来的模型能够更好地适应特定任务，并取得更好的效果。 同时，还需要确保这些输入条件能够被有效地传递给神经网络，并且不会对模型性能产生负面影响。 训练可训练副本之前，需要先选择一个适合特定任务的预训练模型，并将其克隆为可训练副本。同时还需要确定哪些输入条件对于特定任务是最重要的，并将其与预训练模型进行连接。 ControlNet 为什么要将diffusion model分成2个copy，而不是在原始模型上训练权重？
1.3K20编辑于 2023-09-13 - 来自专栏四楼没电梯
最新爆火文生图模型FLUX
在AI图片生成领域，Flux模型的推出引起了广泛关注。随着AI技术的不断进步，新的模型层出不穷，而Flux正是其中的一颗新星。 Flux：一款迅速走红的AI图片生成模型 8月初，初创公司Black Forest Labs推出了文本生成图像模型Flux。该模型拥有120亿参数，并迅速吸引了公众的关注。 与Midjourney和DALL-E等知名模型相比，Flux在图像生成质量和文本提示响应度上表现出色，特别是在生成人物图像时，其逼真的效果令人惊叹。 Flux的独特之处 Flux模型在多个方面具有显著优势。首先，它开源了部分模型，用户可以在配置不错的笔记本电脑上运行，这使得Flux具有了更广泛的可及性。 设计与性能的平衡 Flux不仅在图像质量和提示响应度上超越了现有的主流模型，还在生成手部图像方面表现出色，这一细节常常是其他模型的弱项。
45410编辑于 2024-10-12 - 来自专栏媒矿工厂
草图指导的文生图扩散模型
sketch-guided-preprint.pdf 项目链接：https://sketch-guided-diffusion.github.io/ 作者：Andrey Voynov, Kfir Aberman等 内容整理：王寒 强大的文生图预训练模型缺乏可以指导合成图像的空间属性的控制方法 MLP 经过训练，可将去噪扩散模型网络的内部激活映射到空间边缘图，如图所示。 图1 我们从扩散模型的核心 U-net 网络 U 中的固定中间层序列中提取激活值。 草图指导的文生图（Sketch-Guided Text-to-Image Synthesis） 在给定边缘图e和提示词c的基础上，我们希望根据边缘图获得具有较多细节的高分辨率图片。 然后就可以计算二者的相似度： L(\hat{E},E(e))=||\hat{E}-E(e)||^2\quad(3) 实验与对比 实验细节 使用ImageNet数据，只用类别做caption。 效果与对比 图3 上图展示了本文方法生成的一些图片，可以看到在忠实度和真实度上都很不错。 图4 文章对比了 SDEdit，其结果如上图所示。
1K20编辑于 2023-09-19 - 来自专栏周末程序猿
ChatGPT|字节开源的毫秒文生图模型
介绍 SDXL-Lightning是开源文本到图像生成模型，生成图秒出，图片质量也还不错，其huggingface地址：https://huggingface.co/ByteDance/SDXL-Lightning fastsdxl.ai/ 体验地址2：https://huggingface.co/spaces/radames/Real-Time-Text-to-Image-SDXL-Lightning 体验地址3： # 加载模型，如果是GPU可以将"cpu" -> "cuda" unet = UNet2DConditionModel.from_config(base, subfolder="unet").to("cpu ，为了减少生成图像所需的步骤数量有两种方式： 减少误差采样的方法，试图生成流更加直线化，但是仍然不能在2个推理步骤生成图像； 模型蒸馏能在少量的推理步骤中生成高质量图像，不同于计算当前流位置下的梯度，模型蒸馏改变模型预测的目标 （2）SDXL-Lightning: Progressive Adversarial Diffusion Distillation，https://arxiv.org/abs/2402.13929 （3）
29410编辑于 2025-02-27 13.4 大语言模型文生图能力评测
13.4 大语言模型文生图能力评测 大模型的文生图能力，不仅推动了创意产业的创新，还在教育、医疗、娱乐等多个领域展现出广泛的应用前景。 通过将自然语言处理与计算机视觉相结合，这些模型能够理解文本内容并生成相应的图像，极大地丰富了人机交互的方式。 本节将深入探讨大模型在文生图能力方面的评测方法与标准。 综上所述，这些评估方法提供了多元化的视角，帮助研究人员更全面地理解和优化文生图大模型的性能。通过综合运用这些方法，可以推动该领域的进一步发展。 github.com/lllyasviel/ControlNet [2] Text2Video：https://github.com/Picsart-AI-Research/Text2Video-Zero [3] Sora: https://openai.com/index/sora/ [4] Magic3D：https://research.nvidia.com/labs/dir/magic3d/ [5] Text2Room
95310编辑于 2025-04-07- 来自专栏个人总结系列
开源AIGC学习—文生图模型服务封装
一、模型本地化 详细内容见：开源AIGC学习—文生图模型本地运行 二、服务封装 当前算法模型采用Python + Flask 方式进行Rest API方式进行服务封装，对应封装代码说明如下 main__': server = pywsgi.WSGIServer(('0.0.0.0', 2000), app) server.serve_forever() 也可以直接返回图片，但是文生图模型推理耗时比较长 算法模型需要上传到对于文件，结果生成需要下载文件，系统设计考虑异步调用方案。
69810编辑于 2024-03-15 - 来自专栏个人总结系列
开源AIGC学习—文生图模型本地运行
一、模型本地下载 总共涉及3种方式，来源有huggingface、modelscope，个人学习因为笔记本电脑、网络缘故，选择代码自动下载默认路径然后cp到指定路径。 https://zhuanlan.zhihu.com/p/475260268 2、git clone方式 git clone https://huggingface.co/THUDM/chatglm3- /huggingface 虽然也是从huggingface进行git下载，但还是出问题，报Checkout 'https://huggingface.co//huggingface/chatglm3- 说明本地模型加载有异常，去在线寻找地址不对报错。 snapshot_download(repo_id) print(model_dir) cp -r model_dir $traget_dir ``` modelscope的也类似 二、文生图模型本地运行
1.1K10编辑于 2024-03-13 - 来自专栏DeepHub IMBA
文生图的基石CLIP模型的发展综述
Open AI在2021年1月份发布的DALL-E和CLIP，这两个都属于结合图像和文本的多模态模型，其中DALL-E是基于文本来生成模型的模型，而CLIP是用文本作为监督信号来训练可迁移的视觉模型。 CLIP 这是OpenAI在21年最早发布的论文，要想理解CLIP，我们需要将缩略词解构为三个组成部分:(1)Contrastive ，(2)Language-Image，(3)Pre-training 对于大多数这些下游应用程序，初始CLIP模型被视为“预训练”的起点，并且整个模型针对其新用例进行微调。 也就是说随着训练数据量、训练时间或模型大小的增加，人们可以相当准确地预测模型的性能。 在过滤后的数据上训练的CLIP模型优于仅在初始高质量数据上训练的模型和在大量未过滤数据上训练的模型。
2.4K10编辑于 2024-04-01 腾讯混元文生图大模型全面开源！
和大家汇报：刚刚，腾讯混元文生图大模型，全面升级并对外开源！作为业内首个中文原生的DiT架构开源模型，腾讯混元文生图支持中英文双语输入及理解。除直接用于文生图，也可作为视频等多模态视觉生成的基础。 介绍一下，我的几项标签：//DiT架构优秀的大模型，离不开领先的技术架构。去年7月，腾讯混元文生图团队就明确了基于DiT架构的模型方向。 今年初，腾讯混元文生图完成了模型架构的全面升级，相比上一代整体效果提升超过20%。 多轮文生图提示词：(1)画一名德国男性；(2)让他再德国一些；(3)让他更德国一些。 多轮文生图提示词：(1)画一朵长在森林中的白色玫瑰；(2)背景换成室内，花插在瓶中；(3)将花改为百合花；(4)花瓣改为粉色；(5)让蝴蝶落在花瓣上；(6)改成动漫风格。
1.1K10编辑于 2024-05-14- 来自专栏数据社
腾讯混元大模型文生图操作指南.doc
欢迎大家来到腾讯混元文生图的世界，这里有一份详细的操作指南，请查收！ 一、腾讯混元文生图简介 今天上午，腾讯混元大模型迎来全新升级，并正式对外开放“文生图”功能。 作为“从实践中来，到实践中去”的大模型，腾讯混元文生图能力，目前已经被用于素材创作，商品合成，游戏出图等多项业务中，此外在广告业务下的多轮测评中，腾讯混元文生图的案例优秀率和广告主采纳率分别达到86%和 二、腾讯混元文生图技术创新 大模型文生图的难点体现在对提示词的语义理解，生成内容的合理性以及生成图片的效果，针对这三个技术难点，腾讯进行了专项的技术研究，提出了一系列原创算法，来保证生成图片的可用性和画质 3、在画面质感方面，混元文生图基于多模型融合的方法，提升生成质感。 经过模型算法的优化之后，混元文生图的人像模型，包含发丝、皱纹等细节的效果提升了30%，场景模型，包含草木、波纹等细节的效果提升了25%。
2.5K10编辑于 2023-10-30 - 来自专栏资讯分享
腾讯混元大模型文生图操作指南.doc
为了便于大家全面了解和操作腾讯混元文生图，该操作指南大概从以下几个方面展开：1、 腾讯混元文生图简介2、 腾讯混元文生图技术创新3、 prompt使用注意事项4、 腾讯混元文生图测试尝鲜5、 one more thing——彩蛋时刻一、腾讯混元文生图简介今天上午，腾讯混元大模型迎来全新升级，并正式对外开放“文生图”功能。 作为“从实践中来，到实践中去”的大模型，腾讯混元文生图能力，目前已经被用于素材创作，商品合成，游戏出图等多项业务中，此外在广告业务下的多轮测评中，腾讯混元文生图的案例优秀率和广告主采纳率分别达到86%和 3、在画面质感方面，混元文生图基于多模型融合的方法，提升生成质感。 经过模型算法的优化之后，混元文生图的人像模型，包含发丝、皱纹等细节的效果提升了30%，场景模型，包含草木、波纹等细节的效果提升了25%。
1.2K51编辑于 2023-10-27 - 来自专栏信创系统开发
DeepSeek 第二弹：Janus-Pro 文生图模型
Janus-Pro：更强大的文生图 AI Janus-Pro 之所以加上 Pro，是因为它是去年发布的 Janus 的增强版，专为提升多模态理解与视觉生成能力而打造。 相比前代，Janus-Pro 在多个方面进行了优化： 改进的训练策略，使模型学习更高效； 扩展的训练数据，增强理解能力和生成质量； 更大的模型规模，提供更强的表现力。 开源模型，低门槛本地运行 Janus-Pro 目前提供 7B（70 亿）和 1.5B（15 亿） 两个参数规模的版本，并已全面开源。 虽然 Janus-Pro 的参数量相较超大规模模型有所限制，但 DeepSeek 团队通过数据增强策略，大幅提升了其图像生成能力。 这不仅缓解了视觉编码器在不同任务间的角色冲突，也提高了整体模型的灵活性。
2.2K30编辑于 2025-02-05 - 来自专栏muller的测试分享
文生视频大模型
简介Sora 官网地址：https://openai.com/sora文生视频指的是将文本描述转化为视频内容的技术，2024年2月15日 OpenAI 正式对外发布 Sora 人工智能模型，在人工智能领域掀起了一场风波 OpenAI 也在报告中将 Sora 定义为 “word simulators” 即世界模型或者世界模拟器，可见 OpenAI 对于 sora 的能力具备足够的信心。注意：个人暂时无法体验。 Sora 的能力Sora 是一种扩散模型，旨在对语言更深入的理解，使得模型能够准确的识别出文本的含义，OpenAI 官方表明 Sora 能够生成1分钟的高清视频，并且给出了一个视频生成的示例，该示例展示出了 Sora 除了根据文本生成视频，还可有以下几种生成视频的方式：图像生成视频：图像视频扩展生成的视频：视频1视频2改变视频风格：改变前改变后连接视频：视频1视频2连接后扩展能力3D 一致性Sora 还可以在单个生成的视频中创建多个镜头 现状文生视频还处在开发并且测试的阶段，基于安全考虑，目前 Sora 还是仅仅是邀请 “red teamers” 也就是对抗性角色领域的专家来对 Sora 进行安全测试。
63110编辑于 2024-11-11 - 来自专栏刘旷专栏
从文生图到文生视频，AI行业卷疯了
只需要在该软件的视频输入框内输入“马斯克穿着太空服，3D动画”的关键词，一个身穿太空服的卡通马斯克便能跃然于屏上。 近几年，随着AIGC赋能多业态应用的加速落地，整个行业的热潮，已经逐渐从文生文、文生图，转向了文生视频领域。 作为文生文、文生图的升级，文生视频对算力以及模型的工程化能力要求更高。据了解，文生视频的人工智能模型参数为10亿级别至100亿级别。 文生图和文生视频的人工智能模型在底层技术框架上有着较高的相似性，一定程度上来说，文生视频可以看作是文生图的进阶版技术，这也就意味着，文生图的技术和经验可供文生视频加以运用和参考。 而众所周知，字节跳动、阿里、百度等玩家早已在文生图领域有所深耕，甚至有的产品也已投入商用，凭借在文生图技术上的积淀，其在文生视频领域也有望实现大幅进步。
70810编辑于 2023-12-26 - 来自专栏前端数据可视化
『SD』文生图基础讲解
本文将以初学者的角度，逐步讲解 SD 的文生图功能，让你轻松上手 SD 的文生图。 在此之前，你需要先安装好 SD WebUI。 什么是文生图？ 文生图就是文生图，字面意思。就是将文本提示词的内容转换成图片。 小学写的作文经常出现“看图写作”，现在使用 SD 就是先写作，然后让 AI 去画图。 如果要配置模型封面，可以在模型下载的网页把别人做好的图下载下来，并且将图片命名成模型的名字。SD WebUI 会根据名字匹配封面图。 比如我这里有2个模型，分配给它们配置封面图。 具体的使用方法我在 《『SD』文生图-如何生成高分辨率图片？》 里有讲解。 Refiner 精炼器 Refiner 精炼器的作用是可以允许你用2个模型生成一张图片。 此时再生成一张图片就会以8:2的比例结合A图和B图去生成新图。 关于 SD WebUI 文生图的基础功能讲解就到这了。
1K10编辑于 2024-06-11 - 来自专栏前端必修课
DeepSeek 文生图实战指南
生成结果展示 实用技巧与注意事项 提示词优化： 使用详细的英文描述 注意关键细节的描述 合理使用艺术风格词汇 图片参数调优： 调整尺寸满足不同需求 通过 seed 值保存喜欢的效果 实验不同的生成模型
95811编辑于 2025-03-07 - 来自专栏创作是最好的自我投资
3分钟快速搭建文生图智能体
自己在写文章的时候，觉得一篇文章都是文字的话，会有点枯燥，那么有一个文生图的智能体就好了。这不，就看看官方的插件，还真有文生图的插件，那么下面我们就开始搭建文生图智能体吧。 创建文生图智能体这里创建文生图智能体是需要用到文生图的插件的，因为官方已经提供了文生图插件，所以这里我们就可以来借助官方的文生图插件来进行智能体的创建。 ，这里不要修改模型设置就可以，直接用默认的模型，如果你切换到DeepSeek 模型的话，不能生成图片或者生成的图片不能直接在对话框中展示，感兴趣的可以试一下。 等待审核成功之后，就可以点击【使用方式】通过web体验在线体验我们的AI 文生图智能体了总结最近有点迷上了腾讯元宝的智能体相关内容，目前的话，创建文本类智能体或者文生图智能体算是圆满完成了，还差的就是工作流智能体以及创建插件 对于文生图的话，目前DeepSeek 不支持文生图，这里对于智能体模型配置，选择官方提供的腾讯混元大模型就可以。大家如果还有其他问题或者技术讨论的话，欢迎留言讨论。
1.1K20编辑于 2025-04-05 - 来自专栏AI工程落地
文生视频模型调研
开源文生视频一览表 模型名称 机构 是否开源 时长（秒） 分辨率&帧率 模型参数量(B) 模型地址/体验入口 Wan2.1 阿里 是 5 720*1280 16 14/1.3 https://huggingface.co ：VBench Leaderboard - a Hugging Face Space by Vchitect 模型量化 文生视频模型参数量越来越大，视频时长越来越长，帧率越来越高。 文生视频量化需求越来越迫切，目前这方面论文比较少，是一个可以深入研究的领域。 下面总结了几篇当前可以支持文生图模型量化的论文： ViDiT-Q：2406.02540 逐Token的量化参数确定（Token-wise Quantization）：DiT所采用的Transformer Relaxing for Text-to-Image Diffusion Models：2311.06322 提出PCR，包含渐进式的校准策略、激活放松策略 提出QDiffBench，第一个高效评估量化文生图扩散模型的
78810编辑于 2025-03-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号