- 综合排序
- 最热优先
- 最新优先
- 来自专栏muller的测试分享
文生图大模型
简介Dall-E 由 OpenAI 发布，是一种基于深度学习的生成模型，它是一种改进的 GPT 模型，专门用于图像生成。Dall-E 可以根据文本描述生成与之相符合的原创性、真实的图像。 Dall-E 通过一个拥有 120 亿参数的 Transformer 模型来理解自然语言的输入，并生成相应的图片。这些图片不仅限于现实中已存在的图像，还包括虚拟的、现实中不存在的图像。 一年后的 2022 年 4 月 OpenAI 宣布了新版本的 DALL-E 2，这一版本具备更为强大的功能，并且在分辨率方便也提高了 4 倍。以下是 Dall-E 所具备的扩展的功能：图像生成。 os.path.join("img_" + datetime.datetime.now().strftime("%Y%m%d%H%M%S") + ".png")def test_image_normal(): # 文生图 generate_image_path(), 'wb') as f: f.write(image_response.content)增加图像生成的条件def test_image_style(): # 文生图
62510编辑于 2024-11-07 - 来自专栏AIOT
在Jetson上玩转大模型Day4：SDW文生图
算法整合一个web界面，在https://github.com/AUTOMATIC1111/stable-diffusion-webui中发布，让我们可以在本地部署Stable Diffusion这项非常有趣的文生图应用 ，只需要再搭配合适的模型即可。 不过目前的状态还不能真正执行，因为我们还没有可以执行文生图功能的模型，不过执行的代码中已经嵌入了下载 。 现在我们只要在Web界面左上角点击“刷新”按钮，就可以在命令终端里看到开始下载指定的模型到指定路径的工作，如下图：存放路径为荣器内的/data/models/stable-diffusion/models 如果有的话，我们就可以在Jetson Orin Nano上开始进行有趣的”AI文生图”应用了。
1.2K10编辑于 2024-10-24 - 来自专栏GPUS开发者
在Jetson上玩转大模型Day4：SDW文生图
算法整合一个web界面，在https://github.com/AUTOMATIC1111/stable-diffusion-webui中发布，让我们可以在本地部署Stable Diffusion这项非常有趣的文生图应用 ，只需要再搭配合适的模型即可。 不过目前的状态还不能真正执行，因为我们还没有可以执行文生图功能的模型，不过执行的代码中已经嵌入了下载 。 现在我们只要在Web界面左上角点击“刷新”按钮，就可以在命令终端里看到开始下载指定的模型到指定路径的工作，如下图： 存放路径为荣器内的/data/models/stable-diffusion/models 如果有的话，我们就可以在Jetson Orin Nano上开始进行有趣的”AI文生图”应用了。
68010编辑于 2024-10-25 - 来自专栏AI算法能力提高班
ControlNet-图像控制文生图模型
需要注意的是，在克隆预训练模型之前，需要先选择一个适合特定任务的预训练模型，并对其进行必要的调整和优化。这样才能确保克隆出来的模型能够更好地适应特定任务，并取得更好的效果。 同时，还需要确保这些输入条件能够被有效地传递给神经网络，并且不会对模型性能产生负面影响。 训练可训练副本之前，需要先选择一个适合特定任务的预训练模型，并将其克隆为可训练副本。同时还需要确定哪些输入条件对于特定任务是最重要的，并将其与预训练模型进行连接。 有8个block是下采样或者上采样，其它17block包含4个resnet层和2个ViT层。每个ViT层包括self or cross注意力机制。 We use a tiny network E(·) of four convolution layers with 4 × 4 kernels and 2 × 2 strides (activated
1.3K20编辑于 2023-09-13 - 来自专栏四楼没电梯
最新爆火文生图模型FLUX
在AI图片生成领域，Flux模型的推出引起了广泛关注。随着AI技术的不断进步，新的模型层出不穷，而Flux正是其中的一颗新星。 Flux：一款迅速走红的AI图片生成模型 8月初，初创公司Black Forest Labs推出了文本生成图像模型Flux。该模型拥有120亿参数，并迅速吸引了公众的关注。 与Midjourney和DALL-E等知名模型相比，Flux在图像生成质量和文本提示响应度上表现出色，特别是在生成人物图像时，其逼真的效果令人惊叹。 Flux的独特之处 Flux模型在多个方面具有显著优势。首先，它开源了部分模型，用户可以在配置不错的笔记本电脑上运行，这使得Flux具有了更广泛的可及性。 设计与性能的平衡 Flux不仅在图像质量和提示响应度上超越了现有的主流模型，还在生成手部图像方面表现出色，这一细节常常是其他模型的弱项。
45410编辑于 2024-10-12 - 来自专栏媒矿工厂
草图指导的文生图扩散模型
sketch-guided-preprint.pdf 项目链接：https://sketch-guided-diffusion.github.io/ 作者：Andrey Voynov, Kfir Aberman等 内容整理：王寒 强大的文生图预训练模型缺乏可以指导合成图像的空间属性的控制方法 MLP 经过训练，可将去噪扩散模型网络的内部激活映射到空间边缘图，如图所示。 图1 我们从扩散模型的核心 U-net 网络 U 中的固定中间层序列中提取激活值。 草图指导的文生图（Sketch-Guided Text-to-Image Synthesis） 在给定边缘图e和提示词c的基础上，我们希望根据边缘图获得具有较多细节的高分辨率图片。 去噪模型的特征取自网络中的 9 个不同层：输入块[第 2、4、8 层]，中间块[第 0、1、2 层]，输出块[第 2、4、8 层]。 效果与对比 图3 上图展示了本文方法生成的一些图片，可以看到在忠实度和真实度上都很不错。 图4 文章对比了 SDEdit，其结果如上图所示。
1K20编辑于 2023-09-19 - 来自专栏周末程序猿
ChatGPT|字节开源的毫秒文生图模型
介绍 SDXL-Lightning是开源文本到图像生成模型，生成图秒出，图片质量也还不错，其huggingface地址：https://huggingface.co/ByteDance/SDXL-Lightning /radames/Real-Time-Text-to-Image-SDXL-Lightning 体验地址3：https://replicate.com/lucataco/sdxl-lightning-4step # 加载模型，如果是GPU可以将"cpu" -> "cuda" unet = UNet2DConditionModel.from_config(base, subfolder="unet").to("cpu ，对样本进行微调 重复以上步骤 每次迭代后，样本都会更加接近想要的图片分布，知道迭代结束获得清晰的图片 图像生成模型步骤 由于上述生成过程每次只能走一小步，减少梯度误差的累计，所以需要神经网络的大量计算 ，为了减少生成图像所需的步骤数量有两种方式： 减少误差采样的方法，试图生成流更加直线化，但是仍然不能在2个推理步骤生成图像； 模型蒸馏能在少量的推理步骤中生成高质量图像，不同于计算当前流位置下的梯度，模型蒸馏改变模型预测的目标
29410编辑于 2025-02-27 13.4 大语言模型文生图能力评测
13.4 大语言模型文生图能力评测 大模型的文生图能力，不仅推动了创意产业的创新，还在教育、医疗、娱乐等多个领域展现出广泛的应用前景。 通过将自然语言处理与计算机视觉相结合，这些模型能够理解文本内容并生成相应的图像，极大地丰富了人机交互的方式。 本节将深入探讨大模型在文生图能力方面的评测方法与标准。 图13-29 SuperCLUE-Image评测基准 对于图像质量的评测，分别考虑了构图、光彩、细节处理、用户体验、分辨率、锐度和结构合理性，其中： 构图：评价图像的整体布局和视觉吸引力 光彩：评价图像色彩的对比度和和谐程度 综上所述，这些评估方法提供了多元化的视角，帮助研究人员更全面地理解和优化文生图大模型的性能。通过综合运用这些方法，可以推动该领域的进一步发展。 Text2Video：https://github.com/Picsart-AI-Research/Text2Video-Zero [3] Sora: https://openai.com/index/sora/ [4]
95310编辑于 2025-04-07- 来自专栏个人总结系列
开源AIGC学习—文生图模型服务封装
一、模型本地化 详细内容见：开源AIGC学习—文生图模型本地运行 二、服务封装 当前算法模型采用Python + Flask 方式进行Rest API方式进行服务封装，对应封装代码说明如下 main__': server = pywsgi.WSGIServer(('0.0.0.0', 2000), app) server.serve_forever() 也可以直接返回图片，但是文生图模型推理耗时比较长 算法模型需要上传到对于文件，结果生成需要下载文件，系统设计考虑异步调用方案。
69810编辑于 2024-03-15 - 来自专栏个人总结系列
开源AIGC学习—文生图模型本地运行
一、模型本地下载 总共涉及3种方式，来源有huggingface、modelscope，个人学习因为笔记本电脑、网络缘故，选择代码自动下载默认路径然后cp到指定路径。 说明本地模型加载有异常，去在线寻找地址不对报错。 snapshot_download(repo_id) print(model_dir) cp -r model_dir $traget_dir ``` modelscope的也类似 二、文生图模型本地运行 1、本地下载模型 pip install modelscope ``` from modelscope import snapshot_download model_dir = snapshot_download guidance_scale一种提高对条件信号的依从性的方法，在扩散模型的情况下它是文本和整体样本质量。调整它可以更好的使用图像质量更好或更具备多样性。值介于7和8.5之间通常是稳定扩散的好选择。
1.1K10编辑于 2024-03-13 腾讯混元文生图大模型全面开源！
和大家汇报：刚刚，腾讯混元文生图大模型，全面升级并对外开源！作为业内首个中文原生的DiT架构开源模型，腾讯混元文生图支持中英文双语输入及理解。除直接用于文生图，也可作为视频等多模态视觉生成的基础。 介绍一下，我的几项标签：//DiT架构优秀的大模型，离不开领先的技术架构。去年7月，腾讯混元文生图团队就明确了基于DiT架构的模型方向。 今年初，腾讯混元文生图完成了模型架构的全面升级，相比上一代整体效果提升超过20%。 多轮文生图提示词：(1)画一朵长在森林中的白色玫瑰；(2)背景换成室内，花插在瓶中；(3)将花改为百合花；(4)花瓣改为粉色；(5)让蝴蝶落在花瓣上；(6)改成动漫风格。 //全面开源目前，腾讯混元文生图大模型已在 Hugging Face 平台及 Github 上发布，包含模型权重、推理代码、模型算法等完整模型。不管是企业还是个人开发者，全部免费可用。
1.1K10编辑于 2024-05-14- 来自专栏DeepHub IMBA
文生图的基石CLIP模型的发展综述
Open AI在2021年1月份发布的DALL-E和CLIP，这两个都属于结合图像和文本的多模态模型，其中DALL-E是基于文本来生成模型的模型，而CLIP是用文本作为监督信号来训练可迁移的视觉模型。 虽然OpenAI从未明确指定或共享用于训练原始CLIP模型的数据，但CLIP论文提到该模型是在从互联网收集的4亿对图像-文本上进行训练的。 Up Visual and Vision-Language Representation Learning With Noisy Text Supervision 使用CLIP, OpenAI使用了4亿对图像 也就是说随着训练数据量、训练时间或模型大小的增加，人们可以相当准确地预测模型的性能。 在过滤后的数据上训练的CLIP模型优于仅在初始高质量数据上训练的模型和在大量未过滤数据上训练的模型。
2.4K10编辑于 2024-04-01 - 来自专栏数据社
腾讯混元大模型文生图操作指南.doc
欢迎大家来到腾讯混元文生图的世界，这里有一份详细的操作指南，请查收！ 一、腾讯混元文生图简介 今天上午，腾讯混元大模型迎来全新升级，并正式对外开放“文生图”功能。 作为“从实践中来，到实践中去”的大模型，腾讯混元文生图能力，目前已经被用于素材创作，商品合成，游戏出图等多项业务中，此外在广告业务下的多轮测评中，腾讯混元文生图的案例优秀率和广告主采纳率分别达到86%和 3、在画面质感方面，混元文生图基于多模型融合的方法，提升生成质感。 经过模型算法的优化之后，混元文生图的人像模型，包含发丝、皱纹等细节的效果提升了30%，场景模型，包含草木、波纹等细节的效果提升了25%。 四、腾讯混元文生图尝鲜 1.1 真实感人像 生成可爱的亚洲 4 岁女孩穿着棉质连衣裙，大眼睛，古代中国，摄影风格，汉服 生成一个亚洲青年男生在高铁站，穿着休闲服装，背着双肩包，等待出行，高铁站内部，摄影风格
2.5K10编辑于 2023-10-30 - 来自专栏资讯分享
腾讯混元大模型文生图操作指南.doc
为了便于大家全面了解和操作腾讯混元文生图，该操作指南大概从以下几个方面展开：1、 腾讯混元文生图简介2、 腾讯混元文生图技术创新3、 prompt使用注意事项4、 腾讯混元文生图测试尝鲜5、 one more thing——彩蛋时刻一、腾讯混元文生图简介今天上午，腾讯混元大模型迎来全新升级，并正式对外开放“文生图”功能。 作为“从实践中来，到实践中去”的大模型，腾讯混元文生图能力，目前已经被用于素材创作，商品合成，游戏出图等多项业务中，此外在广告业务下的多轮测评中，腾讯混元文生图的案例优秀率和广告主采纳率分别达到86%和 3、在画面质感方面，混元文生图基于多模型融合的方法，提升生成质感。 四、腾讯混元文生图尝鲜1.1 真实感人像生成可爱的亚洲 4 岁女孩穿着棉质连衣裙，大眼睛，古代中国，摄影风格，汉服生成一个亚洲青年男生在高铁站，穿着休闲服装，背着双肩包，等待出行，高铁站内部，摄影风格
1.2K51编辑于 2023-10-27 - 来自专栏信创系统开发
DeepSeek 第二弹：Janus-Pro 文生图模型
Janus-Pro：更强大的文生图 AI Janus-Pro 之所以加上 Pro，是因为它是去年发布的 Janus 的增强版，专为提升多模态理解与视觉生成能力而打造。 相比前代，Janus-Pro 在多个方面进行了优化： 改进的训练策略，使模型学习更高效； 扩展的训练数据，增强理解能力和生成质量； 更大的模型规模，提供更强的表现力。 开源模型，低门槛本地运行 Janus-Pro 目前提供 7B（70 亿）和 1.5B（15 亿） 两个参数规模的版本，并已全面开源。 虽然 Janus-Pro 的参数量相较超大规模模型有所限制，但 DeepSeek 团队通过数据增强策略，大幅提升了其图像生成能力。 这不仅缓解了视觉编码器在不同任务间的角色冲突，也提高了整体模型的灵活性。
2.2K30编辑于 2025-02-05 - 来自专栏Java项目实战
New Stability AI 最新的3个文生图模型
与联想合作，在其新的联想创作者专区中展示 Stability AI 的文本到图像模型。 首先这次一共推出了三种文生图模型 Stable Image Ultra 生成最高品质的逼真输出，是专业印刷媒体和大幅面应用的理想之选。 将光圈设置为 f/4，使整个脸部保持清晰对焦，同时保持令人愉悦的景深。使用 1/125s 的快门速度与摄影棚闪光灯同步，并确保正确的曝光。聚焦拍摄对象的眼睛，以吸引观众对肖像的注意力。 此图像是使用 SD3 Large 生成的，提示词为：油画、一位坐在田野里看风筝在天空中飞舞的女士、传统媒体、油画颜料、数字化、高度详细、概念艺术、错综复杂、专业构图 产品渲染 Stability AI 的模型可用于生成高品质的概念艺术图和产品渲染图 此图像是使用 SD3 Large 生成的，提示词为：白色和青绿色运动鞋的专业 3D 渲染图、居中漂浮、悬停、浮动、高品质、逼真 模型版本对比 如何使用？
35810编辑于 2024-10-08 - 来自专栏muller的测试分享
文生视频大模型
简介Sora 官网地址：https://openai.com/sora文生视频指的是将文本描述转化为视频内容的技术，2024年2月15日 OpenAI 正式对外发布 Sora 人工智能模型，在人工智能领域掀起了一场风波 OpenAI 也在报告中将 Sora 定义为 “word simulators” 即世界模型或者世界模拟器，可见 OpenAI 对于 sora 的能力具备足够的信心。注意：个人暂时无法体验。 Sora 的能力Sora 是一种扩散模型，旨在对语言更深入的理解，使得模型能够准确的识别出文本的含义，OpenAI 官方表明 Sora 能够生成1分钟的高清视频，并且给出了一个视频生成的示例，该示例展示出了 现状文生视频还处在开发并且测试的阶段，基于安全考虑，目前 Sora 还是仅仅是邀请 “red teamers” 也就是对抗性角色领域的专家来对 Sora 进行安全测试。
63110编辑于 2024-11-11 - 来自专栏刘旷专栏
从文生图到文生视频，AI行业卷疯了
近几年，随着AIGC赋能多业态应用的加速落地，整个行业的热潮，已经逐渐从文生文、文生图，转向了文生视频领域。 AIGC迈入视频时代据了解，字节跳动于11月18日推出了文生视频模型PixelDance；阿里紧随其后也上线了Animate Anyone模型；百度文心大模型的类似功能则在内测中，不久后会以插件形式开放 作为文生文、文生图的升级，文生视频对算力以及模型的工程化能力要求更高。据了解，文生视频的人工智能模型参数为10亿级别至100亿级别。 文生图和文生视频的人工智能模型在底层技术框架上有着较高的相似性，一定程度上来说，文生视频可以看作是文生图的进阶版技术，这也就意味着，文生图的技术和经验可供文生视频加以运用和参考。 而众所周知，字节跳动、阿里、百度等玩家早已在文生图领域有所深耕，甚至有的产品也已投入商用，凭借在文生图技术上的积淀，其在文生视频领域也有望实现大幅进步。
70810编辑于 2023-12-26 - 来自专栏前端数据可视化
『SD』文生图基础讲解
本文将以初学者的角度，逐步讲解 SD 的文生图功能，让你轻松上手 SD 的文生图。 在此之前，你需要先安装好 SD WebUI。 什么是文生图？ 文生图就是文生图，字面意思。就是将文本提示词的内容转换成图片。 小学写的作文经常出现“看图写作”，现在使用 SD 就是先写作，然后让 AI 去画图。 具体的使用方法我在 《『SD』文生图-如何生成高分辨率图片？》 里有讲解。 Refiner 精炼器 Refiner 精炼器的作用是可以允许你用2个模型生成一张图片。 等于你点了4次生成按钮。 Batch size（单批数量）：一次生成4张图片。 此时再生成一张图片就会以8:2的比例结合A图和B图去生成新图。 关于 SD WebUI 文生图的基础功能讲解就到这了。
1K10编辑于 2024-06-11 - 来自专栏前端必修课
DeepSeek 文生图实战指南
生成结果展示 实用技巧与注意事项 提示词优化： 使用详细的英文描述 注意关键细节的描述 合理使用艺术风格词汇 图片参数调优： 调整尺寸满足不同需求 通过 seed 值保存喜欢的效果 实验不同的生成模型
95811编辑于 2025-03-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号