- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI智能体从入门到实践
构建AI智能体：双剑合璧：大模型在文生文、文生图中的搭配应用
一、温故知新 回顾前面几篇文章，我们分别对文生图的案例演示和RAG Query改写做了详细介绍，今天我们再趣味性的强化一下两者的应用途径，结合两个模型Qwen-Turbo和Qwen-Image 你的任务是根据用户提供的关键词，生成一段150字以内的详细、生动、富有想象力的图像描述，用于AI文生图模型。 其他类别}定义了API支持的图像风格和尺寸选项创建了分类的关键词库，方便用户选择3. ，指导模型生成适合AI绘画的描述处理API响应并提取生成的提示词输入：用户选择的关键词和风格参数处理：构建API请求，调用Qwen-Turbo模型输出：生成的详细图像描述提示词3.2 图像生成函数 def 同时，应用场景也将进一步扩展，可能涵盖视频生成、3D模型创建等更复杂的视觉内容生产。 Qwen-Turbo与Qwen-Image的组合不仅是一次思维的风暴，也是AI内容创作的实际落地。
49021编辑于 2025-11-14 - 来自专栏muller的测试分享
文生视频大模型
简介Sora 官网地址：https://openai.com/sora文生视频指的是将文本描述转化为视频内容的技术，2024年2月15日 OpenAI 正式对外发布 Sora 人工智能模型，在人工智能领域掀起了一场风波 OpenAI 也在报告中将 Sora 定义为 “word simulators” 即世界模型或者世界模拟器，可见 OpenAI 对于 sora 的能力具备足够的信心。注意：个人暂时无法体验。 Sora 的能力Sora 是一种扩散模型，旨在对语言更深入的理解，使得模型能够准确的识别出文本的含义，OpenAI 官方表明 Sora 能够生成1分钟的高清视频，并且给出了一个视频生成的示例，该示例展示出了 Sora 除了根据文本生成视频，还可有以下几种生成视频的方式：图像生成视频：图像视频扩展生成的视频：视频1视频2改变视频风格：改变前改变后连接视频：视频1视频2连接后扩展能力3D 一致性Sora 还可以在单个生成的视频中创建多个镜头 现状文生视频还处在开发并且测试的阶段，基于安全考虑，目前 Sora 还是仅仅是邀请 “red teamers” 也就是对抗性角色领域的专家来对 Sora 进行安全测试。
63110编辑于 2024-11-11 - 来自专栏AI工程落地
文生视频模型调研
开源文生视频一览表 模型名称 机构 是否开源 时长（秒） 分辨率&帧率 模型参数量(B) 模型地址/体验入口 Wan2.1 阿里 是 5 720*1280 16 14/1.3 https://huggingface.co ：VBench Leaderboard - a Hugging Face Space by Vchitect 模型量化 文生视频模型参数量越来越大，视频时长越来越长，帧率越来越高。 文生视频量化需求越来越迫切，目前这方面论文比较少，是一个可以深入研究的领域。 下面总结了几篇当前可以支持文生图模型量化的论文： ViDiT-Q：2406.02540 逐Token的量化参数确定（Token-wise Quantization）：DiT所采用的Transformer Relaxing for Text-to-Image Diffusion Models：2311.06322 提出PCR，包含渐进式的校准策略、激活放松策略 提出QDiffBench，第一个高效评估量化文生图扩散模型的
78810编辑于 2025-03-13 - 来自专栏muller的测试分享
文生图大模型
简介Dall-E 由 OpenAI 发布，是一种基于深度学习的生成模型，它是一种改进的 GPT 模型，专门用于图像生成。Dall-E 可以根据文本描述生成与之相符合的原创性、真实的图像。 Dall-E 3 的增强相比较 Dall-E 2 的图像生成，Dall-E 3 对图像的增强有以下几个方面：提示优化：详细的提示会带来更为准确的图片结果。 os.path.join("img_" + datetime.datetime.now().strftime("%Y%m%d%H%M%S") + ".png")def test_image_normal(): # 文生图 ，指定模型，给出提示语和大小限制 response = client.images.generate( model="dall-e-3", prompt="一只猫在窗户边睡觉 generate_image_path(), 'wb') as f: f.write(image_response.content)增加图像生成的条件def test_image_style(): # 文生图
62510编辑于 2024-11-07 - 来自专栏Java项目实战
New Stability AI 最新的3个文生图模型
，当时确实SD3是非常能打的，参数量也是当时最大的，但是奈何生不逢时，FLUX把风头都抢光了，一直说要对标MJ，最终还是被黑森林拉下神坛。 与联想合作，在其新的联想创作者专区中展示 Stability AI 的文本到图像模型。 首先这次一共推出了三种文生图模型 Stable Image Ultra 生成最高品质的逼真输出，是专业印刷媒体和大幅面应用的理想之选。 正因如此，SD3 Ultra 才能够准确生成特定的文本、物体和光照条件。 此图像是使用 SD3 Large 生成的，提示词为：白色和青绿色运动鞋的专业 3D 渲染图、居中漂浮、悬停、浮动、高品质、逼真 模型版本对比 如何使用？
35810编辑于 2024-10-08 - 来自专栏Yunfeng's Simple Blog
Bing Brush-Python代码和命令行中调用必应 DALL·E 3文生图模型
3.
37910编辑于 2023-12-10 - 来自专栏AI算法能力提高班
ControlNet-图像控制文生图模型
ControlNet 使用了一种称为 “权重共享” 的技术，该技术可以将预训练模型的权重复制到两个不同的神经网络中。 需要注意的是，在克隆预训练模型之前，需要先选择一个适合特定任务的预训练模型，并对其进行必要的调整和优化。这样才能确保克隆出来的模型能够更好地适应特定任务，并取得更好的效果。 同时，还需要确保这些输入条件能够被有效地传递给神经网络，并且不会对模型性能产生负面影响。 训练可训练副本之前，需要先选择一个适合特定任务的预训练模型，并将其克隆为可训练副本。同时还需要确定哪些输入条件对于特定任务是最重要的，并将其与预训练模型进行连接。 ControlNet 为什么要将diffusion model分成2个copy，而不是在原始模型上训练权重？
1.3K20编辑于 2023-09-13 - 来自专栏四楼没电梯
最新爆火文生图模型FLUX
在AI图片生成领域，Flux模型的推出引起了广泛关注。随着AI技术的不断进步，新的模型层出不穷，而Flux正是其中的一颗新星。 Flux：一款迅速走红的AI图片生成模型 8月初，初创公司Black Forest Labs推出了文本生成图像模型Flux。该模型拥有120亿参数，并迅速吸引了公众的关注。 与Midjourney和DALL-E等知名模型相比，Flux在图像生成质量和文本提示响应度上表现出色，特别是在生成人物图像时，其逼真的效果令人惊叹。 Flux的独特之处 Flux模型在多个方面具有显著优势。首先，它开源了部分模型，用户可以在配置不错的笔记本电脑上运行，这使得Flux具有了更广泛的可及性。 设计与性能的平衡 Flux不仅在图像质量和提示响应度上超越了现有的主流模型，还在生成手部图像方面表现出色，这一细节常常是其他模型的弱项。
45410编辑于 2024-10-12 - 来自专栏媒矿工厂
草图指导的文生图扩散模型
sketch-guided-preprint.pdf 项目链接：https://sketch-guided-diffusion.github.io/ 作者：Andrey Voynov, Kfir Aberman等 内容整理：王寒 强大的文生图预训练模型缺乏可以指导合成图像的空间属性的控制方法 简介 文本到图像模型是机器学习发展中的一次飞跃，展示了根据给定文本提示的图像的高质量合成的能力。然而，这些强大的预训练模型缺乏可以指导合成图像的空间属性的控制方法。 草图指导的文生图（Sketch-Guided Text-to-Image Synthesis） 在给定边缘图e和提示词c的基础上，我们希望根据边缘图获得具有较多细节的高分辨率图片。 然后就可以计算二者的相似度： L(\hat{E},E(e))=||\hat{E}-E(e)||^2\quad(3) 实验与对比 实验细节 使用ImageNet数据，只用类别做caption。 效果与对比 图3 上图展示了本文方法生成的一些图片，可以看到在忠实度和真实度上都很不错。 图4 文章对比了 SDEdit，其结果如上图所示。
1K20编辑于 2023-09-19 13.4 大语言模型文生图能力评测
13.4 大语言模型文生图能力评测 大模型的文生图能力，不仅推动了创意产业的创新，还在教育、医疗、娱乐等多个领域展现出广泛的应用前景。 通过将自然语言处理与计算机视觉相结合，这些模型能够理解文本内容并生成相应的图像，极大地丰富了人机交互的方式。 本节将深入探讨大模型在文生图能力方面的评测方法与标准。 综上所述，这些评估方法提供了多元化的视角，帮助研究人员更全面地理解和优化文生图大模型的性能。通过综合运用这些方法，可以推动该领域的进一步发展。 github.com/lllyasviel/ControlNet [2] Text2Video：https://github.com/Picsart-AI-Research/Text2Video-Zero [3] Sora: https://openai.com/index/sora/ [4] Magic3D：https://research.nvidia.com/labs/dir/magic3d/ [5] Text2Room
95310编辑于 2025-04-07- 来自专栏个人总结系列
开源AIGC学习—文生视频模型本地运行
一、模型下载 可以参见之前文章介绍：开源AIGC学习—文生图模型本地运行 1、模型地址 参见huggingface，https://huggingface.co/cerspense/zeroscope_v2 _576w 2、模型下载拷贝 pipe = DiffusionPipeline.from_pretrained("cerspense/zeroscope_v2_576w", torch_dtype=torch.float16 /huggingface/hub/models--cerspense--zeroscope_v2_576w /mnt/d/aigc_model/hub/ 个人PC可以是本地盘路径，实际环境把自动下载的模型拷贝到挂载 （分布式NAS）地址，python代码从nas的地址读取模型的代码与本地路径有区别 二、python代码开发 import torch from diffusers import DiffusionPipeline 更换另外一种文生视频算法ali-vilab/text-to-video-ms-1.7b import torch from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
1.6K10编辑于 2024-03-15 - 来自专栏周末程序猿
ChatGPT|字节开源的毫秒文生图模型
介绍 SDXL-Lightning是开源文本到图像生成模型，生成图秒出，图片质量也还不错，其huggingface地址：https://huggingface.co/ByteDance/SDXL-Lightning fastsdxl.ai/ 体验地址2：https://huggingface.co/spaces/radames/Real-Time-Text-to-Image-SDXL-Lightning 体验地址3： # 加载模型，如果是GPU可以将"cpu" -> "cuda" unet = UNet2DConditionModel.from_config(base, subfolder="unet").to("cpu ，为了减少生成图像所需的步骤数量有两种方式： 减少误差采样的方法，试图生成流更加直线化，但是仍然不能在2个推理步骤生成图像； 模型蒸馏能在少量的推理步骤中生成高质量图像，不同于计算当前流位置下的梯度，模型蒸馏改变模型预测的目标 （2）SDXL-Lightning: Progressive Adversarial Diffusion Distillation，https://arxiv.org/abs/2402.13929 （3）
29510编辑于 2025-02-27 - 来自专栏个人总结系列
开源AIGC学习—文生图模型服务封装
一、模型本地化 详细内容见：开源AIGC学习—文生图模型本地运行 二、服务封装 当前算法模型采用Python + Flask 方式进行Rest API方式进行服务封装，对应封装代码说明如下 main__': server = pywsgi.WSGIServer(('0.0.0.0', 2000), app) server.serve_forever() 也可以直接返回图片，但是文生图模型推理耗时比较长 算法模型需要上传到对于文件，结果生成需要下载文件，系统设计考虑异步调用方案。
69810编辑于 2024-03-15 - 来自专栏个人总结系列
开源AIGC学习—文生图模型本地运行
一、模型本地下载 总共涉及3种方式，来源有huggingface、modelscope，个人学习因为笔记本电脑、网络缘故，选择代码自动下载默认路径然后cp到指定路径。 https://zhuanlan.zhihu.com/p/475260268 2、git clone方式 git clone https://huggingface.co/THUDM/chatglm3- /huggingface 虽然也是从huggingface进行git下载，但还是出问题，报Checkout 'https://huggingface.co//huggingface/chatglm3- 说明本地模型加载有异常，去在线寻找地址不对报错。 snapshot_download(repo_id) print(model_dir) cp -r model_dir $traget_dir ``` modelscope的也类似 二、文生图模型本地运行
1.1K10编辑于 2024-03-13 - 来自专栏DeepHub IMBA
文生图的基石CLIP模型的发展综述
Open AI在2021年1月份发布的DALL-E和CLIP，这两个都属于结合图像和文本的多模态模型，其中DALL-E是基于文本来生成模型的模型，而CLIP是用文本作为监督信号来训练可迁移的视觉模型。 CLIP 这是OpenAI在21年最早发布的论文，要想理解CLIP，我们需要将缩略词解构为三个组成部分:(1)Contrastive ，(2)Language-Image，(3)Pre-training 对于大多数这些下游应用程序，初始CLIP模型被视为“预训练”的起点，并且整个模型针对其新用例进行微调。 也就是说随着训练数据量、训练时间或模型大小的增加，人们可以相当准确地预测模型的性能。 在过滤后的数据上训练的CLIP模型优于仅在初始高质量数据上训练的模型和在大量未过滤数据上训练的模型。
2.4K10编辑于 2024-04-01 腾讯混元文生图大模型全面开源！
和大家汇报：刚刚，腾讯混元文生图大模型，全面升级并对外开源！作为业内首个中文原生的DiT架构开源模型，腾讯混元文生图支持中英文双语输入及理解。除直接用于文生图，也可作为视频等多模态视觉生成的基础。 介绍一下，我的几项标签：//DiT架构优秀的大模型，离不开领先的技术架构。去年7月，腾讯混元文生图团队就明确了基于DiT架构的模型方向。 （DiT是基于Transformer的扩散模型架构，是Sora、Stable Diffusion 3 也选用的关键技术。） 多轮文生图提示词：(1)画一名德国男性；(2)让他再德国一些；(3)让他更德国一些。 多轮文生图提示词：(1)画一朵长在森林中的白色玫瑰；(2)背景换成室内，花插在瓶中；(3)将花改为百合花；(4)花瓣改为粉色；(5)让蝴蝶落在花瓣上；(6)改成动漫风格。
1.1K10编辑于 2024-05-14- 来自专栏量子位
用扩散模型监督NeRF，清华文生3D新方法成新SOTA
清华王霞 投稿 量子位 | 公众号 QbitAI 用文字合成3D图形的AI模型，又有了新的SOTA！ 近日，清华大学刘永进教授课题组提出了一种基于扩散模型的文生3D新方式。 文生3D是3D AIGC的热点研究内容，得到了学术界和工业界的广泛关注。 来生成全新的3D模型。 为了解决这一挑战，TICD方法将以文本为条件的和图像为条件的多视角图像纳入NeRF优化的监督信号中，分别保证了3D信息与提示词的对齐和3D物体不同视角间的强一致性，有效提升了生成3D模型的质量。 结合两种扩散模型的监督信号，TICD可对NeRF网络的参数进行更新并循环迭代优化，直到获得最终的NeRF模型，并渲染出高质量、几何清晰且与文本一致的3D内容。
67610编辑于 2024-01-04 - 来自专栏数据社
腾讯混元大模型文生图操作指南.doc
欢迎大家来到腾讯混元文生图的世界，这里有一份详细的操作指南，请查收！ 一、腾讯混元文生图简介 今天上午，腾讯混元大模型迎来全新升级，并正式对外开放“文生图”功能。 作为“从实践中来，到实践中去”的大模型，腾讯混元文生图能力，目前已经被用于素材创作，商品合成，游戏出图等多项业务中，此外在广告业务下的多轮测评中，腾讯混元文生图的案例优秀率和广告主采纳率分别达到86%和 二、腾讯混元文生图技术创新 大模型文生图的难点体现在对提示词的语义理解，生成内容的合理性以及生成图片的效果，针对这三个技术难点，腾讯进行了专项的技术研究，提出了一系列原创算法，来保证生成图片的可用性和画质 3、在画面质感方面，混元文生图基于多模型融合的方法，提升生成质感。 经过模型算法的优化之后，混元文生图的人像模型，包含发丝、皱纹等细节的效果提升了30%，场景模型，包含草木、波纹等细节的效果提升了25%。
2.5K10编辑于 2023-10-30 - 来自专栏信创系统开发
DeepSeek 第二弹：Janus-Pro 文生图模型
Janus-Pro：更强大的文生图 AI Janus-Pro 之所以加上 Pro，是因为它是去年发布的 Janus 的增强版，专为提升多模态理解与视觉生成能力而打造。 相比前代，Janus-Pro 在多个方面进行了优化： 改进的训练策略，使模型学习更高效； 扩展的训练数据，增强理解能力和生成质量； 更大的模型规模，提供更强的表现力。 开源模型，低门槛本地运行 Janus-Pro 目前提供 7B（70 亿）和 1.5B（15 亿） 两个参数规模的版本，并已全面开源。 虽然 Janus-Pro 的参数量相较超大规模模型有所限制，但 DeepSeek 团队通过数据增强策略，大幅提升了其图像生成能力。 这不仅缓解了视觉编码器在不同任务间的角色冲突，也提高了整体模型的灵活性。
2.2K30编辑于 2025-02-05 - 来自专栏资讯分享
腾讯混元大模型文生图操作指南.doc
为了便于大家全面了解和操作腾讯混元文生图，该操作指南大概从以下几个方面展开：1、 腾讯混元文生图简介2、 腾讯混元文生图技术创新3、 prompt使用注意事项4、 腾讯混元文生图测试尝鲜5、 one more thing——彩蛋时刻一、腾讯混元文生图简介今天上午，腾讯混元大模型迎来全新升级，并正式对外开放“文生图”功能。 作为“从实践中来，到实践中去”的大模型，腾讯混元文生图能力，目前已经被用于素材创作，商品合成，游戏出图等多项业务中，此外在广告业务下的多轮测评中，腾讯混元文生图的案例优秀率和广告主采纳率分别达到86%和 3、在画面质感方面，混元文生图基于多模型融合的方法，提升生成质感。 经过模型算法的优化之后，混元文生图的人像模型，包含发丝、皱纹等细节的效果提升了30%，场景模型，包含草木、波纹等细节的效果提升了25%。
1.2K51编辑于 2023-10-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号