- 综合排序
- 最热优先
- 最新优先
生成式AI革新多模态信息检索
利用生成式AI进行多模态信息检索过去十年的大部分时间里，机器学习严重依赖于嵌入的概念：模型学习将输入数据转换为向量，使得向量空间内的几何关系具有语义含义。 这也适用于多模态信息检索，因为文本和图像可以被嵌入到同一个空间。然而，最近生成式AI主导了机器学习研究。 我们的模型被命名为GENIUS，是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。 然而，现有的生成方法通常是特定于任务的，在性能上不及基于嵌入的方法，并且难以处理多模态数据。 因此，它代表了生成式多模态检索领域的重要进展。FINISHED
14510编辑于 2026-02-01- 来自专栏自然语言处理(NLP)论文速递
【NLP论文速递】条件语言生成 && 多模态图文生成
引言 好久没有给大家分享关于NLG的文章了，那么今天就给大家分享两篇关于文本生成的文章，首先第一篇是基于预训练Transformer的条件语言生成模型；然后第二篇是基于单一多模态模型的图文生成；最后 3、CNN/DailyMail 和 XSum 测试集上的抽象总结结果 4、在SQuAD数据集上文本生成的实验结果 2 多模型图文生成 论文概要 研究了图像到文本和文本到图像生成的联合学习 针对这个问题中，文章提出了一个基于单一多模态模型的统一的图文生成框架来共同研究双向任务，如下图所示。 现有的基于 Transformer 的文本到图像生成工作可以扩展到通过交换输入序列中文本和图像标记的顺序来支持图像到文本的生成。 首先，我们引入了两级粒度特征表示，其中我们使用密集特征来减少图像到文本生成的信息损失，并使用离散特征来启用文本到图像生成。
1K100发布于 2021-11-26 生成式AI革新多模态信息检索技术
这也适用于多模态信息检索，因为文本和图像（或其他模态）可以嵌入到同一空间。然而，最近，生成式AI开始主导ML研究。 我们的模型名为GENIUS（意为生成式通用多模态搜索），是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。 然而，现有的生成方法通常是任务特定的，与基于嵌入的方法相比性能不足，并且难以处理多模态数据。 其相对于先前基于生成的模型的优势基于两个关键创新：语义量化在训练期间，模型的目标输出ID通过残差量化生成。每个ID实际上是一个代码序列，第一个代码定义了数据项的模态——图像、文本或图文对。 因此，它代表了生成式多模态检索的重大进步。研究领域搜索与信息检索标签生成式AI关于作者Sungyeon Kim 是浦项科技大学（POSTECH）计算机视觉实验室的博士后研究员。
25210编辑于 2026-01-09生成式AI革新多模态信息检索技术
这同样适用于多模态信息检索，因为文本和图像（或其他模态）可以嵌入到同一空间中。然而，近年来生成式人工智能已主导机器学习研究。 该模型名为GENIUS，是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。 然而，现有的生成方法通常是任务特定的，与基于嵌入的方法相比性能不足，并且难以处理多模态数据。 其相较于先前基于生成的模型的优势基于两项关键创新：语义量化：在训练期间，模型的目标输出ID通过残差量化生成。每个ID实际上是一个代码序列，其中第一个代码定义数据项的模态（图像、文本或图文对）。 因此，它代表了生成式多模态检索领域的重要一步。
29710编辑于 2025-12-17生成式AI实现多模态信息检索技术突破
利用生成式AI进行多模态信息检索过去十年间，机器学习主要依赖嵌入概念：模型学习将输入数据转换为向量，使得向量空间中的几何关系具有语义含义。例如，嵌入表示相近的词语可能具有相似含义。 这也适用于多模态信息检索，因为文本和图像可以嵌入同一空间。 我们的模型名为GENIUS（通用多模态搜索生成框架），是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。 然而，现有的生成方法通常是任务特定的，在性能上不及基于嵌入的方法，并且难以处理多模态数据。 因此，它代表了生成式多模态检索的重要进展。
33710编辑于 2025-10-12生成式AI实现多模态信息检索新突破
多模态检索的范式革新过去十年间，机器学习主要依赖嵌入技术——将输入数据转换为向量，使向量空间中的几何关系反映语义关联。传统检索方式需计算查询向量与所有候选向量的相似度，当面对海量数据时效率低下。 GENIUS框架核心技术在2025年CVPR会议上提出的GENIUS框架带来两项关键创新：语义量化编码undefined通过残差量化生成层级式ID序列：首段代码定义数据类型（图像/文本/图文对），后续代码逐级细化表征空间区域 查询增强技术undefined通过在表征空间对查询-ID对进行插值，生成多样化训练样本，使模型能适应新型数据分布，显著提升泛化能力。 90%系统架构预训练阶段undefined独立训练图像和文本编码器对比学习阶段undefined残差量化模块学习生成层级编码推理阶段undefined基于Trie树结构约束输出序列，确保生成有效ID该技术已应用于某机构搜索系统 ，在十亿级数据规模下保持毫秒级响应，为跨模态检索提供高效解决方案。
25810编辑于 2025-08-04GPT-4.5多模态理解与生成能力分析
GPT-4.5作为OpenAI的最新多模态大模型，在视觉、音频和文本的交互理解与生成方面实现了重大突破。本文将深入分析GPT-4.5的多模态能力及其底层技术实现。 统一的多模态架构GPT-4.5采用了全新的统一多模态编码-解码架构，打破了传统多模态系统中各模态处理管道相互割裂的局限。 跨模态理解与生成GPT-4.5的真正突破在于其跨模态理解与生成能力，可以在不同模态间无缝转换和融合信息：图像到文本：不仅能描述图像内容，还能理解隐含的上下文和文化意义。 print(result)局限与未来方向尽管GPT-4.5的多模态能力已经相当强大，但仍存在一些局限：视觉生成能力有限：相比于专用的图像生成模型如DALL-E 3或Midjourney，GPT-4.5的图像生成能力相对基础 跨模态幻觉：在多模态输入的情况下，幻觉问题可能会更加复杂，模型有时会"看到"图像中不存在的内容。音频生成质量：虽然能够生成音频，但质量和自然度仍不及专用的音频生成模型。
64310编辑于 2025-03-28生成式AI实现多模态信息检索新突破
多模态信息检索的生成式革新过去十年间，机器学习（ML）严重依赖嵌入（embedding）概念：模型将输入数据转换为向量，使向量空间中的几何关系具有语义含义。例如，嵌入位置相近的单词可能含义相似。 多模态检索也遵循此模式，文本和图像可嵌入同一空间。然而随着生成式AI的兴起，传统检索方式面临革新。 在2025年计算机视觉与模式识别会议（CVPR）上提出的GENIUS框架（通用多模态搜索生成框架），实现了生成式AI时代的信息检索突破。该模型支持图像、文本及图文对的任意组合输入输出。 嵌入检索(a)需逐项比对查询与候选向量，而生成式检索(b/c)直接生成唯一ID。GENIUS(c)的首位ID码标识输出模态。 （免索引构建、恒定检索时间）的同时，将生成式与嵌入式方法的性能差距缩小到可接受范围，标志着多模态检索领域的重大进步。
43200编辑于 2025-08-04- 来自专栏CreateAMind
MetaMorph：通过指令微调实现多模态理解与生成
这些模型处理多模态输入——主要是图像和语言——并生成文本标记。 受此启发，我们探究 LLM 是否也能以同样高效且有效的方式被微调以生成视觉信息。 当前面向“统一”模型（即同时具备多模态理解与生成能力的模型）的尝试，通常将视觉生成视为与视觉理解正交的能力。 4.3 多模态生成中的推理能力 在图 10 中，我们展示了若干示例，其中模型根据谜题式提示生成图像，例如：“黄石国家公园所在国家的国旗”。 从多模态 LLM 到统一模型。近期构建统一模型（即同时支持理解与生成）的努力主要依赖于大规模预训练，或在数十亿规模数据集上进行重度微调。 例如，它能完成通常需要多步推理的多模态任务，如生成特定专有名词的图像（“乔戈里峰”），或解答视觉谜题（“生成君主斑蝶毛虫蜕变后的动物图像”）。
19210编辑于 2026-03-11 - 来自专栏我爱计算机视觉
EMNLP 2021-多模态Transformer真的多模态了吗？论多模态Transformer对跨模态的影响
Motivation 视觉语言BERT模型扩展了BERT架构，以生成多模态输入的跨模态上下文表示。当对一系列下游任务进行微调时，这些模型已被证明是非常有效的。 因此，跨模态输入消融捕获了模型在生成预测时依赖于跨模态输入和激活的程度。 作者发现，在预训练中使用的视觉目标标注是由目标检测器自动生成的，这可能导致检测结果存在很多噪声。 ▊ 3. 方法 作者使用消融来确定预训练的视觉语言模型在进行预测的时候是否结合了来自两个模态的信息。 如果测试过程中，去除某个模态的信息，对最终结果影响很大，那这个模态在最终预测的时候就是有用的；否则这个模态就是没用的。 多模态模型在预测时使用由多模态输入触发的跨模态激活。 这是原始的多模态设置，因此，有效使用多模态信息的模型应该表现最好。 Object： 在这里，作者只删除与对齐的文本短语相对应的图像区域，该模型仍然可以使用周围的视觉上下文特征 。
2.5K20发布于 2021-09-28 - 来自专栏京东技术
多模态数字内容生成的技术探索与应用实践
Tech 多模态数字内容生成，泛指利用AI生成技术生成图像、视频、语音、文本、音乐等内容的合成技术。 在京东，多模态内容生成有非常多且有趣的应用场景：基于图像生成的虚拟试衣、AI音乐生成、商品营销文案生成、AI写诗、风格化AI书法生成、文本与图像的相互生成等等。 技术趋势四：多模态与知识联合建模 虽然单模态数字内容生成已取得了较大的成功。但人类很多时候是融合了听觉、视觉、文字、常识等多方面信息进行内容生成的。 （1）文本内容生成：多模态输入单模态输出 为了生成一篇卖点突出、内容丰富、带有画面感的商品文案，我们提出了一个基于商品要素的多模态商品信息自动摘要模型，其可以根据商品的文本描述、商品图片信息，自动生成商品营销短文 COLING 2020. （2）多模态内容生成：多模态输入多模态输出 传统的多模态摘要模型，往往仅使用目标文本作为监督信号，而忽视了图像信息，导致模态偏差问题，即模型会倾向于优化文本生成的质量，而忽视了图片的挑选过程
2.4K11发布于 2021-02-25 - 来自专栏通用文字识别信息技术白皮书
【论文解读】针对生成任务的多模态图学习
在预训练的语言模型（LMs）具有强大的生成能力的推动下，最近的多模态方法建立在预训练的LMs之上，并专注于多模态内容的生成。 这使得它对于研究在生成任务中使用多对多文本和图像关系的多模态内容理解非常有用。 综上所述，论文的贡献是：多模态图学习（MMGL）：论文引入了一个系统的MMGL框架，用于处理多模态图结构的邻域信息，并使用预先训练的LM生成自由形式的文本。 三、针对生成任务的多模态图学习（Multimodal Graph Learning for Generative Tasks）给定每个节点上带有文本或图像的多模态图，论文的目标是生成以每个节点及其相邻节点为条件的文本 更具体地说，给定目标节点上的文本输入，预先训练的LM生成基于输入文本和目标节点周围的多模态上下文的自由形式的文本。
67320编辑于 2023-11-10 - 来自专栏CreateAMind
多模态生成模型的统一综述：模拟真实世界
在本综述中，我们对多模态生成模型进行了统一梳理，重点考察其在真实世界模拟中数据维度演进的脉络。 本综述旨在搭建一座桥梁，推动多模态生成模型与真实世界模拟在统一框架下的发展。 关键词—生成模型，图像生成，视频生成，3D生成，4D生成，深度学习，文献综述。 I. 2）基于多模态条件的运动生成：旨在利用其他模态输入（如文本、音频、音乐）来模拟人体动作。 多模态生成（Multimodal Generation）： 生成多样化且逼真的4D内容十分困难，因为真实场景在空间、时间及感官通道上跨越多种模态。 多模态学习的研究揭示了三个持续存在的障碍： 1）需要可靠的跨模态对齐机制，以确保合成的4D资产能准确遵循给定的文本、图像或视频提示； 2）高质量标注的多模态数据集稀缺，尤其在专业领域，限制了当前模型所能学习的真实世界动态范围
40310编辑于 2026-03-11 - 来自专栏存内计算加速大模型
腾讯发表多模态综述，什么是多模态大模型
，并且提供了现有主流的 26 个多模态大模型的简介，总结了提升多模态大模型性能的关键方法，多模态大模型脱胎于大模型的发展，传统的多模态模型面临着巨大的计算开销，而 LLMs 在大量训练后掌握了关于世界的 多模态大模型的整体架构可以被归类为如下图的五个部分，整个多模态大模型的训练可以被分为多模态理解与多模态生成两个步骤。 多模态理解包含多模态编码器，输入投影与大模型主干三个部分，而多模态生成则包含输出投影与多模态生成器两个部分，通常而言，在训练过程中，多模态的编码器、生成器与大模型的参数一般都固定不变，不用于训练，主要优化的重点将落在输入投影与输出投影之中 多模态预训练模型下游任务下游任务包括理解和生成。理解部分：生成部分：生成任务可以被认为是图像-文本的双重任务，生成任务可以分为文本到图像生成和图像到文本生成（多模式文本生成）。 该模型利用了一个基本概念，即从源模态XS到目标模态XT的转换会生成一个捕获两个模态之间联合信息的中间表示。
5.7K13编辑于 2024-05-14 agent多模态学习
多模态意图识别：结合文本和视觉等多模态特征，判断用户的核心需求（如商品破损退货、设备故障报修）。 目标分解与计划生成：将复杂任务拆解为一系列原子操作（子任务），并规划执行顺序。 七、多模态内容生成 7.1 文本生成 基于融合后的多模态上下文，LLM 可以生成更精准、丰富的文本回复。 7.2 图像生成与编辑 多模态 Agent 可以调用图像生成模型（如 DALL·E 3、Stable Diffusion），根据文本描述生成或修改图像。 7.4 多模态报告与可视化 Agent 可以整合文本、图表、图片等多种信息，自动生成结构化的报告（如 PPT、PDF），或将数据自动生成为可视化图表，辅助决策。 十、发展趋势与挑战 10.1 技术趋势 原生多模态大模型：模型自身具备强大的多模态理解和生成能力，减少对外部工具的依赖。
54310编辑于 2026-01-15- 来自专栏AI 大数据
【多模态 AI】从跨模态学习到生成革命：文本、图像与音频的深度交融
摘要多模态 AI 架构通过融合文本、图像、视频和音频等多种数据模态，展现了强大的跨模态学习与应用能力，广泛应用于智能助手、内容生成与搜索等领域。 本文深入解析多模态 AI 的技术架构与核心融合机制，展示典型应用场景，并提供跨模态生成的示例代码，助力开发者更好地理解和构建多模态 AI 系统。 多模态 AI 的发展致力于打破模态间的壁垒，通过统一表示与跨模态学习，实现更强的理解与生成能力。本文将从基础理论到实际应用，探讨多模态 AI 的技术全景。 Q2: 跨模态生成的质量如何优化？A2: 增加训练数据的模态多样性，改进生成模型（如扩展网络容量或引入对比学习）。总结本文分析了多模态 AI 的核心技术，包括跨模态表示学习、融合机制与典型应用案例。 通过代码示例和技术框架解析，展示了构建多模态 AI 系统的路径和思路。未来展望统一大模型：进一步提升多模态联合处理与生成能力。实时处理：针对视频和音频的低延迟多模态分析。
2.1K20编辑于 2025-01-21 - 来自专栏CSDN社区搬运
多模态COGMEN详解
在本文中，我们提出了基于 COntex- tualized Graph Neural Network的多模态情感识别COGMEN）系统，该系统利用了本地信息（即说话人之间的内/外依赖性）和全局信息（上下文 “iemocap_4” --modalities=“atv” 部署方式 下载我训练好模型，以及数据集，附件里有data，modelcheckpoint文件夹，分别替换代码中的文件夹即可，我对每个单独的模态都有训练 处，把"cuda"改成"cpu"的方式 如果.pt文件无法打开，可以选择重新训练，自己生成模型文件 模型文件有硬件要求，提供的.pt文件都是用cpu训练，如果需要改成cuda版本，需要另外进行训练
32910编辑于 2024-12-05 【多模态大模型】
多模态大模型的核心能力 多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括： 图像到文本：识别图片内容并生成描述、广告文案或诗歌。 案例分析：基于多模态模型的图像描述生成 场景：电商平台需自动生成商品图片的营销文案。 流程： 输入处理：将商品图片编码为特征向量，如使用CLIP的视觉编码器提取图像嵌入。 多模态对齐：模型将图像特征与文本语义空间对齐，生成候选描述。 输出优化：通过强化学习调整生成文本的流畅性与吸引力。 多模态编码：结合Whisper（语音转文本）和ViT（视频帧分析）。 摘要生成：文本模型（如GPT-3.5）提炼关键信息。 硬件需求：多模态训练通常需要A100/H100级GPU支持混合精度计算。 部署建议 轻量化：使用蒸馏版模型（如TinyBLIP）降低推理成本。 缓存机制：对高频查询内容预生成结果以减少实时计算压力。
33910编辑于 2026-01-20- 来自专栏DrugOne
Methods | 用于整合多模态数据的深度生成模型
在这里，作者介绍了MultiVI，这是一个用于多模态数据集概率分析的深度生成模型，也支持它们与单模态数据集的整合。 给定单个细胞的多模态数据X和样本（或批次）S，作者将观测数据分为基因表达（XR）和染色质可访问性（XA）。 在模型的第二部分，观测值从潜在表示中生成，使用模态特定的解码器神经网络。 对于配对（多模态）细胞，似然从两种模态计算，而对于非配对细胞，则只从相应的模态计算。最后，在训练过程中模型包括了一个对抗组件，如果来自不同模态的信息在潜在空间中过度分离，则对模型进行惩罚。 通过这种方式，研究者们可以评估MultiVI在整合不完全配对的多模态数据方面的性能。
74810编辑于 2024-01-11 文本到可视化多模态生成基准与评估框架
Text2Vis：从文本生成多模态可视化的挑战性多样化基准自动化数据可视化在简化数据解读、增强决策支持和提升效率方面发挥着关键作用。 虽然大语言模型在从自然语言生成可视化方面展现出潜力，但缺乏全面基准测试限制了对模型能力的严格评估。 为缩小这一差距，提出了首个跨模态行动者-评论家代理框架，联合优化文本答案和可视化代码，将GPT-4o的通过率从直接方法的26%提升至42%，同时提高了图表质量。
18910编辑于 2025-09-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号