- 综合排序
- 最热优先
- 最新优先
数据万象（CI）多模态智能检索服务技术概要
一、 产品定位与核心亮点 数据万象（Cloud Infinite, CI）多模态智能检索是腾讯云推出的基于 COS（对象存储） 的一站式智能数据处理服务。 商业差异化卖点： 多模态融合：支持文本、图片、视频等多种模态数据的混合检索。 场景深度适配：自研引擎特别适配中文电商场景，解决了通用检索在垂直领域的语义理解偏差。 检索机制创新：结合结构化标签与向量数据（Hybrid Search + Rerank），解决非结构化数据占比高、文件小数量多导致的检索低效问题。 2. 硬核指标 检索规模：支持百万级图库检索。 响应速度：秒级返回检索结果。 数据格式：覆盖图片、视频、音频、文档等全媒体文件类型。 数据集支持：包含海量中文语料数据集，针对中文语义进行了优化。 支持输入检索文本/图片/视频，进行 Embedding 相似度对比。 成效： 实现跨模态检索（以文搜视频、以图搜视频）。 支持从数十亿文件中快速查询，辅助构建智能相册或内容审核。
13300编辑于 2026-05-31- 来自专栏#大模型热点基础知识
RAG系统如何支持多模态检索？图文检索如何实现？
二、什么是多模态检索？多模态检索（MultimodalRetrieval）是指系统能够处理多种数据类型（如文本、图像、音频、视频等），并将它们映射到统一的向量空间，实现跨模态的相似度匹配。 多模态检索的三种模式：检索模式查询类型返回类型应用场景文查图文本图像"找一件红色连衣裙"图查文图像文本上传图片找商品描述图查图图像图像找相似款式三、多模态检索如何工作跨模态对齐：从对比学习到统一空间实现跨模态对齐的关键技术是对比学习 2.医学影像分析场景：医生输入"肺部结节"，检索相似病例工作流程：医生输入文本查询"肺部结节"或上传一张CT影像检索相似的医学影像（文查图/图查图）同时检索相关的病历文本、诊断报告（文查文/图查文）返回完整的病例信息价值 它让机器能够像人类一样，通过多种感官（视觉、听觉、文字）来理解和检索信息，这是人工智能向更自然、更智能方向发展的重要一步。总结：多模态检索通过跨模态对齐技术，实现了不同数据类型在同一语义空间的对话。 多模态AI的发展，正是在模拟这种自然的智能方式。真正的智能不在于单一模态的极致，而在于多模态信息的融合与理解。这不仅是一个技术挑战，更是对智能本质的探索。
60710编辑于 2026-03-25 - 来自专栏自然语言处理(NLP)论文速递
剑桥 | 发布多模态检索器，赋能多模态大模型RAG应用
PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。 近期，剑桥大学信息工程系人工智能实验室完整开源了首个预训练、通用多模态后期交互知识检索器 PreFLMR （Pre-trained Fine-grained Late-interaction Multi-modal 图 2：PreFLMR 模型同时在多项任务上取得极佳的多模态检索表现，是一个极强的预训练基底模型。 2. 下文将简略介绍 M2KR 数据集，PreFLMR 模型和实验结果分析。 M2KR 数据集 为了大规模预训练和评估通用多模态检索模型，作者汇编了十个公开的数据集并将其转换为统一的问题 - 文档检索格式。 结论 剑桥人工智能实验室提出的 PreFLMR 模型是第一个开源的通用后期交互多模态检索模型。经过在 M2KR 上的百万级数据预训练，PreFLMR 在多项检索子任务中展现出强劲的表现。
64710编辑于 2024-03-26 生成式AI革新多模态信息检索
利用生成式AI进行多模态信息检索过去十年的大部分时间里，机器学习严重依赖于嵌入的概念：模型学习将输入数据转换为向量，使得向量空间内的几何关系具有语义含义。 嵌入概念意味着一个明显的信息检索范式：查询被嵌入到表示空间中，模型选择嵌入最接近它的响应。这也适用于多模态信息检索，因为文本和图像可以被嵌入到同一个空间。然而，最近生成式AI主导了机器学习研究。 我们的模型被命名为GENIUS，是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。 然而，现有的生成方法通常是特定于任务的，在性能上不及基于嵌入的方法，并且难以处理多模态数据。 随着数据集的增长，其效率优势变得更加显著，无需像基于嵌入的方法那样进行昂贵的索引构建即可保持高检索速度。因此，它代表了生成式多模态检索领域的重要进展。FINISHED
22410编辑于 2026-02-01- 来自专栏强化学习专栏
多模态智能的发展
本篇文章是博主在人工智能等领域学习时，用于个人学习、研究或者欣赏使用，并基于博主对人工智能等领域的一些理解而记录的学习摘录和笔记，若有不当和侵权之处，指出后将会立即改正，还望谅解。 文章分类在学习摘录和笔记专栏： 学习摘录和笔记（18）---《多模态智能的发展》 多模态智能的发展 1 多模态智能定义 多模态智能旨在融合多种模态的信息进行处理实现智能应用 将多模态信号统一到同一个向量空间中，从而实现了多模态信号的交叉处理。 多模态表示：由于其复杂的跨模态交互作用和各模态训练数据与测试数据之间可能存在的失配问题，仍然是一个具有挑战性的问题。 2 多模态智能融合的发展 融合是多模态研究中的一个关键问题，它将从不同单模态数据中提取的信息整合到一个紧凑的多模态表示中。
37510编辑于 2024-12-03 生成式AI革新多模态信息检索技术
这种嵌入概念意味着一种直观的信息检索范式：查询被嵌入到表示空间中，模型选择其嵌入与之最接近的响应。这同样适用于多模态信息检索，因为文本和图像（或其他模态）可以嵌入到同一空间中。 然而，近年来生成式人工智能已主导机器学习研究。在2025年计算机视觉与模式识别会议（CVPR）上，一项研究提出了更新机器学习信息检索范式以适应生成式AI时代的方法。 该模型名为GENIUS，是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。 然而，现有的生成方法通常是任务特定的，与基于嵌入的方法相比性能不足，并且难以处理多模态数据。 其效率优势随着数据集的增长而变得更加显著，在无需进行基于嵌入方法中昂贵的索引构建的情况下，保持高检索速度。因此，它代表了生成式多模态检索领域的重要一步。
39710编辑于 2025-12-17生成式AI革新多模态信息检索技术
嵌入概念意味着一个直观的信息检索范式：查询被嵌入到表示空间中，模型会选择嵌入最接近它的响应。这也适用于多模态信息检索，因为文本和图像（或其他模态）可以嵌入到同一空间。 我们的模型名为GENIUS（意为生成式通用多模态搜索），是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。 然而，现有的生成方法通常是任务特定的，与基于嵌入的方法相比性能不足，并且难以处理多模态数据。 GENIUS与仅限于单模态任务或特定基准的先前方法不同，GENIUS可推广到文本、图像和图文对的检索，同时保持高速度和有竞争力的准确性。 随着数据集的增长，其效率优势变得更加显著，无需像基于嵌入方法那样进行昂贵的索引构建即可保持高检索速度。因此，它代表了生成式多模态检索的重大进步。
37410编辑于 2026-01-09腾讯云数据万象：多模态智能检索方案结构化解析
一、 产品定位与核心亮点 腾讯云数据万象（Cloud Infinite, CI）多模态智能检索是一款基于腾讯云对象存储（COS）构建的一站式数据处理智能平台。 其核心技术属性在于：依托数据万象大语言模型与自研元数据管理平台，将文本、图像、视频等不同模态的数据特征提取并映射至统一特征空间（Embedding），从而实现跨模态的语义比对与检索。 二、 产品应用场景 本产品主要面向拥有海量非结构化数据（特别是互联网、电商、媒体、AIGC企业）的业务团队，解决其在数据存储、二次加工处理及精准调取时面临的“文件小数量多、检索低效”痛点。 特征匹配：执行搜索指令时，通过检索条件（智能检索/向量检索、KV查询）进行 Embedding 相似度计算（支持Hybrid Search与Rerank）。 3.3 产品优势能力（全功能矩阵） 产品具备极其丰富的数据后处理能力（AIGC后期处理），功能点全景如下： 跨模态检索能力：支持以文搜图、以图搜图、以图搜视频、以视频搜视频。
19900编辑于 2026-05-31生成式AI实现多模态信息检索技术突破
利用生成式AI进行多模态信息检索过去十年间，机器学习主要依赖嵌入概念：模型学习将输入数据转换为向量，使得向量空间中的几何关系具有语义含义。例如，嵌入表示相近的词语可能具有相似含义。 这种嵌入概念催生了明显的信息检索范式：将查询嵌入表示空间，模型选择嵌入最接近的响应。这也适用于多模态信息检索，因为文本和图像可以嵌入同一空间。 我们的模型名为GENIUS（通用多模态搜索生成框架），是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。 然而，现有的生成方法通常是任务特定的，在性能上不及基于嵌入的方法，并且难以处理多模态数据。 随着数据集增长，其效率优势变得更加显著，保持高检索速度，而无需基于嵌入方法典型的昂贵索引构建。因此，它代表了生成式多模态检索的重要进展。
42010编辑于 2025-10-12生成式AI实现多模态信息检索新突破
多模态检索的范式革新过去十年间，机器学习主要依赖嵌入技术——将输入数据转换为向量，使向量空间中的几何关系反映语义关联。传统检索方式需计算查询向量与所有候选向量的相似度，当面对海量数据时效率低下。 性能突破在M-BEIR基准测试中：文本到图像检索任务（COCO数据集）Recall@5指标超越现有生成式方法28.6分结合嵌入重排序后，性能差距较传统方法缩小31%-56%检索速度不受数据库规模影响，索引构建成本降低 独立训练图像和文本编码器对比学习阶段undefined残差量化模块学习生成层级编码推理阶段undefined基于Trie树结构约束输出序列，确保生成有效ID该技术已应用于某机构搜索系统，在十亿级数据规模下保持毫秒级响应，为跨模态检索提供高效解决方案
32310编辑于 2025-08-04生成式AI实现多模态信息检索新突破
多模态信息检索的生成式革新过去十年间，机器学习（ML）严重依赖嵌入（embedding）概念：模型将输入数据转换为向量，使向量空间中的几何关系具有语义含义。例如，嵌入位置相近的单词可能含义相似。 这种范式下的信息检索流程是：将查询嵌入表示空间，模型选择与之最接近的嵌入作为响应。多模态检索也遵循此模式，文本和图像可嵌入同一空间。然而随着生成式AI的兴起，传统检索方式面临革新。 在2025年计算机视觉与模式识别会议（CVPR）上提出的GENIUS框架（通用多模态搜索生成框架），实现了生成式AI时代的信息检索突破。该模型支持图像、文本及图文对的任意组合输入输出。 三阶段架构：(0)预训练独立编码器；(1)通过对比学习训练残差量化模块；(2)解码器直接生成目标ID。推理时通过字典树约束输出序列。 （免索引构建、恒定检索时间）的同时，将生成式与嵌入式方法的性能差距缩小到可接受范围，标志着多模态检索领域的重大进步。
52900编辑于 2025-08-04- 来自专栏Datawhale专栏
KDD Cup 2020 多模态检索赛道：数据分析
本赛题使用淘宝APP的真实场景多模态数据，数据集由淘宝搜索查询和产品图像特征组成，组织成基于查询的多模态检索任务。 需要注意本次赛题不是文本匹配任务，而关注跨模态的检索过程，因此不会给出商品的原始文字描述。 本赛题主要考察跨模态的检索检索任务，而且数据量非常大，需要选手通过query文本检索到商品，具体使用检索指标进行量化： (1) 这一题典型的跨模态检索任务，由于测试集中每个query会给出可能的30个商品 ，因此也可以使用多模态匹配的方法。 (2) 充分使用query文本信息，根据文本进行分类，进一步再进行检索； (3) 如何将120G的数据进行充分训练；
1.5K10发布于 2020-04-17 网络大会聚焦信息检索与多模态AI技术
知识与多模态最让学者感兴趣的研究趋势之一是将结构化和非结构化知识及推理融入用于对话式信息检索和推荐系统的自然语言处理模型。“我可以举一个与我们工作密切相关的例子，”他说。 例如，为了推荐一部电影，智能体需要表示对话上下文，并检索关于电影本身的有用知识，理想情况下，还应提供关于是什么使这部电影适合用户的相关信息。” 得益于Alexa等产品，对话界面已变得无处不在，但关于这些智能体在现实世界中如何与用户互动，并结合屏幕和可用传感器等其他模态，这是一个完全开放的领域。 现在我们拥有更丰富的环境和交互模态。所以你可以想象，要真正提出准确的方法来解释用户与嵌入其空间的多模态对话系统的交互，还需要我们再花20年时间。” 研究领域搜索和信息检索对话式AI标签常识推理多模态交互学术合作网络大会
25110编辑于 2025-12-19- 来自专栏深度学习与python
跨语言的多模态、多任务检索模型 MURAL 解读
在 EMNLP 2021 提交的论文《MURAL：跨语言的多模态、多任务检索》（MURAL: Multimodal, Multitask Retrieval Across Languages）中，我们描述了一种用于图像 各种多语言图像-文本检索基准的平均召回率。 平均召回率是用于评估图像 - 文本数据集的跨模态检索性能的常用指标（越高越好）。 相对于 LaBSE 的可视化，MURAL 的嵌入更注重多模态的学习，表现出一些符合区域语言学（某一地理区域内的语言或方言共享元素）和接触语言学（语言或方言相互影响）的集群。 此外，在使用多模态模型学习的文本表示中，观察区域语言学和接触语言学的提示也很有意思。因此，需要进一步探索通过多模态模型（如 MURAL）隐式学习到的各种联系。 最后，我们希望这项工作能促进多模态、多语言空间的深入研究，在这个空间里，模型学习语言的表示和语言之间的联系（通过图像和文本表示），而不仅仅是资源丰富的语言。
1.7K30编辑于 2021-12-28 《特斯拉Optimus Gen - 2：多模态感知如何重塑具身智能未来》
特斯拉推出的Optimus Gen - 2，凭借其多模态感知技术，成为了这场变革中的焦点，为机器人具身智能的发展开辟了全新道路。 多模态感知技术之于机器人，就如同赋予了它们人类般丰富的感知能力。Optimus Gen - 2配备了多种先进的传感器，其中摄像头是其视觉感知的关键。 而Optimus Gen - 2借助多模态感知技术，能够快速适应不同的场景。 多模态感知技术还为Optimus Gen - 2的自主学习和决策提供了强大支持。它可以不断从多种感知渠道获取数据，学习新的知识和技能。 这种自主学习和决策能力，是具身智能发展的重要标志，使机器人能够在不断变化的环境中持续进化。特斯拉Optimus Gen - 2的出现，让我们看到了多模态感知技术在推动机器人具身智能发展方面的巨大潜力。
46310编辑于 2025-04-22- 来自专栏DotNet NB && CloudNative
多模态RAG应用之实现文本检索视频内容
但现在很多平台或者应用有大量的视频，还有某些跟视频打交道的应用比如视频编辑器，视频自动化处理工具等，这些工具如果只有简单的文本搜索就远远不够用了，搜索体验肯定会大打折扣；由此引出我们今天的主题： 如何使用多模态 简单点就是说结合大模型和网络搜索的内容，整合后再返回给你，让你看到既新又准确的答案； 多模态RAG： 则是将RAG的理念扩展到多种数据模态中，包括文本、图片、音频、视频等。 这种技术使得AI不仅能处理文本数据，还能理解和处理图片、音频等这些更多模态的数据；其实说白了就是普通RAG只支持文本，多模态拓展到图片、音视频； 嵌入式模型：嵌入式模型（Embedding）是一种广泛应用于自然语言处理 也是现在流行的RAG检索增强生成的基础。" 对比结果准确，图片1&2摩托车的相似度远远大于1&3摩托车和猫的； 处理视频数据 这里重申本文目标：使用多模态RAG实现文本到视频内容的检索 到这步我们要进行视频数据的处理了，我们把视频分成两类： 有语音对话的视频处理
1K10编辑于 2025-01-07 - 来自专栏无敌清风蓝
多模态遥感智能解译基础模型
1.2遥感大数据的基本特质 背景：美国的PlanetScope卫星星座，每天可对全球陆地全覆盖监测一次 大数据的特质：大量化，多样化，快速化，价值密度低 遥感独特的特质： 1.多传感：空间/光谱分辨率越高 ，对目标细节特征的描述越充分 成像传感器 非成像传感器 2.多分辨：获取同一区域的地物特性也不同不同类型传感器的成像机理不同 3.多时相：不同时相的变化过程，能够获取目标区域更丰富的属性信息 4.多要素 :是一个包含多类要素的信息全集，面向不同应用提供定制化服务 那有了这么多数据信息，我们需要做的是哪些事情呢 1.3遥感图像解译任务 利用某些标志直接在图像上识别地物或现象的性质、类型和状况，或通过已识别出的地物或现象 城市变化分析、灾害评估、轮作监测等 1.3.5遥感图像描述 根据输入的图像，生成一句 (段)描述的文字 特点:不仅需检测图像中的物体，还需能理解物体间的关系需结合一定自然语言处理技术 1.3.6遥感图像检索 难以直接应用到遥感图像解翻译领域 2.智能解译方法研究进展 2.1通用机器学习方法 基于贝叶斯的统计建模方法:产生式、判别式等 2.2网络模型运用 神经网络模型 +图像先验知识，缩小候选区域，降低虚警
96610编辑于 2024-06-04 - 来自专栏机器之心
剑桥团队开源：赋能多模态大模型RAG应用，首个预训练通用多模态后期交互知识检索器
机器之心专栏 机器之心编辑部 PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。 近期，剑桥大学信息工程系人工智能实验室完整开源了首个预训练、通用多模态后期交互知识检索器 PreFLMR （Pre-trained Fine-grained Late-interaction Multi-modal 图 2：PreFLMR 模型同时在多项任务上取得极佳的多模态检索表现，是一个极强的预训练基底模型。 2. 下文将简略介绍 M2KR 数据集，PreFLMR 模型和实验结果分析。 M2KR 数据集 为了大规模预训练和评估通用多模态检索模型，作者汇编了十个公开的数据集并将其转换为统一的问题 - 文档检索格式。 结论 剑桥人工智能实验室提出的 PreFLMR 模型是第一个开源的通用后期交互多模态检索模型。经过在 M2KR 上的百万级数据预训练，PreFLMR 在多项检索子任务中展现出强劲的表现。
1.9K11编辑于 2024-03-26 - 来自专栏数据科学（冷冻工厂）
单细胞分析：多模态 reference mapping (2)
") Example 2：绘制人类骨髓细胞图谱 Data 例如，我们将由人类细胞图谱项目生成的，来自八位不同捐献者的人类骨髓单核细胞（BMNC）数据集进行了映射。 尽管我们也可以计算并应用传统的PCA投影，但在处理通过WNN分析构建的多模态参考数据时，我们更推荐使用监督式PCA（sPCA）。 spca.annoy.neighbors"]], file = "/brahms/shared/vignette-data/reftmp.idx") 查询数据集预处理 本节我们将展示如何将来自多位捐献者的骨髓样本与一个多模态骨髓参考集进行比对 hcabm40k.batches <- lapply(X = hcabm40k.batches, FUN = NormalizeData, verbose = FALSE) Mapping 接下来，我们在每位捐献者的数据集与多模态参考集之间确定锚点 = 3) p1 + p2 + plot_layout(guides = "collect") 我们还可以把所有的数据对象合并成一个统一的数据集。
50710编辑于 2024-05-17 - 来自专栏TGLTommyAI前沿技术论文
KAIST最新研究：一文读懂UniversalRAG如何实现多模态、多粒度的高效检索
“模态鸿沟”（Modality Gap）：为了支持多模态，一个看似直接的方案是，用一个强大的多模态编码器将文本、图片、视频等所有内容都编码到一个统一的向量空间里，然后进行检索。 这表明，智能路由的策略远胜于“单打独斗”（Unimodal RAGs）或“大锅乱炖”（Unified Embedding RAGs 和 All Baselines）。 2. 论文图4：GME和InternVideo2几乎只检索文本（蓝色），而UniversalRAG（最右）则能根据Oracle的分布，均衡地从不同模态（None, Text, Image, Video）中检索信息 如表2所示，这种高模态选择准确率（Modality Acc）直接转化为更高的检索召回率（Recall），确保了LLM能拿到最相关的材料。 3. #RAG #多模态 #AI技术 #唐国梁Tommy #大模型 #检索增强生成 #AIGC
10000编辑于 2026-06-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号