现在腾讯云智能检索 MetaInsight 推出一键部署插件 metainsight-context-engine,带你快速解锁多模态记忆!一、多模态记忆,到底强在哪? 二、MetaInsight 带你快速解锁多模态记忆MetaInsight 是腾讯云数据万象基于海量数据推出的多场景、跨模态智能检索服务,相较于官方“Gemini Embedding 模型嵌入索引 + 本地记忆检索 ”的方式,具有以下优势:云上记忆管理超省心MetaInsight 与腾讯云 COS 深度绑定,通过 metainsight-context-engine 插件,记忆文件会自动传入到 COS Bucket 后续当你检索内容时,MetaInsight 都能理解你的语义,输出心仪的结果。 也欢迎加入产品交流群,获取最新资讯与 MetaInsight 文档检索体验测试机会。
数据万象推出的智能检索 MetaInsight 服务将多模态检索与元数据管理方式相结合,自动为云上的文档、图片、音视频等非结构化数据提供智能数据处理、分析、检索全流程服务,支持语义检索、标签检索、元数据管理 目前,智能检索MetaInsight正在限时免费公测中,结束时间为2024年8月31日。 语义检索效果展示 |标签检索 智能检索 MetaInsight 提供不同业务所需的算子,例如基础信息算子,可自动化提取文件的各类元信息,抑或是媒体信息算子,可提取音视频文件编码格式、码率等元信息,还有各类型的智能算子 contentType:image/jpeg 标签检索 |元数据管理 通过智能检索 MetaInsight ,COS 用户上亿级别的文件管理与统计都将不再是问题,智能检索 MetaInsight 可与 数据万象的智能检索 MetaInsight 已于2024年6月1日开启公测,公测期间限时免费。
MetaInsight 让 RAG 变成可轻松消费的云服务 在过去,为你的应用赋予基于私有知识的问答能力,搭建一整个 RAG 应用,意味着你要启动一个「小型工程项目」。 为了更直观地展示由开发者手动搭建传统 RAG 检索模块与直接使用 MetaInsight 的差别,我们整理了一份详细的表格,展示了各种模块的处理难点与使用 MetaInsight 后的便捷。 特性 / 步骤 传统 RAG 检索模块 (手动搭建) MetaInsight (全托管) 1. 工程运维 (Ops) 高度复杂,需专人维护和扩展 零运维 (Serverless),按需使用 助力千行万业 MetaInsight 的场景应用 腾讯云 MetaInsight 具备多种检索能力,可以广泛适配多个不同行业的多种复杂场景 「企业内部的技术团队」:对于非核心 AI 研发的企业,MetaInsight 是降本增效的利器。
非结构化数据在存入 COS 对象存储后,通过 MetaInsight 提取元数据和向量特征实现结构化管理,并提供查询检索 API;Data Engine 在查询 MetaInsight 的数据后可以进一步处理数据集 数据万象 Metalnsight:提升多模态数据检索效率 近期,腾讯云发布了 MetaInsight,这一创新工具旨在提升多模态数据的检索效率。 基于AI大模型和向量数据库,MetaInsight 为用户提供跨模态的数据检索能力,能够高效地挖掘多种类型数据中的深层价值。 典型案例:数据智能的高效应用 MetaInsight 与 GooseFS 的协同,让数据更智能、高效地计算 通过 MetaInsight(语义检索或元数据查询),从 COS Data Store 中提取所需数据 识别的标签可写入 MetaInsight 建立索引,后续可通过元数据查询快速检索对应数据集,提升数据的管理效率。
洞察与分析:“记忆洞察(MetaInsight)”组件对这些记忆数据进行内容分析、向量化,提取元数据并建立关联索引。 MetaInsight:提供数据智能检索服务。 7. 数据万象 CI:数据智理引擎 MetaInsight,提供数据智能检索服务 介绍数据万象数据智理引擎(MetaInsight)的核心能力和特点,主要包括支持跨模态(内容、向量、标签、元信息)检索;覆盖 MetaInsight:结合大模型,为 Data Platform 提供数据智能检索服务 针对 MetaInsight 如何结合大模型(如万象图文大模型)和向量数据库(Cloud VectorDB), MetaInsight + GooseFS,让数据更智能、更高效地计算 强调 MetaInsight 与 GooseFS 的协同效应:通过 MetaInsight 从 COS 中智能检索出有价值的数据,
不牺牲性能下显著降低存储成本; 灵活资源配置:按需扩展与资源优化,适配业务动态需求; 模块化产品矩阵:数据加速(GooseFS系列)、数据治理(数据万象CI)、数据存储(对象存储COS)、智能检索(MetaInsight Data Platform解决方案说明): 数据清洗效率翻倍,数据推理性能最高10倍提升(数据湖存储GooseFS); 数据万象CI降低数据处理复杂度及成本30%(批量自动化处理); 智能检索MetaInsight 模型训练:GooseFS-Cache加速训练数据与checkpoint传输,提升训练效率; 仿真验证:GooseFS-Sx、GooseFS-Lite、GooseFS-X协同优化数据传输,结合MetaInsight 选择腾讯云的核心在于技术确定性与产品协同性: Yotta存储架构实现存储效率与成本的最优平衡; GooseFS数据湖存储专注加速与性能突破; 数据万象CI通过自动化治理降低运维复杂度; MetaInsight
技能三:多模态记忆库 MetaInsight 智能检索插件 metainsight-context-engine 插件能够生成多模态记忆,以 Metalnsight 为底层处理引擎,基于高效可靠的 2、打开 OpenClaw,发送消息: 1.帮我执行以下命令安装插件:openclaw plugins install metainsight-context-engine 2.帮我配置该插件 metainsight-context-engine 即日起至5月5日,体验 COS skill、 COS 向量桶、MetaInsight 上述任意插件,并分享你的“鹅厂龙虾”实践,就有机会获得 Mac mini、PICO4、Bose 音响、机械键盘等壕礼
2、开箱即用的“理解力”——MetaInsight 有了存储“记忆”的底座,如何让企业快速用起来?MetaInsight 提供了从原始数据到智能检索的一站式引擎。 在非结构化数据接入后,MetaInsight 将自动进行内容理解、特征向量提取与元信息识别。内置以图搜图、文档解析、混合检索、智能排序等多种智能算子,原始数据和向量数据自由流转。 MetaInsight 支持多模态数据检索召回率95%+,并能结合元数据进行精准过滤;面向千万级图片/文档的数据集,单个查询的端到端延迟可控制在300毫秒以内,满足高并发场景需求;已预置超过1000个细分场景的检索模板 在文档检索这个典型场景中,MetaInsight 通过深度语义理解实现精准匹配,并可将答案定位回溯至原文位置,彻底解决了传统方案“找不准、难溯源”的痛点。 MetaInsight 文档检索架构图 3、为每个 Agent 打造“专属空间”——Agent Bucket 腾讯云存储即将发布的 Agent Bucket 采用 “一虾一库” 的核心理念,当企业内同时运行成百上千个
除了常规数据处理,还引入了 MetaInsight(Data Catalog)组件。随着大模型不断完善、能力提升,它为非结构化数据处理带来了新契机。 在 Data Platform 功能构建中,数据处理与 MetaInsight 的 Data Catalog 紧密结合,共同集成于数据万象产品。 MetaInsight 是内部重要的数据处理组件,其处理流程清晰且高效。它主要包含三大部分组件:API、万象图文大模型以及腾讯云向量数据库。 温涛表示,此时,MetaInsight 提供了更优的解决方案。它依据 Catalog 能力,精准定位与业务相匹配的数据。 通过 MetaInsight 与 GooseFS 的协同工作,实现了高效精准的数据调用。
自动化数据治理(CI)与智能检索(MetaInsight): 接入数据万象CI进行自动化处理,并依托MetaInsight进行智能化检索与元数据洞察,彻底革新传统人工治理模式。 核心指标三:海量数据检索与并发吞吐突破 智能检索组件MetaInsight将非结构化数据检索的准确率拉升至95%以上,实现亿级数据毫秒级响应。
一体化数据平台解决方案 腾讯云存储数据平台提供覆盖数据采集、清洗、训练、推理到应用的全链路服务,通过 GooseFS(数据湖存储)、COS(对象存储)、数据万象 CI(数据处理)及 MetaInsight (GooseFS 实现) 数据推理性能最高提升 10 倍(GooseFS 实现) 数据处理复杂度与成本降低 30%(数据万象 CI 实现) 非结构化数据检索准确率提升至 95%+,亿级数据毫秒级响应(MetaInsight
数据万象CI提供近存储端的数据治理能力,通过智能检索 MetaInsight 实现对元数据及全媒体类型数据的跨模态检索,在保障数据计算与内容合规的同时,持续释放内容价值。 数据万象的智能检索 MetaInsight 实现数据精细化管理,满足千亿级别的统一数据治理,做到降本增效。 一站式数据处理:数据万象 CI 具备100+丰富的数据处理能力,可对 COS 中数据进行自动化处理,智能检索 MetaInsight 有效提升数据的处理、管理、分析、检索效率。
腾讯云存储以 COS 为核心构建 Data Platform 方案,集成 GooseFS、MetaInsight 等组件,专为 AI 训练和推理场景优化,为具身智能行业提供从存储到数据治理的完整底座。 数据治理 — MetaInsight 腾讯云数据万象旗下智能检索与数据治理产品,与 COS 深度集成。 数据资产化:MetaInsight 沉淀可检索多模态数据资产,形成采集→训练→仿真→应用的正向数据飞轮。 4. 安全合规:端到端加密、细粒度鉴权、完整审计日志,多客户数据严格隔离。 5.
观看视频,了解更多 DataPlatform 方案细节 展区互动 图之蜜语,感知数据处理技术 在智算星球互动展区,数据万象体验馆·图之蜜语将盲水印和智能检索 MetaInsight 技术嵌入祝福卡片,降低技术门槛 智能检索 MetaInsight 能够对海量非结构化数据自动完成内容向量特征、内容标签及对象元信息的提取与管理,支持以图搜图、以文搜图、人脸检索、视频搜视频等丰富的智能检索方式,助力客户构建千亿级数据毫秒级响应的高效检索与治理体系
温涛表示,Data Platform 数据平台解决方案不仅仅提供存储服务, 并围绕对象存储 COS 提供了数据处理(万象- Data Engine),数据管理(万象 - MetaInsight),数据加速 据介绍,升级后的数据万象2.0让用户更高效的处理和管理数据,数据处理供近存储端的数据处理能力,可以提升数据挖掘效率和优化数据处理的成本;数据管理可通过 MetaInsight 提供的元数据检索和语言检索接口 数据万象以编解码和 AI 技术为底座,通过核心的存算混部架构、智能检索 MetaInsight 能力、高效边转边播技术,打造了一个近存储侧的一站式数据治理智能平台,旨在帮助用户挖掘数据的最大价值。
paper:QuickInsights: Quick and Automatic Discovery of Insights from Multi-Dimensional Data相关 paper:MetaInsight MetaInsightQuickInsight的洞察主要基于单个洞察数据单元进行,MetaInsight可以聚合关联多个洞察数据单元,产出更复杂,高级的数据洞察。 继续以上洛杉矶销量数据的洞察,当我们扩展subspace到其他城市的销售数据时,MetaInsight会产出以下关联分析。 XInsight以上QuickInsight和MetaInsight都还停留在相关性数据分析的领域,而XInsight着眼在因果性分析,也算是前两年很火的因果推断方向。 意图选择任务:如何分析以上洞察,这里分了三个意图,分别对应以上的3个Agent,Understand-QuickInsight, Summarize-MetaInsight, Explain-XInsight
汽车辅助驾驶存储解决方案【方案特性】); 数据万象CI:一站式智能处理平台,集成图片/视频/语音智能审核、内容识别等百余种能力,支持工作流编排自动化处理(来源:产品能力介绍-数据万象CI【产品特性】); MetaInsight 支持自然语言查询与跨模态检索(文本搜图像),亿级数据毫秒级响应(来源:PART 02【方案特性】); Metalnsight数据治理:统一元数据索引与血缘追溯,实现数据自动关联分析(来源:方案价值-MetaInsight 02【方案价值】); 多级加速引擎:GooseFS通过“缓存+协议转换+近计算端调度”,实现TB/s级吞吐与亚毫秒级时延(来源:方案特性-GooseFS); 智能分层与治理:COS冷热分层降本,MetaInsight
在数据管理方面,数据万象充分依托大模型与向量数据库技术,专门为对象存储 COS 赋予了强大的智能检索 MetaInsight 能力,形成了覆盖数据特征提取、元数据管理、跨模态检索等多个关键环节的智能数据管理体系 当数据上传至COS后,借助事件触发机制自动触发 MetaInsight 的特征提取工作以及索引构建流程,它会自动为COS存储桶创建增量式元数据和内容索引,并且有力地支持通过自然语言描述来进行秒级检索。 DeepSeek 热潮之后,腾讯云存储基于数据万象 MetaInsight 能力引入 DeepSeek 进行了探索布局,将对应的文档进行切片、相关内容检索,推进到下一层结合自研模型能力对数据知识进行判断
核心内容如下 腾讯云存储通过推出 Data Platform 框架性解决方案,结合对象存储 COS、智能检索 MetaInsight、数据万象 CI 和数据加速器 GooseFS 2.0 等关键组件,满足 其中,COS 作为数据存储的基石,提供了高可靠性和超大规模的数据存储能力;MetaInsight 则专注于数据内容分析,将非结构化数据转化为结构化数据,为后续的数据处理和分析奠定基础;Data Engine
03、“双引擎”驱动 从数据存储到数据价值挖掘 借助数据处理和 MetaInsight 智能检索双引擎实现千亿级元数据管理,最大化挖掘数据价值。 数据智理引擎“MetaInsight”:具备跨模态检索能力,支持对千亿级元数据进行毫秒级智能检索与统计分析,实现“以图搜图”、“以文搜图”等高级应用,让海量数据变得可管、可查、可用,真正释放数据潜能。