数据万象推出的智能检索 MetaInsight 服务将多模态检索与元数据管理方式相结合,自动为云上的文档、图片、音视频等非结构化数据提供智能数据处理、分析、检索全流程服务,支持语义检索、标签检索、元数据管理 目前,智能检索MetaInsight正在限时免费公测中,结束时间为2024年8月31日。 语义检索效果展示 |标签检索 智能检索 MetaInsight 提供不同业务所需的算子,例如基础信息算子,可自动化提取文件的各类元信息,抑或是媒体信息算子,可提取音视频文件编码格式、码率等元信息,还有各类型的智能算子 contentType:image/jpeg 标签检索 |元数据管理 通过智能检索 MetaInsight ,COS 用户上亿级别的文件管理与统计都将不再是问题,智能检索 MetaInsight 可与 数据万象的智能检索 MetaInsight 已于2024年6月1日开启公测,公测期间限时免费。
实现这种“基础智能”的关键,正是强大的检索能力,而依托 AI ready 原生架构与向量数据湖的统一存储能力,结合 RAG 与多模态技术,这份能力已成为企业数智化转型的核心支撑。 ,为企业提供更强大、更智能的非结构化数据检索方案,真正降低 RAG 与多模态应用的落地门槛。 特性 / 步骤 传统 RAG 检索模块 (手动搭建) MetaInsight (全托管) 1. ,提取技术参数 查看图纸截图、设备故障、施工现场照片 MetaInsight 与广大开发者携手 迈向智能化的未来 对于绝大多数技术开发者而言,是一次巨大的「生产力解放」。 今天,腾讯云 MetaInsight 最新功能“文档检索”已正式启动内测,我们诚邀您一起,尝试用更自然的方式探索数据,用更智能的工具创造价值。 点击⬇️阅读原文了解更多
现在腾讯云智能检索 MetaInsight 推出一键部署插件 metainsight-context-engine,带你快速解锁多模态记忆!一、多模态记忆,到底强在哪? 二、MetaInsight 带你快速解锁多模态记忆MetaInsight 是腾讯云数据万象基于海量数据推出的多场景、跨模态智能检索服务,相较于官方“Gemini Embedding 模型嵌入索引 + 本地记忆检索 强大的多模态检索能力针对龙虾用户复杂的记忆数据,MetaInsight 作为底层多模态记忆处理引擎,可实现非结构化数据的索引构建与毫秒级语义检索。 后续当你检索内容时,MetaInsight 都能理解你的语义,输出心仪的结果。 五、了解更多腾讯云 MetaInsight 最新功能“文档检索”正在内测中,我们诚邀您一起,尝试用更自然的方式探索数据,用更智能的工具创造价值,想了解更多细节可以联系我们。
本次演讲聚焦腾讯云数据平台如何突破传统存储的边界,通过整合 COS 对象存储、MetaInsight 智能检索、Data Engine 数据处理引擎和 GooseFS 数据加速器系统,构建全面的 AI Data Platform 包含四个核心产品:COS 对象存储提供数据存储功能;MetaInsight 实现数据智能检索和数据目录功能;Data Engine 提供高效的数据处理能力;而 GooseFS 数据万象 Metalnsight:提升多模态数据检索效率 近期,腾讯云发布了 MetaInsight,这一创新工具旨在提升多模态数据的检索效率。 典型案例:数据智能的高效应用 MetaInsight 与 GooseFS 的协同,让数据更智能、高效地计算 通过 MetaInsight(语义检索或元数据查询),从 COS Data Store 中提取所需数据 识别的标签可写入 MetaInsight 建立索引,后续可通过元数据查询快速检索对应数据集,提升数据的管理效率。
记忆洞察(MetaInsight): 角色:核心的元数据管理和分析引擎,作为 Memory Lake 的元数据管理与智能检索中枢。 MetaInsight:提供数据智能检索服务。 7. 数据万象 CI:数据智理引擎 MetaInsight,提供数据智能检索服务 介绍数据万象数据智理引擎(MetaInsight)的核心能力和特点,主要包括支持跨模态(内容、向量、标签、元信息)检索;覆盖 MetaInsight:结合大模型,为 Data Platform 提供数据智能检索服务 针对 MetaInsight 如何结合大模型(如万象图文大模型)和向量数据库(Cloud VectorDB), MetaInsight + GooseFS,让数据更智能、更高效地计算 强调 MetaInsight 与 GooseFS 的协同效应:通过 MetaInsight 从 COS 中智能检索出有价值的数据,
腾讯云存储为您带来三款官方出品、开箱即用的强大技能,让你的更敏捷、更智能、更经济地应对工作任务。 图片处理:支持获取图片信息、质量评估、超分辨率、智能抠图、水印等。 内容检索:支持“以图搜图”和“以文搜图”,快速定位海量存储中的目标文件。 文档处理:支持常用文档格式转换、视频截帧生成等。 技能三:多模态记忆库 MetaInsight 智能检索插件 metainsight-context-engine 插件能够生成多模态记忆,以 Metalnsight 为底层处理引擎,基于高效可靠的 多模态检索:非结构化数据的索引构建与毫秒级语义检索,让大模型理解文件内容。 解决痛点:想让 OpenClaw 理解并记住你们聊过的图片、文档、音频等多模态数据,但实现需要一系列复杂工程,门槛过高。 ️ 2、打开 OpenClaw,发送消息: 1.帮我执行以下命令安装插件:openclaw plugins install metainsight-context-engine 2.帮我配置该插件 metainsight-context-engine
2、开箱即用的“理解力”——MetaInsight 有了存储“记忆”的底座,如何让企业快速用起来?MetaInsight 提供了从原始数据到智能检索的一站式引擎。 在非结构化数据接入后,MetaInsight 将自动进行内容理解、特征向量提取与元信息识别。内置以图搜图、文档解析、混合检索、智能排序等多种智能算子,原始数据和向量数据自由流转。 MetaInsight 支持多模态数据检索召回率95%+,并能结合元数据进行精准过滤;面向千万级图片/文档的数据集,单个查询的端到端延迟可控制在300毫秒以内,满足高并发场景需求;已预置超过1000个细分场景的检索模板 在文档检索这个典型场景中,MetaInsight 通过深度语义理解实现精准匹配,并可将答案定位回溯至原文位置,彻底解决了传统方案“找不准、难溯源”的痛点。 MetaInsight 文档检索架构图 3、为每个 Agent 打造“专属空间”——Agent Bucket 腾讯云存储即将发布的 Agent Bucket 采用 “一虾一库” 的核心理念,当企业内同时运行成百上千个
广泛应用于汽车驾驶、AIGC、具身智能等行业,在大数据、内容分发等场景展现优势,为客户构建统一、高效、智能的数据基础设施。也在今年荣获中国 AI 云存储解决方案市场增长指数冠军。 观看视频,了解更多 DataPlatform 方案细节 展区互动 图之蜜语,感知数据处理技术 在智算星球互动展区,数据万象体验馆·图之蜜语将盲水印和智能检索 MetaInsight 技术嵌入祝福卡片,降低技术门槛 智能检索 MetaInsight 能够对海量非结构化数据自动完成内容向量特征、内容标签及对象元信息的提取与管理,支持以图搜图、以文搜图、人脸检索、视频搜视频等丰富的智能检索方式,助力客户构建千亿级数据毫秒级响应的高效检索与治理体系 深度剖析了腾讯云存储相关产品和方案,及其货拉拉、元石科技等客户,和汽车驾驶、手机终端、具身智能等行业的落地实践。 点击小程序,获取完整版白皮书 客户之声 帕西尼与智能化云底座加速具身智能落地 帕西尼通过带有稀缺触觉模态的亿级全模态具身智能数据,助力 AI 理解现实物理世界。
腾讯云智能体开发平台(TencentCloudADP)构建的批量关键词检索智能体是新一代智能信息检索解决方案。 同时调用多个数据源API进行并行检索●智能负载均衡:动态分配检索任务,避免API限流●实时结果汇总:实时收集和初步整理各源检索结果第三层:智能分析输出层●相关性智能评估:基于AI算法评估结果与关键词的相关性 ●质量评分排序:多维度质量评估和智能排序●结构化数据输出:生成标准化的数据报告和可视化图表分步详解第1步:关键词预处理功能说明:对输入的批量关键词进行智能预处理,确保检索质量和效率。 :对检索结果进行多维度智能评估,生成结构化报告和可视化图表。 ●PDF报告:可视化分析报告●JSON数据:结构化数据接口●图表可视化:趋势图、分布图、对比图结论基于腾讯云智能体开发平台(TencentCloudADP)构建的批量关键词检索作为新一代智能信息检索解决方案
数据万象CI提供近存储端的数据治理能力,通过智能检索 MetaInsight 实现对元数据及全媒体类型数据的跨模态检索,在保障数据计算与内容合规的同时,持续释放内容价值。 使用场景 腾讯云 Data Platform 数据平台解决方案深度适配数据湖、AIGC、汽车辅助驾驶、具身智能、HPC等高性能存储场景。 数据万象的智能检索 MetaInsight 实现数据精细化管理,满足千亿级别的统一数据治理,做到降本增效。 一站式数据处理:数据万象 CI 具备100+丰富的数据处理能力,可对 COS 中数据进行自动化处理,智能检索 MetaInsight 有效提升数据的处理、管理、分析、检索效率。
腾讯云存储以 COS 为核心构建 Data Platform 方案,集成 GooseFS、MetaInsight 等组件,专为 AI 训练和推理场景优化,为具身智能行业提供从存储到数据治理的完整底座。 数据治理 — MetaInsight 腾讯云数据万象旗下智能检索与数据治理产品,与 COS 深度集成。 支持自然语言检索机器人操作视频(如"抓取失败案例"),自动提取视频帧元数据,跨模态关联分析,并完整记录数据血缘链路,将海量原始数据转化为可检索的数据资产。 5. 数据资产化:MetaInsight 沉淀可检索多模态数据资产,形成采集→训练→仿真→应用的正向数据飞轮。 4. 安全合规:端到端加密、细粒度鉴权、完整审计日志,多客户数据严格隔离。 5. 数据是具身智能的燃料,云是具身智能的引擎——期待与更多机器人企业携手,共同推动具身智能产业加速走向规模化商业落地。
而在 AI 大模型与产业融合的变革中,存储架构优化对数据、智能解析等发挥着重要影响。 在数据管理方面,数据万象充分依托大模型与向量数据库技术,专门为对象存储 COS 赋予了强大的智能检索 MetaInsight 能力,形成了覆盖数据特征提取、元数据管理、跨模态检索等多个关键环节的智能数据管理体系 当数据上传至COS后,借助事件触发机制自动触发 MetaInsight 的特征提取工作以及索引构建流程,它会自动为COS存储桶创建增量式元数据和内容索引,并且有力地支持通过自然语言描述来进行秒级检索。 DeepSeek 热潮之后,腾讯云存储基于数据万象 MetaInsight 能力引入 DeepSeek 进行了探索布局,将对应的文档进行切片、相关内容检索,推进到下一层结合自研模型能力对数据知识进行判断 从内容检索到模型推理,再到应答阶段,贯穿整个流程,针对每种不同模态的模型,实现更精细化的权限管理,基于 DeepSeek 能力和自研模型结合,构建企业知识库的框架。
存储产品全线升级 打造智能存储底座 针对人工智能时代各个行业对数据存储、管理、加速的需求,腾讯云存储解决方案总监温涛宣布了 Data Platform 数据平台解决方案的重磅发布,并带来全新升级的 GooseFS 温涛表示,Data Platform 数据平台解决方案不仅仅提供存储服务, 并围绕对象存储 COS 提供了数据处理(万象- Data Engine),数据管理(万象 - MetaInsight),数据加速 据介绍,升级后的数据万象2.0让用户更高效的处理和管理数据,数据处理供近存储端的数据处理能力,可以提升数据挖掘效率和优化数据处理的成本;数据管理可通过 MetaInsight 提供的元数据检索和语言检索接口 数据万象以编解码和 AI 技术为底座,通过核心的存算混部架构、智能检索 MetaInsight 能力、高效边转边播技术,打造了一个近存储侧的一站式数据治理智能平台,旨在帮助用户挖掘数据的最大价值。 目前 CLS 已经构建了针对日志场景的专用大模型,实现智能编写日志查询分析语句。同时新增全自动配置索引、一键生成仪表盘等智能化功能,降低操作复杂度、提升产品易用性,实现产品智能化升级。
智能缓存:利用 GooseFS 读、写缓存能力,驱动数据在本地 Nvme SSD 和远端对象存储 COS 之间高效、智能流转,大幅减少 GPU 等待时间,在实战中可将 GPU 利用率提升至90%以上。 成本骤降:混合索引+智能调度,兼顾海量向量检索性能,依托 COS 低成本存储,相比传统内存及 SSD 方案,TCO 降低90%以上。 腾讯云 MetaInsight 提供了面向数据湖和 AI 的全方位视图与管理能力,通过统一的元数据管理和数据湖技术,让数据成为可被 AI 索引和使用的活资产。 开放生态:结合腾讯云的数据万象(CI)处理能力,MetaInsight 能够无缝对接主流计算引擎与 AI 框架,让数据在存储层即可完成预处理与检索,不仅提升了处理效率,更让企业能在一个开放的平台上自由构建 从存储仓库到智能生产线,腾讯云正在通过高性能、低成本、智能化的存储解决方案,消除 AI 技术落地的门槛。
"为主题,深入分享了在 AI 技术浪潮下,腾讯云如何通过领先的智能数据存储与处理能力,帮助出海企业应对数据规模激增、处理效率提升及合规安全等多重挑战。 它使得热数据始终保留在离计算最近的地方,并能与 COS 对象存储之间实现智能、自动的数据流动,既满足了极致性能要求,又兼顾了存储成本效益。 03、“双引擎”驱动 从数据存储到数据价值挖掘 借助数据处理和 MetaInsight 智能检索双引擎实现千亿级元数据管理,最大化挖掘数据价值。 数据智理引擎“MetaInsight”:具备跨模态检索能力,支持对千亿级元数据进行毫秒级智能检索与统计分析,实现“以图搜图”、“以文搜图”等高级应用,让海量数据变得可管、可查、可用,真正释放数据潜能。 目前,腾讯云 Data Platform 已服务300+细分行业,覆盖 AIGC、汽车、具身智能、游戏、电商等领域。为出海企业提供高效、安全的数据存储与处理能力。
02、腾讯云数据平台核心架构与技术优势 为应对上述挑战,腾讯云构建了“统一存储 + 智能加速 + 全链路处理 + 智能检索”的一体化数据平台,核心包含四大组件: COS 对象存储:作为全功能、高可靠、低成本的存储基础 Data Engine 数据处理引擎:数据万象 CI 提供一站式数据处理服务,覆盖图像(标注、增强、修复)、音频(降噪、ASR、智能作曲)、视频(转码、智能封面、修复)、文件(预览、脱敏、压缩)等全类型数据处理 MetaInsight 智能检索:结合数据万象图文大模型与向量数据库,实现数据向量化索引与语义相似度检索,支持跨模态数据(文本、图像、视频)智能查询,通过 API 快速构建索引库与检索服务,释放数据价值 数据湖实现原始数据、训练数据集、仿真数据统一存储,通过 GooseFS-Cache 加速数据读写,将自动驾驶训练性能提升30%,数据预处理时间缩短40%;同时支持路测车辆、量产车辆4/5G 数据实时上传,结合 MetaInsight ,支撑大规模数据高吞吐、低延迟访问;四是弹性资源配置,按需调整存储与计算资源;五是智能治理,降低人工操作复杂度与错误率。
核心内容如下 腾讯云存储通过推出 Data Platform 框架性解决方案,结合对象存储 COS、智能检索 MetaInsight、数据万象 CI 和数据加速器 GooseFS 2.0 等关键组件,满足 这些需求不仅考验着存储系统的容量与性能,更对其智能化、灵活性和成本效益提出了更高要求。 其中,COS 作为数据存储的基石,提供了高可靠性和超大规模的数据存储能力;MetaInsight 则专注于数据内容分析,将非结构化数据转化为结构化数据,为后续的数据处理和分析奠定基础;Data Engine 基于 AI 的企业网盘服务:智能知识库的构建者 除了机器人业务场景外,腾讯云存储还推出了基于 AI 的企业网盘服务。 该服务通过结合 DeepSeek 大模型,不仅支持内容检索,还能根据用户需求生成新的文档,帮助企业建立智能知识库,提升内容再生产效率。
近年来,数据和人工智能已成为推动各行业创新和增长的关键力量。但如何将数据与人工智能融合,从而创造更大的价值,是企业都在寻找的答案。 在 WOT 全球技术创新大会《AI 与数据的智能融合》专场中,来自腾讯云的专家分享了腾讯云在数据管理与人工智能领域的技术成果和成功案例,并探讨二者如何智能融合为企业提供更高效、更智能的数据服务。 第三个能力是多模态智能检索。 与传统的基于标签的标量检索不同,腾讯云数据万象MetaInsight通过预先计算数据的向量空间并存储于向量数据库中,再利用向量检索技术在向量空间内寻找相似的图片、文本或视频内容,从而实现更精准的全媒体类型跨模态检索能力 MetaInsight支持以文搜图、以图搜图等多种高性能的数据检索手段,覆盖了上千个细分场景,可以帮助客户快速建设检索应用。
腾讯云存储近年来在数据处理领域持续探索,从智能存储理念到MetaInsight智能检索技术,始终以前沿技术为核心驱动力。 在当下 AI 领域的风口,腾讯云对象存储 COS 与数据处理服务数据万象 CI 共同推出了基于 MCP 协议的开发接口,涵盖文件上传下载、智能图文检索、文档转pdf、图片水印、视频封面等功能,为用户提供最前沿的 ;智能检索 MetaInsight(文搜图、图搜图);视频智能封面 COS MCP Server 怎么用? console.cloud.tencent.com/cam/capi 获取 # bucket 是存储的桶名称 # region 是存储桶所在的区域 # datasetName 是数据集名,非必填参数,数据智能检索操作需要此参数 示例:检索与人物相关的图片 场景七:视频封面 智能分析视频,帮视频提供一张最合适作为封面的截帧。
腾讯云开发者先锋(TDP)为您带来本月的产品精选月刊,与您一同 探索云端科技的最新进展,共享智能互联的无限可能。 一、⚡ 产品升级,驱动未来 1、️产品功能更新 ①、数据万象 智能检索 MetaInsight 开放公测 数据万象的智能检索 Metalnsight 提供全场景、跨模态的检索服务,支持语义检索、 标签检索、元数据管理,便于用户进行多维度的数据分析与洞察,更高效地管理数据。 可点击 https://console.cloud.tencent.com/cos/metaInsight/retrievalTask 前往体验。