：当混合检索从十亿级走向千亿级，很多过去的设计方式开始面临挑战：数据还能不能放进内存、索引怎么组织、查询怎么执行、Schema 怎么演进等，在腾讯云 x Elastic AI 搜索技术大会上，腾讯云 ES 内核研发负责人黄华的《Search AI Engine：腾讯云 ES 千亿级混合检索架构演进》主题演讲，从 Load Less、Scan Less、Store Less、Score Faster、Evolve Online 五个维度，完整拆解了千亿级规模下搜索引擎内核在系统架构级的演进。

搜索正在成为 AI 的基础设施。传统搜索返回文档，而 Search AI 提供可直接消费的 Context。为了交付这样的 Context，变化的不只是上层应用——数据、检索、AI 能力，到最底层的索引、执行和存储，都需要一起演进。

在这个演进中，混合检索（Hybrid Search）是关键一环，它把文本、语义和结构化检索真正融合。但在云上，还有一个更现实的问题：

。随着混合检索进入海量知识库、广告推荐、安全风控等核心业务，数据规模正从十亿、百亿走向千亿级。到了这个量级，Hybrid Search 已经不再是一个检索算法问题，而是一个系统架构问题。

面对向量检索突破内存边界的问题，社区给出的重要方案是 DiskBBQ——面向磁盘的大规模向量检索架构。它的核心思路可以概括为三步：

所以 DiskBBQ 本质上不只是「把向量压成 1-bit」，而是一套「空间裁剪 + 极致量化 + 高精重排」的完整架构。

这套架构放到百亿、千亿级生产环境后，新问题出现了：

腾讯云 ES 的应对，围绕加载、扫描、存储、评分与演化，形成了五层内核演进路径。

腾讯云ES千亿级混合检索的五层内核演进

1.Load Less · Slice-DiskBBQ：只让活跃数据保持热状态

以 AI 搜索典型的多租户知识库场景为例：一个 ES Shard 承载大量租户数据，传统 DiskBBQ 的 IVF 按向量空间几何组织，即使查询带了 userid 过滤，逻辑过滤也无法转化为物理局部性——一次 IO 仍会拉取多个租户的数据。

Slice-DiskBBQ 在 Shard 内部按 userid 对数据做物理切分，每个 Slice 独立构建自己的 Centroids 和 Posting Lists。查询某个租户时直接定位到对应 Slice，让活跃租户数据进入 Page Cache，其余留在磁盘上。

核心思想不是把整个数据集变小，而是让真正需要保持热状态的数据变小。

生产实测：峰值 QPS 提升 58%，常驻内存降低 71%，Merge 性能提升 12.2%。

2.Scan Less · Filtered-DiskBBQ：两次独立遍历变一次协同遍历

混合检索的传统执行方式是两条独立路径：文本侧遍历倒排链、构建 BitSet；向量侧扫描候选后逐个到 BitSet 里检查。两边都在遍历 DocID，却互不知道对方走到了哪里。

文本 Posting 和 Vector Posting，本质上都是按 DocID 有序的数据流

。既然是同构的有序流，就没必要先物化文本结果再逐个检查。Filtered-DiskBBQ 把文本倒排链直接内嵌进 IVF 聚簇的检索过程，两条倒排链按 DocID 协同遍历推进，利用 Lucene 倒排的延迟加载与跳表能力直接跳过不满足过滤条件的向量数据——甚至做到 Block 级整块跳过。

云上实际业务场景收益：不同 filter rate 场景混合检索性能提升 2 倍以上。

3.Store Less · SOAR 去冗余：超大规模下的冗余重估

SOAR（正交残差冗余）最早由 Google Research 提出，让一个向量同时归属两个 Cluster，用冗余换边界召回。设计本身合理，但到了千亿级，每个向量增加的冗余乘上数据规模，就变成可观的存储与内存成本。

腾讯云 ES 支持超大规模下的 SOAR 去重：每个向量只归属一个 Centroid，BBQ 量化数据存储下降一半，Page Cache 使用量整体下降 31%。这不是零成本优化——为保持相同召回需要探测更多 Centroid，QPS 下降约 17%。这部分损失，我们通过进一步对向量检索的链路性能优化找回来。

4.Score Faster · 解锁 Native 向量评分

在 9.4 版本 1536 维混合检索测试中，团队发现一个反直觉现象：Native SIMD 的 QPS 反而低于 Java SIMD。Profile 后真相大白：SIMD 点积计算本身已经足够快，真正吃掉性能的是 JVM 侧热点路径——精度校正环节的内存类型映射与共享查找锁竞争。这些操作单次开销极小，但每个向量、每次打分都执行，高并发大规模下被不断放大。

优化思路很直接：类型与内存布局在运行期不变，就没必要每次重新处理。将评分计算相关链路进行静态内联改造、热点路径直接访问，消除运行时共享查找与锁竞争。

收益：Native 打分 QPS 提升 37%（1699 → 2323），相同召回率下反超 Java SIMD 15.9%。 

该优化已贡献给 Elasticsearch 上游社区（#154373），让 Native 计算真正发挥应有的性能优势。

AI 场景下 Schema 变化越来越频繁：Embedding 模型升级带来向量维度变化，存量文本转向量，新数据源接入调整字段类型。腾讯云 ES 实现了三个层次的细粒度演化：

——只转换变化的字段，不动存量其它字段；

——只重建变化的数据结构，原始向量文件完全复用；

——HNSW 到 DiskBBQ 的转换在流量在线的情况下后台完成，用户几乎无感。

百亿级数据验证：10B 文档的转换从 6.55 小时缩短到 22.6 分钟，

提速 17 倍，98% 的数据文件原样复用

总结这一组优化：Slice-DiskBBQ 解决「加载多少」，Filtered-DiskBBQ 解决「扫描多少」，SOAR 去重 + Native 打分解决「存多少、算多快」，在线 Schema 演化解决「怎么变」。这些能力已在腾讯内外部多个大规模场景落地：腾讯 ima 的大规模知识库、腾讯广告的广告推荐、头部社区产品的安全风控等。

与此同时，腾讯云 ES 团队持续把内核优化反馈社区，累计向 Elasticsearch / Lucene 贡献 260+ 技术 PR，贡献排名位居社区头部，多次获得 Elastic 官方认可。

展望下一步，下一代 Search AI 架构有两个我们认为值得重点投入的方向：

——数据以开放格式沉淀在数据湖，通过统一的 Data + Index Catalog 管理，真正做到「数据存于湖，索引按需而生」；

——引擎基于 Workload、数据与运行反馈持续学习，自主完成组织、路由与演化。

千亿级规模将搜索系统的约束，从单一检索算法扩展到工作集、过滤执行、量化冗余、评分链路与索引演化的协同设计。Lake Native 与搜索智能，是这一架构继续向前演化的两个方向。

千亿级规模像一面放大镜，小规模下可以接受的开销，都会被放大成架构问题。腾讯云 ES 内核实践给出的方法论是——不仅仅追求单点的局部改善，而是在加载、扫描、存储、计算、演化每个环节上做务实的成本核算与系统级优化，这也是腾讯云ES在面向「Search AI Engine」方向发展的坚实探索。

导读：当混合检索从十亿级走向千亿级，很多过去的设计方式开始面临挑战：数据还能不能放进内存、索引怎么组织、查询怎么执行、Schema 怎么演进等，在腾讯云 x Elastic AI 搜索技术大会上，腾讯云 ES 内核研发负责人黄华的《Search AI Engine：腾讯云 ES 千亿级混合检索架构演进》主题演讲，从 Load Less、Scan Less、Store Less、Score Faster、Evolve Online 五个维度，完整拆解了千亿级规模下搜索引擎内核在系统架构级的演进。

Search AI Engine：腾讯云ES千亿级混合检索架构演进

从 Load Less、Scan Less、Store Less、Score Faster、Evolve Online 五个维度，完整拆解千亿级规模下搜索引擎内核在系统架构级的演进。

云计算

数据库

架构设计

腾讯云ES推出千亿级混合检索架构，通过Slice-DiskBBQ降低71%内存、Filtered-DiskBBQ实现2倍性能提升、SOAR去冗余降31%缓存、Native评分提速37%、在线Schema演化提速17倍，已服务腾讯ima、广告推荐等核心业务。

数据存储

数据冗余

数据结构

数据湖

数据流

路由

Agent

ES特惠专场，新客首购5.5折起！


2026上云采购 | AI焕新·智启新局

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

Search AI Engine：腾讯云ES千亿级混合检索架构演进

Search AI Engine：腾讯云ES千亿级混合检索架构演进

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐