# 前言
> **🍊作者简介：** 不肯过江东丶，一个来自二线城市的程序员，致力于用“猥琐”办法解决繁琐问题，让复杂的问题变得通俗易懂。
> **🍊支持作者：** 点赞👍、关注💖、留言💌~

你是一个程序员，现在摆在你面前的有三段文本，ID分别是0、1、2，你需要快速找到哪段文本里含有关键词“dacongming” 👇
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-4287693/75c9885823acab06483618600710fd08.jpg#pic_center)
我们很容易就想到，可以依次遍历三段文本，匹配文本内是否含有我们所需要的关键词，就像 SQL 中的 Like 关键字一样，最终输出符合条件的文本ID。在数据量小的时候我们可以用这样的办法来实现，但如果我有成百上千万条这样的数据呢~ 如果依次遍历执行下去，黄花菜都该凉了...... 像这种在海量数据中，通过关键词检索出有效信息的场景非常场景，比如我们在购物网站上选购的时候，就可以通过搜索框迅速找到我们所需要的产品。那么问题就来了，我们该怎么处理类似的搜索场景呢，俗话说没有什么是加一层中间层不能解决的，如果有就再加一层。今天我们要加入的中间层就是 Elastic Search 。

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-4287693/1e1c588c9fce3574075bd46db84ba771.jpg#pic_center)
# 什么是 Elastic search
Elastic search 也就是我们常说的 ES，他是一个开源的搜索引擎。它介于应用和数据之间，只要我们将数据写入 ES ，应用就可以通过一些关键词搜索到数据。那么他是怎么做到的呢 🧐 我们就不得不提到另一个概念了 —— 倒排索引。

## 什么是倒排索引
回到我们一开说到的例子，依次遍历没个文本中是否含有“dacongming”确实是比较低效，那么我们就需要找到一个更高效的办法。我们可以对文本进行切分，比如“I like dacongming”，就可以切分成“I”、“like”、“dacongming”这三个部分，这个操作就叫做分词。分词后的每个部分，我们都称之为一个词项，也就是 term。记录词项和文本ID的关系，上面的三段文本就变成了下面这样 👇
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-4287693/8bca769d08ba911d99b104a43ebb312d.jpg#pic_center)
当我们想要搜索“dacongming”的时候，只需要匹配到“dacongming”的词项，就可以立马找到他所在的文本文档ID。但这样又存在一个问题，这么短短三句话就已经有了这么多词项了，这要是换成三篇文章，那词项就多的离谱了，挨个遍历词项的时间复杂度是 O(N)，这确实是有点低效了。这时候我们可以将词项按字典顺序从小到大排列，然后通过二分法的方式来进行查找，直接就能将时间复杂度优化成 O(lgN)
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-4287693/c6e800e261465f55cc569c677fc44c2a.jpg#pic_center)
我们将这些排列好的词项称为 Term Dictionary，而词项对应的文档ID等信息的集合就叫 Posting list。他们共同构建了一个用于搜索的数据结构，也就是倒排索引 inverted index。但是倒排索引还有个问题，Term Dictionary 数据量很大，放内存肯定是不合适的，所以就必须放到磁盘中，但是查询磁盘是一个比较慢的过程，我们就要用另一种办法对其进行优化了，也就是Term Index。
## 什么是Term Index
我们可以发现词项和词项之间有些前缀是一致的，比如 “I” 和 “is” 的首字母都是 I（i），如果我们将部分 Term 前缀提取出来复用，那么就能用更少的空间表达更多个term。那么基于这个原理，我们就可以将 Term Dictionary 的部分词项提取出来，用这些词项的前缀信息构建出一个精简的目录树。
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-4287693/ba62b8dc0e6792deab4f184313875909.jpg#pic_center)
目录树的节点中，存放这些词项在磁盘中的偏移量，也就是指向磁盘中的位置，这个目录树体积小，适合放到内存中，它就是所谓的 Term Index，可以借助它来加速搜索。当我们需要查找某个词项的时候，只需要搜索 Term Index 就可以快速获得词项在 Term Dictionary 中的大概位置，再跳转到 Term Dictionary 通过少量的检索定位到词项内容。
## 什么是 Stored Fields
讲到这里搜索功能就已经有了，但有个问题：我们前面提到的倒排索引搜索到的是文档ID，我们还需要拿着这个文档ID去找到文档内容本身才能返回给用户。因此还需要有个位置存储文档的完整内容，它就是Stored Fields。
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-4287693/227841bdfef8faac8ad16ad195e7a152.jpg#pic_center)
## 什么是 Doc Values
有了ID我们就可以从 Stored Fields 中获取到文档内容，但是用户经常需要根据某个字段对文档进行排序，比如按时间倒序或者按商品价格倒序排列。但是问题又来了，这些字段都散落在文档里，也就是说我们需要先获取 Stored Fields 里的文档，再提取除内部字段进行排序。这么干也不是不行，但是还有其他更高效的办法，我们可以用空间换时间的思路，将散落在各个文档里的某个字段集中存放，当我们相对某个字段进行排序的时候，就只需要将这些集中存放的字段一次性读取出来，就可以做到有针对性的排序了。这个列试存储结构就是所谓的 Doc Values。

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-4287693/ab7ce82cdfa9e14c092dd8756237685c.jpg#pic_center)
## 什么是 Segment
在上面我们介绍了四种关键的结构：倒排索引用于搜索、Term Index 用于加速搜索、Stored Fields 用户存储文档的原始信息、Doc Values 用户排序和聚合。这些结构共同组成了一个复合文件，也就是所谓的 Segment 。他是一个具备完整搜索功能最小单元。
# 什么是 Luence
我们可以用多个文档生成一份 Segment ，如果新增文档的时候还是写入到这份 Segment 的话，那就需要同时更新 Segment 内部的多个数据结构，这样并发读写时，性能肯定会受到影响。那该怎么办呢~ 我们可以立一条规矩 —— Segment 一旦生成，则不能再被修改，如果还有新的文档要写入，那么就生成新的 Segment 。这样老的 Segment  只需要负责读，写的话则是生成新的 Segment 。同时保证了读和写的性能。但是 Segment 变多了，我们怎么直到要搜索的数据在哪个 Segment 里面呢？没错！ 并发读取多个 Segment 就好了，随着数据量的增大，Segment 也越来越多，文件句柄被耗尽也是迟早的事。这个也好解决，我们可以不定期合并多个小的 Segment 从而生成一个大的 Segment 文件，也就是段合并 Segment Merging，这样文件数量也就变的可控了。到这里，我们上面提到的多个 Segment 就共同构建成了一个单机文本检索库，它就是非常有名的开源基础搜索库 —— Luence ~ 很多知名的搜索引擎都是基于 Luence 构建的，就比如咱们今天讲到的 ES。但是这个 Luence 属实是有点过于简陋了，像什么高性能、高可用、高扩展是一个都不沾边，我们继续看看该怎么优化一下它。
## 高性能
Luence 作为一个搜索库，可以写入大量的数据，并对外提供搜索能力，多个调用方同时读写同一个 Luence，必然会导致争抢计算资源，抢不到资源的一方就只能苦苦等待了... ... 为了解决这个问题，我们首先就要对写入 Luence 的数据进行分类，比如体育新闻、娱乐新闻，这样就算是两类数据。每一类就是一个 index name，然后根据 index name 新增 Luence 的数量，将不同类的数据写入到不同的 Luence 中，读取数据时就根据需要去搜索不同的 index name，这样就大大降低了单个 Luence 的压力。但是单个 index name 里的数据依然可能过多，那么就可以将单个 index name 的同类数据拆分成若干份，每一份都是一个 Shard 分片，每一个 Shard 分片本质上都是一个独立的 Luence库。
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-4287693/d1229c00d3498b6330ac6b8eda0af6b8.jpg#pic_center)
这样我们就可以将读写操作分摊到多个分片中去，也大大降低了争抢，提升了系统性能。
## 高扩展性
随着分片越来越多，如果分片都在同一台服务器上的话，就会导致单机CPU和内存过高，从而影响了系统的整体性能。于是我们就可以申请多个服务器资源，将分片分别部署到这多台服务器上，这每一台服务器就是一个 Node，我们可以通过增加 Node 来缓解服务器CPU过高而带来的性能问题。
## 高可用
看到这里，问题再一次的出现了... ... 如果其中一个 Node 挂掉了，那么 Node 里所有分片都无法对外提供服务了。那么为了保证服务的高可用，我们可以给分片多加几个副本，将分片分为 Primary shard 和 replica shard ，也就是主分片和副本分片。主分片会将数据同步给副本分片，副本分片既可以同时提供读操作，还能在主分片挂掉的时候升级为新的主分片，让系统保持正常运行，也有效的保持了系统的高可用性。

## Node角色分化
搜索架构需要支持的功能有很多，既要负责管理集群，又要储存管理数据，还要处理客户端发来的搜索请求。如果每个 Node 都支持这几个功能的话，那当集群有数据压力需要对 Node 进行扩容时，就会把其他能力也一起扩容。但是其他能力完全够用，不需要跟着进行扩容，这样就会导致不必要的资源浪费。因此我们可以将这几类功能拆分开，给集群里的 Node 分别赋予角色身份，不同的身份负责不同的功能。
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-4287693/c7d3d16d5ed5187177e651ad0c6d0be4.jpg#pic_center)
比如负责集群管理的就叫做 Master Node，负责存储数据的就叫数据节点 Data Node，负责处理请求的就叫做协调节点 Coordinate Node。集群规模较小的时候，一个 Node 节点可以同时充当多个角色，随着集群规模越来越大，就可以让一个 Node 充当一个角色。

## 去中心化
上面我们提到了主节点  Master Node，那么就意味这还有一个选取主节点的过程（就像 Redis 集群中的哨兵模式一样），但是现在每个 Node 都是独立的，需要有个机制协调 Node 之间的数据。我们很容易想到，可以像 Kafka 那样引入一个中心结点 ZooKeeper，但如果不想引入中心节点的话，还有别的更轻量级办法吗~~ 答案当然是肯定的，就是去中心化。我们可以在 Node 之间引入魔改过的 Raft 模块，在节点之间互相同步数据，让所有 Node 看到集群的数据状态都是一致的。这样集群内的 Node 就可以参与选主过程，还能了解到集群内某个 Node 是不是挂掉了。

 
# 什么是 ES 
到这里，当初那个简陋的 Luence 就变成了一个高可用、靠扩展、搞性能，并且支持持久化的分布式搜索引擎，它就是我们常说的 Elastic search。它对外提供 HTTP 接口，任何语言的客户端都可以通过 HTTP 接口接入 ES ，实现对数据的增删改查。我们看完了 ES 的架构，可能有些小伙伴还是没太理解，俗话说“繁琐问题必有猥琐解法”，我们在用两个实际的例子讲一下 ES 的工作原理。

## ES 的写入流程
当客户端应用发起数据写入请求时，请求就会先发送到协调节点 Coordinate Node，协调节点会根据 Hash 路由判断数据应该写入到哪个数据节点的哪个分片，找到主分片后写入数据。
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-4287693/c30fa76a0ff087cbb25cee3fb62c6607.jpg#pic_center)
分片底层是 Luence ，所以最终是将数据写入到 Luence 库里的 segment 内，同时将数据固化为倒排索引和 Stored Fields 以及 Doc Values等多种数据结构。主分片写入成功后，会将数据同步给副本分片，副本分片写入完成后，主分片会响应协调节点一个 ACK ，也就代表了写入完成，最后协调节点响应客户端应用写入完成。
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-4287693/55041f605f4583f995c3773433fba8e2.jpg#pic_center)

## ES 的搜索流程
ES 的搜索流程分为两个阶段，分别是查询阶段 query phase 和获取阶段 fetch phase。我们再分别看一下。
### 查询阶段 query phase
当客户端应用发起搜索请求时，请求会先发送到集群中的协调节点，协调节点根据 index name 的信息可以了解到 index name 被分为了几个分片，以及这些分片都分散在哪个数据节点上，然后将请求转发到这些数据节点的分片上面。搜索请求到达分片后，分片底层的 Luence 库就会并发搜索多个 segment ，利用每个 segment 的内部的倒排索引获取到对应的文档ID，并结合 doc value 获取排序信息，分片将结果聚合返回给协调节点，协调节点对多个分片中拿到的数据进行排序聚合，舍弃掉不需要的数据。
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-4287693/cbac410c8f26bf0c1c57031a5ff90393.jpg#pic_center)
### 获取阶段 fetch phase
协调节点再次拿着文档ID请求数据节点里的分片，分片底层的 Luence 库会从 segment 内的 stored fields 读取出完整的文档内容并返回给协调节点协调节点最终将数据结果返给给客户端，完成整合搜索过程。
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-4287693/31881fcade22c14dbe1560666dd7ae97.jpg#pic_center)

# 小结
本人经验有限，有些地方可能讲的没有特别到位，如果您在阅读的时候想到了什么问题，欢迎在评论区留言，我们后续再一一探讨🙇‍

> 希望各位小伙伴动动自己可爱的小手，来一波点赞+关注 (✿◡‿◡) 让更多小伙伴看到这篇文章~  蟹蟹呦(●'◡'●)

如果文章中有错误，欢迎大家留言指正；若您有更好、更独到的理解，欢迎您在留言区留下您的宝贵想法。

> *你在被打击时，记起你的珍贵，抵抗恶意；*
*你在迷茫时，坚信你的珍贵，抛开蜚语；*
**爱你所爱  行你所行  听从你心  无问东西**


🍊作者简介： 不肯过江东丶，一个来自二线城市的程序员，致力于用“猥琐”办法解决繁琐问题，让复杂的问题变得通俗易懂。 🍊支持作者： 点赞👍、关注💖、留言💌~

大聪明教你学Java | 深入浅出聊 Elastic search

高级Java开发工程师

后端

编程语言

数据库

数据同步

数据结构

服务器

路由

Redis

Kafka

4核4G3M云服务器 新用户低至38元/年！

2026新春采购季

datainlong

腾讯云数据库特惠，新用户首单0.5折起


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

大聪明教你学Java | 深入浅出聊 Elastic search-腾讯云开发者社区-腾讯云

大聪明教你学Java | 深入浅出聊 Elastic search

大聪明教你学Java | 深入浅出聊 Elastic search

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐