- 综合排序
- 最热优先
- 最新优先
- 来自专栏pythonista的日常
es搜索优化&mysql查询优化
这周优化了我们沙抖官网搜索的功能，这个搜索目前是根据视频标题进行匹配，之前是对用户输入的关键词进行了分词查找，比如用户输入【机器人】,这样的话，只要视频标题中有关键词的任意一个字都会被搜到，比如含有【人 】字的标题会展示出来，并可能排的很靠前，所以我就对当前的搜索进行了优化，现在搜索是优先进行相邻短语查询 match_phrase，如果相邻短语查询结果小于2个就进行普通的分词查询，这个相邻短语查询是要求在请求字符串中的所有查询项必须都在文档中存在 "fields": { "video_title": { } } } } 这周内我还对我们的数据表查询进行了优化 加了普通索引和联合索引，现在我们一个视频数据表的数据量是几百兆大小，根据视频行业进行查询时，mysql 响应速度在 600ms 左右，我对行业字段添加了普通索引，查询响应在 30 ms 左右，前后对比优化结果还是很明显的
2.1K20发布于 2020-06-16 - 来自专栏性能优化最佳实践
【腾讯云ES】基于NGram分词ES搜索性能优化实践
背景在商品搜索场景中，需要根据用户输入关键字严格匹配商品数据，而普通的全文检索方式，诸如：match 或者match_pharse，不一定能达到搜索效果。 例如：使用 match api 时，基于 ik_max_word 分词方式对“白色死神”进行分词后，搜索"白色"、"死神"能搜索到，而根据 "白" 进行搜索时，结果确为空。 关于严格匹配我们很容易就能想到模糊查询，es本身也是能支持模糊查询的：方案选择方案一：模糊查询 wildcard && fuzzy 模糊查询的功能有点类似 mysql 中的 like，可以使用正则表达式的通配符来达到模糊搜索的效果 ，但是当输入字符串很长或者搜索数据集很大时，搜索性能很低，原因是ES使用的是基于DFA的文本匹配算法，时间复杂度（M+N），当索引里面的数据量为K时，时间复杂度为（M+N）× K，数据量越大，输入文本越长 ，模糊搜索的效率就会越低。
4K40编辑于 2022-12-05 - 来自专栏ES搜索
【ES三周年】ES查询—海量数据搜索深度分页优化
图片 背景 最近在实际项目中查询条件上越来越复杂，mysql的筛选已无法支撑，准备将所有搜索筛选改为es查询。 图片 图片 图片 具体使用方法： 第一次查询时，会生成一个 scrollId ，并将所有符合搜索条件的搜索结果缓存起来。 Scroll查询只搜索到了所有的符合条件的 doc_id (官方推荐用 doc_id 进行排序，因为本身缓存的就是 doc_id ，如果用其他字段排序会增加查询量)，并将它们排序后保存在search context 创建一个时间点 Point In Time（PIT）保障搜索过程中保留特定事件点的索引状态。有了 PIT，search_after 的后续查询都是基于 PIT 视图进行，能有效保障数据的一致性。 引用文章：Elasticsearch Scroll API vs Search After with PIT 相比scroll，内存也得到了优化，es 的查询简化流程： 第一步.用户发送查询dsl
5.1K229编辑于 2023-04-29 - 来自专栏洁癖是一只狗
ES搜索相似度
今天再来一道面试真题，es的搜索的相似度算法如何计算 首先,我们要从这几方面回答 TF(term frequency）检索词频率 IDF(inversed document frequency)反向文档频率 中出现的次数，比如上面出现了3次,一个term在所有doc 中出现的次数越多，分数就越低，比如我们的and 或the常用词,就会频繁出现,对分数的贡献就很少，所以分数就比较小 字段长度准则 hello搜索的 ---->[2,5] 每一个doc都会计算出term计算出一个分数,hello 一个分数，world一个分数,都会计算出一个分数组，所有的分数组形成一个文档向量 查询向量 比如hello world,es
1.5K10编辑于 2022-06-24 - 来自专栏第二蒙古上单
ES搜索内容置顶
有些时候，我们可能需要人工干预ES的搜索结果，让指定的内容置顶，ES提供了pinned语法来实现该功能。 "minimum_should_match" : 1 } } } }, "size" : 10, "from" : 0 } 看文档说似乎是从ES
2.5K30发布于 2021-05-18 - 来自专栏亦枫的大佬之路
JavaScript中的ES7ES8ES9ES10
2.搜索的开始索引。 当第二个参数被传入时，该方法会从索引处开始往后搜索（默认索引值为0）。若搜索值在数组中存在则返回true，否则返回false。 ES9 ES9的新特性索引如下： 主要新功能： 1.异步迭代（Domenic Denicola，Kevin Smith） 2.Rest/Spread 属性（SebastianMarkbåge） 新的正则表达式功能 命名的捕获组 ES9中可以通过名称来识别捕获组：(?[0-9]{4}) 在这里，我们用名称标记了前一个捕获组year。该名称必须是合法的JavaScript标识符（认为变量名称或属性名称）。 <year>[0-9]{4})-(?<month>[0-9]{2})-(?
4.7K40发布于 2020-03-19 - 来自专栏全栈程序员必看
02.全文搜索ES
全文搜索 1.介绍 elasticsearch 6 (和elasticsearch 5 的区别在于，root用户权限、一个库只能建立一个表) elasticsearch 6一个索引只能建立一张表 1.1 文本搜索引擎: 优点:搜索快; 缺点：占用空间。 solr需要依赖zk1. 1.2 elasticSearch(搜索引擎)的算法 倒排索引(在内容上建立索引，用内容匹配索引)； btree mysql数据库的索引方式。 nohup.out,使用tail -f nohup.out命令实时监控日志记录 ps -ef |grep node 查看kibana 的pid 使用kill -9 30300 杀死进程 3.ElasticSearch 的文档（分词处理并建立了索引）之间的相关度的高低 4.ES集群 4.1 节点、分片、索引 ==节点:==一个节点就是一个es的服务器，es集群中，主节点负责集群的管理和任务的分发，一般不负责文档的增删改查
1.1K20编辑于 2022-06-30 - 来自专栏JAVA同学会
ES学习笔记（九）搜索
搜索是ES最最核心的内容，没有之一。前面章节的内容，索引、动态映射、分词器等都是铺垫，最重要的就是最后点击搜索这一下。下面我们就看看点击搜索这一下的背后，都做了哪些事情。 分数（score） ES的搜索结果是按照相关分数的高低进行排序的，咦？！ 怎么没说搜索先说搜索结果的排序了？咱们这里先把这个概念提出来，因为在搜索的过程中，会计算这个分数。 在ES的搜索当中，分为两种，一种计算分数，而另外一种是不计算分数的。 频繁使用的过滤还会被ES加入到缓存，以提升ES的性能。下面我们看一个查询和过滤的例子，这个也是ES官网中的例子。 最后 在ES中，检索的花样是比较多的，这里也不能一一给大家介绍了，只介绍一些最基本、最常用的查询功能。下一篇我们看一下ES的聚合查询功能。
85130发布于 2020-05-25 - 来自专栏JAVA同学会
ES学习笔记（九）搜索
搜索是ES最最核心的内容，没有之一。前面章节的内容，索引、动态映射、分词器等都是铺垫，最重要的就是最后点击搜索这一下。下面我们就看看点击搜索这一下的背后，都做了哪些事情。 分数（score） ES的搜索结果是按照相关分数的高低进行排序的，咦？！ 怎么没说搜索先说搜索结果的排序了？咱们这里先把这个概念提出来，因为在搜索的过程中，会计算这个分数。 在ES的搜索当中，分为两种，一种计算分数，而另外一种是不计算分数的。 频繁使用的过滤还会被ES加入到缓存，以提升ES的性能。下面我们看一个查询和过滤的例子，这个也是ES官网中的例子。 最后 在ES中，检索的花样是比较多的，这里也不能一一给大家介绍了，只介绍一些最基本、最常用的查询功能。下一篇我们看一下ES的聚合查询功能。
66930发布于 2020-05-21 - 来自专栏程序员泥瓦匠
搜索 ES 数据写入原理
写个小文巩固下，本文主要讲 ES -> Lucene 的底层结构，然后详细描述新数据写入 ES 和 Lucene 的流程和原理。 无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库，并通过简单的 RESTful API 来隐藏 Lucene 的复杂性，从而让全文搜索变得简单。 Elasticsearch 不仅仅是 Lucene 和全文搜索，我们还能这样去描述它： 分布式的实时文件存储，每个字段都被索引并可被搜索 分布式的实时分析搜索引擎 可以扩展到上百台服务器，处理 PB 级结构化或非结构化数据 ES 基于底层这些包，然后进行了扩展，提供了更多的更丰富的查询语句，并且通过 RESTful API 可以更方便地与底层交互。类似 ES 还有 Solr 也是基于 Lucene 实现的。 三、新文档写入流程 3.1 数据模型 如图 一个 ES Index （索引，比如商品搜索索引、订单搜索索引）集群下，有多个 Node （节点）组成。每个节点就是 ES 的实例。
82230编辑于 2021-12-17 - 来自专栏人生代码
ES6ES7ES8ES9ES10常用特性和新特性
ES6 ES6在ES5的基础上新增了一系列特性，这里仅列出常用特性 变量的改变，添加了块级作用域的概念 let声明变量（块级作用域），let是更完美的var，它声明的全局变量不是全局属性widow的变量 的重要特性之一，被ES6列为正式规范。 bSet.has(v)); // [ 1 ] ES7 ES7在ES6的基础上添加三项内容：求幂运算符（**）、Array.prototype.includes()方法、函数作用域中严格模式的变更。 求幂运算符（**），这是一个中缀例子，效仿自Ruby等语法，使用更简洁 Math.pow(3, 2) === 3 ** 2 // 9 Array.prototype.includes() 数组原型的方法 async、await异步解决方案 提出场景有两个：JS是单线程、优化回调地狱的写法。
1.8K30发布于 2020-06-28 - 来自专栏seo分享
徐大大seo:2023年谷歌搜索优化的9个SEO趋势
随着互联网的不断发展，搜索引擎优化（SEO）已经成为了企业网站推广的重要手段。而在未来的几年里，谷歌搜索引擎的优化趋势也将会发生一些变化。以下是2023年谷歌搜索优化的9个SEO趋势。 1. 语音搜索将成为主流 随着智能音箱和语音助手的普及，语音搜索已经成为了越来越多人的选择。因此，企业需要优化网站的语音搜索功能，以便更好地满足用户的需求。 2. 长尾关键词将更受欢迎 随着搜索引擎的不断发展，长尾关键词已经成为了用户获取信息的重要途径。因此，企业需要优化网站的长尾关键词，以便更好地满足用户的需求。 6. 本地化搜索将更受欢迎 随着互联网的不断发展，本地化搜索已经成为了用户获取信息的重要途径。因此，企业需要优化网站的本地化搜索功能，以便更好地满足用户的需求。 9. 在未来的几年里，内容质量将成为SEO的重要指标，企业需要优化网站的内容质量，以便更好地满足用户的需求。 总之，随着互联网的不断发展，谷歌搜索引擎的优化趋势也将会发生一些变化。
48610编辑于 2023-03-13 - 来自专栏seo分享
徐大大seo:2023年谷歌搜索优化的9个SEO趋势
随着互联网的不断发展，搜索引擎优化（SEO）已经成为了企业网站推广的重要手段。而在未来的几年里，谷歌搜索引擎的优化趋势也将会发生一些变化。以下是2023年谷歌搜索优化的9个SEO趋势。 1. 语音搜索将成为主流 随着智能音箱和语音助手的普及，语音搜索已经成为了越来越多人的选择。因此，企业需要优化网站的语音搜索功能，以便更好地满足用户的需求。 2. 长尾关键词将更受欢迎 随着搜索引擎的不断发展，长尾关键词已经成为了用户获取信息的重要途径。因此，企业需要优化网站的长尾关键词，以便更好地满足用户的需求。 6. 本地化搜索将更受欢迎 随着互联网的不断发展，本地化搜索已经成为了用户获取信息的重要途径。因此，企业需要优化网站的本地化搜索功能，以便更好地满足用户的需求。 9. 在未来的几年里，内容质量将成为SEO的重要指标，企业需要优化网站的内容质量，以便更好地满足用户的需求。 总之，随着互联网的不断发展，谷歌搜索引擎的优化趋势也将会发生一些变化。
45810编辑于 2023-03-14 - 来自专栏QQ大数据团队的专栏
源码级揭秘腾讯云 ES 向量搜索的优化之道
本文共计6751字 预计阅读时长21分钟 导语 在上一篇文章《ES8 向量功能窥探系列（一）：混合搜索功能初探与增强》中，我们初步探讨了 Elasticsearch 8.x 的混合搜索功能，包括kNN 无需任何配置，即可以直接使用到降低 70% 存储的优化特性。 4. 量化 量化是向量搜索领域，乃至 AI 模型领域的常用技术，它通过一定算法对原始向量进行压缩，得到字节数占用较小的，量化后的向量表示。 虽然该功能相对实验性，但它进一步降低了 ES 向量搜索的存储门槛，拓展了不同读写流程。后续我们仅需要对”复水“算法进行优化，即可不断弱化这一影响，从而使其得到更广泛的使用。 6. 70% 和 90% 存储的优化。 也希望更多有向量/混合搜索需求的用户，可以尝试和使用腾讯云 ES 向量搜索增强版，如果您也有独到的需求或想法，可以联系到腾讯云 ES 团队，我们将竭尽全力与您共同探索与解决。
81910编辑于 2025-02-24 - 来自专栏全栈者
重温基础：ES9系列
ES9系列目录 1 对象的拓展运算符 2 正则表达式 s 修饰符 3 异步遍历器 所有整理的文章都收录到我《Cute-JavaScript》系列文章中，访问地址：http://js.pingan8787 换个醒，可以匹配任意单个字符： /foo[^]bar/.test('foo\nbar') // true ES9引入 s修饰符，使得 .可以匹配任意单个字符： /foo.bar/s.test('foo\ 3 异步遍历器 在前面ES6章节中，介绍了Iterator接口，而ES6引入了“异步遍历器”，是为异步操作提供原生的遍历器接口，即 value和 done这两个属性都是异步产生的。 write.next('leo'); await write.return(); } f(); 3.2 for await...of for...of用于遍历同步的Iterator接口，而ES8
95010发布于 2019-08-09 - 来自专栏农民工前端
JavaScript ES9新特性
---以下是JavaScript ES9引入的一些新特性。每个特性都有助于简化开发过程、提高代码效率，并提供更强大的功能。 JavaScript ES9（也称为ES2018）Object spread syntax（对象扩展语法）const obj1 = { a: 1, b: 2 };const obj2 = { c: 3, data') .then(response => response.json()) .catch(() => { console.log('An error occurred.'); });在ES9
51410编辑于 2023-06-27 - 来自专栏YG小书屋
ES 查询优化（二）
"search"] } { "tags" : ["search", "open_source"] } 两个文档，{ "term" : { "tags" : "search" } }都能匹配，但想只搜索包含一个的值 { "text": "hop" }}, { "term": { "text": "leap" }} ] } } } 3、查询时提高索引的相关性 比如说，我们es docs_2017_12_09": 2 }, "query": { "term": { "text": "error" } } } 4、更改score计算方法 ES5.0
2.8K40发布于 2018-05-23 - 来自专栏YG小书屋
ES 查询优化（一）
"name": "dev" } }, "sort":[ "_doc" ] } 4、随机取n条（n>=10000）数据 1）可以利用ES }, "random_score": { } } } } 2）可以利用ES
5.2K60发布于 2018-05-23 - 来自专栏OSChina
ES - 使用ES客户端来操作搜索引新
</artifactId> <version>2.9.9</version> </dependency> </dependencies> 2 编写方法 package com.shi.es org.elasticsearch.transport.client.PreBuiltTransportClient; import com.fasterxml.jackson.databind.ObjectMapper; /** * ES .get(); System.out.println("文档添加成功..."); //关闭客户端 client.close(); } } package com.shi.es QueryBuilders.queryStringQuery("无人驾驶校车").defaultField("content"); search(client,builder);//执行查询 } } 3 测试 package com.shi.es
1.7K10发布于 2019-08-26 - 来自专栏雪雁的专栏
ES7、ES8、ES9、ES10新特性大盘点
ES9新特性 1.for await of for of方法能够遍历具有Symbol.iterator接口的同步迭代器数据，但是不能遍历异步迭代器。 4.新的正则表达式特性 ES9为正则表达式添加了四个新特性，进一步提高了JavaScript的字符串处理能力。 在 ES9 就支持这个后行断言了： let test = 'world hello' console.log(test.match(/(? 现在通过ES9的String.prototype.matchAll方法，可以一次性取出所有匹配。 ES2018新特性——每个JS开发者都需要了解 细解JavaScript ES7 ES8 ES9 新特性
2.4K40发布于 2019-12-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号