- 综合排序
- 最热优先
- 最新优先
- 来自专栏pythonista的日常
es搜索优化&mysql查询优化
这周优化了我们沙抖官网搜索的功能，这个搜索目前是根据视频标题进行匹配，之前是对用户输入的关键词进行了分词查找，比如用户输入【机器人】,这样的话，只要视频标题中有关键词的任意一个字都会被搜到，比如含有【人 】字的标题会展示出来，并可能排的很靠前，所以我就对当前的搜索进行了优化，现在搜索是优先进行相邻短语查询 match_phrase，如果相邻短语查询结果小于2个就进行普通的分词查询，这个相邻短语查询是要求在请求字符串中的所有查询项必须都在文档中存在 "fields": { "video_title": { } } } } 这周内我还对我们的数据表查询进行了优化 加了普通索引和联合索引，现在我们一个视频数据表的数据量是几百兆大小，根据视频行业进行查询时，mysql 响应速度在 600ms 左右，我对行业字段添加了普通索引，查询响应在 30 ms 左右，前后对比优化结果还是很明显的
1.9K20发布于 2020-06-16 - 来自专栏YG小书屋
ES 查询优化（二）
}, { "term": { "text": "hop" }}, { "term": { "text": "leap" }} ] } } } 3、 查询时提高索引的相关性 比如说，我们es存储的是nginx的日志，昨天nginx出问题了，那么查看最近七天的日志时，为了快速找出昨天的错误，也不忽略前天的错误，那么昨天的nginx-log包含error GET /docs_2017_12_*/_search { "indices_boost": { "docs_2017_12_10": 3, "docs_2017_12_09": 2 }, "query": { "term": { "text": "error" } } } 4、更改score计算方法 ES5.0之前默认用的是tf-idf 原因是针对names建倒排时，各位置如下： Position 1: john Position 2: abraham Position 3: lincoln Position 4: smith 所以查询
2.8K40发布于 2018-05-23 - 来自专栏YG小书屋
ES 查询优化（一）
{ "term": { "color": "yellow" } }] } } 3、 "name": "dev" } }, "sort":[ "_doc" ] } 4、随机取n条（n>=10000）数据 1）可以利用ES }, "random_score": { } } } } 2）可以利用ES "inline": "Math.random()" }, "order": "asc" } } } 3）
5.2K60发布于 2018-05-23 - 来自专栏前端卡卡西
es3-es10整理
ECMAScript es3（ECMAScript 1999） 1999年，ECMAScript第三个版本 es4（ECMAScript 2007） ECMAScript第四个版本，废弃 es5（ECMAScript 在ES2015中，非对象的参数将被强制转换为一个对象。 Promises es7（ECMAScript 2016） 2016年，ECMAScript第七个版本 Array.prototype.includes() es8（ECMAScript 2017） 假设我们要遍历如下对象obj的所有值： const obj = {a: 1, b: 2, c: 3}; 不使用Object.values() :ES6 const obj = {a: 1, b: 2, () :ES8 const obj = {a: 1, b: 2, c: 3}; const values = Object.values(obj); console.log(values);//[1,
1.7K20编辑于 2022-02-25 - 来自专栏小七的各种胡思乱想
ES索引迁移优化：3倍速ReIndex + 零感知切换
然而，ES有个众所周知的‘硬伤’：一旦字段的mapping设定，就无法直接修改！ 这意味着每次模型升级带来的字段调整，都绕不开一个耗时费力的过程——重建索引并迁移数据（Reindex）。 ": index_name}, "dest":{"index": new_index_name}}# 关键：wait_for_completion=False 表示异步执行response = es.reindex task_status['completed']: # 检查任务是否完成 break time.sleep(60) # 等待1min再次检查2.性能飞跃：ReIndex调优三板斧（实测提速3倍 在我们的数据集上，使用以下操作后再进行reindex能有接近3倍的速度提升，千万量级的索引，可以在2~3个小时刷完。关闭副本分片 (释放写入压力)：副本分片是主分片的完整拷贝，用于数据冗余和高可用。 下次当你面对恼人的ES mapping变更时，不必再头疼停机窗口和漫长的等待时间了。用好这些技巧，让你的索引升级变得高效且优雅吧！
81420编辑于 2025-06-18 - 来自专栏业余草
ES性能优化实战，几十亿数据查询 3 秒返回！
原文链接：https://www.cnblogs.com/mikevictor07/p/10006553.html 在此篇幅中偏重于 ES 的优化，关于 HBase Elasticsearch 检索原理 ①关于 ES 和 Lucene 基础结构 谈到优化必须能了解组件的基本原理，才容易找到瓶颈所在，以免走多种弯路。 先从 ES 的基础结构说起（如下图）： ? ES 依赖一个重要的组件 Lucene，关于数据结构的优化通常来说是对 Lucene 的优化，它是集群的一个存储与检索工作单元，结构如下图： ? 优化案例 在我们的案例中，查询字段都是固定的，不提供全文检索功能，这也是几十亿数据能秒级返回的一个大前提： ES 仅提供字段的检索，仅存储 HBase 的 Rowkey 不存储实际数据。 对于 ES 的性能研究花了不少时间，最多的关注点就是 Lucene 的优化，能深入了解 Lucene 原理对优化有很大的帮助。
2.1K30发布于 2019-12-03 - 来自专栏数据库相关
ES写入性能优化实录
背景： 公司的各个微服务在逐步接入ES APM 这个监控体系，但是metrics写入量较大（每个metrics的长度很小，但是频率很高），通过logstash往ES写数据时候频繁报写入队列已满，写入拒绝 ，运维侧需要对ES做写入优化。 优化措施 1、调整ES的索引持久化参数 主要是调整下面4个参数： "index.translog.durability" : "async", "index.translog.flush_threshold_size index.translog.sync_interval" : "120s", "index.refresh_interval" : "120s" } ' | jq . 2、调整logstash运行参数 主要调整如下3个参数 日常消费：ES消费能力大约是110w每分钟。
2.1K10发布于 2020-10-28 - 来自专栏高端IT
重学ES系列之函数优化
body><script> function fun1(x,y) { return x+y } let a = fun1(1,2); console.log(a);//3 1,y=0) { return x+y } let b = fun2(); console.log(b);//1 // 函数多参数 function fun3( ...n) { console.log(n.length); } fun3(1,2,3);//3 // 箭头函数 let fun4 = (v,y) =>{ // 尾调用优化 // 递归 let factorial = (n)=>{ if(n <=1 ){ return 1 } else{ return n*factorial(n-1) } } console.log(factorial(3)); //1*2*3更多内容请见原文，原文转载自：https://blog.csdn.net
34120编辑于 2022-06-16 - 来自专栏大数据计算
ES海量数据的优化实践
二、统一存储字段由于ES使用SSD存储介质，在海量数据的场景中存储成本十分高昂。本章节对ES的存储和数据进行分析，寻求优化的突破口。 本文主要介绍列存数据库结合ES构建二级索引的优化。 3.2.1 压缩性能普通的行式数据库一般压缩率在 3：1 到 5：1 ，而列式数据库的压缩率一般在 8：1 到 30：1 左右，因此nosql数据库拥有高效的储存空间利用率，以更低的存储支撑相同量级的文档数据 架构优化前，所有数据都存储在ES，整个检索流程是直接通过ES检索拉取指定展示字段。优化后，将4个检索字段写入ES构建索引数据，原始数据写入HBase，并设计doc_id为HBase的row key。 完成裁剪后，预计可再优化30~50%ES存储优化；b) _source字段裁剪后，实现了存算分离，ES后续将聚焦于搜索功能，对集群的磁盘IO、CPU和网络带宽的负载压力都有不同程度的优化，提升检索效率；
3.2K40编辑于 2022-12-09 - 来自专栏前端开疆扩土之路
每天3分钟，重学ES6-ES12(十八)ES Module
这是我参与「掘金日新计划 · 6 月更文挑战」的第31天，点击查看活动详情 每天3分钟，重学ES6-ES12文章汇总 前言 今天开始和大家一起系统的学习ES6+,每天3分钟，用一把斗地主的时间 ，重学ES6+，前面我们介绍了模块化的历史，今天介绍模块化处理方案 ES Module JavaScript没有模块化一直是它的痛点，所以才会产生我们前面学习的社区规范:CommonJS、AMD、CMD 等， 所以在ES推出自己的模块化系统时，大家也是兴奋异常。 const age = 18 function foo() { console.log("foo function") } export { name, age, foo } // 3. /foo.js' // 3.导入方式三: 将导出的所有内容放到一个标识符中 import * as foo from '.
39430编辑于 2022-09-19 - 来自专栏性能优化最佳实践
【腾讯云ES】基于NGram分词ES搜索性能优化实践
关于严格匹配我们很容易就能想到模糊查询，es本身也是能支持模糊查询的：方案选择方案一：模糊查询 wildcard && fuzzy 模糊查询的功能有点类似 mysql 中的 like，可以使用正则表达式的通配符来达到模糊搜索的效果 product_title": { "value": "*白*" }} }}wildcard 能同时支持 text 和 keyword 两种类型的搜索，但是当输入字符串很长或者搜索数据集很大时，搜索性能很低，原因是ES ###模糊查询性能数据：对2000万数据进行模糊搜索：**耗时3s+** "took" : 3714, "timed_out" : false, "_shards" : {"total" : 48, , "position" : 1 }, { "token" : "小韭菜", "start_offset" : 0, "end_offset" : 3, 3. Ngram 能够同时支持 match 与 term 查询，重建索引后，客户端无需变动。4.
3.9K40编辑于 2022-12-05 - 来自专栏运维开发故事
Zabbix后端存储ES的优化实践
优化思路 ▼ 对数据mapping重新建模，对str类型的数据不进行分词，采用冷热节点对数据进行存储， 前七天数据的索引分片设计为2主1副，索引存储在热节点上，超过七天的数据将被存储在 冷节点，超过30 对超过3个月的索引进行关闭。以上操作均使用ES的管理工具curator来定时执行。 3.修改ES配置文件，添加冷热节点的标签 vim elasticsearch.yml 热节点配置 ? 冷节点配置 ? 3.编辑action.yml,定义action 将7天以前的索引分配到冷节点 ? ? 将前一天的索引强制合并，每个分片1个segment。 ? 优化后的效果 ▼ 为了测试，这里我将curator执行的对象修改为一天以前的索引，并且shrink压缩成一个主 分片。可以看到前一天的分片已经迁移到冷节点上了，并且冷节点上只有一个主分片。 ?
1.4K20发布于 2020-03-26 - 来自专栏涓流
从ES底层原理来看查询优化
ES 底层设计概览 ES 底层(或者说内核)是基于 Lucene，本文从 ES 查询流程以及 Lucene 底层的一些存储结构设计设计， 来分析 ES 的一些查询优化方向 ES 查询模型 上图是 ES 存储结构如下: ES 优化策略 了解了 ES/Lucene 索引的一些底层设计， 那来看看一些优化方法论 分片数，副本数，索引规模的合理评估 在 ES 6.6 或以上的版本， 官方提供了索引生命周期管理 同时为了避免字段爆炸，ES 有如下优化使用方式： 用户可以在某个父层级字段设置 enabled: false 来防止其下面创建子字段 mapping ，但是能被行存查询出来。 如果查询条件与索引排序顺序一致，查询性能将得到显著提升)，通过牺牲少量的写入性能，在写入时将文档归类放置存储，非常有利于查询裁剪 Merge 优化 Forcemerge 优化 ES 的写入模型采用的是类似 merge 的线程数跟size限制， 可以有效降低集群负载 减少 Merge 可以通过调整集群配置中索引刷新间隔 index.refresh_interval 来实现， 不过会影响数据的实时性 缓存设计优化
2K20编辑于 2024-06-27 - 来自专栏ES搜索
【ES三周年】ES查询—海量数据搜索深度分页优化
图片 背景 最近在实际项目中查询条件上越来越复杂，mysql的筛选已无法支撑，准备将所有搜索筛选改为es查询。 ES 默认认的单页查询最大限制max_result_window 为10000 。 图片 深翻页问题原因：ES 本身采用了分布式的架构，在存储数据时，会将其分配到不同的 shard 中。 图片 ES的检索分为查询（query）和获取（fetch）两个阶段，query阶段比较高效，只是查询满足条件的文档id汇总起来。 引用文章：Elasticsearch Scroll API vs Search After with PIT 相比scroll，内存也得到了优化，es 的查询简化流程： 第一步.用户发送查询dsl 第二步.ES获取shard 内存引用（实际上是ReaderContext 对象引用 ,指向shard的segment 某个状态的数据） 第三步.ES从shard 根据dsl 查询出result scroll
5K229编辑于 2023-04-29 - 来自专栏YoungGy
【优化3】非线性优化
凸集和凸函数 SOCP Guideline
87560发布于 2018-01-02 - 来自专栏云服务器教程
【ES三周年】ES数据索引和查询优化的技术总结
查询优化合理的查询设计对于提高查询性能和减少资源消耗非常重要。 硬件优化合理的硬件配置对于性能的提升也非常重要。以下是一些硬件优化的实践：分配足够的内存：Elasticsearch 使用内存来缓存索引数据和加速查询，因此确保每个节点都有足够的内存可以提高查询性能。 监控和调优监控和调优是持续优化 Elasticsearch 查询性能的关键。 综上所述，通过合理的索引设计、查询优化、硬件优化、使用索引别名和索引生命周期管理以及监控和调优，可以最大限度地提高 Elasticsearch Service 的数据索引和查询性能，从而为业务团队提供高效 腾讯云ES活动
1.5K71编辑于 2023-04-08 - 来自专栏deepcc
ES新特性与TypeScript、JS性能优化
报错 ReferenceError: Cannot access 'tmp' before initialization // 同一作用域下，let声明后才能调用，if的{}内是同一作用域 三、结合ES6 作用域提升；3. 可以先赋值后声明 // let：变量 2、不能重复声明；2. 块级作用域内有效，3. 先声明后使用 // const ：常量 1、必须初始化内存地址，而且不能更改；2. 可以修改引用类型部分 // ES2015 引入了两个重要的 JavaScript 新关键词：let 和 const 。 // 在 ES2015 之前，JavaScript 只有两种类型的作用域：全局作用域和函数作用域。 新生代内存区分为二个等大小空间； 3. 使用空间为From，空闲空间为To； 4.活动对象存储于From空间； 5. 标记整理后将活动对象拷贝至To 6.
1.8K11发布于 2021-01-05 - 来自专栏张家辉的树屋
react es6+ 代码优化之路-1
这里集合了一些代码优化的小技巧 在初步接触 es6+ 和 react 的时候总结的一些让代码跟加简化和可读性更高的写法 大部分知识点是自己在平时项目中还不知道总结的，一致的很多优化的点没有写出来，逐步增加中 react es6+ 代码优化之路-1 1、函数式默认参数 使用函数默认的参数, 使用 es6+ 的时候，有了结构赋值，我们就不用再函数中自己再去定义一个变量。 /* 当我们使用 es5 的时候 **/ var es5Fun = function (config) { var foo = config || 'default foo' console.log (foo) } //我们传一个对象进去 es5Fun() // 'default foo' es5Fun('not default foo') // 'not default foo' /* 当我们使用 es6+ 的时候 **/ const es6Fun = (config = {'defalut'})=>{ console.log(config) } es6Fun(); // '
38620发布于 2021-02-02 - 来自专栏云前端
ES6中的尾调用优化
原文：http://exploringjs.com/es6/ch_tail-calls.html ECMAScript 6 提供了尾调用优化(tail call optimization)功能，以使得对某些函数的调用不会造成调用栈 什么是尾调用优化? Step 3. id() 在B行中被调用。再次形成了一个调用帧，包含了id将要返回到的地址及其参数x被分配和调用的值。 ? Step 4. 在行A，结果x被返回。 行C接收到返回值3并完成打印工作。 因此，如果想要bar()成为一个尾调用，就得改成这样： function foo() { return bar(); // tail call } 3.
1.2K20发布于 2020-06-16 - 来自专栏前端开疆扩土之路
每天3分钟，重学ES6-ES12(八)ES11 ES12新增内容
这是我参与「掘金日新计划 · 6 月更文挑战」的第18天，点击查看活动详情 每天3分钟，重学ES6-ES12文章汇总 前言 今天开始和大家一起系统的学习ES6+,每天3分钟，用一把斗地主的时间，重学 ES6+，今天介绍的是ES11 ES12中新增的内容 ES11 BigInt 大整数类型 在早期的JavaScript中，我们不能正确的表示过大的数字: 大于MAX_SAFE_INTEGER的数值 代码演示 // ES11: 空值合并运算 ?? "defualt value" console.log(bar1,bar2) //"default value","default value" const foo1 = '' const bar3 = info && info.name // es12写法 info &&= info.name console.log(info) // 3.??
48110编辑于 2022-10-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号