- 综合排序
- 最热优先
- 最新优先
- 来自专栏pythonista的日常
es搜索优化&mysql查询优化
这周优化了我们沙抖官网搜索的功能，这个搜索目前是根据视频标题进行匹配，之前是对用户输入的关键词进行了分词查找，比如用户输入【机器人】,这样的话，只要视频标题中有关键词的任意一个字都会被搜到，比如含有【人 】字的标题会展示出来，并可能排的很靠前，所以我就对当前的搜索进行了优化，现在搜索是优先进行相邻短语查询 match_phrase，如果相邻短语查询结果小于2个就进行普通的分词查询，这个相邻短语查询是要求在请求字符串中的所有查询项必须都在文档中存在 "fields": { "video_title": { } } } } 这周内我还对我们的数据表查询进行了优化 加了普通索引和联合索引，现在我们一个视频数据表的数据量是几百兆大小，根据视频行业进行查询时，mysql 响应速度在 600ms 左右，我对行业字段添加了普通索引，查询响应在 30 ms 左右，前后对比优化结果还是很明显的 添加索引语句如下: 1.普通索引 ALTER TABLE `aweme_data` ADD INDEX category_id_index ( `category_id` ); 2.添加联合索引 ALTER
1.9K20发布于 2020-06-16 - 来自专栏YG小书屋
ES 查询优化（二）
插入数据时多加一个长度字段： { "tags" : ["search"], "tag_count" : 1 } { "tags" : ["search", "open_source"], "tag_count" : 2 { "text": "hop" }}, { "term": { "text": "leap" }} ] } } } 3、查询时提高索引的相关性 比如说，我们es GET /docs_2017_12_*/_search { "indices_boost": { "docs_2017_12_10": 3, "docs_2017_12_09": 2 }, "query": { "term": { "text": "error" } } } 4、更改score计算方法 ES5.0之前默认用的是tf-idf来计算相关性 原因是针对names建倒排时，各位置如下： Position 1: john Position 2: abraham Position 3: lincoln Position 4: smith 所以查询
2.8K40发布于 2018-05-23 - 来自专栏YG小书屋
ES 查询优化（一）
my_index/my_type/_search { "query": { "term": { "title": "quick" } } } 2、 "name": "dev" } }, "sort":[ "_doc" ] } 4、随机取n条（n>=10000）数据 1）可以利用ES } }, "random_score": { } } } } 2） 可以利用ES的脚本查询。
5.2K60发布于 2018-05-23 - 来自专栏数据库相关
ES写入性能优化实录
背景： 公司的各个微服务在逐步接入ES APM 这个监控体系，但是metrics写入量较大（每个metrics的长度很小，但是频率很高），通过logstash往ES写数据时候频繁报写入队列已满，写入拒绝 ，运维侧需要对ES做写入优化。 优化措施 1、调整ES的索引持久化参数 主要是调整下面4个参数： "index.translog.durability" : "async", "index.translog.flush_threshold_size "512mb", "index.translog.sync_interval" : "120s", "index.refresh_interval" : "120s" } ' | jq . 2、 日常消费：ES消费能力大约是110w每分钟。
2.1K10发布于 2020-10-28 - 来自专栏高端IT
重学ES系列之函数优化
title></head><body> </body><script> function fun1(x,y) { return x+y } let a = fun1(1,2) ; console.log(a);//3 // 函数参数默认值 function fun2(x=1,y=0) { return x+y } let b = fun2 let fun5 = x =>x+1 console.log(fun5(1));//2 // 函数尾调用 // 尾调用，共用一个内存空间。 let fun8 = (x)=>x+2; let fun9 = ()=>{ let a = fun8(2); return a } console.log // 尾调用优化 // 递归 let factorial = (n)=>{ if(n <=1 ){ return 1 } else{
34120编辑于 2022-06-16 - 来自专栏大数据计算
ES海量数据的优化实践
2、海量数据: 存储与查询痛点2.1 存储成本: 存储量大，SSD价格高昂一份数据在ES的存储通常是Hive的2～4倍（单副本对比），存储膨胀系数非常大；且ES的底层存储基本使用SSD磁盘，存储成本相当昂贵 ；再加上列存、倒排表等存储数据，ES总存储大小大约是Hive的2～4倍。 本文主要介绍列存数据库结合ES构建二级索引的优化。 架构优化前，所有数据都存储在ES，整个检索流程是直接通过ES检索拉取指定展示字段。优化后，将4个检索字段写入ES构建索引数据，原始数据写入HBase，并设计doc_id为HBase的row key。 完成裁剪后，预计可再优化30~50%ES存储优化；b) _source字段裁剪后，实现了存算分离，ES后续将聚焦于搜索功能，对集群的磁盘IO、CPU和网络带宽的负载压力都有不同程度的优化，提升检索效率；
3.2K40编辑于 2022-12-09 - 来自专栏YoungGy
【优化2】整数优化
或的逻辑约束 三个选择的或 只有才 更多或 整数可除 多边形组合 固定花费 分段线性 组合型 set covering set packing 食堂定位 地图填色 Julia例子 9数独 概述 整数优化就是线性优化 x1被选中当且仅当x2被选中。 x2或x3被选中，可以都被选中。 x2或x3被选中，不可以都被选中。 对应的IP约束为： x1-x3<=0 x1+x5<=1 x1-x2=0 x2+x3>=1 x2+x3=1 或的逻辑约束 或的逻辑问题，可以用用bigM方法去解决，其思想是通过添加新的变量，将部分约束变成多余的 例如，对于问题 [图片] 或 [图片] （两者可以都出现），y1、y2的定义域是[0，5]。 and column j to j+2 @constraint(m, sum{x[r,c,k], r=i:i+2, c=j:j+2} == 1) end for i = 1:9, j = 1:
1.8K50发布于 2018-01-05 - 来自专栏性能优化最佳实践
【腾讯云ES】基于NGram分词ES搜索性能优化实践
"白色死神"}分词结果:{ "tokens" : [ { "token" : "白色", "start_offset" : 0, "end_offset" : 2, "type" : "CN_WORD", "position" : 0 }, { "token" : "死神", "start_offset" : 2, 关于严格匹配我们很容易就能想到模糊查询，es本身也是能支持模糊查询的：方案选择方案一：模糊查询 wildcard && fuzzy 模糊查询的功能有点类似 mysql 中的 like，可以使用正则表达式的通配符来达到模糊搜索的效果 product_title": { "value": "*白*" }} }}wildcard 能同时支持 text 和 keyword 两种类型的搜索，但是当输入字符串很长或者搜索数据集很大时，搜索性能很低，原因是ES 2. Ngram搜索性能要远远高于 wildcard，但会额外消耗10%左右磁盘（并不明显），可以配合一些数据压缩策略使用。3.
3.9K40编辑于 2022-12-05 - 来自专栏运维开发故事
Zabbix后端存储ES的优化实践
优化思路 ▼ 对数据mapping重新建模，对str类型的数据不进行分词，采用冷热节点对数据进行存储， 前七天数据的索引分片设计为2主1副，索引存储在热节点上，超过七天的数据将被存储在 冷节点，超过30 天的索引分片设置为2主0副本，ES提供了一个_shrink的api来进行压缩。 Zabbix与ES的对接操作▼ 1.修改/etc/zabbix/zabbix_server. conf，添加如下内容 ES地址填写集群中任意一个节点就可以 ? 2.修改/etc/zabbix/web/zabbix.conf. php 添加如下内容 ? ? 优化后的效果 ▼ 为了测试，这里我将curator执行的对象修改为一天以前的索引，并且shrink压缩成一个主 分片。可以看到前一天的分片已经迁移到冷节点上了，并且冷节点上只有一个主分片。 ?
1.4K20发布于 2020-03-26 - 来自专栏涓流
从ES底层原理来看查询优化
ES 底层设计概览 ES 底层(或者说内核)是基于 Lucene，本文从 ES 查询流程以及 Lucene 底层的一些存储结构设计设计， 来分析 ES 的一些查询优化方向 ES 查询模型 上图是 ES 从查询流程可以看出 ES 的查询主要有2个阶段: Query 和 Fetch Query 阶段：协调节点将查询拆分成多个分片任务，发送到数据分片上通过调用 Lucene 执行查倒排索引，查询满足条件的文档 存储结构如下: ES 优化策略 了解了 ES/Lucene 索引的一些底层设计， 那来看看一些优化方法论 分片数，副本数，索引规模的合理评估 在 ES 6.6 或以上的版本， 官方提供了索引生命周期管理 同时为了避免字段爆炸，ES 有如下优化使用方式： 用户可以在某个父层级字段设置 enabled: false 来防止其下面创建子字段 mapping ，但是能被行存查询出来。 如果查询条件与索引排序顺序一致，查询性能将得到显著提升)，通过牺牲少量的写入性能，在写入时将文档归类放置存储，非常有利于查询裁剪 Merge 优化 Forcemerge 优化 ES 的写入模型采用的是类似
2K20编辑于 2024-06-27 - 来自专栏大数据进阶
flinkx同步es2hive
mkdir -p es cd es mkdir -p conf mkdir -p data mkdir -p logs 下面看一下docker-compose.yml version: '3' services "minimum_index_compatibility_version" : "5.0.0" }, "tagline" : "You Know, for Search" } flinkx支持es2hive es2hive.json { "job" : { "content" : [ { "reader": { "name": "esreader", writer": { "name" : "hivewriter", "parameter" : { "jdbcUrl" : "jdbc:hive2: : 1 } } } } 运行命令 bin/flinkx \ -mode local \ -job /Users/wangkai/apps/install/flinkx/es2hive.json
59120发布于 2021-11-22 - 来自专栏HelloCode开发者学习平台
OpenGL ES GLSL滤镜实现(2)
01 — 原图GLSL 实现 顶点着色器代码: attribute vec4 Position; attribute vec2 TextureCoords; varying vec2 TextureCoordsVarying 获取原始图片纹素颜色值 2. 获取原始图片纹素颜色值 2. Texture; varying vec2 TextureCoordsVarying; void main (void) { vec4 mask = texture2D(Texture 获取原始图片纹素颜色值 2.
1.2K20发布于 2019-07-30 - 来自专栏ES搜索
【ES三周年】ES查询—海量数据搜索深度分页优化
图片 背景 最近在实际项目中查询条件上越来越复杂，mysql的筛选已无法支撑，准备将所有搜索筛选改为es查询。 ES 默认认的单页查询最大限制max_result_window 为10000 。 图片 深翻页问题原因：ES 本身采用了分布式的架构，在存储数据时，会将其分配到不同的 shard 中。 图片 ES的检索分为查询（query）和获取（fetch）两个阶段，query阶段比较高效，只是查询满足条件的文档id汇总起来。 引用文章：Elasticsearch Scroll API vs Search After with PIT 相比scroll，内存也得到了优化，es 的查询简化流程： 第一步.用户发送查询dsl 第二步.ES获取shard 内存引用（实际上是ReaderContext 对象引用 ,指向shard的segment 某个状态的数据） 第三步.ES从shard 根据dsl 查询出result scroll
5K229编辑于 2023-04-29 - 来自专栏云服务器教程
【ES三周年】ES数据索引和查询优化的技术总结
查询优化合理的查询设计对于提高查询性能和减少资源消耗非常重要。 硬件优化合理的硬件配置对于性能的提升也非常重要。以下是一些硬件优化的实践：分配足够的内存：Elasticsearch 使用内存来缓存索引数据和加速查询，因此确保每个节点都有足够的内存可以提高查询性能。 监控和调优监控和调优是持续优化 Elasticsearch 查询性能的关键。 综上所述，通过合理的索引设计、查询优化、硬件优化、使用索引别名和索引生命周期管理以及监控和调优，可以最大限度地提高 Elasticsearch Service 的数据索引和查询性能，从而为业务团队提供高效 腾讯云ES活动
1.5K71编辑于 2023-04-08 - 来自专栏deepcc
ES新特性与TypeScript、JS性能优化
报错 ReferenceError: Cannot access 'tmp' before initialization // 同一作用域下，let声明后才能调用，if的{}内是同一作用域 三、结合ES6 可以重复申明； 2. 作用域提升；3. 可以先赋值后声明 // let：变量 2、不能重复声明；2. 块级作用域内有效，3. 可以修改引用类型部分 // ES2015 引入了两个重要的 JavaScript 新关键词：let 和 const 。 // 在 ES2015 之前，JavaScript 只有两种类型的作用域：全局作用域和函数作用域。 = {} obj1.name = obj2 obj2.name = obj1 return '' } fn() 十一、描述标记整理算法的工作流程 1.
1.8K11发布于 2021-01-05 - 来自专栏张家辉的树屋
react es6+ 代码优化之路-1
这里集合了一些代码优化的小技巧 在初步接触 es6+ 和 react 的时候总结的一些让代码跟加简化和可读性更高的写法 大部分知识点是自己在平时项目中还不知道总结的，一致的很多优化的点没有写出来，逐步增加中 react es6+ 代码优化之路-1 1、函数式默认参数 使用函数默认的参数, 使用 es6+ 的时候，有了结构赋值，我们就不用再函数中自己再去定义一个变量。 (foo) } //我们传一个对象进去 es5Fun() // 'default foo' es5Fun('not default foo') // 'not default foo' /* 当我们使用 es6+ 的时候 **/ const es6Fun = (config = {'defalut'})=>{ console.log(config) } es6Fun(); // ' splitLocale[0]; const country = splitLocale[1]; //good const [language, country] = locale.split('-'); 2、
38620发布于 2021-02-02 - 来自专栏云前端
ES6中的尾调用优化
原文：http://exploringjs.com/es6/ch_tail-calls.html ECMAScript 6 提供了尾调用优化(tail call optimization)功能，以使得对某些函数的调用不会造成调用栈 什么是尾调用优化? Step 2. 在代码中的C行，f()被调用：首先，将要return到的位置被记录在栈中；然后f的参数a被分配并执行。 ? // (B) } console.log(f(2)); // (C) 回顾上个章节的过程，其实 step 5 是多余的。 2. 检查函数调用是否在尾部发生 我们已经了解到尾调用可以被更有效率的执行，那么如何认定一个尾调用呢？ 首先，调用函数的方式是无所谓的。
1.2K20发布于 2020-06-16 - 来自专栏芋道源码1024
2 万字详解，吃透 ES！
全文搜索 ：对非结构化数据顺序扫描很慢，我们是否可以进行优化？把我们的非结构化数据想办法弄得有一定结构不就行了吗？ 在 Elasticsearch 是 2.x （2.x 的最后一版 2.4.6 的发布时间是 July 25, 2017） 的情况下，kibana 已经是 4.x（Kibana 4.6.5 的发布时间是 2、安装目录下运行 bin/elasticsearch来启动 ES。 这里有四个主分片，一条数据ES是根据什么规则写到特定分片上的呢？这条索引数据为什么被写到S0上而不写到S1或S2上？那条数据为什么又被写到S3上而不写到S0上了？ 性能优化 存储设备 磁盘在现代服务器上通常都是瓶颈。Elasticsearch 重度使用磁盘，你的磁盘能处理的吞吐量越大，你的节点就越稳定。这里有一些优化磁盘 I/O 的技巧： 使用 SSD。
77831编辑于 2022-07-01 - 来自专栏OSChina
spingboot2 整合ES7.2
参考文档 包括中文分词：https://www.jianshu.com/p/d2afc19cafbd 拼音搜索：https://github.com/medcl/elasticsearch-analysis-pinyin --自带es版本太低了需要排除--> <exclusion> <groupId>org.elasticsearch</groupId (), esParamConfig.getPort(), esParamConfig.getScheme()))); return client; } } 3.编写配置文件 es * @author shiye * @create 2020-07-17 19:30 */ @Configuration @ConfigurationProperties(prefix = "es "my_pinyin"); request.settings(builder); return request; } /** * 社区服务ES
69310发布于 2020-07-21 - 来自专栏每日一篇技术文章
OPenGL ES _ 着色器_实战2
i/4 *self.videoWidth*2 , self.videoWidth*2, self.videoWidth*2); switch (i) { case 0: ; uniform sampler2D sam2DY; // Y分量的采样器 uniform sampler2D sam2DUV;// UV分量的采样器 uniform vec4 rgbaFactor (sam2DY,texCoordVarying).r - (16.0/255.0); yuv.yz = texture2D(sam2DUV,texCoordVarying).rg - vec2(0.5, ，所以x2. glViewport(i%4 * self.videoWidth*2,i/4 *self.videoWidth*2 , self.videoWidth*2, self.videoWidth*2);
83510发布于 2018-09-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号