- 综合排序
- 最热优先
- 最新优先
- 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南（33）
关注微信公众号 ↑ 获取更多干货 Elasticsearch搜索调优权威指南，是QBox在其博客上发布的系列文章之一，本文是该系列的第三篇，主要从凑整时间查询、全局序列号预热和文件系统缓存预热几个方面介绍了优化查询性能的一些方法 此前还发布了 Elasticsearch性能调优权威指南 和 Elasticsearch索引性能优化 两个系列。 作者：Adam Vanderbush 译者：杨振涛 本文是QBox官方博客“Elasticsearch搜索调优权威指南”系列文章3篇中的第3篇，第1篇参考这里，第2篇参考这里。 本系列教程旨在进一步探讨针对Elasticsearch 5.0及以上版本的搜索调优技术、策略和建议。 对于频繁搜索的索引，可能希望设置其值为 ["nvd", "dvd"]，这将会触发 norms 和 doc value 预加载到物理内存。
1.3K10发布于 2019-03-19 - 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南 （23）
Elasticsearch搜索调优权威指南，是QBOX在其博客上发布的系列文章之一，本文是该系列的第二篇，主要介绍了索引预处理、mapping建立、避免脚本的使用、索引段合并等搜索性能相关的调优方法； 作者：Adam Vanderbush 译者：杨振涛 本文是Elasticsearch搜索调优系列文章3篇中的第2篇，第1篇参考这里（点击）。 本系列教程旨在更进一步讨论针对Elasticsearch 5.0及以上版本的搜索调优技术、策略及建议。 ? （图片来源于网络） 1预索引数据 为了优化数据的索引方式，应当在查询中预置一些模式。 关键字字段只可通过其精确值搜索得到。 如果需要索引全文内容比如 email 内容或产品描述，可能就要使用一个文本字段。 4强制合并只读索引 只读索引在合并为单一的段后将会非常受益。典型的情况是基于时间的索引：只有当前时间窗的索引会成为新文档，同时旧索引成为只读。
67320发布于 2019-04-19 - 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南 （23）
关注我们，获取更多干货 ↑ Elasticsearch搜索调优权威指南，是QBOX在其博客上发布的系列文章之一，本文是该系列的第二篇，主要介绍了索引预处理、mapping建立、避免脚本的使用、索引段合并等搜索性能相关的调优方法 作者：Adam Vanderbush 译者：杨振涛 本文是Elasticsearch搜索调优系列文章3篇中的第2篇，第1篇参考这里（点击）。 本系列教程旨在更进一步讨论针对Elasticsearch 5.0及以上版本的搜索调优技术、策略及建议。 ? （图片来源于网络） 1预索引数据 为了优化数据的索引方式，应当在查询中预置一些模式。 关键字字段只可通过其精确值搜索得到。 如果需要索引全文内容比如 email 内容或产品描述，可能就要使用一个文本字段。 4强制合并只读索引 只读索引在合并为单一的段后将会非常受益。典型的情况是基于时间的索引：只有当前时间窗的索引会成为新文档，同时旧索引成为只读。
92530发布于 2019-03-19 - 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南 （13）
Elasticsearch搜索调优权威指南，是QBOX在其博客上发布的系列文章之一，本文是该系列的第一篇，主要从文档建模、内存分配、文件系统缓存、GC和硬件等方面介绍了优化查询性能的一些经验；后续还会有该系列的另外两篇文章 我们已经通过“Elasticsearch性能调优权威指南”系列，介绍了一些性能调优的基本经验和方法，解释了每一步最关键的系统设置和衡量指标。 Indexing Performance (Part 2) How to Maximize Elasticsearch Indexing Performance (Part 3) 本文旨在推荐一些搜索调优技术 4 为文件系统缓存分配内存 对于运行中Elasticsearch，内存是需要密切监控的重要资源之一。Elasticsearch和Lucene通过JVM堆内存和文件系统缓存两种方式来消耗内存。 如果搜索受限于CPU，那么应当考虑购买更快的CPU。
1.1K20发布于 2019-03-19 - 来自专栏GitHub专栏
4 款 MySQL 调优工具，yyds！
/slowtest-slow.log --since '2017-01-07 09:30:00' --until '2017-01-07 10:00:00'> > slow_report3.log 4） pt-query-digest --filter '$event->{fingerprint} =~ m/^select/i' /var/lib/mysql/slowtest-slow.log> slow_report4.
1.2K31发布于 2021-08-05 - 来自专栏不温卜火
Spark性能优化 (4) | JVM 调优
对于 JVM 调优，首先应该明确，full gc/minor gc，都会导致JVM的工作线程停止工作，即stop the world。 1. Executor 堆外内存上限大概为300多MB，在实际的生产环境下，对海量数据进行处理的时候，这里都会出现问题，导致Spark作业反复崩溃，无法运行，此时就会去调节这个参数，到至少1G，甚至于2G、4G
1.3K30发布于 2020-10-28 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ 通过日志或者WEBUI 3、内存调优 ? Spark中如何内存调优？ Spark WEBUI中job->stage->task 4、Spark Shuffle调优 spark.shuffle.file.buffer 32k buffer大小 默认是32K maptask
2.3K30发布于 2018-09-13 - 来自专栏机器学习与生成对抗网络
4种主流超参数调优技术
作者丨Sivasai Yadav Mudugandla 编辑丨Python遇见机器学习 引言 维基百科上说“超参数优化（optimization）或调优（tuning）是为学习算法选择一组最优超参数的问题 传统或手动调参 2. 网格搜索 3. 随机搜索 4. 贝叶斯搜索 1. 传统或手动调参 在传统的调优中，我们通过手动检查随机超参数集来训练算法，并选择最适合我们目标的参数集。 网格搜索 网格搜索是一种基本的超参数调整技术。它类似于手动调优，为网格中指定的所有给定超参数值的每个排列建立模型，并评估和选择最佳模型。 ’]，在这种情况下，它总共构建了9 * 4 = 36个不同的模型。 4. 贝叶斯优化 贝叶斯优化属于一类被称为sequential model-based optimization(SMBO)的优化算法。
1.6K30发布于 2020-10-27 - 来自专栏chenchenchen
SQL调优之性能调优
针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 AND OR 查询 Row# Colmun1 Column21 3 A2 2 B3 1 C 当数据库系统按照查询语进行搜索时，它按照下面的步骤执行： 索引查找 ，但是他们会为大于或小于进行索引搜索，所以可以将下面的查询进行如下转换： ... WHERE column1 IN (1, 3, 4, 5) 转换成： ... 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.5K30发布于 2019-12-03 - 来自专栏PyVision
4种主流超参数调优技术
每个算法工程师都应该了解的流行超参数调优技术。 作者：Sivasai Yadav Mudugandla 编译：McGL ? 引言 维基百科上说“超参数优化（optimization）或调优（tuning）是为学习算法选择一组最优超参数的问题” 机器学习工作流中最难的部分之一是为模型寻找最佳的超参数。 传统或手动调参 2. 网格搜索 3. 随机搜索 4. 贝叶斯搜索 1. 传统或手动调参 在传统的调优中，我们通过手动检查随机超参数集来训练算法，并选择最适合我们目标的参数集。 网格搜索 网格搜索是一种基本的超参数调整技术。它类似于手动调优，为网格中指定的所有给定超参数值的每个排列建立模型，并评估和选择最佳模型。 ’]，在这种情况下，它总共构建了9 * 4 = 36个不同的模型。
2K20发布于 2020-09-21 - 来自专栏大数据成长之路
Hive性能调优之严格模式(4)
通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。
63210发布于 2021-01-22 - 来自专栏ApacheHudi
调优 | Apache Hudi应用调优指南
通过Spark作业将数据写入Hudi时，Spark应用的调优技巧也适用于此。如果要提高性能或可靠性，请牢记以下几点。 GC调优：请确保遵循Spark调优指南中的垃圾收集调优技巧，以避免OutOfMemory错误。 HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/hoodie-heapdump.hprof spark.driver.maxResultSize 2g spark.driver.memory 4g spark.sql.hive.convertMetastoreParquet false spark.submit.deployMode cluster spark.task.cpus 1 spark.task.maxFailures 4
1.5K20发布于 2021-04-13 - 来自专栏SmartSi
Spark 性能调优之资源调优
整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对 参数调优建议：每个Executor进程的内存设置4G-8G较为合适。但是这只是一个参考值，具体的设置还是得根据不同部门的资源队列来定。 参数调优建议：Executor的CPU core数量设置为2-4个较为合适。 (4) driver-memory 参数说明：该参数用于设置Driver进程的内存。 参数调优建议：Driver的内存通常来说不设置，或者设置1G左右应该就够了。
2.2K30发布于 2019-08-07 - 来自专栏大数据成神之路
Spark调优 | Spark SQL参数调优
本文讲解最近关于在参与hive往spark迁移过程中遇到的一些参数相关问题的调优。 内容分为两部分，第一部分讲遇到异常，从而需要通过设置参数来解决的调优；第二部分讲用于提升性能而进行的调优。 异常调优 spark.sql.hive.convertMetastoreParquet parquet是一种列式存储格式，可以用于spark-sql 和hive 的存储格式。 性能调优 除了遇到异常需要被动调整参数之外，我们还可以主动调整参数从而对性能进行调优。 spark.sql.files.opencostInBytes 该参数默认4M，表示小于4M的小文件会合并到一个分区中，用于减小小文件，防止太多单个小文件占一个分区情况。 For example, custom appenders that are used by log4j. spark.sql.hive.metastore.version 1.2.1 Version
8.6K63发布于 2019-08-16 - 来自专栏纯洁的微笑
Tomcat 性能调优之 JVM 调优
因此在对Web 容器( 应用服务器) 的调优中必不可少的是对于 JVM 的调优。 对于 JVM 的调优，主要有两个方面考虑： 内存大小配置 垃圾回收算法选择 当然，确切的说，以上两点并不互相独立，内存的大小配置也会影响垃圾回收的执行效率。 延迟、吞吐量调优 其他 JVM 配置 垃圾回收算法对应到的就是不同的垃圾收集器，具体到在 JVM 中的配置，是使用 -XX:+UseParallelOldGC 或者 -XX:+UseConcMarkSweepGC 所谓调优，就是一个不断调整和优化的过程，需要观察、配置、测试再如此重复。有相关经验的朋友欢迎留言补充！ 说到底，那上面的这些选项是要配置在哪里呢？
2.3K30发布于 2019-05-06 - 来自专栏个人积累
数据库调优 项目调优
Springboot项目调优 配置文件调优 更改Tomcat的相关配置 设置Tomcat的最大连接数 设置请求头最大内存 设置post请求的最大内存 设置Tomcat最大线程数 设置Tomcat 的最小工作线程数 JVM调优 设置项目启动的参数 在vm option处添加配置内容 -XX:MetaspaceSize=128m #（元空间默认大小） -XX:MaxMetaspaceSize=128m
1.2K51发布于 2020-10-10 - 来自专栏SmartSi
Spark 性能调优之Shuffle调优
因此，如果要让作业的性能更上一层楼，就有必要对 shuffle 过程进行调优。 但是也必须提醒大家的是，影响一个 Spark 作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle 调优只能在整个 Spark 的性能调优中占到一小部分而已。 因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解 shuffle 的原理，以及相关参数的说明，同时给出各个参数的调优建议。 2. 5. shuffle相关参数调优 以下是Shffule过程中的一些主要参数，这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。 调优建议：在资源参数调优中讲解过这个参数。如果内存充足，而且很少使用持久化操作，建议调高这个比例，给 shuffle read 的聚合操作更多内存，以避免由于内存不足导致聚合过程中频繁读写磁盘。
2K31发布于 2019-08-08 - 来自专栏SmartSi
Spark 性能调优之开发调优
Spark的性能调优实际上是由很多部分组成的，不是调节几个参数就可以立竿见影提升作业性能的。 整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对 Spark的原理有较深层次掌握和研究的同学，主要讲解了如何对Spark作业的shuffle运行过程以及细节进行调优。 本文作为Spark性能优化指南的基础篇，主要讲解开发调优。 2. 开发调优 2.1 调优概述 Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。
1.5K31发布于 2019-08-07 - 来自专栏全栈程序员必看
jvm 调优命令_java jvm调优工具
3类 **性能参数（Performance Options）：**用于JVM的性能调优和内存分配控制，如初始化内存大小的设置； **行为参数（Behavioral Options）：**用于改变JVM的基础行为 线上环境 web容器：Tomcat， startup.sh -> catalina.sh(卡特琳娜) 里设置JVM 参数 jsp + jinfo 查看某个java进程的参数，然后再调整设置 真实调优 /tomcat/xxx/xx/heap.hprof 在排查的的时候 jmap -dump:format=b,file=heap.hprof 44808 一般dump下来的文件可以结合工具来分析 4调优常用工具 :k] Suspects [səˈspekts] 查找并分析内存泄漏的可能原因 Reports—>Leak Suspects—>Details Top Consumers 列出大对象 5调优实战分析 5.2程序监控调优 前提：java 应用程序必然是正常运行的。. 目的：减少GC 频率，减少Full GC 发现现象才去解决？
1.6K31编辑于 2022-11-17 - 来自专栏山河已无恙
Linux 性能调优之CPU调优认知
写在前面 博文内容为《性能之巅 系统、企业与云可观测性（第2版）》CPU 章节课后习题答案整理，这是CPU 调优的最后两篇之一，之后还会整理一篇CPU性能故障的场景分析的博文 内容涉及： CPU 术语 12 1209 1380 9 24 64 3 0 8 0 0 7710592 4204 1441664 0 0 0 27 779 1215 4 0 0 0 64 1237 4686 11 26 56 7 0 52 0 0 7712752 4204 1441816 0 0 0 4 tcp_v4_send_reset 和 tcp_v4_rcv 表示 TCP 协议的处理。 __sys_connect 和 __x64_sys_connect 表示进行系统调用以建立连接。 该模块可能没有正确安装或没有包含在 Perl 解释器的模块搜索路径中。 要解决这个问题，你可以尝试以下几个步骤： 检查模块安装：确保 open.pm 模块已经正确安装。
1.6K31编辑于 2025-04-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号