- 综合排序
- 最热优先
- 最新优先
- 来自专栏雨临Lewis的博客
ELK系列(5) - Elasticsearch性能调优
可以通过以下方式来释放分段占用的内存： 删除不用的索引 关闭索引，此时数据依然存在于磁盘，但是占用的内存会被释放 定期合并不再更新的索引的分段，将多个小分段合并成大分段，具体接口可以参考这部分文章 参考链接 Elasticsearch调优
64110编辑于 2022-03-24 - 来自专栏chenchenchen
SQL调优之性能调优
查询条件中操作符的权值 操作符 权值= 10 5 = 5 < 5 <= 5 LIKE 3 <> 0 表 2. 查询条件中操作数的权值 操作数 权值仅常量字符 10仅有列名 5仅有参数 5多操作数表达式 3精确数值类型 2其它数值类型 1时间数据类型 1字符数据类型 针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 首先优化器根据查询条件 column1 = 5 为真来查找所有符合条件的所有行，然后据查询条件 column2 = 5 为真来查找所有符合条件的所有行，即两次表扫描，因此，如果 column1 = 5 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.3K30发布于 2019-12-03 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ 通过日志或者WEBUI 3、内存调优 ? Spark JVM调优主要是降低gc时间，可以修改Executor内存的比例参数。 RDD缓存、task定义运行的算子函数，可能会创建很多对象，这样会占用大量的堆内存。 Spark中如何内存调优？
2.1K30发布于 2018-09-13 - 来自专栏大数据成长之路
Hive性能调优之JVM重用(5)
JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。
1.1K10发布于 2021-01-22 - 来自专栏Java EE 企业级开发工作日志
JVM 调优 1：“精通 JVM 调优，有过 JVM 调优经验”简历敢写吗？薪资涨 5k 的技巧
，有过 JVM 调优经验”，因为应聘者如果写这句话就意味着你的面试将会是很“难过”的，面试官会变着法的问你如何进行 JVM 系列调优，如果你的基础比较薄弱或者是仅仅背面试题速成，那么你很可能在面试中露馅 既然 JVM 如此重要，那我就在本系列中完整的过一遍，让你敢于在简历上写“精通 JVM 调优，有过 JVM 调优经验”，薪资涨 5k！ 在聊 JVM 调优和 GC 之前，我们先看看当下就业环境中面试对于 JVM 和 GC 的一些相关面试题，看看企业开发岗需要什么样的人才。 GC 调优有经验吗？一般出现 GC 问题你怎么解决？ 1.5、阿里、蘑菇街 ThreadLocal 有没有内存泄漏问题？ 在默认情况下 JDK 1.8 没有调参数、调优用的就是 GC 的分代模型。
51311编辑于 2022-05-08 - 来自专栏纯洁的微笑
Tomcat 性能调优之 JVM 调优
因此在对Web 容器( 应用服务器) 的调优中必不可少的是对于 JVM 的调优。 对于 JVM 的调优，主要有两个方面考虑： 内存大小配置 垃圾回收算法选择 当然，确切的说，以上两点并不互相独立，内存的大小配置也会影响垃圾回收的执行效率。 延迟、吞吐量调优 其他 JVM 配置 垃圾回收算法对应到的就是不同的垃圾收集器，具体到在 JVM 中的配置，是使用 -XX:+UseParallelOldGC 或者 -XX:+UseConcMarkSweepGC 所谓调优，就是一个不断调整和优化的过程，需要观察、配置、测试再如此重复。有相关经验的朋友欢迎留言补充！ 说到底，那上面的这些选项是要配置在哪里呢？
2.2K30发布于 2019-05-06 - 来自专栏Java后端技术栈cwnait
5种JVM调优配置方法概览！！！
如：3，表示Eden：Survivor=3：2，一个Survivor区占整个年轻代的1/5 -XX:MaxPermSize=n:设置持久代大小 2 收集器设置 -XX:+UseSerialGC: 5 调优总结 年轻代大小选择 响应时间优先的应用：尽可能设大，直到接近系统的最低响应时间限制（根据实际情况选择）。在此种情况下，年轻代收集发生的频率也是最小的。同时，减少到达年老代的对象。
71320发布于 2020-02-11 - 来自专栏个人积累
数据库调优 项目调优
Springboot项目调优 配置文件调优 更改Tomcat的相关配置 设置Tomcat的最大连接数 设置请求头最大内存 设置post请求的最大内存 设置Tomcat最大线程数 设置Tomcat 的最小工作线程数 JVM调优 设置项目启动的参数 在vm option处添加配置内容 -XX:MetaspaceSize=128m #（元空间默认大小） -XX:MaxMetaspaceSize=128m
1K51发布于 2020-10-10 - 来自专栏SmartSi
Spark 性能调优之Shuffle调优
因此，如果要让作业的性能更上一层楼，就有必要对 shuffle 过程进行调优。 但是也必须提醒大家的是，影响一个 Spark 作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle 调优只能在整个 Spark 的性能调优中占到一小部分而已。 因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解 shuffle 的原理，以及相关参数的说明，同时给出各个参数的调优建议。 2. 5. shuffle相关参数调优 以下是Shffule过程中的一些主要参数，这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。 调优建议：在资源参数调优中讲解过这个参数。如果内存充足，而且很少使用持久化操作，建议调高这个比例，给 shuffle read 的聚合操作更多内存，以避免由于内存不足导致聚合过程中频繁读写磁盘。
1.8K31发布于 2019-08-08 - 来自专栏SmartSi
Spark 性能调优之开发调优
Spark的性能调优实际上是由很多部分组成的，不是调节几个参数就可以立竿见影提升作业性能的。 整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对 Spark的原理有较深层次掌握和研究的同学，主要讲解了如何对Spark作业的shuffle运行过程以及细节进行调优。 本文作为Spark性能优化指南的基础篇，主要讲解开发调优。 2. 开发调优 2.1 调优概述 Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。
1.3K31发布于 2019-08-07 - 来自专栏ApacheHudi
调优 | Apache Hudi应用调优指南
通过Spark作业将数据写入Hudi时，Spark应用的调优技巧也适用于此。如果要提高性能或可靠性，请牢记以下几点。 GC调优：请确保遵循Spark调优指南中的垃圾收集调优技巧，以避免OutOfMemory错误。
1.3K20发布于 2021-04-13 - 来自专栏SmartSi
Spark 性能调优之资源调优
整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对 本文作为Spark性能优化指南的基础篇，主要讲解资源调优。 2. 资源调优 2.1 调优概述 在开发完Spark作业之后，就该为作业配置合适的资源了。 理解作业基本原理，是我们进行资源参数调优的基本前提。 2.3 资源参数调优 了解完了Spark作业运行的基本原理之后，对资源相关的参数就容易理解了。 (5) spark.default.parallelism 参数说明：该参数用于设置每个stage的默认task数量。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能。
2K30发布于 2019-08-07 - 来自专栏大数据成神之路
Spark调优 | Spark SQL参数调优
5万人关注的大数据成神之路，不来了解一下吗？ 5万人关注的大数据成神之路，真的不来了解一下吗？ 5万人关注的大数据成神之路，确定真的不来了解一下吗？ 本文讲解最近关于在参与hive往spark迁移过程中遇到的一些参数相关问题的调优。 内容分为两部分，第一部分讲遇到异常，从而需要通过设置参数来解决的调优；第二部分讲用于提升性能而进行的调优。 异常调优 spark.sql.hive.convertMetastoreParquet parquet是一种列式存储格式，可以用于spark-sql 和hive 的存储格式。 性能调优 除了遇到异常需要被动调整参数之外，我们还可以主动调整参数从而对性能进行调优。
8.3K63发布于 2019-08-16 - 来自专栏Jed的技术阶梯
Spark性能调优01-资源调优
理解作业基本原理，是我们进行资源参数调优的基本前提。 3. spark内存管理 (1) spark-1.5.x版本以前使用静态内存管理 ? 参数调优建议： 每个Executor进程的内存设置4G~8G较为合适。但是这只是一个参考值，具体的设置还是得根据不同部门的资源队列来定。 参数调优建议： Executor的CPU core数量设置为2~4个较为合适。 参数调优建议： Driver的内存通常来说不设置，或者设置1G左右应该就够了。 参数调优建议： Spark作业的默认task数量为500~1000个较为合适。
1.5K20发布于 2018-09-13 - 来自专栏AustinDatabases
MONGODB 性能与调优 -- 内存调优 1
所以这又是一个新的系列，关于MONGODB的优化和调优，下方是一个MONGODB的 内存与磁盘的一个大概的架构。 ) 99.80766247867226 通过这样的方式可以获得你当时的cache hit ratio , 除了这个指标以外，MONGODB 还有一个知名的指标 dirty flush below 5% ,也就是脏页在MONGODB 中的留存不要超过 5% ， 根据LRU的原则，MONGODB ，通过4个线程来去逐出这些内存与数据页面不同的数据，超过5% 说明你的服务器的压力过大，脏页的驻留时间过长，
1.9K30编辑于 2022-04-05 - 来自专栏山河已无恙
Linux 性能调优之CPU调优认知
写在前面 博文内容为《性能之巅 系统、企业与云可观测性（第2版）》CPU 章节课后习题答案整理，这是CPU 调优的最后两篇之一，之后还会整理一篇CPU性能故障的场景分析的博文 内容涉及： CPU 术语 可以通过 iostat 观察 IO 负载情况，%util 设备使用率趋于饱和 ┌──[root@vms100.liruilongs.github.io]-[~] └─$iostat -dk -x 5 查看CPU 相关信息，可以看到 使用率大的部分在内核态（%sys） ┌──[root@vms100.liruilongs.github.io]-[~] └─$mpstat 5 Linux 5.4.266 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr /share/perl5) at .
1.4K31编辑于 2025-04-09 - 来自专栏全栈程序员必看
jvm 调优命令_java jvm调优工具
3类 **性能参数（Performance Options）：**用于JVM的性能调优和内存分配控制，如初始化内存大小的设置； **行为参数（Behavioral Options）：**用于改变JVM的基础行为 线上环境 web容器：Tomcat， startup.sh -> catalina.sh(卡特琳娜) 里设置JVM 参数 jsp + jinfo 查看某个java进程的参数，然后再调整设置 真实调优 tomcat/xxx/xx/heap.hprof 在排查的的时候 jmap -dump:format=b,file=heap.hprof 44808 一般dump下来的文件可以结合工具来分析 4调优常用工具 li:k] Suspects [səˈspekts] 查找并分析内存泄漏的可能原因 Reports—>Leak Suspects—>Details Top Consumers 列出大对象 5调优实战分析 5.2程序监控调优 前提：java 应用程序必然是正常运行的。. 目的：减少GC 频率，减少Full GC 发现现象才去解决？
1.4K31编辑于 2022-11-17 - 来自专栏叨叨软件测试
JVM 调优之 Eclipse 启动调优实战
本文是我12年在学习《深入理解Java虚拟机：JVM高级特性与最佳实践》时，做的一个 JVM 简单调优实战笔记，版本都有些过时，不过调优思路和过程还是可以分享给大家参考的。 Client VM (build 17.1-b03， mixed mode， sharing) Eclipse版本： Release 4.2.0 Last revised June 8th， 2012 调优前 分析及调优 升级JDK版本 获取免费的“性能提升”(这里暂时不做考虑)。 类加载和编译时间优化 类加载： 字节码验证优化。 1.5 -Dhelp.lucene.tokenizer=standard -Xverify:none -Xms512m -Xmx512m -Xmn170m -XX:PermSize=256m 第二次 调优后运行结果 总结 以上只是专门针对 Eclipse 的启动过程进行分析和调优，并未对 Eclipse 日常开发工作进行分析和调优。 参考资料 《深入理解Java虚拟机：JVM高级特性与最佳实践》
72710发布于 2020-04-14 - 来自专栏山河已无恙
Linux 性能调优之虚拟化调优
写在前面 考试整理相关笔记 博文内容涉及Linux VM 常见管理操作以及部分调优配置 理解不足小伙伴帮忙指正 不必太纠结于当下，也不必太忧虑未来，当你经历过一些事情的时候，眼前的风景已经和从前不一样了 ——村上春树 使用工具进行调优 可以直接使用 tuned 包里面的适用于虚拟化调优的参数，tuned 中对于虚拟化通过两个优化配置，一个适用虚拟机，一个适用虚拟机所在的宿主机。 ┌──[root@liruilongs.github.io]-[~] └─$ 可以通过/sys/kerel/mm/ksm/目录下的参数，设置调优参数: ┌──[root@liruilongs.github.io liruilongs.github.io]-[~] └─$cat /sys/kernel/mm/ksm/sleep_millisecs 30 ┌──[root@liruilongs.github.io]-[~] └─$ 虚拟磁盘配置调优 xml | grep driver <driver name="qemu" type="qcow2" cache='none'/> 虚拟机磁盘 IO 调优
92010编辑于 2024-02-27 - 来自专栏Spark学习技巧
spark调优系列之高层通用调优
在driver节点，spark会打印出每个task序列化后的大小，所以你可以通过查看task的大小判断你的task是否过大，通常task的大小超过20KB就值得调优了。 ? 数据位于同一机架上的不同服务器上，因此需要通过网络发送，通常通过单个交换机发送 5，ANY 数据在网络上的其他地方，而不在同一个机架中。 spark.locality.wait PROCESS_LOCAL等待超时时间 spark.locality.wait.rack spark.locality.wait RACK_LOCAL等待超时时间 五，总结 主要调优就是序列化和内存调优 Spark的技巧性调优点很多，很难在短篇幅文中讲解后面会结合spark源码进行彻底讲解。欢迎大家持续关注浪尖公众号。
93770发布于 2018-01-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号