- 综合排序
- 最热优先
- 最新优先
- 来自专栏盛开在夏天的太阳
JVM调优--GC2
参开资料: 1. https://blog.csdn.net/liaynling/article/details/81251870 一. java jvm 参数 -Xms -Xmx -Xmn -Xss 调优 3)设置过堆大小之后，可以根据程序创建对象的频率来调整新生代的内存大小，如果程序中创建新对象的频率比较搞可以适当调大新生代，但不要盲目调整，因为新生代的大小对JVM 及系统性能影响较大，Java 官方推荐配置为整个堆大小的 , 0x2b12bcc0, 0x2b12be00, 0x2b3d0000) rw space 12288K, 46% used [0x2b3d0000, 0x2b972060, 0x2b972200, -3GB(一般来说Windows系统下为1.5G-2G,Linux系统下为2G-3G),而64bit以上的处理器就不会有限制了 总结: JVM调优 1. 此时会触发FullGC 二. jvm性能调优常用的命令 1. top命令.
58920编辑于 2022-05-06 - 来自专栏chenchenchen
SQL调优之性能调优
WHERE column1 < column2 AND column2 = column3 AND column1 = 5 表达式二： ... 针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 ： 索引查找 column2 = ‘ A ’ , 结果集 = {row1}索引查找 column 2 = ‘ B ’ , 结果集 = {row2}OR 合并结集，结果集 = {}索引查找 column1 没有索引的话，查询 1 将需要 2 倍于查询 2 所需的时间。 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.5K30发布于 2019-12-03 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ 2、Spark数据本地化调优： Spark中任务调度时，TaskScheduler在分发之前需要依据数据的位置来分发，最好将task分发到数据所在的节点上，如果TaskScheduler分发的task在默认 2) 如何查看数据本地化的级别？ 通过日志或者WEBUI 3、内存调优 ? Spark中如何内存调优？
2.3K30发布于 2018-09-13 - 来自专栏不温卜火
Spark性能优化 (2) | 算子调优
针对上述的两个问题，我们分别进行分析： 针对第一个问题，既然分区的数据量变小了，我们希望可以对分区数据进行重新分配，比如将原来4个分区的数据转化到2个分区中，这样只需要用后面的两个task进行处理即可， 四. repartition解决 SparkSQL 低并行度问题 在第一节的常规性能调优中我们讲解了并行度的调节策略，但是，并行度的设置对于Spark SQL是不生效的，用户设置的并行度只对于Spark 本地聚合后，在map端的数据量变少，减少了磁盘IO，也减少了对磁盘空间的占用； 2. 本地聚合后，下一个stage拉取的数据量变少，减少了网络传输的数据量； 3.
1.8K20发布于 2020-10-28 - 来自专栏OSChina
Mysql高级 （2）——sql性能调优
sql 性能下降的原因 2 sql service的解析顺序 3 sql 的7中join 4 索引 5 explain 的介绍 单表建立索引案例 2表建立索引案例： 3表建立索引案例： -- 查询慢查询日志是否开启及记录日志的位置
67530发布于 2019-07-31 - 来自专栏纯洁的微笑
Tomcat 性能调优之 JVM 调优
因此在对Web 容器( 应用服务器) 的调优中必不可少的是对于 JVM 的调优。 对于 JVM 的调优，主要有两个方面考虑： 内存大小配置 垃圾回收算法选择 当然，确切的说，以上两点并不互相独立，内存的大小配置也会影响垃圾回收的执行效率。 延迟、吞吐量调优 其他 JVM 配置 垃圾回收算法对应到的就是不同的垃圾收集器，具体到在 JVM 中的配置，是使用 -XX:+UseParallelOldGC 或者 -XX:+UseConcMarkSweepGC 所谓调优，就是一个不断调整和优化的过程，需要观察、配置、测试再如此重复。有相关经验的朋友欢迎留言补充！ 说到底，那上面的这些选项是要配置在哪里呢？
2.3K30发布于 2019-05-06 - 来自专栏SmartSi
Spark 性能调优之Shuffle调优
因此，如果要让作业的性能更上一层楼，就有必要对 shuffle 过程进行调优。 但是也必须提醒大家的是，影响一个 Spark 作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle 调优只能在整个 Spark 的性能调优中占到一小部分而已。 因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解 shuffle 的原理，以及相关参数的说明，同时给出各个参数的调优建议。 2. 5. shuffle相关参数调优 以下是Shffule过程中的一些主要参数，这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。 调优建议：在资源参数调优中讲解过这个参数。如果内存充足，而且很少使用持久化操作，建议调高这个比例，给 shuffle read 的聚合操作更多内存，以避免由于内存不足导致聚合过程中频繁读写磁盘。
1.9K31发布于 2019-08-08 - 来自专栏个人积累
数据库调优 项目调优
Springboot项目调优 配置文件调优 更改Tomcat的相关配置 设置Tomcat的最大连接数 设置请求头最大内存 设置post请求的最大内存 设置Tomcat最大线程数 设置Tomcat 的最小工作线程数 JVM调优 设置项目启动的参数 在vm option处添加配置内容 -XX:MetaspaceSize=128m #（元空间默认大小） -XX:MaxMetaspaceSize=128m Xms1024m #（堆最大大小） -Xmx1024m #（堆默认大小） -Xmn256m #（新生代大小） -Xss256k #（棧最大深度大小） -XX:SurvivorRatio=8 #（新生代分区比例 8:2） VARCHAR(20) NOT NULL, password VARVHAR(32) NOT NULL, phone VARVHAR(13) NOT NULL, sex INT (2)
1.1K51发布于 2020-10-10 - 来自专栏大数据成神之路
Spark调优 | Spark SQL参数调优
本文讲解最近关于在参与hive往spark迁移过程中遇到的一些参数相关问题的调优。 内容分为两部分，第一部分讲遇到异常，从而需要通过设置参数来解决的调优；第二部分讲用于提升性能而进行的调优。 异常调优 spark.sql.hive.convertMetastoreParquet parquet是一种列式存储格式，可以用于spark-sql 和hive 的存储格式。 性能调优 除了遇到异常需要被动调整参数之外，我们还可以主动调整参数从而对性能进行调优。 spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version 1或者2，默认是1. MapReduce-4815 详细介绍了 fileoutputcommitter 的原理，实践中设置了 version=2 的比默认 version=1 的减少了70%以上的 commit 时间，但是1
8.5K63发布于 2019-08-16 - 来自专栏SmartSi
Spark 性能调优之资源调优
整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对 本文作为Spark性能优化指南的基础篇，主要讲解资源调优。 2. 资源调优 2.1 调优概述 在开发完Spark作业之后，就该为作业配置合适的资源了。 理解作业基本原理，是我们进行资源参数调优的基本前提。 2.3 资源参数调优 了解完了Spark作业运行的基本原理之后，对资源相关的参数就容易理解了。 参数调优建议：Executor的CPU core数量设置为2-4个较为合适。
2.1K30发布于 2019-08-07 - 来自专栏ApacheHudi
调优 | Apache Hudi应用调优指南
通过Spark作业将数据写入Hudi时，Spark应用的调优技巧也适用于此。如果要提高性能或可靠性，请牢记以下几点。 输入并行性：Hudi对输入进行分区默认并发度为1500，以确保每个Spark分区都在2GB的限制内（在Spark2.4.0版本之后去除了该限制），如果有更大的输入，则相应地进行调整。 GC调优：请确保遵循Spark调优指南中的垃圾收集调优技巧，以避免OutOfMemory错误。 [必须]使用G1 / CMS收集器，其中添加到spark.executor.extraJavaOptions的示例如下： -XX:NewSize=1g -XX:SurvivorRatio=2 -XX:+ :+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/hoodie-heapdump.hprof spark.driver.maxResultSize 2g
1.4K20发布于 2021-04-13 - 来自专栏SmartSi
Spark 性能调优之开发调优
Spark的性能调优实际上是由很多部分组成的，不是调节几个参数就可以立竿见影提升作业性能的。 整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对 Spark的原理有较深层次掌握和研究的同学，主要讲解了如何对Spark作业的shuffle运行过程以及细节进行调优。 本文作为Spark性能优化指南的基础篇，主要讲解开发调优。 2. 开发调优 2.1 调优概述 Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。
1.4K31发布于 2019-08-07 - 来自专栏AustinDatabases
MONGODB 性能与调优 -- 内存调优 2 （怎么计算驱逐率与调整参数）
2 进来不要让你产生的食物涨大道可以噎死你的地步。 这里有两个参数我们上面使用过了 eviction_dirty_trigger eviction_dirty_target_settings 这里会牵扯几个问题，1 多少信息保留在cache中 2
1.6K50编辑于 2022-05-19 - 来自专栏Jed的技术阶梯
Spark性能调优01-资源调优
理解作业基本原理，是我们进行资源参数调优的基本前提。 3. spark内存管理 (1) spark-1.5.x版本以前使用静态内存管理 ? 参数调优建议： Executor的CPU core数量设置为2~4个较为合适。 参数调优建议： Driver的内存通常来说不设置，或者设置1G左右应该就够了。 参数调优建议： Spark作业的默认task数量为500~1000个较为合适。 设置调优参数的3种方法 配置这些参数有两种方式 (1) 在程序中硬编码 例如 sparkConf.set("spark.default.parallelism","100") (2) 提交application
1.7K20发布于 2018-09-13 - 来自专栏AustinDatabases
MONGODB 性能与调优 -- 内存调优 1
所以这又是一个新的系列，关于MONGODB的优化和调优，下方是一个MONGODB的 内存与磁盘的一个大概的架构。 MONGODB的性能与内存的关系可以用三条线来描述 1 FREE MEMORY 2 Response time 3 swap 用语言来描述，如果你的MONGODB所在的服务器上开始使用了SWAP， cachesize的设置与你本身的物理内存大小有很大的关系，如果你的内存连8G都不到，那么此时你设置 4G 作为CS 其实也是过大的，可能2G 更合适你。
1.9K30编辑于 2022-04-05 - 来自专栏全栈程序员必看
jvm 调优命令_java jvm调优工具
3类 **性能参数（Performance Options）：**用于JVM的性能调优和内存分配控制，如初始化内存大小的设置； **行为参数（Behavioral Options）：**用于改变JVM的基础行为 线上环境 web容器：Tomcat， startup.sh -> catalina.sh(卡特琳娜) 里设置JVM 参数 jsp + jinfo 查看某个java进程的参数，然后再调整设置 真实调优 tomcat/xxx/xx/heap.hprof 在排查的的时候 jmap -dump:format=b,file=heap.hprof 44808 一般dump下来的文件可以结合工具来分析 4调优常用工具 5.2程序监控调优 前提：java 应用程序必然是正常运行的。. 目的：减少GC 频率，减少Full GC 发现现象才去解决？ 45% 5.4几个面试问题 调优无非就是 减少GC次数、减少Full GC，提高应用程序的吞吐量 （1）内存泄漏与内存溢出的区别 内存泄漏：对象无法得到及时的回收，持续占用内存空间，从而造成内存空间的浪费
1.5K31编辑于 2022-11-17 - 来自专栏山河已无恙
Linux 性能调优之CPU调优认知
写在前面 博文内容为《性能之巅 系统、企业与云可观测性（第2版）》CPU 章节课后习题答案整理，这是CPU 调优的最后两篇之一，之后还会整理一篇CPU性能故障的场景分析的博文 内容涉及： CPU 术语 现代处理器也支持乱序执行，即后续的指令可以在前面指令停滞的时候执行,即对于流水线步骤，1，2，3，可以按照，1，3，2 的顺序执行，但是会存在流水线冲突（如数据依赖）需通过分支预测来解决。 execsnoop(8)直接跟踪 execve(2)系统调用(是最常用的exec(2)变体)，可以直接打印 execve(2)的调用参数和返回值。 Task started, will run for 2 seconds. Task started, will run for 2 seconds. Task started, will run for 2 seconds. Task started, will run for 2 seconds. Task finished.
1.5K31编辑于 2025-04-09 - 来自专栏Spark学习技巧
spark调优系列之高层通用调优
你也可以通过设置spark.default.parallelism来改变默认值，建议值是每个CPU执行2-3个tasks。 在driver节点，spark会打印出每个task序列化后的大小，所以你可以通过查看task的大小判断你的task是否过大，通常task的大小超过20KB就值得调优了。 ? 2),立即在一个需要迁移数据的较远位置启动一个新的task。 Spark的典型处理策略是等待繁忙CPU释放，时间很短。一旦超时，将移动数据到空闲CPU的地方执行任务。 spark.locality.wait PROCESS_LOCAL等待超时时间 spark.locality.wait.rack spark.locality.wait RACK_LOCAL等待超时时间 五，总结 主要调优就是序列化和内存调优 Spark的技巧性调优点很多，很难在短篇幅文中讲解后面会结合spark源码进行彻底讲解。欢迎大家持续关注浪尖公众号。
1K70发布于 2018-01-30 - 来自专栏叨叨软件测试
JVM 调优之 Eclipse 启动调优实战
本文是我12年在学习《深入理解Java虚拟机：JVM高级特性与最佳实践》时，做的一个 JVM 简单调优实战笔记，版本都有些过时，不过调优思路和过程还是可以分享给大家参考的。 build 17.1-b03， mixed mode， sharing) Eclipse版本： Release 4.2.0 Last revised June 8th， 2012 调优前 Eclipse 分析及调优 升级JDK版本 获取免费的“性能提升”(这里暂时不做考虑)。 类加载和编译时间优化 类加载： 字节码验证优化。 上图是 Eclipse 启动后 1分钟的监视曲线，只发生了 2 次 Minor GC 和 1 次 Full GC，总耗时 451.603ms。相比之前的1.710s，减少了 2 倍多. 第二次: ? 总结 以上只是专门针对 Eclipse 的启动过程进行分析和调优，并未对 Eclipse 日常开发工作进行分析和调优。 参考资料 《深入理解Java虚拟机：JVM高级特性与最佳实践》
80510发布于 2020-04-14 - 来自专栏山河已无恙
Linux 性能调优之虚拟化调优
写在前面 考试整理相关笔记 博文内容涉及Linux VM 常见管理操作以及部分调优配置 理解不足小伙伴帮忙指正 不必太纠结于当下，也不必太忧虑未来，当你经历过一些事情的时候，眼前的风景已经和从前不一样了 ——村上春树 使用工具进行调优 可以直接使用 tuned 包里面的适用于虚拟化调优的参数，tuned 中对于虚拟化通过两个优化配置，一个适用虚拟机，一个适用虚拟机所在的宿主机。 ┌──[root@liruilongs.github.io]-[~] └─$ 可以通过/sys/kerel/mm/ksm/目录下的参数，设置调优参数: ┌──[root@liruilongs.github.io liruilongs.github.io]-[~] └─$cat /sys/kernel/mm/ksm/sleep_millisecs 30 ┌──[root@liruilongs.github.io]-[~] └─$ 虚拟磁盘配置调优 cache='none'/> 虚拟机磁盘 IO 调优 使用virsh blkdeviotune命令来为名为"workstation"的虚拟机的磁盘设备（vda）设置了I/O限制。
1.1K10编辑于 2024-02-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号