对于 JVM 调优,首先应该明确,full gc/minor gc,都会导致JVM的工作线程停止工作,即stop the world。 1. Executor 堆外内存上限大概为300多MB,在实际的生产环境下,对海量数据进行处理的时候,这里都会出现问题,导致Spark作业反复崩溃,无法运行,此时就会去调节这个参数,到至少1G,甚至于2G、4G Executor堆外内存的配置需要在spark-submit脚本里配置, --conf spark.executor.memoryOverhead=2048 以上参数配置完成后,会避免掉某些JVM OOM
1.3 -XX 参数(非Stable参数) 此类参数各个jvm实现会有所不同(用的最多:JVM调优),将来可能会随时取消,需要慎重使用; 以-XX表示的非Stable参数, JVM(Hotspot)中主要的参数可以大致分为 3类 **性能参数(Performance Options):**用于JVM的性能调优和内存分配控制,如初始化内存大小的设置; **行为参数(Behavioral Options):**用于改变JVM的基础行为 ,如GC的方式和算法的选择; **调试参数(Debugging Options):**用于监控、打印、输出等jvm参数,用于显示jvm更加详细的信息; 对于非Stable参数,使用方法有4种: -XX /tomcat/xxx/xx/heap.hprof 在排查的的时候 jmap -dump:format=b,file=heap.hprof 44808 一般dump下来的文件可以结合工具来分析 4调优常用工具 5.2程序监控调优 前提:java 应用程序必然是正常运行的。. 目的:减少GC 频率,减少Full GC 发现现象才去解决?
前言 JVM调优是作为每一位Java程序员必备的技能。我们平时打代码一般很少接触到,只有真正部署过线上项目,并且遇到相应的非代码逻辑导致的问题时。 为了更好地使用计算机的资源,我们有必要学习一下JVM调优。 重要参数 例如:-Xms512m -Xmx512m -Xss1024K 这几个参数涉及配置JVM的,你都懂了? JVM调优工具 Jconsole,jProfile,VisualVM Jconsole : jdk自带,功能简单,但是可以在系统有一定负荷的情况下使用。对垃圾回收算法有很详细的跟踪。 调优方法 一切都是为了这一步,调优,在调优之前,我们需要记住下面的原则:1、多数的Java应用不需要在服务器上进行GC优化;2、多数导致GC问题的Java应用,都不是因为我们参数设置错误,而是代码问题; 真正熟练的使用GC调优,是建立在多次进行GC监控和调优的实战经验上的,进行监控和调优的一般步骤为: 1,监控GC的状态 使用各种JVM工具,查看当前日志,分析当前JVM参数设置,并且分析当前堆内存快照和
JVM调优 说一下 JVM 调优的工具? JDK 自带了很多监控工具,都位于 JDK 的 bin 目录下,其中最常用的是 jconsole 和 jvisualvm 这两款视图监控工具。 jconsole:用于对 JVM 中的内存、线程和类等进行监控; jvisualvm:JDK 自带的全能分析工具,可以分析:内存快照、线程快照、程序死锁、监控内存的变化、gc 变化等。 常用的 JVM 调优的参数都有哪些? -Xms2g:初始化推大小为 2g; -Xmx2g:堆最大内存为 2g; -XX:NewRatio=4:设置年轻的和老年代的内存比例为 1:4; -XX:SurvivorRatio=8:设置新生代 Eden
JVM调优 一.升级垃圾回收器 CMS(标记-清除)——》G1(标记整理)——》ZGC(染色指针,多重映射等技术) 二.指标 1.CPU指标 查看占用CPU最多的进程 查看占用CPU最多的线程 查看线程堆栈快照信息 默认堆空间使用到达80%(可调整) (4)每次FGC耗时(jvm.fullgc.time):每次FGC耗时在1s以内,500ms以内为佳 三,常见优化方案 1.升级修复bug,如死循环,使用无界队列 在JVM上,最初是通过JNI调用来实现方法的反射调用,当JVM注意到通过反射经常访问某个方法时,它将生成字节码来执行相同的操作,称为膨胀(inflation)机制。 一般反射调用频次达到15次就会从JNI转字节码 4.优化策略 1.适当调大 metaspace的空间带下 2.优化不合理的反射调用。 原因在于linux环境下,SecureRandom.getInstanceStrong()方法会从/dev/random,这是一种阻塞型读随机数,得获取到足够的系统扰动后才会生成随机数 4.问题解决 使用
JVM 11的优化指南:如何进行JVM调优,以及JVM调优参数有哪些”这篇文章将包含JVM 11调优的核心概念、重要性、调优参数,并提供12个实用的代码示例,每个示例都会结合JVM调优参数和Java代码 JVM调优的重要性 提高性能:通过调优,可以提升应用程序的响应速度和处理能力。 资源优化:合理的配置可以使应用更高效地利用系统资源。 企业级 JVM 11 的调优参数,机器配置是8核32G 为配置有8核和32GB内存的机器推荐JVM 11调优参数时,需考虑应用的类型、负载特性等。 合理的JVM调优可以显著提升应用的性能和稳定性。不过,请记得调优是一个持续的过程,需要根据应用的具体表现来不断调整和优化。 示例4:使用G1垃圾收集器并调优 JVM启动参数: java -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:InitiatingHeapOccupancyPercent
-XX:NewRatio=4:设置堆内存年轻代(包括Eden和两个Survivor区)与堆内存年老代的比值(除去持久代) 。设置为4,则年轻代所占与年老代所占的比值为1:4。 设置为4,则两个Survivor区(JVM堆内存年轻代中默认有2个Survivor区)与一个Eden区的比值为2:4,一个Survivor区占 整个年轻代的1/6。 服务调优实战 服务器:8 cup, 8G mem e.g. java -Xmx3550m -Xms3550m -Xss128k -XX:NewRatio=4 -XX:SurvivorRatio=4 -XX:MaxPermSize=16m -XX:MaxTenuringThreshold =0 调优方案: -Xmx5g:设置JVM最大可用内存为5G。
2. jinfo 查看java程序运行的环境参数,包括Java System属性和JVM命令行参数.。 os.arch = amd64 java.endorsed.dirs = /usr/local/jdk1.8/jre/lib/endorsed org.jboss.logging.provider = slf4j 参数如下: -heap :打印jvm heap的情况 -histo: 打印jvm heap的直方图。其输出信息包括类名,对象数量,对象占用大小。 JVM version is 25.201-b09 using thread-local object allocation. Parallel GC with 4 thread(s) Heap Configuration: MinHeapFreeRatio = 0 MaxHeapFreeRatio
JVM的调优 调优内存 找到:catalina.sh JAVA_OPTS="-Djava.awt.headless=true -Dfile.encoding=UTF-8-server -Xms1024m
、新生代 5.1.2、老年代 总结 ---- 前言 现在除了一些有工作和开发经验的大神,基本很少有人在简历上敢写“精通 JVM 调优,有过 JVM 调优经验”,因为应聘者如果写这句话就意味着你的面试将会是很 既然 JVM 如此重要,那我就在本系列中完整的过一遍,让你敢于在简历上写“精通 JVM 调优,有过 JVM 调优经验”,薪资涨 5k! ---- 在聊 JVM 调优和 GC 之前,我们先看看当下就业环境中面试对于 JVM 和 GC 的一些相关面试题,看看企业开发岗需要什么样的人才。 如果我们直接将程序部署到 JVM 上,没有做过任何调优动作,1.8 版本的默认 GC 为 Parallel。 可能有人会有疑问:如何查看开发环境下 JVM 默认的 GC 版本信息呢?别急,往下看。 在默认情况下 JDK 1.8 没有调参数、调优用的就是 GC 的分代模型。
做为一类“特殊”的 Java 应用程序,和任务其他的 Java 应用一样,需要使用到JVM,会有堆,会使用到垃圾回收,会涉及到不同的堆分区比例... 因此在对Web 容器( 应用服务器) 的调优中必不可少的是对于 JVM 的调优。 对于 JVM 的调优,主要有两个方面考虑: 内存大小配置 垃圾回收算法选择 当然,确切的说,以上两点并不互相独立,内存的大小配置也会影响垃圾回收的执行效率。 延迟、吞吐量调优 其他 JVM 配置 垃圾回收算法对应到的就是不同的垃圾收集器,具体到在 JVM 中的配置,是使用 -XX:+UseParallelOldGC 或者 -XX:+UseConcMarkSweepGC 所谓调优,就是一个不断调整和优化的过程,需要观察、配置、测试再如此重复。有相关经验的朋友欢迎留言补充! 说到底,那上面的这些选项是要配置在哪里呢?
-Xms<size>和-Xmx<size> 前者表示JVM初始化堆的大小,后者表示JVM堆的最大值。一般把Xms与Xmx两个值设成一样是最优的做法,否则会导致jvm有较为频繁的GC,影响系统性能。 保底配置 背景: 线上频繁发生报警(堆内存占用超过80%),调大堆内存到6144m、调整GC策略后依然存在问题,分析dump文件发现主要数据为char[]、String等类型的临时数据,暂增加保底策略 4. 进一步优化 背景: 增加70%强制CMS GC配置后不再触发报警,但依然会在某特殊场景频繁full gc。 老年代占堆大小的 3/4,新生代占 1/4。 -XX:SurvivorRatio=4 年轻代中Eden区与Survivor区的大小比值。设置为4,则表示S0C:S1C:EC=1:1:4。 例如,如果 4 个以服务器方式运行的 JVM 同时跑在在一个具有 16 核处理器的机器上,设置 - XX:ParallelGCThreads=4 是明智的,它能使不同 JVM 的垃圾收集器不会相互干扰。
JVM会根据机器的硬件配置对每个内存代选择适合的回收算法,比如,如果机器多于1个核,会对年轻代选择并行算法,关于选择细节请参考JVM调优文档。 在CPU负载不足的同时,偶尔会有用户反映请求的时间过长,我们意识到必须对程序及JVM进行调优。 3.JVM参数 在JVM启动参数中,可以设置跟内存、垃圾回收相关的一些参数设置,默认情况不做任何设置JVM会工作的很好,但对一些配置很好的Server和具体的应用必须仔细调优才能获得最佳性能。 4.程序算法调优:本次不作为重点 调优方法 一切都是为了这一步,调优,在调优之前,我们需要记住下面的原则: 1、多数的Java应用不需要在服务器上进行GC优化; 2、多数导致GC问题的Java应用,都不是因为我们参数设置错误 真正熟练的使用GC调优,是建立在多次进行GC监控和调优的实战经验上的,进行监控和调优的一般步骤为: 1,监控GC的状态 使用各种JVM工具,查看当前日志,分析当前JVM参数设置,并且分析当前堆内存快照和
JVM 介绍 1 什么是 JVM JVM 是 Java Virtual Machine(Java 虚拟机)的缩写。一台执行 Java 程序的机器。 JDK+JRE+JVM (1)JDK(IAVA开发环境)=:JRE+工具(编译器、调试器、其他工具)+类库 编译器:将JAVA文件编译为JVM能够看懂的文件(class文件) (2)JRE(JAVA运行环境 (3)JVM(JAVA虚拟机) JAVA字节码文件结构 打开class文件查看结构 什么是 u2,u4? u2:代表数据占两个字节 u4:代表数据占四个字节 JDK 编译对应的版本号 JDK7 --> 51 JDK8 --> 52 JDK9 --> 53 JDK15 --> 59 结论 编译的本质就是将 java 源文件转为 JVM 能够认识的 16 进制 class 文件格式 JVM内存区域 JVM执行引擎 堆内存模型 可达性分析 类加载过程 栈帧 栈帧的结构
1、JVM调优目标:使用较小的内存占用来获得较高的吞吐量或者较低的延迟。 )、内存溢出导致系统崩溃,因此需要对JVM进行调优,使得程序在正常运行的前提下,获得更高的用户体验和运行效率。 ,最后进行测试,通过各种监控工具确认调优后的结果是否符合目标。 2、JVM调优工具 (1)调优可以依赖、参考的数据有系统运行日志、堆栈错误信息、gc日志、线程快照、堆转储快照等。 (2)JVM调优工具 ①用 jps(JVM process Status)可以查看虚拟机启动的所有进程、执行主类的全名、JVM启动参数,比如当执行了JPSTest类中的main方法后(main方法持续执行
jvm 命令行工具 名称 描述 jps JVM 进程状态工具。显示系统内的所有 JVM 进程。 jstat JVM 统计监控工具。 监控虚拟机运行时状态信息,它可以显示出 JVM 进程中的类装载、内存、GC、JIT 编译等运行数据。 jmap JVM 堆内存分析工具。用于打印 JVM 进程对象直方图、类加载统计。 并且可以生成堆转储快照(一般称为 heapdump 或 dump 文件) jstack JVM 栈查看工具。用于打印 JVM 进程的线程和锁的情况。 并且可以生成线程快照(一般称为 threaddump 或 javacore 文件) jinfo JVM 信息查看工具。用于实时查看和调整 JVM 进程参数。 jcmd JVM 命令行调试 工具。 如果线程数较多,函数的递归较少,线程栈内存可以调小节约内存,默认1M MetaSpace/PermGen jdk1.8以下设置永久代大小: -XX:PermSize: 永久代初始大小 -XX:MaxPermSize
java中,栈的大小通过-Xss来设置,当栈中存储的数据比较多时,需要适当调大这个值,否则会出现 java.lang.StackOverflowError异常。 在对JVM调优的过程中,很大一部分工作就是对于 Full GC 的调节。 有如下原因可能导致Full GC: . 年老代(Tenured)被写满 . 持久代(Perm)被写满 . -Xms3550m:设置JVM初始内存为3550m。此值可以设置与 -Xmx 相同,以避免每次垃圾回收完成后JVM重新分配内存。 -Xmn2g:设置年轻代大小为2G。 设置为4,则年轻代与年老代所占比值为1:4,年轻代占整个堆栈的1/5。 -XX:SurvivorRatio=4:设置年轻代中Eden区与Survivor区的大小比值。 JDK5.0以上,JVM会根据系统配置自行设置,所以无需再设置此值。
jvm 命令行工具 名称 描述 jps JVM 进程状态工具。显示系统内的所有 JVM 进程。 jstat JVM 统计监控工具。 监控虚拟机运行时状态信息,它可以显示出 JVM 进程中的类装载、内存、GC、JIT 编译等运行数据。 jmap JVM 堆内存分析工具。用于打印 JVM 进程对象直方图、类加载统计。 并且可以生成堆转储快照(一般称为 heapdump 或 dump 文件) jstack JVM 栈查看工具。用于打印 JVM 进程的线程和锁的情况。 并且可以生成线程快照(一般称为 threaddump 或 javacore 文件) jinfo JVM 信息查看工具。用于实时查看和调整 JVM 进程参数。 jcmd JVM 命令行调试 工具。 如果线程数较多,函数的递归较少,线程栈内存可以调小节约内存,默认1M MetaSpace/PermGen jdk1.8以下设置永久代大小: -XX:PermSize: 永久代初始大小 -XX:MaxPermSize
一个对象的大小是不可估计的,或者说是可以动态变化的,但是在栈中,一个对象只对应了一个4btye的引用(堆栈分离的好处)。 为什么不把基本类型放堆中呢? Java中,栈的大小通过-Xss来设置,当栈中存储数据比较多时,需要适当调大这个值,否则会出现java.lang.StackOverflowError异常。 看下面语句: Object ob = new Object(); 这样在程序中完成了一个Java对象的生命,但是它所占的空间为:4byte+8byte。 4byte是上面部分所说的Java栈中保存引用的所需要的空间。而那8byte则是Java堆中对象的信息。 大小(1byte)+空Object引用的大小(4byte)=17byte。
-Xms3550m:设置JVM最小堆内存为3550m。此值尽量设置与-Xmx相同,以避免每次垃圾回收完成后JVM重新分配内存。 -Xmn2g:设置年轻代大小为2G。 设置为4,则年轻代与年老代所占比值为1:4,年轻代占整个堆栈的1/5 -XX:SurvivorRatio=4:设置年轻代中Eden区与Survivor区的大小比值。 JDK5.0以上,JVM会根据系统配置自行设置,所以无需再设置此值。 辅助信息 JVM提供了大量命令行参数,打印信息,供调试使用。 调优总结 年轻代大小选择 响应时间优先的应用:尽可能设大,直到接近系统的最低响应时间限制(根据实际情况选择)。在此种情况下,年轻代收集发生的频率也是最小的。同时,减少到达年老代的对象。