- 综合排序
- 最热优先
- 最新优先
- 来自专栏朝雨忆轻尘
Java性能调优：利用JMC进行性能分析
JMC, 即Java任务控制（Java Mission Control）是从Java7（7u40）和 Java8 的商业版本包括一项新的监控和控制特性。 JMC 程序 (JDK_HOME\bin目录下) 会启动一个窗口程序，然后让我们选择对那进程进行监控，JMC打开性能日志后， 主要包括7部分性能报告，分别是一般信息、内存、代码、线程、I/O、系统、事件 启动JMC，打开生成的JFR性能日志 1. 一般信息，如下图所示 ? 图中， 堆使用量、CPU总体占用率、GC暂停时间是非常重要的三个指标 对于Java应用而言，GC暂停时间是最值得关注的指标。 例如：在本例中，我们发现List与Map之间的性能差异非常大，同样数量级的执行次数，List性能相较于Map就很差，这也符合我们的认知范围。 4. 线程 ? 系统性能分析初期，我们可以首先定位线程争用的情况，可以初步达到性能的飞跃。 5. IO ?
3.3K31发布于 2019-06-19 - 来自专栏全栈程序员必看
JVM调优工具总结（jConsole jmc jvisualvm）
false -Dcom.sun.management.jmxremote.ssl=false -jar ay.jar 运行这个命令等服务启动成功就可以了 三、本地连接，找到本地jdk安装目录bin下，jmc.exe ,jconsole.exe,jvisualvm.exe 1.用jmc连接 双击jmc.exe,进入后点击文件–》连接–》创建新连接–》下一步，主机:输入192.168.222.130（你的服务器ip
1.3K30编辑于 2022-09-04 - 来自专栏不温卜火
Spark性能优化 (4) | JVM 调优
对于 JVM 调优，首先应该明确，full gc/minor gc，都会导致JVM的工作线程停止工作，即stop the world。 1. 但是如果在某些情况下cache操作内存不是很紧张，而task的算子中创建的对象很多，Execution内存又相对较小，这回导致频繁的minor gc，甚至于频繁的full gc，进而导致Spark频繁的停止工作，性能影响会很大 find，executor lost，task lost，out of memory等错误，此时，就可以考虑调节一下Executor的堆外内存，也就可以避免报错，与此同时，堆外内存调节的比较大的时候，对于性能来讲 Executor 堆外内存上限大概为300多MB，在实际的生产环境下，对海量数据进行处理的时候，这里都会出现问题，导致Spark作业反复崩溃，无法运行，此时就会去调节这个参数，到至少1G，甚至于2G、4G spark-submit脚本里配置， --conf spark.executor.memoryOverhead=2048 以上参数配置完成后，会避免掉某些JVM OOM的异常问题，同时，可以提升整体 Spark 作业的性能
1.2K30发布于 2020-10-28 - 来自专栏chenchenchen
SQL调优之性能调优
WHERE column1 = -column2 3 还是可以带来查询性能的优化的。 针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 WHERE column1 IN (1, 3, 4, 5) 转换成： ... 以上是作者对如何提高 SQL 性能的一些总结，这些规则并一定在所有的数据库系统上都能带来性能的提高，但是它们一定不会对数据库的性能带来下降，所以掌握并使用这些规则可以对数据库 应用程序的开发有所帮助。 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.3K30发布于 2019-12-03 - 来自专栏大数据成长之路
Hive性能调优之严格模式(4)
通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。
56210发布于 2021-01-22 - 来自专栏纯洁的微笑
Tomcat 性能调优之 JVM 调优
因此在对Web 容器( 应用服务器) 的调优中必不可少的是对于 JVM 的调优。 对于 JVM 的调优，主要有两个方面考虑： 内存大小配置 垃圾回收算法选择 当然，确切的说，以上两点并不互相独立，内存的大小配置也会影响垃圾回收的执行效率。 延迟、吞吐量调优 其他 JVM 配置 垃圾回收算法对应到的就是不同的垃圾收集器，具体到在 JVM 中的配置，是使用 -XX:+UseParallelOldGC 或者 -XX:+UseConcMarkSweepGC 所谓调优，就是一个不断调整和优化的过程，需要观察、配置、测试再如此重复。有相关经验的朋友欢迎留言补充！ 说到底，那上面的这些选项是要配置在哪里呢？
2.2K30发布于 2019-05-06 - 来自专栏SmartSi
Spark 性能调优之Shuffle调优
调优概述 大多数 Spark 作业的性能主要就是消耗在了 shuffle 环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。 因此，如果要让作业的性能更上一层楼，就有必要对 shuffle 过程进行调优。 但是也必须提醒大家的是，影响一个 Spark 作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle 调优只能在整个 Spark 的性能调优中占到一小部分而已。 调优建议：如果作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如96m），从而减少拉取数据的次数，也就可以减少网络传输的次数，进而提升性能。 ，建议参考后面的几个参数调优，通过 bypass 机制或优化的 HashShuffleManager 来避免排序操作，同时提供较好的磁盘读写性能。
1.8K31发布于 2019-08-08 - 来自专栏SmartSi
Spark 性能调优之资源调优
Spark的性能调优实际上是由很多部分组成的，不是调节几个参数就可以立竿见影提升作业性能的。 笔者根据之前的Spark作业开发经验以及实践积累，总结出了一套Spark作业的性能优化方案。整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 本文作为Spark性能优化指南的基础篇，主要讲解资源调优。 2. 资源调优 2.1 调优概述 在开发完Spark作业之后，就该为作业配置合适的资源了。 Executor内存的大小，很多时候直接决定了Spark作业的性能，而且跟常见的JVM OOM异常，也有直接的关联。 参数调优建议：每个Executor进程的内存设置4G-8G较为合适。 参数调优建议：Executor的CPU core数量设置为2-4个较为合适。
2K30发布于 2019-08-07 - 来自专栏SmartSi
Spark 性能调优之开发调优
如果没有对Spark作业进行合理的调优，Spark作业的执行速度可能会很慢，这样就完全体现不出Spark作为一种快速大数据计算引擎的优势来。因此，想要用好Spark，就必须对其进行合理的性能优化。 Spark的性能调优实际上是由很多部分组成的，不是调节几个参数就可以立竿见影提升作业性能的。 笔者根据之前的Spark作业开发经验以及实践积累，总结出了一套Spark作业的性能优化方案。整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对 本文作为Spark性能优化指南的基础篇，主要讲解开发调优。 2. 开发调优 2.1 调优概述 Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。
1.3K31发布于 2019-08-07 - 来自专栏kimze
分布式系统性能调优: 一篇彻底搞定JMC定位JVM性能问题
Java性能调优：利用JMC分析性能 Java性能调优作为大型分布式系统提供高性能服务的必修课，其重要性不言而喻。 好的分析工具能起到事半功倍的效果，利用分析利器JMC、JFR，可以实现性能问题的准确定位。 Java线上进程很多面临大堆内存，无法dump堆内存快照，如何解决这样的问题，就可以通过JMC结合JFR连接到线上进程做一段时间采集，分析java进程性能问题 ---- 本文主要阐述如何利用JMC分析系统性能 JMC：Java Mission Control JFR：Java Flight Recorder JMC:Java Mission Control JMC打开性能日志后，主要包括7部分性能报告，分别是一般信息 可直接查看占用较大对象线程堆栈信息-快速定位可能存在问题的代码逻辑、对象统计信息展示增长最快对象 图片 图片 图片 图片 图片 图片 图片 图片 3.代码： 类加载、类卸载 信息 -重点关注 图片 图片 图片 图片 图片 图片 4.
2.1K62编辑于 2023-01-03 - 来自专栏存储内核技术交流
Glusterfs性能调优
指定了接收和发送套接字缓冲区大小的最大值，对于小文件小文件请求处理时候效率比较高 net.core.rmem_max=67108864 net.core.wmem_max=67108864 //为自动调优定义每个 net.ipv4.tcp_rmem=33554432 net.ipv4.tcp_wmem=33554432 Gluster参数调优 读写性能参数优化 // 打开metadata-cache,打开这个选项可以提高在 这尤其会影响小文件的性能，其中大量文件被快速连续地添加/创建。 gluster volume get dht-vol performance.readdir-ahead on // 设置performance.readdir-ahead的内存，默认是10mb，可以适当调大 rep-vol cluster.shd-max-threads 64 //修复的数据快大小，默认是1(1*128k)，默认是按照128K数据快修复，如果需要修复的数据很大，这个默认1太小，可以适当的调大
3.5K42编辑于 2022-08-17 - 来自专栏Jed的技术阶梯
Spark性能调优01-资源调优
理解作业基本原理，是我们进行资源参数调优的基本前提。 3. spark内存管理 (1) spark-1.5.x版本以前使用静态内存管理 ? Executor内存的大小，很多时候直接决定了Spark作业的性能，而且跟常见的JVM OOM异常，也有直接的关联。 参数调优建议： 每个Executor进程的内存设置4G~8G较为合适。 参数调优建议： Executor的CPU core数量设置为2~4个较为合适。 参数调优建议： Driver的内存通常来说不设置，或者设置1G左右应该就够了。 这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能。 参数调优建议： Spark作业的默认task数量为500~1000个较为合适。
1.5K20发布于 2018-09-13 - 来自专栏Super 前端
Tomcat性能调优
（Connector）进行性能控制的的参数是创建的处理请求的线程数。 可扩展的最大堆栈内存 内存设置 -XX:PermSize=256M 设置非堆内存初始值，默认是物理内存的1/64 内存设置 -XX:MaxPermSize=256M 设置最大非堆内存的大小，默认是物理内存的1/4 NO4. Tomcat并发优化(调整线程数量) 一. web01 bin]$ lsof -i:8081 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 19404 ligang 34u IPv4 因为对于操作系统，请求内存的系统调用会占用大量的cpu时间，所以频繁的请求、释放内存将会导致性能的严重下降。
4.8K21发布于 2019-08-15 - 来自专栏技术向
nextcloud性能调优
如何查看页面是否开启了gzip压缩 Nginx开启Gzip压缩大幅提高页面加载速度 gzip module doesn’t handle all certain HTTP verbs/statuses 4.
9.6K30发布于 2019-11-20 - 来自专栏Elixir
GC 性能调优
什么是调优？ 根据需求进行JVM规划和预调优 优化运行JVM运行环境（慢，卡顿） 解决JVM运行过程中出现的各种问题(OOM) 调优，从规划开始 调优，从业务场景开始，没有业务场景的调优都是耍流氓 无监控（压力测试 扩容或调优，让它达到 用压测来确定 优化环境 有一个50万PV的资料类网站（从磁盘提取文档到内存）原服务器32位，1.5G 的堆，用户反馈网站比较缓慢，因此公司决定升级，新的服务器为64位，16G 的堆内存 PS -> PN + CMS 或者 G1 系统CPU经常100%，如何调优？ localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
1.7K10编辑于 2022-11-05 - 来自专栏大数据-BigData
Alluxio性能调优
本文档介绍了各种调优 Alluxio 性能的技巧和配置。 常见性能问题 以下是在调整性能时用于解决常见问题的清单： 所有节点都在工作吗？ 检查 Alluxio 集群是否健康。 Master调优 Journal性能调优 Property Default Description alluxio.master.journal.flush.batch.time 5ms Time to worker调优 块读取线程池大小 alluxio.worker.network.block.reader.threads.max 属性配置用于处理块读取请求的最大线程数。 作业服务调优 工作服务能力 作业服务限制当前运行的作业总数以控制其资源使用。 请注意，单个 CLI 命令（例如 distributedLoad）可以触发创建多个作业，每个文件一个。 客户端调优 被动缓存 被动缓存会导致 Alluxio worker 缓存另一个已缓存在单独 worker 上的数据副本。
2.3K40编辑于 2023-04-03 - 来自专栏电光石火
SQL 性能调优
我们要做到不但会写SQL,还要做到写出性能优良的SQL,以下为笔者学习、摘录、并汇总部分资料与大家分享！ 这意味着每条记录的INSERT , DELETE , UPDATE将为此多付出4 , 5 次的磁盘I/O . 因为索引需要额外的存储空间和处理,那些不必要的索引反而会使查询反应时间变慢.。 性能上的差异，关键看你的from和where子句。比如说如果你的where条件中可以通过索引，那显然 select 1 from ... 的性能比 select * from ... 好。 也就是说如果某列存在空值，即使对该列建索引也不会提高性能。 任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的。 仔细检查order by语句以找出非索引项或者表达式，它们会降低性能。
3.7K60发布于 2018-01-18 - 来自专栏闵开慧
hadoop性能调优
代码级别. 4. 改造hadoop 一. conf/hadoop-site.xml配置. 经验要求高, 特别需要结合实际情况. 如果以首字对4求余分区, 则 "1亿个以3开头" 和 "1亿个以7开头"将落在同一分区.若hadoop群集只支持同时2个map任务, 则... (2). (4). 有时, 还可以避免单个线程消耗时间过长. 十. 使用位移替代浮点数计算. 比如用 100 >> 3替代100 * 0.125. 尽量使key的WritableComparable性能最佳, 尽量使value的Writable性能最佳. 比如使用掩码操作. 十七. 尽早丢弃无关对象.
1K90发布于 2018-03-30 - 来自专栏Linyb极客之路
性能调优思路
调优步骤：衡量系统现状、设定调优目标、寻找性能瓶颈、性能调优、衡量是否到达目标(如果未到达目标，需重新寻找性能瓶颈）、性能调优结束。 调优方案：增加Thread.sleep，以释放CPU 的执行权，降低CPU 的消耗。以损失单次执行性能为代价的，但由于其降低了CPU 的消耗，对于多线程的应用而言，反而提高了总体的平均性能。 调优方案：将线程数降低 这种调优过后有可能会造成CPU us过高，所以合理设置线程数非常关键。 总结 好的调优策略是收益比（调优后提升的效果/调优改动所需付出的代价）最高的，通常来说简单的系统调优比较好做，因此尽量保持单机上应用的纯粹性， 这是大型系统的基本架构原则。 调优的三大有效原则：充分而不过分使用硬件资源、合理调整JVM、合理使用JDK包。 作者：架构师社区 来源：http://1t.click/9h4
1.2K60发布于 2019-08-19 - 来自专栏猿人谷
Java性能调优
A:因为年轻代的内存无法被回收，越来越多地被Copy到年老代 三、性能调优 除了上述内存泄漏外，我们还发现CPU长期不足3%，系统吞吐量不够，针对8core×16G、64bit的Linux服务器来说 在CPU负载不足的同时，偶尔会有用户反映请求的时间过长，我们意识到必须对程序及JVM进行调优。 3.JVM参数 在JVM启动参数中，可以设置跟内存、垃圾回收相关的一些参数设置，默认情况不做任何设置JVM会工作的很好，但对一些配置很好的Server和具体的应用必须仔细调优才能获得最佳性能。 这个我问题毫无疑问是没有答案的，否则也就不会有调优。 4.程序算法调优：本次不作为重点 参考资料
1.6K110发布于 2018-01-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号