- 综合排序
- 最热优先
- 最新优先
- 来自专栏运维经验分享
tomcat 9.0.4 性能调优3
tomcat9.0.4 ---- 参考了网上的一些优化参数，但是在启动中发现 有2个报错： 11-Feb-2018 15:57:23.293 警告 [main] org.apache.catalina.startup.SetAllPropertiesRule.begin [SetAllPropertiesRule]{Server/Service/Connector} Setting property 'maxSpareThreads' to '200' did not find a matching pro
56240发布于 2019-03-15 - 来自专栏chenchenchen
SQL调优之性能调优
WHERE column1 - 3 = -column2 转换成： ... WHERE column1 = -column2 3 还是可以带来查询性能的优化的。 针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 = 1 AND column2 = 'B') 表 3. AND OR 查询 Row# Colmun1 Column21 3 A2 2 B3 1 C 当数据库系统按照查询语进行搜索时，它按照下面的步骤执行： 索引查找 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.5K30发布于 2019-12-03 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ 通过日志或者WEBUI 3、内存调优 ? 3) gc 多了就会影响Spark的性能和运行的速度。 Spark JVM调优主要是降低gc时间，可以修改Executor内存的比例参数。 Spark中如何内存调优？
2.3K30发布于 2018-09-13 - 来自专栏不温卜火
Spark性能优化 (3) | Shuffle 调优
spark.reducer.maxSizeInFlight参数进行设置，默认为48MB， val conf = new SparkConf() .set("spark.reducer.maxSizeInFlight", "96") 3. 如果在指定次数之内拉取还是没有成功，就可能会导致作业执行失败，默认为3， val conf = new SparkConf() .set("spark.shuffle.io.maxRetries", 当你使用SortShuffleManager时，如果的确不需要排序操作，那么建议将这个参数调大一些，大于shuffle read task的数量，那么此时map-side就不会进行排序了，减少了排序的性能开销
73520发布于 2020-10-28 - 来自专栏纯洁的微笑
Tomcat 性能调优之 JVM 调优
因此在对Web 容器( 应用服务器) 的调优中必不可少的是对于 JVM 的调优。 对于 JVM 的调优，主要有两个方面考虑： 内存大小配置 垃圾回收算法选择 当然，确切的说，以上两点并不互相独立，内存的大小配置也会影响垃圾回收的执行效率。 延迟、吞吐量调优 其他 JVM 配置 垃圾回收算法对应到的就是不同的垃圾收集器，具体到在 JVM 中的配置，是使用 -XX:+UseParallelOldGC 或者 -XX:+UseConcMarkSweepGC 所谓调优，就是一个不断调整和优化的过程，需要观察、配置、测试再如此重复。有相关经验的朋友欢迎留言补充！ 说到底，那上面的这些选项是要配置在哪里呢？
2.3K30发布于 2019-05-06 - 来自专栏SmartSi
Spark 性能调优之Shuffle调优
因此，如果要让作业的性能更上一层楼，就有必要对 shuffle 过程进行调优。 但是也必须提醒大家的是，影响一个 Spark 作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle 调优只能在整个 Spark 的性能调优中占到一小部分而已。 因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解 shuffle 的原理，以及相关参数的说明，同时给出各个参数的调优建议。 2. 5. shuffle相关参数调优 以下是Shffule过程中的一些主要参数，这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。 调优建议：在资源参数调优中讲解过这个参数。如果内存充足，而且很少使用持久化操作，建议调高这个比例，给 shuffle read 的聚合操作更多内存，以避免由于内存不足导致聚合过程中频繁读写磁盘。
1.9K31发布于 2019-08-08 - 来自专栏个人积累
数据库调优 项目调优
Springboot项目调优 配置文件调优 更改Tomcat的相关配置 设置Tomcat的最大连接数 设置请求头最大内存 设置post请求的最大内存 设置Tomcat最大线程数 设置Tomcat 的最小工作线程数 JVM调优 设置项目启动的参数 在vm option处添加配置内容 -XX:MetaspaceSize=128m #（元空间默认大小） -XX:MaxMetaspaceSize=128m
1.1K51发布于 2020-10-10 - 来自专栏大数据成神之路
Spark调优 | Spark SQL参数调优
本文讲解最近关于在参与hive往spark迁移过程中遇到的一些参数相关问题的调优。 内容分为两部分，第一部分讲遇到异常，从而需要通过设置参数来解决的调优；第二部分讲用于提升性能而进行的调优。 异常调优 spark.sql.hive.convertMetastoreParquet parquet是一种列式存储格式，可以用于spark-sql 和hive 的存储格式。 性能调优 除了遇到异常需要被动调整参数之外，我们还可以主动调整参数从而对性能进行调优。 “maven” Use Hive jars of specified version downloaded from Maven repositories. 3.
8.5K63发布于 2019-08-16 - 来自专栏ApacheHudi
调优 | Apache Hudi应用调优指南
通过Spark作业将数据写入Hudi时，Spark应用的调优技巧也适用于此。如果要提高性能或可靠性，请牢记以下几点。 GC调优：请确保遵循Spark调优指南中的垃圾收集调优技巧，以避免OutOfMemory错误。
1.4K20发布于 2021-04-13 - 来自专栏SmartSi
Spark 性能调优之资源调优
整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对 本文作为Spark性能优化指南的基础篇，主要讲解资源调优。 2. 资源调优 2.1 调优概述 在开发完Spark作业之后，就该为作业配置合适的资源了。 理解作业基本原理，是我们进行资源参数调优的基本前提。 2.3 资源参数调优 了解完了Spark作业运行的基本原理之后，对资源相关的参数就容易理解了。 参数调优建议：Executor的CPU core数量设置为2-4个较为合适。
2.1K30发布于 2019-08-07 - 来自专栏SmartSi
Spark 性能调优之开发调优
Spark的性能调优实际上是由很多部分组成的，不是调节几个参数就可以立竿见影提升作业性能的。 整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对 Spark的原理有较深层次掌握和研究的同学，主要讲解了如何对Spark作业的shuffle运行过程以及细节进行调优。 本文作为Spark性能优化指南的基础篇，主要讲解开发调优。 2. 开发调优 2.1 调优概述 Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。
1.4K31发布于 2019-08-07 - 来自专栏Jed的技术阶梯
Spark性能调优01-资源调优
理解作业基本原理，是我们进行资源参数调优的基本前提。 3. spark内存管理 (1) spark-1.5.x版本以前使用静态内存管理 ? 参数调优建议： Executor的CPU core数量设置为2~4个较为合适。 参数调优建议： Driver的内存通常来说不设置，或者设置1G左右应该就够了。 --driver-cores 参数说明： Cores for driver (Default: 1) 参数调优建议： 因为Driver端不会执行task，所以保持默认即可 (3) 提交的任务要充分使用资源 设置调优参数的3种方法 配置这些参数有两种方式 (1) 在程序中硬编码 例如 sparkConf.set("spark.default.parallelism","100") (2) 提交application
1.7K20发布于 2018-09-13 - 来自专栏AustinDatabases
MONGODB 性能与调优 -- 内存调优 1
所以这又是一个新的系列，关于MONGODB的优化和调优，下方是一个MONGODB的 内存与磁盘的一个大概的架构。 MONGODB的性能与内存的关系可以用三条线来描述 1 FREE MEMORY 2 Response time 3 swap 用语言来描述，如果你的MONGODB所在的服务器上开始使用了SWAP，
1.9K30编辑于 2022-04-05 - 来自专栏全栈程序员必看
jvm 调优命令_java jvm调优工具
3类 **性能参数（Performance Options）：**用于JVM的性能调优和内存分配控制，如初始化内存大小的设置； **行为参数（Behavioral Options）：**用于改变JVM的基础行为 线上环境 web容器：Tomcat， startup.sh -> catalina.sh(卡特琳娜) 里设置JVM 参数 jsp + jinfo 查看某个java进程的参数，然后再调整设置 真实调优 tomcat/xxx/xx/heap.hprof 在排查的的时候 jmap -dump:format=b,file=heap.hprof 44808 一般dump下来的文件可以结合工具来分析 4调优常用工具 5.2程序监控调优 前提：java 应用程序必然是正常运行的。. 目的：减少GC 频率，减少Full GC 发现现象才去解决？ 45% 5.4几个面试问题 调优无非就是 减少GC次数、减少Full GC，提高应用程序的吞吐量 （1）内存泄漏与内存溢出的区别 内存泄漏：对象无法得到及时的回收，持续占用内存空间，从而造成内存空间的浪费
1.5K31编辑于 2022-11-17 - 来自专栏山河已无恙
Linux 性能调优之CPU调优认知
写在前面 博文内容为《性能之巅 系统、企业与云可观测性（第2版）》CPU 章节课后习题答案整理，这是CPU 调优的最后两篇之一，之后还会整理一篇CPU性能故障的场景分析的博文 内容涉及： CPU 术语 现代处理器也支持乱序执行，即后续的指令可以在前面指令停滞的时候执行,即对于流水线步骤，1，2，3，可以按照，1，3，2 的顺序执行，但是会存在流水线冲突（如数据依赖）需通过分支预测来解决。 37904 2.00 0 python3 37908 37903 37908 2.00 0 python3 37907 37903 37907 2.00 0 python3 37906 37903 37906 2.00 0 python3 37905 37903 当进程进行单CPU亲和性配置的时候，一个进程的多个线程始终中一个CPU运行，这个时候，如果队列长度为3，即可确定该进程，有一个线程中运行，3线程位于队列中。
1.5K31编辑于 2025-04-09 - 来自专栏山河已无恙
Linux 性能调优之虚拟化调优
写在前面 考试整理相关笔记 博文内容涉及Linux VM 常见管理操作以及部分调优配置 理解不足小伙伴帮忙指正 不必太纠结于当下，也不必太忧虑未来，当你经历过一些事情的时候，眼前的风景已经和从前不一样了 ——村上春树 使用工具进行调优 可以直接使用 tuned 包里面的适用于虚拟化调优的参数，tuned 中对于虚拟化通过两个优化配置，一个适用虚拟机，一个适用虚拟机所在的宿主机。 ┌──[root@liruilongs.github.io]-[~] └─$ 可以通过/sys/kerel/mm/ksm/目录下的参数，设置调优参数: ┌──[root@liruilongs.github.io liruilongs.github.io]-[~] └─$cat /sys/kernel/mm/ksm/sleep_millisecs 30 ┌──[root@liruilongs.github.io]-[~] └─$ 虚拟磁盘配置调优 xml | grep driver <driver name="qemu" type="qcow2" cache='none'/> 虚拟机磁盘 IO 调优
1.1K10编辑于 2024-02-27 - 来自专栏Spark学习技巧
spark调优系列之高层通用调优
你也可以通过设置spark.default.parallelism来改变默认值，建议值是每个CPU执行2-3个tasks。 在driver节点，spark会打印出每个task序列化后的大小，所以你可以通过查看task的大小判断你的task是否过大，通常task的大小超过20KB就值得调优了。 ? 3，NO_PREF 数据可以从任何地方快速访问，没有数据本地性。 4，RACK_LOCAL 数据和代码在相同的机架。 具体配置如下： 属性 默认值 含义 spark.locality.wait 3s 超时时间，放弃等待在较低数据本地性新启任务。 spark.locality.wait PROCESS_LOCAL等待超时时间 spark.locality.wait.rack spark.locality.wait RACK_LOCAL等待超时时间 五，总结 主要调优就是序列化和内存调优
1K70发布于 2018-01-30 - 来自专栏叨叨软件测试
JVM 调优之 Eclipse 启动调优实战
本文是我12年在学习《深入理解Java虚拟机：JVM高级特性与最佳实践》时，做的一个 JVM 简单调优实战笔记，版本都有些过时，不过调优思路和过程还是可以分享给大家参考的。 build 17.1-b03， mixed mode， sharing) Eclipse版本： Release 4.2.0 Last revised June 8th， 2012 调优前 Eclipse 分析及调优 升级JDK版本 获取免费的“性能提升”(这里暂时不做考虑)。 类加载和编译时间优化 类加载： 字节码验证优化。 从数据中，可以看出前3次的Full GC是为了永久代的扩容而触发的。 总结 以上只是专门针对 Eclipse 的启动过程进行分析和调优，并未对 Eclipse 日常开发工作进行分析和调优。 参考资料 《深入理解Java虚拟机：JVM高级特性与最佳实践》
80610发布于 2020-04-14 - 来自专栏码客
Nginx调优
in S) print a, S[a]}' 结果 LAST_ACK 54 SYN_RECV 5 ESTABLISHED 4636 FIN_WAIT1 52 FIN_WAIT2 299 CLOSING 3 client_max_body_size：上传文件大小限制 fastcgi调优 fastcgi配置优化，如： fastcgi_connect_timeout 600; fastcgi_send_timeout gzip调优 使用gzip压缩功能，可能为我们节约带宽，加快传输速度，有更好的体验，也为我们节约成本，所以说这是一个重点。 js/css文件进行压缩) gzip_vary on：varyheader支持，改选项可以让前端的缓存服务器缓存经过GZIP压缩的页面，例如用Squid缓存经过nginx压缩的数据 expires缓存调优 logo） 防盗链 防止别人直接从你网站引用图片等链接，消耗了你的资源和网络流量，那么我们的解决办法由几种： 1：水印，品牌宣传，你的带宽，服务器足够 2：防火墙，直接控制，前提是你知道IP来源 3：
1.2K30发布于 2021-08-12 - 来自专栏爱编码
JVM调优
前言 JVM调优是作为每一位Java程序员必备的技能。我们平时打代码一般很少接触到，只有真正部署过线上项目，并且遇到相应的非代码逻辑导致的问题时。 为了更好地使用计算机的资源，我们有必要学习一下JVM调优。 重要参数 例如：-Xms512m -Xmx512m -Xss1024K 这几个参数涉及配置JVM的，你都懂了？ 如何调优 观察内存释放情况、集合类检查、对象树 上面这些调优工具都提供了强大的功能，但是总的来说一般分为以下几类功能 堆信息查看 查看堆信息，我们一般可以顺利解决以下问题：--年老代年轻代大小划分是否合理 调优方法 一切都是为了这一步，调优，在调优之前，我们需要记住下面的原则：1、多数的Java应用不需要在服务器上进行GC优化；2、多数导致GC问题的Java应用，都不是因为我们参数设置错误，而是代码问题； 真正熟练的使用GC调优，是建立在多次进行GC监控和调优的实战经验上的，进行监控和调优的一般步骤为： 1，监控GC的状态 使用各种JVM工具，查看当前日志，分析当前JVM参数设置，并且分析当前堆内存快照和
2K20发布于 2019-09-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号