首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Java技术栈

    Spring Boot 深度6得飞起~

    项目 作为一名工程师,项目这事,是必须得熟练掌握的事情。 在SpringBoot项目中,主要通过配置文件和配置JVM的参数的方式进行。 二、Jvm 关于JvmOracle官网有一份指导说明: https://docs.oracle.com/middleware/11119/wls/PERFM/jvm_tuning.htm#i1146060 三、Jvm实战 1、未设置JVM参数的情况 我现在有一个项目,默认情况下,没有设置任何Jvm参数。 下面我来启动看一下。 ? 看一下堆栈分配: 很明显默认的最大堆内存分配了8个G。 关于这些设置的JVM参数是什么意思,请参考第二步中的oracle官方给出的文档。

    69810发布于 2019-10-14
  • 来自专栏chenchenchen

    SQL之性能

    针对专门操作符的 前面,讲的是关于查询条件的一般规则,在这一节中,将讨论如何使用专门的操作符来改进 SQL 代码的性能。 WHERE column1 = 5 OR column1 = 6 条件 2: ... WHERE column1 IN (5, 6) 这样的想法并不完全正确,对于大多数的数据库操作系统来说,IN 要比 OR 执行的快。 本文总结的是一些 SQL 性能的比较初级的方面,SQL 还包括 Order by,Group by 以及 Index 等等。

    2.3K30发布于 2019-12-03
  • 来自专栏LhWorld哥陪你聊算法

    【Spark篇】---Spark之代码,数据本地化,内存,SparkShuffle,Executor的堆外内存

    一、前述 Spark中大致分为以下几种 ,代码,数据本地化,内存,SparkShuffle,调节Executor的堆外内存。 二、具体    1、代码 1、避免创建重复的RDD,尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略? 通过日志或者WEBUI 3、内存 ? Spark  JVM主要是降低gc时间,可以修改Executor内存的比例参数。 RDD缓存、task定义运行的算子函数,可能会创建很多对象,这样会占用大量的堆内存。 Spark中如何内存

    2.1K30发布于 2018-09-13
  • 来自专栏纯洁的微笑

    Tomcat 性能之 JVM

    因此在对Web 容器( 应用服务器) 的中必不可少的是对于 JVM 的。 对于 JVM 的,主要有两个方面考虑: 内存大小配置 垃圾回收算法选择 当然,确切的说,以上两点并不互相独立,内存的大小配置也会影响垃圾回收的执行效率。 延迟、吞吐量 其他 JVM 配置 垃圾回收算法对应到的就是不同的垃圾收集器,具体到在 JVM 中的配置,是使用 -XX:+UseParallelOldGC 或者 -XX:+UseConcMarkSweepGC 所谓,就是一个不断调整和优化的过程,需要观察、配置、测试再如此重复。有相关经验的朋友欢迎留言补充! 说到底,那上面的这些选项是要配置在哪里呢?

    2.2K30发布于 2019-05-06
  • 来自专栏个人积累

    数据库 项目

    Springboot项目 配置文件 更改Tomcat的相关配置 设置Tomcat的最大连接数 设置请求头最大内存 设置post请求的最大内存 设置Tomcat最大线程数 设置Tomcat 的最小工作线程数 JVM 设置项目启动的参数 在vm option处添加配置内容 -XX:MetaspaceSize=128m #(元空间默认大小) -XX:MaxMetaspaceSize=128m

    1K51发布于 2020-10-10
  • 来自专栏SmartSi

    Spark 性能之Shuffle

    因此,如果要让作业的性能更上一层楼,就有必要对 shuffle 过程进行。 但是也必须提醒大家的是,影响一个 Spark 作业性能的因素,主要还是代码开发、资源参数以及数据倾斜,shuffle 只能在整个 Spark 的性能中占到一小部分而已。 因此大家务必把握住的基本原则,千万不要舍本逐末。下面我们就给大家详细讲解 shuffle 的原理,以及相关参数的说明,同时给出各个参数的建议。 2. 5. shuffle相关参数 以下是Shffule过程中的一些主要参数,这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的建议。 建议:在资源参数中讲解过这个参数。如果内存充足,而且很少使用持久化操作,建议调高这个比例,给 shuffle read 的聚合操作更多内存,以避免由于内存不足导致聚合过程中频繁读写磁盘。

    1.8K31发布于 2019-08-08
  • 来自专栏SmartSi

    Spark 性能之开发

    Spark的性能实际上是由很多部分组成的,不是调节几个参数就可以立竿见影提升作业性能的。 整套方案主要分为开发、资源、数据倾斜、shuffle几个部分。 开发和资源是所有Spark作业都需要注意和遵循的一些基本原则,是高性能Spark作业的基础;数据倾斜,主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案;shuffle,面向的是对 Spark的原理有较深层次掌握和研究的同学,主要讲解了如何对Spark作业的shuffle运行过程以及细节进行。 本文作为Spark性能优化指南的基础篇,主要讲解开发。 2. 开发 2.1 概述 Spark性能优化的第一步,就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。

    1.3K31发布于 2019-08-07
  • 来自专栏ApacheHudi

    | Apache Hudi应用指南

    通过Spark作业将数据写入Hudi时,Spark应用的技巧也适用于此。如果要提高性能或可靠性,请牢记以下几点。 GC:请确保遵循Spark指南中的垃圾收集技巧,以避免OutOfMemory错误。 tmp/hoodie-heapdump.hprof spark.executor.id driver spark.executor.instances 300 spark.executor.memory 6g

    1.3K20发布于 2021-04-13
  • 来自专栏SmartSi

    Spark 性能之资源

    整套方案主要分为开发、资源、数据倾斜、shuffle几个部分。 开发和资源是所有Spark作业都需要注意和遵循的一些基本原则,是高性能Spark作业的基础;数据倾斜,主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案;shuffle,面向的是对 本文作为Spark性能优化指南的基础篇,主要讲解资源。 2. 资源 2.1 概述 在开发完Spark作业之后,就该为作业配置合适的资源了。 理解作业基本原理,是我们进行资源参数的基本前提。 2.3 资源参数 了解完了Spark作业运行的基本原理之后,对资源相关的参数就容易理解了。 (6) spark.storage.memoryFraction 参数说明:该参数用于设置RDD持久化数据在Executor内存中能占的比例,默认是0.6。

    2K30发布于 2019-08-07
  • 来自专栏大数据成神之路

    Spark | Spark SQL参数

    本文讲解最近关于在参与hive往spark迁移过程中遇到的一些参数相关问题的。 内容分为两部分,第一部分讲遇到异常,从而需要通过设置参数来解决的;第二部分讲用于提升性能而进行的。 异常 spark.sql.hive.convertMetastoreParquet parquet是一种列式存储格式,可以用于spark-sql 和hive 的存储格式。 性能 除了遇到异常需要被动调整参数之外,我们还可以主动调整参数从而对性能进行

    8.3K63发布于 2019-08-16
  • 来自专栏Jed的技术阶梯

    Spark性能01-资源

    理解作业基本原理,是我们进行资源参数的基本前提。 3. spark内存管理 (1) spark-1.5.x版本以前使用静态内存管理 ? 参数建议: 每个Executor进程的内存设置4G~8G较为合适。但是这只是一个参考值,具体的设置还是得根据不同部门的资源队列来定。 参数建议: Executor的CPU core数量设置为2~4个较为合适。 参数建议: Driver的内存通常来说不设置,或者设置1G左右应该就够了。 参数建议: Spark作业的默认task数量为500~1000个较为合适。

    1.5K20发布于 2018-09-13
  • 来自专栏AustinDatabases

    MONGODB 性能与 -- 内存 1

    所以这又是一个新的系列,关于MONGODB的优化和,下方是一个MONGODB的 内存与磁盘的一个大概的架构。

    1.9K30编辑于 2022-04-05
  • 来自专栏山河已无恙

    Linux 性能之CPU认知

    写在前面 博文内容为《性能之巅 系统、企业与云可观测性(第2版)》CPU 章节课后习题答案整理,这是CPU 的最后两篇之一,之后还会整理一篇CPU性能故障的场景分析的博文 内容涉及: CPU 术语 25 72 0 0 ................... 18 0 0 7715444 4204 1447356 0 0 0 56 935 7750 6 name=randwrite --ioengine=libaio --iodepth=1 --rw=randwrite --bs=4K --direct=1 --size=11512M --numjobs=6 P ALL Linux 3.10.0-1160.71.1.el7.x86_64 (liruilongs.github.io) 2022年09月05日 _x86_64_ (6 上面的软中断类型: net_tx:网络数据包发送软中断,消耗了6微秒。 block:块设备I/O软中断,消耗了21微秒。 net_rx:网络数据包接收软中断,消耗了203微秒。

    1.4K31编辑于 2025-04-09
  • 来自专栏全栈程序员必看

    jvm 命令_java jvm工具

    3类 **性能参数(Performance Options):**用于JVM的性能和内存分配控制,如初始化内存大小的设置; **行为参数(Behavioral Options):**用于改变JVM的基础行为 线上环境 web容器:Tomcat, startup.sh -> catalina.sh(卡特琳娜) 里设置JVM 参数 jsp + jinfo 查看某个java进程的参数,然后再调整设置 真实 tomcat/xxx/xx/heap.hprof 在排查的的时候 jmap -dump:format=b,file=heap.hprof 44808 一般dump下来的文件可以结合工具来分析 4常用工具 5.2程序监控 前提:java 应用程序必然是正常运行的。. 目的:减少GC 频率,减少Full GC 发现现象才去解决? (6)不可达的对象一定要被回收吗?

    1.4K31编辑于 2022-11-17
  • 来自专栏叨叨软件测试

    JVM 之 Eclipse 启动实战

    本文是我12年在学习《深入理解Java虚拟机:JVM高级特性与最佳实践》时,做的一个 JVM 简单调实战笔记,版本都有些过时,不过思路和过程还是可以分享给大家参考的。 Client VM (build 17.1-b03, mixed mode, sharing) Eclipse版本: Release 4.2.0 Last revised June 8th, 2012 前 分析及 升级JDK版本 获取免费的“性能提升”(这里暂时不做考虑)。 类加载和编译时间优化 类加载: 字节码验证优化。 1.5 -Dhelp.lucene.tokenizer=standard -Xverify:none -Xms512m -Xmx512m -Xmn170m -XX:PermSize=256m 第二次 后运行结果 总结 以上只是专门针对 Eclipse 的启动过程进行分析和,并未对 Eclipse 日常开发工作进行分析和。 参考资料 《深入理解Java虚拟机:JVM高级特性与最佳实践》

    72710发布于 2020-04-14
  • 来自专栏山河已无恙

    Linux 性能之虚拟化

    写在前面 考试整理相关笔记 博文内容涉及Linux VM 常见管理操作以及部分配置 理解不足小伙伴帮忙指正 不必太纠结于当下,也不必太忧虑未来,当你经历过一些事情的时候,眼前的风景已经和从前不一样了 ——村上春树 使用工具进行 可以直接使用 tuned 包里面的适用于虚拟化的参数,tuned 中对于虚拟化通过两个优化配置,一个适用虚拟机,一个适用虚拟机所在的宿主机。 ┌──[root@liruilongs.github.io]-[~] └─$ 可以通过/sys/kerel/mm/ksm/目录下的参数,设置参数: ┌──[root@liruilongs.github.io liruilongs.github.io]-[~] └─$cat /sys/kernel/mm/ksm/sleep_millisecs 30 ┌──[root@liruilongs.github.io]-[~] └─$ 虚拟磁盘配置 xml | grep driver <driver name="qemu" type="qcow2" cache='none'/> 虚拟机磁盘 IO

    92010编辑于 2024-02-27
  • 来自专栏Spark学习技巧

    spark系列之高层通用

    在driver节点,spark会打印出每个task序列化后的大小,所以你可以通过查看task的大小判断你的task是否过大,通常task的大小超过20KB就值得了。 ? spark.locality.wait PROCESS_LOCAL等待超时时间 spark.locality.wait.rack spark.locality.wait RACK_LOCAL等待超时时间 五,总结 主要就是序列化和内存 Spark的技巧性优点很多,很难在短篇幅文中讲解后面会结合spark源码进行彻底讲解。欢迎大家持续关注浪尖公众号。

    93770发布于 2018-01-30
  • 来自专栏工具使用

    Tomcat

    Tomcat 内存优化 默认情况下Tomcat的相关内存配置较低,需要修改,否则并发上来可能会报OOM异常 Linux下修改TOMCAT_HOME/bin/catalina.sh,在其中加入如下 JAVA_OPTS

    1.1K20发布于 2020-08-19
  • 来自专栏码客

    Nginx

    client_max_body_size:上传文件大小限制 fastcgi fastcgi配置优化,如: fastcgi_connect_timeout 600; fastcgi_send_timeout gzip 使用gzip压缩功能,可能为我们节约带宽,加快传输速度,有更好的体验,也为我们节约成本,所以说这是一个重点。 如: gzip on; gzip_min_length 2k; gzip_buffers 4 32k; gzip_http_version 1.1; gzip_comp_level 6; gzip_typestext gzip_http_version 1.1:压缩版本,用于设置识别HTTP协议版本,默认是1.1,目前大部分浏览器已经支持GZIP解压,使用默认即可 gzip_comp_level 6:压缩比例,用来指定 js/css文件进行压缩) gzip_vary on:varyheader支持,改选项可以让前端的缓存服务器缓存经过GZIP压缩的页面,例如用Squid缓存经过nginx压缩的数据 expires缓存

    1.2K30发布于 2021-08-12
  • 来自专栏爱编码

    JVM

    前言 JVM是作为每一位Java程序员必备的技能。我们平时打代码一般很少接触到,只有真正部署过线上项目,并且遇到相应的非代码逻辑导致的问题时。 为了更好地使用计算机的资源,我们有必要学习一下JVM。 重要参数 例如:-Xms512m -Xmx512m -Xss1024K 这几个参数涉及配置JVM的,你都懂了? 如何 观察内存释放情况、集合类检查、对象树 上面这些工具都提供了强大的功能,但是总的来说一般分为以下几类功能 堆信息查看 查看堆信息,我们一般可以顺利解决以下问题:--年老代年轻代大小划分是否合理 方法 一切都是为了这一步,,在之前,我们需要记住下面的原则:1、多数的Java应用不需要在服务器上进行GC优化;2、多数导致GC问题的Java应用,都不是因为我们参数设置错误,而是代码问题; 真正熟练的使用GC,是建立在多次进行GC监控和的实战经验上的,进行监控和的一般步骤为: 1,监控GC的状态 使用各种JVM工具,查看当前日志,分析当前JVM参数设置,并且分析当前堆内存快照和

    1.9K20发布于 2019-09-17
领券