首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏crmeb

    9 个 Java 性能技巧,YYDS!

    在我们学习特定的 Java 编程性能之前,先来探讨一些通用的技巧。1. 在明确必要之前别急着优化这可能是最重要的性能优化技巧之一。你应该遵循常见的最佳实践做法并在案例中高效地应用它。 如果你处理的是被应用程序的多个不同部分使用的组件,如数据库或缓存,那这一点尤为重要。4. 这将为你提供最大的性能改进,而且你可能仅需要解决这些问题中的一小部分就能满足你的性能要求。常见的通用技巧到此结束。接下来让我们仔细看看一些特定于 Java 的技巧。5. 所以,最后,这段代码在日志文件中写入 “This is a test0 1 2 3 4 5 6 7 8 9” 。 昂贵的缓存资源,如数据库连接缓存是避免重复执行昂贵或常用代码片段的流行解决方案。总的思路很简单:重复使用这些资源比创建一个新的资源更划算。一个典型的例子是缓存池中的数据库连接。

    47540编辑于 2022-07-07
  • 来自专栏chenchenchen

    SQL性能

    WHERE column1 = -column2 3 还是可以带来查询性能的优化的。 针对专门操作符的 前面,讲的是关于查询条件的一般规则,在这一节中,将讨论如何使用专门的操作符来改进 SQL 代码的性能。 如果查询 2 总是比查询 1 执行的快的话,那么就可以建议总是将查询 1 转换成查询 2,但是有一种情况,这样做在一些数据库系统中可能会带来性能变差,这是由于两个优化缺陷所造成的。 以上是作者对如何提高 SQL 性能的一些总结,这些规则并一定在所有的数据库系统上都能带来性能的提高,但是它们一定不会对数据库性能带来下降,所以掌握并使用这些规则可以对数据库 应用程序的开发有所帮助。 本文总结的是一些 SQL 性能的比较初级的方面,SQL 还包括 Order by,Group by 以及 Index 等等。

    2.3K30发布于 2019-12-03
  • 来自专栏嵌入式与Linux那些事

    Linux 性能工具的 9 张图

    这里包含Linux 性能资料的工具图。它们展示了:Linux 可观察性工具、 Linux 静态性能分析工具、 Linux 基准测试工具、 Linux 工具和Linux sar。 性能观察工具: 静态性能工具 性能压测工具: 性能工具 sar perf-tools 追踪工具 BPF性能工具:

    32521编辑于 2024-07-05
  • 来自专栏纯洁的微笑

    Tomcat 性能之 JVM

    因此在对Web 容器( 应用服务器) 的中必不可少的是对于 JVM 的。 对于 JVM 的,主要有两个方面考虑: 内存大小配置 垃圾回收算法选择 当然,确切的说,以上两点并不互相独立,内存的大小配置也会影响垃圾回收的执行效率。 延迟、吞吐量 其他 JVM 配置 垃圾回收算法对应到的就是不同的垃圾收集器,具体到在 JVM 中的配置,是使用 -XX:+UseParallelOldGC 或者 -XX:+UseConcMarkSweepGC 所谓,就是一个不断调整和优化的过程,需要观察、配置、测试再如此重复。有相关经验的朋友欢迎留言补充! 说到底,那上面的这些选项是要配置在哪里呢?

    2.2K30发布于 2019-05-06
  • 来自专栏SmartSi

    Spark 性能之Shuffle

    概述 大多数 Spark 作业的性能主要就是消耗在了 shuffle 环节,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。 因此,如果要让作业的性能更上一层楼,就有必要对 shuffle 过程进行。 但是也必须提醒大家的是,影响一个 Spark 作业性能的因素,主要还是代码开发、资源参数以及数据倾斜,shuffle 只能在整个 Spark 的性能中占到一小部分而已。 建议:如果作业可用的内存资源较为充足的话,可以适当增加这个参数的大小(比如96m),从而减少拉取数据的次数,也就可以减少网络传输的次数,进而提升性能。 ,建议参考后面的几个参数,通过 bypass 机制或优化的 HashShuffleManager 来避免排序操作,同时提供较好的磁盘读写性能

    1.8K31发布于 2019-08-08
  • 来自专栏SmartSi

    Spark 性能之资源

    Spark的性能实际上是由很多部分组成的,不是调节几个参数就可以立竿见影提升作业性能的。 笔者根据之前的Spark作业开发经验以及实践积累,总结出了一套Spark作业的性能优化方案。整套方案主要分为开发、资源、数据倾斜、shuffle几个部分。 开发和资源是所有Spark作业都需要注意和遵循的一些基本原则,是高性能Spark作业的基础;数据倾斜,主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案;shuffle,面向的是对 本文作为Spark性能优化指南的基础篇,主要讲解资源。 2. 资源 2.1 概述 在开发完Spark作业之后,就该为作业配置合适的资源了。 这个参数极为重要,如果不设置可能会直接影响你的Spark作业性能。 参数建议:Spark作业的默认task数量为500-1000个较为合适。

    2K30发布于 2019-08-07
  • 来自专栏SmartSi

    Spark 性能之开发

    如果没有对Spark作业进行合理的,Spark作业的执行速度可能会很慢,这样就完全体现不出Spark作为一种快速大数据计算引擎的优势来。因此,想要用好Spark,就必须对其进行合理的性能优化。 Spark的性能实际上是由很多部分组成的,不是调节几个参数就可以立竿见影提升作业性能的。 笔者根据之前的Spark作业开发经验以及实践积累,总结出了一套Spark作业的性能优化方案。整套方案主要分为开发、资源、数据倾斜、shuffle几个部分。 开发和资源是所有Spark作业都需要注意和遵循的一些基本原则,是高性能Spark作业的基础;数据倾斜,主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案;shuffle,面向的是对 本文作为Spark性能优化指南的基础篇,主要讲解开发。 2. 开发 2.1 概述 Spark性能优化的第一步,就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。

    1.3K31发布于 2019-08-07
  • 来自专栏肉眼品世界

    9张Linux性能工具图,建议收藏!

    这里包含Linux 性能资料的工具图。它们展示了:Linux 可观察性工具、 Linux 静态性能分析工具、 Linux 基准测试工具、 Linux 工具和Linux sar。 性能观察工具: 静态性能工具 性能压测工具: 性能工具 sar perf-tools 追踪工具 BPF性能工具:

    65710编辑于 2022-01-20
  • 来自专栏有关SQL

    Hive 性能,这 9 点都掌握了?

    分区本质上还是分而治之,但如果分区数据并不是分布在每台集群中的服务器上,仅仅是存储在其中一台服务器上,分区也没有太大意义,在这种情况下就变成了单实例的数据库。 使用 ORCfile 存储: 官方说明,predicate-push-down, compression 等技术使得 ORCfile 在 join 两张大表的时候,更能体现性能的优势。 配置 Tez 对于 Hive 有益的地方在于有效利用 YARN 带来的比 MapReduce 1 优异的性能。 7.1 cost based query optimization 成本优化器:传统的数据库,成本优化器做出最优化的执行计划是依据统计信息来计算的。Hive 的成本优化器也一样。 compute statistics for columns sender, topic; analyze table tweens compute statistics for columns ; 语句级别的

    1.5K20发布于 2019-12-25
  • 来自专栏个人积累

    数据库 项目

    Springboot项目 配置文件 更改Tomcat的相关配置 设置Tomcat的最大连接数 设置请求头最大内存 设置post请求的最大内存 设置Tomcat最大线程数 设置Tomcat 的最小工作线程数 JVM 设置项目启动的参数 在vm option处添加配置内容 -XX:MetaspaceSize=128m #(元空间默认大小) -XX:MaxMetaspaceSize=128m SpringBootApplication 和 @ComponentScan 两个注解来禁用组件自动扫描 使用@Configuration和@EnableAutoConfiguration代替 在需要使用到的实例上进行注入设置 数据库优化

    1K51发布于 2020-10-10
  • 来自专栏运维经验分享

    tomcat 8 9 性能 优化 centos 7 linux

    个人分类: tomcat 不要单纯为了而去,应该有针对性的去发现不足,解决问题,以提高性能。 所以,的前提是做好各种监控分析,包括服务器基础资源使用、各个应用运行状况、代码质量、数据库状况、等等,根据业务的并发,服务器资源,以及存在的问题,有针对性的去优化。 ==========正文============== 性能的提升,主要从以下几个方面入手: 1,架构 负载均衡,高可用,nginx + tomcat  动静分离,容器化 等, 不具体阐述 2 ,代码 所以一般都较早启动GC); -XX:+UseCMSInitiatingOccupancyOnly    只是用设定的回收阈值(上面指定的75%),如果不指定,JVM仅在第一次使用设定值,后续则自动调整 4,数据库 5,操作系统 硬件: CPU、内存、硬盘、带宽 。 这个属于 不差钱 性质的优化。人民币玩家 不废话。 系统:内核参数.

    2.4K70发布于 2019-03-16
  • 来自专栏存储内核技术交流

    Glusterfs性能

    指定了接收和发送套接字缓冲区大小的最大值,对于小文件小文件请求处理时候效率比较高 net.core.rmem_max=67108864 net.core.wmem_max=67108864 //为自动定义每个 net.ipv4.tcp_rmem=33554432 net.ipv4.tcp_wmem=33554432 Gluster参数 读写性能参数优化 // 打开metadata-cache,打开这个选项可以提高在 这尤其会影响小文件的性能,其中大量文件被快速连续地添加/创建。 gluster volume get dht-vol performance.readdir-ahead on // 设置performance.readdir-ahead的内存,默认是10mb,可以适当大 rep-vol cluster.shd-max-threads 64 //修复的数据快大小,默认是1(1*128k),默认是按照128K数据快修复,如果需要修复的数据很大,这个默认1太小,可以适当的

    3.5K42编辑于 2022-08-17
  • 来自专栏Jed的技术阶梯

    Spark性能01-资源

    理解作业基本原理,是我们进行资源参数的基本前提。 3. spark内存管理 (1) spark-1.5.x版本以前使用静态内存管理 ? Executor内存的大小,很多时候直接决定了Spark作业的性能,而且跟常见的JVM OOM异常,也有直接的关联。 参数建议: 每个Executor进程的内存设置4G~8G较为合适。 参数建议: Executor的CPU core数量设置为2~4个较为合适。 参数建议: Driver的内存通常来说不设置,或者设置1G左右应该就够了。 这个参数极为重要,如果不设置可能会直接影响你的Spark作业性能。 参数建议: Spark作业的默认task数量为500~1000个较为合适。

    1.5K20发布于 2018-09-13
  • 来自专栏Super 前端

    Tomcat性能

    提高Tomcat性能一般从三方面入手,JVM内存调整、禁用DNS查询、调整线程数。 一、JVM内存调整   -Xms<size> 表示JVM初始化堆的大小,-Xmx<size>表示JVM堆的最大值。 为了消除DNS查询对性能的影响我们可以关闭DNS查询,方式是修改server.xml文件中的enableLookups参数值 enableLookups="false" 三、调整线程数   另外一个可通过应用程序的连接器 (Connector)进行性能控制的的参数是创建的处理请求的线程数。 注意事项: 设置NewSize、MaxNewSize相等,"new"的大小最好不要大于"old" 的一半,原因是old区如果不够大会频繁的触发主GC,大大降低了性能。 因为对于操作系统,请求内存的系统调用会占用大量的cpu时间,所以频繁的请求、释放内存将会导致性能的严重下降。

    4.8K21发布于 2019-08-15
  • 来自专栏技术向

    nextcloud性能

    默认的nextcloud是Apache web, 我们将其换为nginx,通过搭配nextcloud-fpm和nginx两个docker完成。

    9.6K30发布于 2019-11-20
  • 来自专栏Elixir

    GC 性能

    什么是? 根据需求进行JVM规划和预 优化运行JVM运行环境(慢,卡顿) 解决JVM运行过程中出现的各种问题(OOM) ,从规划开始 ,从业务场景开始,没有业务场景的都是耍流氓 无监控(压力测试 ,能看到结果),不调 步骤: 熟悉业务场景(没有最好的垃圾回收器,只有最合适的垃圾回收器) 响应时间、停顿时间 [CMS G1 ZGC] (需要给用户作响应) 吞吐量 = 用户时间 /( 扩容或,让它达到 用压测来确定 优化环境 有一个50万PV的资料类网站(从磁盘提取文档到内存)原服务器32位,1.5G 的堆,用户反馈网站比较缓慢,因此公司决定升级,新的服务器为64位,16G 的堆内存 PS -> PN + CMS 或者 G1 系统CPU经常100%,如何

    1.7K10编辑于 2022-11-05
  • 来自专栏大数据-BigData

    Alluxio性能

    本文档介绍了各种 Alluxio 性能的技巧和配置。 常见性能问题 以下是在调整性能时用于解决常见问题的清单: 所有节点都在工作吗? 检查 Alluxio 集群是否健康。 Master Journal性能 Property Default Description alluxio.master.journal.flush.batch.time 5ms Time to worker 块读取线程池大小 alluxio.worker.network.block.reader.threads.max 属性配置用于处理块读取请求的最大线程数。 作业服务 工作服务能力 作业服务限制当前运行的作业总数以控制其资源使用。 请注意,单个 CLI 命令(例如 distributedLoad)可以触发创建多个作业,每个文件一个。 客户端 被动缓存 被动缓存会导致 Alluxio worker 缓存另一个已缓存在单独 worker 上的数据副本。

    2.3K40编辑于 2023-04-03
  • 来自专栏电光石火

    SQL 性能

    我们要做到不但会写SQL,还要做到写出性能优良的SQL,以下为笔者学习、摘录、并汇总部分资料与大家分享! (7) 整合简单,无关联的数据库访问 如果你有几个简单的数据库查询语句,你可以把它们整合到一个查询中(即使它们之间没有关系) (8) 删除重复记录 最高效的删除重复记录方法 ( FROM  EMP E  WHERE  E.ROWID > (SELECT MIN(X.ROWID) FROM  EMP X  WHERE  X.EMP_NO = E.EMP_NO); (9性能上的差异,关键看你的from和where子句。比如说如果你的where条件中可以通过索引,那显然 select 1 from ... 的性能比 select * from ... 好。 仔细检查order by语句以找出非索引项或者表达式,它们会降低性能

    3.7K60发布于 2018-01-18
  • 来自专栏闵开慧

    hadoop性能

    尽量使key的WritableComparable性能最佳, 尽量使value的Writable性能最佳. 比如使用掩码操作. 十七. 尽早丢弃无关对象.

    1K90发布于 2018-03-30
  • 来自专栏Linyb极客之路

    性能思路

    步骤:衡量系统现状、设定调目标、寻找性能瓶颈、性能、衡量是否到达目标(如果未到达目标,需重新寻找性能瓶颈)、性能结束。 资源消耗 CPU、文件IO、网络IO、内存 外部处理系统的性能不足:所调用的其他系统提供的功能或数据库操作的响应速度不够。 方案:增加Thread.sleep,以释放CPU 的执行权,降低CPU 的消耗。以损失单次执行性能为代价的,但由于其降低了CPU 的消耗,对于多线程的应用而言,反而提高了总体的平均性能。 总结 好的策略是收益比(后提升的效果/改动所需付出的代价)最高的,通常来说简单的系统比较好做,因此尽量保持单机上应用的纯粹性, 这是大型系统的基本架构原则。 的三大有效原则:充分而不过分使用硬件资源、合理调整JVM、合理使用JDK包。 作者:架构师社区 来源:http://1t.click/9h4

    1.2K60发布于 2019-08-19
领券