- 综合排序
- 最热优先
- 最新优先
- 来自专栏ApacheHudi
调优 | Apache Hudi应用调优指南
通过Spark作业将数据写入Hudi时，Spark应用的调优技巧也适用于此。如果要提高性能或可靠性，请牢记以下几点。 GC调优：请确保遵循Spark调优指南中的垃圾收集调优技巧，以避免OutOfMemory错误。 tmp/hoodie-heapdump.hprof spark.executor.id driver spark.executor.instances 300 spark.executor.memory 6g
1.3K20发布于 2021-04-13 - 来自专栏Spark专栏
Spark Shuffle调优指南
概述 从Spark shuffle原理可知，Spark shuffle在计算与IO方面，都可能有较大开销，故，Spark shuffle调优就是优化这2个方面。 这里仅关注调参的调优方式，不关注应用代码层面的调优。 调优建议：若作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如96m），从而减少拉取数据的次数，也就可以减少网络传输的次数，进而提升性能。 调优建议：无。 spark.shuffle.io.retryWait 默认值：5s 参数说明：每次重试拉取数据的等待间隔 调优建议：通常建议加大时长，理由同上。
2K20发布于 2021-02-20 - 来自专栏搜云库技术团队
JVM 11 的调优指南：如何进行JVM调优，JVM调优参数
JVM 11的优化指南：如何进行JVM调优，以及JVM调优参数有哪些”这篇文章将包含JVM 11调优的核心概念、重要性、调优参数，并提供12个实用的代码示例，每个示例都会结合JVM调优参数和Java代码 本文已收录于，我的技术网站 ddkk.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享 JVM 11的优化指南 JVM调优简介 JVM调优是通过调整Java虚拟机的配置参数来提升应用程序的性能和资源利用效率的过程 JVM调优的重要性 提高性能：通过调优，可以提升应用程序的响应速度和处理能力。 资源优化：合理的配置可以使应用更高效地利用系统资源。 6、性能调优 -XX:+UseStringDeduplication：开启字符串去重功能，减少堆内存的占用。 合理的JVM调优可以显著提升应用的性能和稳定性。不过，请记得调优是一个持续的过程，需要根据应用的具体表现来不断调整和优化。
2.3K10编辑于 2024-01-17 - 来自专栏阿泽的学习笔记
算法模型调优指南
在算法项目落地过程中，如果只考虑机器学习相关部分，个人感觉最花时间的两个部分是数据质量问题处理和模型实验与迭代调优。 从第6部分开始是更深入的通过数据分析来进行模型调优的一些介绍，以及后续的测试，工程化，上线的简介，比较适合有经验的算法工程师阅读。 参数调优。对模型的各种参数，模型结构进行各种调整。 数据与模型调优。修复数据中的问题，做数据增强，引入不同类型的数据，收集更多数据，或者特征工程预处理方面的操作。 6 深入调优分析 构建有效模型的关键是能够迅速且准确的定位到当前模型失败的原因具体是什么。这也是结果分析的主要目标。 会有大量的操作花费在超参搜索调优上。 Human-in-the-Loop & AutoML： ?
1.7K43发布于 2021-07-06 - 来自专栏腾讯云流计算 Oceanus
Flink on RocksDB 参数调优指南
因此我们对 Flink 上的 RocksDB 的参数调优方法进行了梳理，希望能够帮助大家解决相关的问题。 根据我们的调优经验来看，这个参数调小、调大都会造成性能下滑，它的最佳值会在某个中间值附近，例如 3 等。 频繁的 Flush 和 Compaction 操作，在写数据量大时，会严重影响性能，甚至造成写入的完全停顿，即 Write Stall，因此这里也需要进行细致的调优。 RocksDB 官方提供了性能优化指南 [5]，也可以根据这些来进行参数调优。 经过我们的调研，对默认参数进行优化后，读性能有将近 800% 的提升，而写性能也有不同程度的改善，因此 RocksDB 调优是非常值得进行的。
18.8K102发布于 2020-02-29 - 来自专栏DeepHub IMBA
XGBoost超参数调优指南
本文将详细解释XGBoost中十个最常用超参数的介绍，功能和值范围，及如何使用Optuna进行超参数调优。 我们这里只关注原生API（也就是我们最常见的），但是这里提供一个列表，这样可以帮助你对比2个API参数，万一以后用到了呢： 如果想使用Optuna以外的超参数调优工具，可以参考该表。 但是通过使用早停技术，我们可以在验证指标没有提高时停止训练，不仅节省时间，还能防止过拟合 有了这个技巧，我们甚至不需要调优num_boost_round。 但是一般情况下不必担心这些参数之间的相互作用，因为我们将使用自动调优找到最佳组合。 所以调优的目标是找到导致损失函数最大减少的最佳分割，这意味着改进的模型性能。 9、min_child_weight XGBoost从具有单个根节点的单个决策树开始初始训练过程。
1.8K30编辑于 2023-08-30 Java性能调优与故障排查：JVM参数调优实战指南
JVM性能调优概述 在Java应用开发中，JVM性能调优是确保系统高效稳定运行的关键环节。作为Java程序运行的底层支撑环境，JVM的性能直接影响着应用的吞吐量、响应时间和资源利用率。 JVM调优的核心目标 性能调优主要围绕三个核心指标展开：吞吐量（Throughput）、延迟（Latency）和内存占用（Footprint）。 通过预先的堆内存调优和GC策略选择，能够将99%的请求延迟控制在200ms以内，这正是调优价值的直接体现。 调优面临的主要挑战 JVM调优的最大挑战在于其高度场景依赖性。 这种渐进式优化方式避免了"过度调优"带来的副作用。 调优工具链的运用 现代JVM生态提供了丰富的诊断工具。 这种差异正如同CSDN调优指南强调的：必须根据应用SLA（如99.99%可用性要求）来反向推导JVM参数配置。
98023编辑于 2025-08-27- 来自专栏京东技术
JRC Flink流作业调优指南
通过阅读本文，读者可了解Flink流作业的通用调优措施，并应用于生产环境。 本文是笔者根据过往经验以及调优实践，结合京东实时计算平台（JRC）背景产出的面向专业人员的Flink流作业调优指南。 主要包含以下四个方面： TaskManager内存模型调优 网络栈调优 RocksDB与状态调优 其他调优项 本文基于Flink 1.12版本。 图2 Web UI展示的内存分配情况 1.5 调优概览 理解TaskManager内存模型是开展调优的大前提，进行调优的宗旨就是：合理分配，避免浪费，保证性能。 下一节就来详细讲解Flink网络栈的调优。
1.5K40编辑于 2022-09-07 - 来自专栏小码匠和老码农
JVM调优指南-工具篇：jps
我是老码农，一个喜欢技术、爱分享的同学，从今天开始和大家持续分享JVM调优方面的经验。 JVM调优是个大话题，涉及的知识点很庞大 Java内存模型 垃圾回收机制 各种工具使用 参数配置 调优指标设置 ... 所以会是个持续分享的活，急不得。 感兴趣的同学，我们一起学习，攻下JVM调优这座山头。 今日分享主题 JDK的bin目录下提供了很多和Java相关的小工具，后面会陆续分享提供的这些工具。 例如： 服务器上跑着那些Java的服务呢？
42640编辑于 2022-06-16 MySQL 性能调优全方位指南
MySQL 性能调优全方位指南在数据库驱动的应用系统中，MySQL 的性能直接影响着整个系统的响应速度和用户体验。当业务数据量增长、并发请求增多时，原本流畅的数据库可能会出现查询缓慢、连接超时等问题。 本文将从硬件、配置、SQL 语句、索引、存储引擎等多个层面，详细介绍 MySQL 性能调优的实用方法和技巧，帮助你打造高效稳定的数据库服务。 八、总结MySQL 性能调优是一个系统性的工作，需要从硬件、配置、SQL 语句、索引、存储引擎、缓存等多个方面进行综合考虑和优化。 希望本文介绍的 MySQL 性能调优方法和技巧能够帮助你解决实际工作中遇到的性能问题，让你的数据库运行得更加流畅。
1K10编辑于 2025-08-22- 来自专栏Java技术栈
Spring Boot 深度调优，6得飞起~
项目调优 作为一名工程师，项目调优这事，是必须得熟练掌握的事情。 在SpringBoot项目中，调优主要通过配置文件和配置JVM的参数的方式进行。 二、Jvm调优 关于Jvm调优Oracle官网有一份指导说明： https://docs.oracle.com/middleware/11119/wls/PERFM/jvm_tuning.htm#i1146060 三、Jvm调优实战 1、未设置JVM参数的情况 我现在有一个项目，默认情况下，没有设置任何Jvm参数。 下面我来启动看一下。 ? 看一下堆栈分配： 很明显默认的最大堆内存分配了8个G。 关于这些设置的JVM参数是什么意思，请参考第二步中的oracle官方给出的调优文档。
69810发布于 2019-10-14 - 来自专栏chenchenchen
SQL调优之性能调优
针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 WHERE column1 = 5 OR column1 = 6 条件 2： ... WHERE column1 IN (5, 6) 这样的想法并不完全正确，对于大多数的数据库操作系统来说，IN 要比 OR 执行的快。 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.3K30发布于 2019-12-03 - 来自专栏北京马哥教育
Linux性能及调优指南：进程管理
图1-6 进程状态 僵尸进程 当一个进程接收到一个信号而终止，它在结束自己之前，通常需要一些时间来结束所有的任务（例如关闭打开的文件）。在这个通常非常短暂的时间内，该进程就是一个僵尸进程。
1.5K60发布于 2018-05-04 - 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南 （23）
Elasticsearch搜索调优权威指南，是QBOX在其博客上发布的系列文章之一，本文是该系列的第二篇，主要介绍了索引预处理、mapping建立、避免脚本的使用、索引段合并等搜索性能相关的调优方法； 作者：Adam Vanderbush 译者：杨振涛 本文是Elasticsearch搜索调优系列文章3篇中的第2篇，第1篇参考这里（点击）。 本系列教程旨在更进一步讨论针对Elasticsearch 5.0及以上版本的搜索调优技术、策略及建议。 ? （图片来源于网络） 1预索引数据 为了优化数据的索引方式，应当在查询中预置一些模式。 长期存在的索引，必须在升级到6.x 版本前重建，但是映射降级提供了按自己的计划实施重建的机会。 3避免使用脚本 一般来说要尽量避免使用脚本；如果必须要使用，优先选择 Painless 和表达式引擎。 请参考 “ Painless Scripting in Elasticsearch ” 更深入地了解 Painless 脚本语言指南。
59120发布于 2019-04-19 - 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南（33）
关注微信公众号 ↑ 获取更多干货 Elasticsearch搜索调优权威指南，是QBox在其博客上发布的系列文章之一，本文是该系列的第三篇，主要从凑整时间查询、全局序列号预热和文件系统缓存预热几个方面介绍了优化查询性能的一些方法 此前还发布了 Elasticsearch性能调优权威指南 和 Elasticsearch索引性能优化 两个系列。 作者：Adam Vanderbush 译者：杨振涛 本文是QBox官方博客“Elasticsearch搜索调优权威指南”系列文章3篇中的第3篇，第1篇参考这里，第2篇参考这里。 本系列教程旨在进一步探讨针对Elasticsearch 5.0及以上版本的搜索调优技术、策略和建议。
1.1K10发布于 2019-03-19 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ 通过日志或者WEBUI 3、内存调优 ? Spark JVM调优主要是降低gc时间，可以修改Executor内存的比例参数。 RDD缓存、task定义运行的算子函数，可能会创建很多对象，这样会占用大量的堆内存。 Spark中如何内存调优？
2.1K30发布于 2018-09-13 - 来自专栏vivo互联网技术
【干货】Elasticsearch性能调优权威指南（13）
本文翻译自QBox官方博客“Elasticsearch性能调优权威指南”系列文章的第一篇，主要从集群拓扑结构、分片与副本、容量规划以及内存优化等方面介绍了性能调优的基本原理和实践策略。 调优是必需、必要和重要的！任何系统的调优都必需有性能度量指标的支持，因此对监控的清晰理解，以及对变化的度量指标的映射，对所有Elasticsearch用户来说非常必要。 本系列教程的3篇文章将会介绍一些性能调优的技巧和方法，并解释与每一步最相关的系统配置设置和度量。 一个有3个模板和5个索引库的单节点集群，状态API返回的数据大致如下： { "cluster_name": "elasticsearch", "version": 6, "state_uuid
70520发布于 2019-03-19 - 来自专栏vivo互联网技术
【干货】Elasticsearch性能调优权威指南（13）
本文翻译自QBox官方博客“Elasticsearch性能调优权威指南”系列文章的第一篇，主要从集群拓扑结构、分片与副本、容量规划以及内存优化等方面介绍了性能调优的基本原理和实践策略。 调优是必需、必要和重要的！任何系统的调优都必需有性能度量指标的支持，因此对监控的清晰理解，以及对变化的度量指标的映射，对所有Elasticsearch用户来说非常必要。 本系列教程的3篇文章将会介绍一些性能调优的技巧和方法，并解释与每一步最相关的系统配置设置和度量。 一个有3个模板和5个索引库的单节点集群，状态API返回的数据大致如下： { "cluster_name": "elasticsearch", "version": 6, "state_uuid
1K10发布于 2019-04-19 - 来自专栏大数据知识
实战大数据，HBase 性能调优指南
1 HBase 表结构设计调优 1.1 Row Key 设计 HBase 中 row key 用来检索表中的记录，支持以下三种方式： 通过单个 row key 访问：即按照某个 row key 键值进行 1.3 表参数调优 Pre-Creating Regions(预分区) 默认情况下，在创建 HBase 表的时候会自动创建一个 region 分区，当导入数据的时候，所有的 HBase 客户端都向这一个 2 HBase 写调优 2.1 多 HTable 并发写 创建多个 HTable 客户端用于写操作，提高写数据的吞吐量。 下面给个具体的例子： 3 HBase 读调优 3.1 多 HTable 并发写 创建多个 HTable 客户端用于读操作，提高读数据的吞吐量，举一个例子： 3.2 HTable 读参数设置 3.2.1
1.2K40编辑于 2021-12-29 - 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南 （13）
Elasticsearch搜索调优权威指南，是QBOX在其博客上发布的系列文章之一，本文是该系列的第一篇，主要从文档建模、内存分配、文件系统缓存、GC和硬件等方面介绍了优化查询性能的一些经验；后续还会有该系列的另外两篇文章 我们已经通过“Elasticsearch性能调优权威指南”系列，介绍了一些性能调优的基本经验和方法，解释了每一步最关键的系统设置和衡量指标。 Indexing Performance (Part 2) How to Maximize Elasticsearch Indexing Performance (Part 3) 本文旨在推荐一些搜索调优技术
1K20发布于 2019-03-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号