- 综合排序
- 最热优先
- 最新优先
- 来自专栏ApacheHudi
调优 | Apache Hudi应用调优指南
通过Spark作业将数据写入Hudi时，Spark应用的调优技巧也适用于此。如果要提高性能或可靠性，请牢记以下几点。 GC调优：请确保遵循Spark调优指南中的垃圾收集调优技巧，以避免OutOfMemory错误。
1.3K20发布于 2021-04-13 - 来自专栏Spark专栏
Spark Shuffle调优指南
概述 从Spark shuffle原理可知，Spark shuffle在计算与IO方面，都可能有较大开销，故，Spark shuffle调优就是优化这2个方面。 这里仅关注调参的调优方式，不关注应用代码层面的调优。 调优建议：若作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如96m），从而减少拉取数据的次数，也就可以减少网络传输的次数，进而提升性能。 调优建议：无。 spark.shuffle.io.retryWait 默认值：5s 参数说明：每次重试拉取数据的等待间隔 调优建议：通常建议加大时长，理由同上。
2K20发布于 2021-02-20 - 来自专栏搜云库技术团队
JVM 11 的调优指南：如何进行JVM调优，JVM调优参数
JVM 11的优化指南：如何进行JVM调优，以及JVM调优参数有哪些”这篇文章将包含JVM 11调优的核心概念、重要性、调优参数，并提供12个实用的代码示例，每个示例都会结合JVM调优参数和Java代码 本文已收录于，我的技术网站 ddkk.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享 JVM 11的优化指南 JVM调优简介 JVM调优是通过调整Java虚拟机的配置参数来提升应用程序的性能和资源利用效率的过程 JVM调优的重要性 提高性能：通过调优，可以提升应用程序的响应速度和处理能力。 资源优化：合理的配置可以使应用更高效地利用系统资源。 7、高级调优选项 -XX:+UnlockExperimentalVMOptions：解锁实验性VM选项，用于开启一些最新的优化功能。 合理的JVM调优可以显著提升应用的性能和稳定性。不过，请记得调优是一个持续的过程，需要根据应用的具体表现来不断调整和优化。
2.3K10编辑于 2024-01-17 - 来自专栏阿泽的学习笔记
算法模型调优指南
在算法项目落地过程中，如果只考虑机器学习相关部分，个人感觉最花时间的两个部分是数据质量问题处理和模型实验与迭代调优。 参数调优。对模型的各种参数，模型结构进行各种调整。 数据与模型调优。修复数据中的问题，做数据增强，引入不同类型的数据，收集更多数据，或者特征工程预处理方面的操作。 问题对应的典型数据集，例如我们可以收集一系列节假日，办公型门店的历史数据，用于后续调优改进的检验集。 7 相关测试 排查与调优中，我们会发现许多数据，处理流程，模型输出等方面的问题。除了对这些问题进行修复，我们也需要注意积累这些问题对应的系统性测试case，并添加到pipeline的测试流程中去。 会有大量的操作花费在超参搜索调优上。 Human-in-the-Loop & AutoML： ?
1.7K43发布于 2021-07-06 - 来自专栏盛开在夏天的太阳
7.JVM调优-方法区,堆,栈调优详解
一、方法区参数调优 我们可以对运行时数据区的内存进行参数设置. 这是jvm调优的重点. 线程栈参数调优 -Xss512k：设置栈空间参数的 这个参数就是用来设置栈空间的. 他是设置的一个线程栈占用的空间, 一个程序启动后可能有多个线程栈, 那么他们占用的空间都是512k。
99620发布于 2021-10-13 - 来自专栏腾讯云流计算 Oceanus
Flink on RocksDB 参数调优指南
因此我们对 Flink 上的 RocksDB 的参数调优方法进行了梳理，希望能够帮助大家解决相关的问题。 根据我们的调优经验来看，这个参数调小、调大都会造成性能下滑，它的最佳值会在某个中间值附近，例如 3 等。 默认值是 7，表示最多有 7 层。如果数据实在太多，可以设置为更大的值。 RocksDB 官方提供了性能优化指南 [5]，也可以根据这些来进行参数调优。 经过我们的调研，对默认参数进行优化后，读性能有将近 800% 的提升，而写性能也有不同程度的改善，因此 RocksDB 调优是非常值得进行的。
18.8K102发布于 2020-02-29 - 来自专栏DeepHub IMBA
XGBoost超参数调优指南
本文将详细解释XGBoost中十个最常用超参数的介绍，功能和值范围，及如何使用Optuna进行超参数调优。 我们这里只关注原生API（也就是我们最常见的），但是这里提供一个列表，这样可以帮助你对比2个API参数，万一以后用到了呢： 如果想使用Optuna以外的超参数调优工具，可以参考该表。 但是通过使用早停技术，我们可以在验证指标没有提高时停止训练，不仅节省时间，还能防止过拟合 有了这个技巧，我们甚至不需要调优num_boost_round。 但是一般情况下不必担心这些参数之间的相互作用，因为我们将使用自动调优找到最佳组合。 所以调优的目标是找到导致损失函数最大减少的最佳分割，这意味着改进的模型性能。 9、min_child_weight XGBoost从具有单个根节点的单个决策树开始初始训练过程。
1.8K30编辑于 2023-08-30 Java性能调优与故障排查：JVM参数调优实战指南
JVM性能调优概述 在Java应用开发中，JVM性能调优是确保系统高效稳定运行的关键环节。作为Java程序运行的底层支撑环境，JVM的性能直接影响着应用的吞吐量、响应时间和资源利用率。 JVM调优的核心目标 性能调优主要围绕三个核心指标展开：吞吐量（Throughput）、延迟（Latency）和内存占用（Footprint）。 通过预先的堆内存调优和GC策略选择，能够将99%的请求延迟控制在200ms以内，这正是调优价值的直接体现。 调优面临的主要挑战 JVM调优的最大挑战在于其高度场景依赖性。 这种渐进式优化方式避免了"过度调优"带来的副作用。 调优工具链的运用 现代JVM生态提供了丰富的诊断工具。 这种差异正如同CSDN调优指南强调的：必须根据应用SLA（如99.99%可用性要求）来反向推导JVM参数配置。
98023编辑于 2025-08-27- 来自专栏京东技术
JRC Flink流作业调优指南
通过阅读本文，读者可了解Flink流作业的通用调优措施，并应用于生产环境。 本文是笔者根据过往经验以及调优实践，结合京东实时计算平台（JRC）背景产出的面向专业人员的Flink流作业调优指南。 主要包含以下四个方面： TaskManager内存模型调优 网络栈调优 RocksDB与状态调优 其他调优项 本文基于Flink 1.12版本。 图2 Web UI展示的内存分配情况 1.5 调优概览 理解TaskManager内存模型是开展调优的大前提，进行调优的宗旨就是：合理分配，避免浪费，保证性能。 下一节就来详细讲解Flink网络栈的调优。
1.5K40编辑于 2022-09-07 - 来自专栏小码匠和老码农
JVM调优指南-工具篇：jps
我是老码农，一个喜欢技术、爱分享的同学，从今天开始和大家持续分享JVM调优方面的经验。 JVM调优是个大话题，涉及的知识点很庞大 Java内存模型 垃圾回收机制 各种工具使用 参数配置 调优指标设置 ... 所以会是个持续分享的活，急不得。 感兴趣的同学，我们一起学习，攻下JVM调优这座山头。 今日分享主题 JDK的bin目录下提供了很多和Java相关的小工具，后面会陆续分享提供的这些工具。 例如： 服务器上跑着那些Java的服务呢？
42640编辑于 2022-06-16 深入解析MySQL(7)——SQL调优
作用：显示MySQL决定使用哪种方式来查找表中的行，是执行计划中非常重要的指标。其查询的性能优劣，从最优到最差依次为：system > const > eq_ref > ref > range > index > ALL
14210编辑于 2026-01-13MySQL 性能调优全方位指南
MySQL 性能调优全方位指南在数据库驱动的应用系统中，MySQL 的性能直接影响着整个系统的响应速度和用户体验。当业务数据量增长、并发请求增多时，原本流畅的数据库可能会出现查询缓慢、连接超时等问题。 本文将从硬件、配置、SQL 语句、索引、存储引擎等多个层面，详细介绍 MySQL 性能调优的实用方法和技巧，帮助你打造高效稳定的数据库服务。 八、总结MySQL 性能调优是一个系统性的工作，需要从硬件、配置、SQL 语句、索引、存储引擎、缓存等多个方面进行综合考虑和优化。 希望本文介绍的 MySQL 性能调优方法和技巧能够帮助你解决实际工作中遇到的性能问题，让你的数据库运行得更加流畅。
1K10编辑于 2025-08-22- 来自专栏JVM高手修炼
JVM进阶调优系列(7)JVM调优监控必备命令、工具集合|实用干货
今天的主角调优监控命令，已经是非常贴合生产实战，现在打好基础，等系列第11篇，就开始针对实际案例，带大家应用工具命令解决实际问题。 项目在 GitHub上可以下载[https://github.com/chewiebug/GCViewer]，可以非常直观地分析出有待调优改进地方。大家有空可以下载体验一下。 推荐阅读： 1、JVM进阶调优系列(5)CMS回收器通俗演义一文讲透FullGC 2、JVM进阶调优系列(4)年轻代和老年代采用什么GC算法回收? 3、JVM进阶调优系列(3)堆内存的对象什么时候被回收?4、JVM进阶调优系列(2)字节面试:JVM内存区域怎么划分，分别有什么用？ 5、JVM进阶调优系列(1)类加载器原理一文讲透6、JAVA并发编程系列(13)Future、FutureTask异步小王子
93320编辑于 2024-10-28 - 来自专栏chenchenchen
SQL调优之性能调优
例如一个如下的 SELECT 语句： SELECT * FROM Table1 WHERE column1 = 5 AND NOT (column3 = 7 OR column1 = column2) 针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 WHERE NOT (column1 > 5 OR column2 = 7) 可以转换成： ... WHERE column1 <= 5 AND column2 <> 7 但是，当转换成后的表达示中有不等操作符 <>，那么性能就会下降，毕竟，在一个值平均分布的集合中，不等的值的个数要远远大于相等的值的个数 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.3K30发布于 2019-12-03 - 来自专栏北京马哥教育
Linux性能及调优指南：进程管理
此时，子进程是一个被叫作僵尸进程的进程（参阅page 7的“Zombie processes”）。 子进程不会被完全移除直到其父进程知道其子进程的调用wait()系统调用而终止。 进程内存分配的数据结构如图1-7所示。 ? 图1-7 进程地址空间 进程内存区由以下几部分组成： Text段 该区域用于存储运行代码。 Data段 数据段包括三个区域。
1.5K60发布于 2018-05-04 - 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南 （23）
Elasticsearch搜索调优权威指南，是QBOX在其博客上发布的系列文章之一，本文是该系列的第二篇，主要介绍了索引预处理、mapping建立、避免脚本的使用、索引段合并等搜索性能相关的调优方法； 作者：Adam Vanderbush 译者：杨振涛 本文是Elasticsearch搜索调优系列文章3篇中的第2篇，第1篇参考这里（点击）。 本系列教程旨在更进一步讨论针对Elasticsearch 5.0及以上版本的搜索调优技术、策略及建议。 ? （图片来源于网络） 1预索引数据 为了优化数据的索引方式，应当在查询中预置一些模式。 请参考 “ Painless Scripting in Elasticsearch ” 更深入地了解 Painless 脚本语言指南。
59120发布于 2019-04-19 - 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南（33）
关注微信公众号 ↑ 获取更多干货 Elasticsearch搜索调优权威指南，是QBox在其博客上发布的系列文章之一，本文是该系列的第三篇，主要从凑整时间查询、全局序列号预热和文件系统缓存预热几个方面介绍了优化查询性能的一些方法 此前还发布了 Elasticsearch性能调优权威指南 和 Elasticsearch索引性能优化 两个系列。 作者：Adam Vanderbush 译者：杨振涛 本文是QBox官方博客“Elasticsearch搜索调优权威指南”系列文章3篇中的第3篇，第1篇参考这里，第2篇参考这里。 本系列教程旨在进一步探讨针对Elasticsearch 5.0及以上版本的搜索调优技术、策略和建议。
1.1K10发布于 2019-03-19 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ 7、使用Kryo优化序列化性能 在Spark中，主要有三个地方涉及到了序列化： 1) 在算子函数中使用到外部变量时，该变量会被序列化后进行网络传输。 通过日志或者WEBUI 3、内存调优 ? Spark中如何内存调优？
2.1K30发布于 2018-09-13 - 来自专栏vivo互联网技术
【干货】Elasticsearch性能调优权威指南（13）
本文翻译自QBox官方博客“Elasticsearch性能调优权威指南”系列文章的第一篇，主要从集群拓扑结构、分片与副本、容量规划以及内存优化等方面介绍了性能调优的基本原理和实践策略。 调优是必需、必要和重要的！任何系统的调优都必需有性能度量指标的支持，因此对监控的清晰理解，以及对变化的度量指标的映射，对所有Elasticsearch用户来说非常必要。 本系列教程的3篇文章将会介绍一些性能调优的技巧和方法，并解释与每一步最相关的系统配置设置和度量。 index_one", "version": 18, "allocation_id": { "id": "hAZf59wDSNS7im1wOdToHA ": "index_one", "version": 18, "allocation_id": { "id": "hAZf59wDSNS7im1wOdToHA
70520发布于 2019-03-19 - 来自专栏vivo互联网技术
【干货】Elasticsearch性能调优权威指南（13）
本文翻译自QBox官方博客“Elasticsearch性能调优权威指南”系列文章的第一篇，主要从集群拓扑结构、分片与副本、容量规划以及内存优化等方面介绍了性能调优的基本原理和实践策略。 调优是必需、必要和重要的！任何系统的调优都必需有性能度量指标的支持，因此对监控的清晰理解，以及对变化的度量指标的映射，对所有Elasticsearch用户来说非常必要。 本系列教程的3篇文章将会介绍一些性能调优的技巧和方法，并解释与每一步最相关的系统配置设置和度量。 index_one", "version": 18, "allocation_id": { "id": "hAZf59wDSNS7im1wOdToHA ": "index_one", "version": 18, "allocation_id": { "id": "hAZf59wDSNS7im1wOdToHA
1K10发布于 2019-04-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号