- 综合排序
- 最热优先
- 最新优先
- 来自专栏ApacheHudi
调优 | Apache Hudi应用调优指南
通过Spark作业将数据写入Hudi时，Spark应用的调优技巧也适用于此。如果要提高性能或可靠性，请牢记以下几点。 GC调优：请确保遵循Spark调优指南中的垃圾收集调优技巧，以避免OutOfMemory错误。
1.3K20发布于 2021-04-13 - 来自专栏Spark专栏
Spark Shuffle调优指南
概述 从Spark shuffle原理可知，Spark shuffle在计算与IO方面，都可能有较大开销，故，Spark shuffle调优就是优化这2个方面。 这里仅关注调参的调优方式，不关注应用代码层面的调优。 调优建议：无。 调优建议：通常建议调节到8~10次，对于那些包含了特别耗时的shuffle操作的作业，建议增加重试最大次数（比如60次），以避免由于JVM的full gc或者网络不稳定等因素导致的数据拉取失败，调节该参数可以大幅度提升稳定性 spark.shuffle.io.retryWait 默认值：5s 参数说明：每次重试拉取数据的等待间隔 调优建议：通常建议加大时长，理由同上。
2K20发布于 2021-02-20 - 来自专栏搜云库技术团队
JVM 11 的调优指南：如何进行JVM调优，JVM调优参数
JVM 11的优化指南：如何进行JVM调优，以及JVM调优参数有哪些”这篇文章将包含JVM 11调优的核心概念、重要性、调优参数，并提供12个实用的代码示例，每个示例都会结合JVM调优参数和Java代码 本文已收录于，我的技术网站 ddkk.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享 JVM 11的优化指南 JVM调优简介 JVM调优是通过调整Java虚拟机的配置参数来提升应用程序的性能和资源利用效率的过程 JVM调优的重要性 提高性能：通过调优，可以提升应用程序的响应速度和处理能力。 资源优化：合理的配置可以使应用更高效地利用系统资源。 企业级 JVM 11 的调优参数，机器配置是8核32G 为配置有8核和32GB内存的机器推荐JVM 11调优参数时，需考虑应用的类型、负载特性等。 合理的JVM调优可以显著提升应用的性能和稳定性。不过，请记得调优是一个持续的过程，需要根据应用的具体表现来不断调整和优化。
2.3K10编辑于 2024-01-17 - 来自专栏阿泽的学习笔记
算法模型调优指南
在算法项目落地过程中，如果只考虑机器学习相关部分，个人感觉最花时间的两个部分是数据质量问题处理和模型实验与迭代调优。 从第6部分开始是更深入的通过数据分析来进行模型调优的一些介绍，以及后续的测试，工程化，上线的简介，比较适合有经验的算法工程师阅读。 参数调优。对模型的各种参数，模型结构进行各种调整。 数据与模型调优。修复数据中的问题，做数据增强，引入不同类型的数据，收集更多数据，或者特征工程预处理方面的操作。 问题对应的典型数据集，例如我们可以收集一系列节假日，办公型门店的历史数据，用于后续调优改进的检验集。 会有大量的操作花费在超参搜索调优上。 Human-in-the-Loop & AutoML： ?
1.7K43发布于 2021-07-06 - 来自专栏腾讯云流计算 Oceanus
Flink on RocksDB 参数调优指南
因此我们对 Flink 上的 RocksDB 的参数调优方法进行了梳理，希望能够帮助大家解决相关的问题。 根据我们的调优经验来看，这个参数调小、调大都会造成性能下滑，它的最佳值会在某个中间值附近，例如 3 等。 RocksDB 官方提供了性能优化指南 [5]，也可以根据这些来进行参数调优。 对于学术界和业界，RocksDB 也有不少的调优论文，例如 Keren Ouaknine 等人提出的优化 Redis-on-Flash 的 RocksDB 性能的文章 [8]，较科学地评测了该场景下的最优参数 经过我们的调研，对默认参数进行优化后，读性能有将近 800% 的提升，而写性能也有不同程度的改善，因此 RocksDB 调优是非常值得进行的。
18.8K102发布于 2020-02-29 - 来自专栏DeepHub IMBA
XGBoost超参数调优指南
本文将详细解释XGBoost中十个最常用超参数的介绍，功能和值范围，及如何使用Optuna进行超参数调优。 我们这里只关注原生API（也就是我们最常见的），但是这里提供一个列表，这样可以帮助你对比2个API参数，万一以后用到了呢： 如果想使用Optuna以外的超参数调优工具，可以参考该表。 但是通过使用早停技术，我们可以在验证指标没有提高时停止训练，不仅节省时间，还能防止过拟合 有了这个技巧，我们甚至不需要调优num_boost_round。 但是一般情况下不必担心这些参数之间的相互作用，因为我们将使用自动调优找到最佳组合。 所以调优的目标是找到导致损失函数最大减少的最佳分割，这意味着改进的模型性能。 9、min_child_weight XGBoost从具有单个根节点的单个决策树开始初始训练过程。
1.8K30编辑于 2023-08-30 Java性能调优与故障排查：JVM参数调优实战指南
通过预先的堆内存调优和GC策略选择，能够将99%的请求延迟控制在200ms以内，这正是调优价值的直接体现。 调优面临的主要挑战 JVM调优的最大挑战在于其高度场景依赖性。 参数调优实战案例 某金融交易系统（堆内存配置32GB）初始采用默认参数时，虽然平均GC停顿为8ms，但仍有5%的请求遭遇15ms以上的延迟。 =50 -XX:ConcGCThreads=8 -ZAllocationSpikeTolerance=5 调优验证：通过JFR录制GC事件，确认最大停顿时间从120ms降至8ms，99%的GC 调优参数冲突 组合使用多参数时可能出现隐性冲突： G1与并行GC混用：-XX:+UseG1GC与-XX:ParallelGCThreads=8同时设置会导致线程数被覆盖，需统一为G1的-XX:ConcGCThreads 这种差异正如同CSDN调优指南强调的：必须根据应用SLA（如99.99%可用性要求）来反向推导JVM参数配置。
98023编辑于 2025-08-27- 来自专栏京东技术
JRC Flink流作业调优指南
本文是笔者根据过往经验以及调优实践，结合京东实时计算平台（JRC）背景产出的面向专业人员的Flink流作业调优指南。 主要包含以下四个方面： TaskManager内存模型调优 网络栈调优 RocksDB与状态调优 其他调优项 本文基于Flink 1.12版本。 图2 Web UI展示的内存分配情况 1.5 调优概览 理解TaskManager内存模型是开展调优的大前提，进行调优的宗旨就是：合理分配，避免浪费，保证性能。 下一节就来详细讲解Flink网络栈的调优。 2.3 网络缓存调优示例 本节以测试环境中的某作业（下称“示例作业”）为例。 该作业有54个8C / 16G规格的TM，并行度400，运行4330个Sub-tasks，且包含大量的keyBy操作。
1.5K40编辑于 2022-09-07 - 来自专栏芋道源码1024
IntelliJ IDEA JDK 8 性能调优
IntelliJ IDEA 问题描述问题原因解决方法调优后观察为什么要选择用户`idea.vmoptions`文件 ---- IntelliJ IDEA 问题描述 IntelliJ IDEA 在 多窗口 工具打开Info.plist ，其中存在一个 key 元素内容为VMOptions的设置，如下所示： <key>VMOptions</key> <string>-Dfile.encoding=UTF-8 -XX:+UseConcMarkSweepGC 为 IDEA 默认配置GC 算法，将其移除，修改为： <key>VMOptions</key> <string>-Dfile.encoding=UTF-8 -XX:MaxMetaspaceSize=512m -XX:ReservedCodeCacheSize=240m 调优后观察 风扇旋转情况 启动 IntelliJ IDEA 2017.1 后一小时有余 -XX:MaxMetaspaceSize=512m -XX:ReservedCodeCacheSize=240m JVM 内存情况 当前堆大小: 376,068 KB 最大堆大小: 8,388,608
1.7K20发布于 2018-12-19 - 来自专栏小码匠和老码农
JVM调优指南-工具篇：jps
我是老码农，一个喜欢技术、爱分享的同学，从今天开始和大家持续分享JVM调优方面的经验。 JVM调优是个大话题，涉及的知识点很庞大 Java内存模型 垃圾回收机制 各种工具使用 参数配置 调优指标设置 ... 所以会是个持续分享的活，急不得。 感兴趣的同学，我们一起学习，攻下JVM调优这座山头。 今日分享主题 JDK的bin目录下提供了很多和Java相关的小工具，后面会陆续分享提供的这些工具。 例如： 服务器上跑着那些Java的服务呢？
42640编辑于 2022-06-16 MySQL 性能调优全方位指南
MySQL 性能调优全方位指南在数据库驱动的应用系统中，MySQL 的性能直接影响着整个系统的响应速度和用户体验。当业务数据量增长、并发请求增多时，原本流畅的数据库可能会出现查询缓慢、连接超时等问题。 本文将从硬件、配置、SQL 语句、索引、存储引擎等多个层面，详细介绍 MySQL 性能调优的实用方法和技巧，帮助你打造高效稳定的数据库服务。 建议选择多核 CPU，如 8 核及以上，以应对大量的并发查询和事务处理。同时，CPU 的主频也会影响单条 SQL 语句的执行速度，在预算允许的情况下，优先选择高主频的处理器。 八、总结MySQL 性能调优是一个系统性的工作，需要从硬件、配置、SQL 语句、索引、存储引擎、缓存等多个方面进行综合考虑和优化。 希望本文介绍的 MySQL 性能调优方法和技巧能够帮助你解决实际工作中遇到的性能问题，让你的数据库运行得更加流畅。
1K10编辑于 2025-08-22- 来自专栏北京马哥教育
Linux性能及调优指南：进程管理
图1-8说明了Linux CPU如何调度工作。 ? 图1-8 Linux内核2.6 O（1）调度器 新调度器的另一个显著改进是支持非一致性内存架构（NUMA）和对称多线程处理器，例如Intel超线程技术。
1.5K60发布于 2018-05-04 - 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南 （23）
Elasticsearch搜索调优权威指南，是QBOX在其博客上发布的系列文章之一，本文是该系列的第二篇，主要介绍了索引预处理、mapping建立、避免脚本的使用、索引段合并等搜索性能相关的调优方法； 作者：Adam Vanderbush 译者：杨振涛 本文是Elasticsearch搜索调优系列文章3篇中的第2篇，第1篇参考这里（点击）。 本系列教程旨在更进一步讨论针对Elasticsearch 5.0及以上版本的搜索调优技术、策略及建议。 ? （图片来源于网络） 1预索引数据 为了优化数据的索引方式，应当在查询中预置一些模式。 请参考 “ Painless Scripting in Elasticsearch ” 更深入地了解 Painless 脚本语言指南。
59120发布于 2019-04-19 - 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南（33）
关注微信公众号 ↑ 获取更多干货 Elasticsearch搜索调优权威指南，是QBox在其博客上发布的系列文章之一，本文是该系列的第三篇，主要从凑整时间查询、全局序列号预热和文件系统缓存预热几个方面介绍了优化查询性能的一些方法 此前还发布了 Elasticsearch性能调优权威指南 和 Elasticsearch索引性能优化 两个系列。 作者：Adam Vanderbush 译者：杨振涛 本文是QBox官方博客“Elasticsearch搜索调优权威指南”系列文章3篇中的第3篇，第1篇参考这里，第2篇参考这里。 本系列教程旨在进一步探讨针对Elasticsearch 5.0及以上版本的搜索调优技术、策略和建议。
1.1K10发布于 2019-03-19 - 来自专栏chenchenchen
SQL调优之性能调优
针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.3K30发布于 2019-12-03 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ 通过日志或者WEBUI 3、内存调优 ? Spark JVM调优主要是降低gc时间，可以修改Executor内存的比例参数。 RDD缓存、task定义运行的算子函数，可能会创建很多对象，这样会占用大量的堆内存。 Spark中如何内存调优？
2.1K30发布于 2018-09-13 - 来自专栏vivo互联网技术
【干货】Elasticsearch性能调优权威指南（13）
本文翻译自QBox官方博客“Elasticsearch性能调优权威指南”系列文章的第一篇，主要从集群拓扑结构、分片与副本、容量规划以及内存优化等方面介绍了性能调优的基本原理和实践策略。 调优是必需、必要和重要的！任何系统的调优都必需有性能度量指标的支持，因此对监控的清晰理解，以及对变化的度量指标的映射，对所有Elasticsearch用户来说非常必要。 本系列教程的3篇文章将会介绍一些性能调优的技巧和方法，并解释与每一步最相关的系统配置设置和度量。
70520发布于 2019-03-19 - 来自专栏vivo互联网技术
【干货】Elasticsearch性能调优权威指南（13）
本文翻译自QBox官方博客“Elasticsearch性能调优权威指南”系列文章的第一篇，主要从集群拓扑结构、分片与副本、容量规划以及内存优化等方面介绍了性能调优的基本原理和实践策略。 调优是必需、必要和重要的！任何系统的调优都必需有性能度量指标的支持，因此对监控的清晰理解，以及对变化的度量指标的映射，对所有Elasticsearch用户来说非常必要。 本系列教程的3篇文章将会介绍一些性能调优的技巧和方法，并解释与每一步最相关的系统配置设置和度量。
1K10发布于 2019-04-19 - 来自专栏大数据知识
实战大数据，HBase 性能调优指南
1 HBase 表结构设计调优 1.1 Row Key 设计 HBase 中 row key 用来检索表中的记录，支持以下三种方式： 通过单个 row key 访问：即按照某个 row key 键值进行 目前操作系统一般都是 64 位系统，内存 8 字节对齐。控制在 16 个字节，8 字节的整数倍，利用操作系统的最佳特性。 Rowkey 的设计是要根据实际业务来，常访问的数据放到一起。 1.3 表参数调优 Pre-Creating Regions(预分区) 默认情况下，在创建 HBase 表的时候会自动创建一个 region 分区，当导入数据的时候，所有的 HBase 客户端都向这一个 2 HBase 写调优 2.1 多 HTable 并发写 创建多个 HTable 客户端用于写操作，提高写数据的吞吐量。 下面给个具体的例子： 3 HBase 读调优 3.1 多 HTable 并发写 创建多个 HTable 客户端用于读操作，提高读数据的吞吐量，举一个例子： 3.2 HTable 读参数设置 3.2.1
1.2K40编辑于 2021-12-29 - 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南 （13）
Elasticsearch搜索调优权威指南，是QBOX在其博客上发布的系列文章之一，本文是该系列的第一篇，主要从文档建模、内存分配、文件系统缓存、GC和硬件等方面介绍了优化查询性能的一些经验；后续还会有该系列的另外两篇文章 我们已经通过“Elasticsearch性能调优权威指南”系列，介绍了一些性能调优的基本经验和方法，解释了每一步最关键的系统设置和衡量指标。 Indexing Performance (Part 2) How to Maximize Elasticsearch Indexing Performance (Part 3) 本文旨在推荐一些搜索调优技术
1K20发布于 2019-03-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号