- 综合排序
- 最热优先
- 最新优先
- 来自专栏ApacheHudi
调优 | Apache Hudi应用调优指南
通过Spark作业将数据写入Hudi时，Spark应用的调优技巧也适用于此。如果要提高性能或可靠性，请牢记以下几点。 输入并行性：Hudi对输入进行分区默认并发度为1500，以确保每个Spark分区都在2GB的限制内（在Spark2.4.0版本之后去除了该限制），如果有更大的输入，则相应地进行调整。 GC调优：请确保遵循Spark调优指南中的垃圾收集调优技巧，以避免OutOfMemory错误。 [必须]使用G1 / CMS收集器，其中添加到spark.executor.extraJavaOptions的示例如下： -XX:NewSize=1g -XX:SurvivorRatio=2 -XX:+ :+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/hoodie-heapdump.hprof spark.driver.maxResultSize 2g
1.3K20发布于 2021-04-13 - 来自专栏Spark专栏
Spark Shuffle调优指南
概述 从Spark shuffle原理可知，Spark shuffle在计算与IO方面，都可能有较大开销，故，Spark shuffle调优就是优化这2个方面。 这里仅关注调参的调优方式，不关注应用代码层面的调优。 调优建议：若作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如96m），从而减少拉取数据的次数，也就可以减少网络传输的次数，进而提升性能。 调优建议：无。 spark.shuffle.io.retryWait 默认值：5s 参数说明：每次重试拉取数据的等待间隔 调优建议：通常建议加大时长，理由同上。
2K20发布于 2021-02-20 - 来自专栏搜云库技术团队
JVM 11 的调优指南：如何进行JVM调优，JVM调优参数
JVM 11的优化指南：如何进行JVM调优，以及JVM调优参数有哪些”这篇文章将包含JVM 11调优的核心概念、重要性、调优参数，并提供12个实用的代码示例，每个示例都会结合JVM调优参数和Java代码 本文已收录于，我的技术网站 ddkk.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享 JVM 11的优化指南 JVM调优简介 JVM调优是通过调整Java虚拟机的配置参数来提升应用程序的性能和资源利用效率的过程 JVM调优的重要性 提高性能：通过调优，可以提升应用程序的响应速度和处理能力。 资源优化：合理的配置可以使应用更高效地利用系统资源。 企业级 JVM 11 的调优参数，机器配置是8核32G 为配置有8核和32GB内存的机器推荐JVM 11调优参数时，需考虑应用的类型、负载特性等。 合理的JVM调优可以显著提升应用的性能和稳定性。不过，请记得调优是一个持续的过程，需要根据应用的具体表现来不断调整和优化。
2.3K10编辑于 2024-01-17 - 来自专栏阿泽的学习笔记
算法模型调优指南
在算法项目落地过程中，如果只考虑机器学习相关部分，个人感觉最花时间的两个部分是数据质量问题处理和模型实验与迭代调优。 从第6部分开始是更深入的通过数据分析来进行模型调优的一些介绍，以及后续的测试，工程化，上线的简介，比较适合有经验的算法工程师阅读。 参数调优。对模型的各种参数，模型结构进行各种调整。 数据与模型调优。修复数据中的问题，做数据增强，引入不同类型的数据，收集更多数据，或者特征工程预处理方面的操作。 问题对应的典型数据集，例如我们可以收集一系列节假日，办公型门店的历史数据，用于后续调优改进的检验集。 会有大量的操作花费在超参搜索调优上。 Human-in-the-Loop & AutoML： ?
1.7K43发布于 2021-07-06 - 来自专栏腾讯云流计算 Oceanus
Flink on RocksDB 参数调优指南
因此我们对 Flink 上的 RocksDB 的参数调优方法进行了梳理，希望能够帮助大家解决相关的问题。 这个参数的默认值是 2，对于机械磁盘来说，如果内存足够大，可以调大到 5 左右，以令 MemTable 的大小减小一些，降低 Flush 操作时造成 Write Stall 的概率。 根据我们的调优经验来看，这个参数调小、调大都会造成性能下滑，它的最佳值会在某个中间值附近，例如 3 等。 RocksDB 官方提供了性能优化指南 [5]，也可以根据这些来进行参数调优。 经过我们的调研，对默认参数进行优化后，读性能有将近 800% 的提升，而写性能也有不同程度的改善，因此 RocksDB 调优是非常值得进行的。
18.8K102发布于 2020-02-29 - 来自专栏DeepHub IMBA
XGBoost超参数调优指南
本文将详细解释XGBoost中十个最常用超参数的介绍，功能和值范围，及如何使用Optuna进行超参数调优。 我们这里只关注原生API（也就是我们最常见的），但是这里提供一个列表，这样可以帮助你对比2个API参数，万一以后用到了呢： 如果想使用Optuna以外的超参数调优工具，可以参考该表。 但是通过使用早停技术，我们可以在验证指标没有提高时停止训练，不仅节省时间，还能防止过拟合 有了这个技巧，我们甚至不需要调优num_boost_round。 但是一般情况下不必担心这些参数之间的相互作用，因为我们将使用自动调优找到最佳组合。 最后如果你也用optuna进行调优，请参考以下的GIST： https://gist.github.com/BexTuychiev/823df08d2e3760538e9b931d38439a68 作者
1.8K30编辑于 2023-08-30 Java性能调优与故障排查：JVM参数调优实战指南
JVM性能调优概述 在Java应用开发中，JVM性能调优是确保系统高效稳定运行的关键环节。作为Java程序运行的底层支撑环境，JVM的性能直接影响着应用的吞吐量、响应时间和资源利用率。 JVM调优的核心目标 性能调优主要围绕三个核心指标展开：吞吐量（Throughput）、延迟（Latency）和内存占用（Footprint）。 通过预先的堆内存调优和GC策略选择，能够将99%的请求延迟控制在200ms以内，这正是调优价值的直接体现。 调优面临的主要挑战 JVM调优的最大挑战在于其高度场景依赖性。 这种渐进式优化方式避免了"过度调优"带来的副作用。 调优工具链的运用 现代JVM生态提供了丰富的诊断工具。 这种差异正如同CSDN调优指南强调的：必须根据应用SLA（如99.99%可用性要求）来反向推导JVM参数配置。
98023编辑于 2025-08-27- 来自专栏京东技术
JRC Flink流作业调优指南
通过阅读本文，读者可了解Flink流作业的通用调优措施，并应用于生产环境。 本文是笔者根据过往经验以及调优实践，结合京东实时计算平台（JRC）背景产出的面向专业人员的Flink流作业调优指南。 主要包含以下四个方面： TaskManager内存模型调优 网络栈调优 RocksDB与状态调优 其他调优项 本文基于Flink 1.12版本。 图2 Web UI展示的内存分配情况 1.5 调优概览 理解TaskManager内存模型是开展调优的大前提，进行调优的宗旨就是：合理分配，避免浪费，保证性能。 下一节就来详细讲解Flink网络栈的调优。
1.5K40编辑于 2022-09-07 - 来自专栏小码匠和老码农
JVM调优指南-工具篇：jps
我是老码农，一个喜欢技术、爱分享的同学，从今天开始和大家持续分享JVM调优方面的经验。 JVM调优是个大话题，涉及的知识点很庞大 Java内存模型 垃圾回收机制 各种工具使用 参数配置 调优指标设置 ... 所以会是个持续分享的活，急不得。 感兴趣的同学，我们一起学习，攻下JVM调优这座山头。 今日分享主题 JDK的bin目录下提供了很多和Java相关的小工具，后面会陆续分享提供的这些工具。 例如： 服务器上跑着那些Java的服务呢？
42640编辑于 2022-06-16 - 来自专栏盛开在夏天的太阳
JVM调优--GC2
参开资料: 1. https://blog.csdn.net/liaynling/article/details/81251870 一. java jvm 参数 -Xms -Xmx -Xmn -Xss 调优 3)设置过堆大小之后，可以根据程序创建对象的频率来调整新生代的内存大小，如果程序中创建新对象的频率比较搞可以适当调大新生代，但不要盲目调整，因为新生代的大小对JVM 及系统性能影响较大，Java 官方推荐配置为整个堆大小的 , 0x2b12bcc0, 0x2b12be00, 0x2b3d0000) rw space 12288K, 46% used [0x2b3d0000, 0x2b972060, 0x2b972200, -3GB(一般来说Windows系统下为1.5G-2G,Linux系统下为2G-3G),而64bit以上的处理器就不会有限制了 总结: JVM调优 1. 此时会触发FullGC 二. jvm性能调优常用的命令 1. top命令.
51720编辑于 2022-05-06 MySQL 性能调优全方位指南
MySQL 性能调优全方位指南在数据库驱动的应用系统中，MySQL 的性能直接影响着整个系统的响应速度和用户体验。当业务数据量增长、并发请求增多时，原本流畅的数据库可能会出现查询缓慢、连接超时等问题。 本文将从硬件、配置、SQL 语句、索引、存储引擎等多个层面，详细介绍 MySQL 性能调优的实用方法和技巧，帮助你打造高效稳定的数据库服务。 long_query_time = 2：设置慢查询阈值，单位为秒，超过该时间的 SQL 语句会被记录。 八、总结MySQL 性能调优是一个系统性的工作，需要从硬件、配置、SQL 语句、索引、存储引擎、缓存等多个方面进行综合考虑和优化。 希望本文介绍的 MySQL 性能调优方法和技巧能够帮助你解决实际工作中遇到的性能问题，让你的数据库运行得更加流畅。
1K10编辑于 2025-08-22- 来自专栏chenchenchen
SQL调优之性能调优
WHERE column1 < column2 AND column2 = column3 AND column1 = 5 表达式二： ... 针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 ： 索引查找 column2 = ‘ A ’ , 结果集 = {row1}索引查找 column 2 = ‘ B ’ , 结果集 = {row2}OR 合并结集，结果集 = {}索引查找 column1 没有索引的话，查询 1 将需要 2 倍于查询 2 所需的时间。 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.3K30发布于 2019-12-03 - 来自专栏北京马哥教育
Linux性能及调优指南：进程管理
图1-2展示了进程结构相关的进程信息概述。 ? 图1-2 task_struct结构体 进程的生命周期 每一个进程都有其生命周期，例如创建、运行、终止和消除。这些阶段会在系统启动和运行中重复无数次。
1.5K60发布于 2018-05-04 - 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南 （23）
Elasticsearch搜索调优权威指南，是QBOX在其博客上发布的系列文章之一，本文是该系列的第二篇，主要介绍了索引预处理、mapping建立、避免脚本的使用、索引段合并等搜索性能相关的调优方法； 作者：Adam Vanderbush 译者：杨振涛 本文是Elasticsearch搜索调优系列文章3篇中的第2篇，第1篇参考这里（点击）。 本系列教程旨在更进一步讨论针对Elasticsearch 5.0及以上版本的搜索调优技术、策略及建议。 ? （图片来源于网络） 1预索引数据 为了优化数据的索引方式，应当在查询中预置一些模式。 请参考 “ Painless Scripting in Elasticsearch ” 更深入地了解 Painless 脚本语言指南。 英文原文链接：https://qbox.io/blog/elasticsearch-search-tuning-part-2
59120发布于 2019-04-19 - 来自专栏vivo互联网技术
【干货】Elasticsearch搜索调优权威指南（33）
关注微信公众号 ↑ 获取更多干货 Elasticsearch搜索调优权威指南，是QBox在其博客上发布的系列文章之一，本文是该系列的第三篇，主要从凑整时间查询、全局序列号预热和文件系统缓存预热几个方面介绍了优化查询性能的一些方法 此前还发布了 Elasticsearch性能调优权威指南 和 Elasticsearch索引性能优化 两个系列。 作者：Adam Vanderbush 译者：杨振涛 本文是QBox官方博客“Elasticsearch搜索调优权威指南”系列文章3篇中的第3篇，第1篇参考这里，第2篇参考这里。 本系列教程旨在进一步探讨针对Elasticsearch 5.0及以上版本的搜索调优技术、策略和建议。 2全局序列号预热 Elasticsearch 默认是延迟加载属性数据到内存中的。Elasticsearch 首次遇到一个需要指定字段数据的查询时，将会为索引中的每个段加载整个属性到内存中。
1.1K10发布于 2019-03-19 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ 2、Spark数据本地化调优： Spark中任务调度时，TaskScheduler在分发之前需要依据数据的位置来分发，最好将task分发到数据所在的节点上，如果TaskScheduler分发的task在默认 2) 如何查看数据本地化的级别？ 通过日志或者WEBUI 3、内存调优 ? Spark中如何内存调优？
2.1K30发布于 2018-09-13 - 来自专栏vivo互联网技术
【干货】Elasticsearch性能调优权威指南（13）
本文翻译自QBox官方博客“Elasticsearch性能调优权威指南”系列文章的第一篇，主要从集群拓扑结构、分片与副本、容量规划以及内存优化等方面介绍了性能调优的基本原理和实践策略。 调优是必需、必要和重要的！任何系统的调优都必需有性能度量指标的支持，因此对监控的清晰理解，以及对变化的度量指标的映射，对所有Elasticsearch用户来说非常必要。 本系列教程的3篇文章将会介绍一些性能调优的技巧和方法，并解释与每一步最相关的系统配置设置和度量。 2Elasticsearch集群的内部原理（拓扑结构） Elasticsearch提供了一个非常大的工具箱用于规划复杂的集群拓扑结构。 在专用节点中区分master和data节点的一个好处是，只需设置3个master候选节点，并把参数minimum_master_nodes设置为2。
70520发布于 2019-03-19 - 来自专栏不温卜火
Spark性能优化 (2) | 算子调优
针对上述的两个问题，我们分别进行分析： 针对第一个问题，既然分区的数据量变小了，我们希望可以对分区数据进行重新分配，比如将原来4个分区的数据转化到2个分区中，这样只需要用后面的两个task进行处理即可， 四. repartition解决 SparkSQL 低并行度问题 在第一节的常规性能调优中我们讲解了并行度的调节策略，但是，并行度的设置对于Spark SQL是不生效的，用户设置的并行度只对于Spark 本地聚合后，在map端的数据量变少，减少了磁盘IO，也减少了对磁盘空间的占用； 2. 本地聚合后，下一个stage拉取的数据量变少，减少了网络传输的数据量； 3.
1.7K20发布于 2020-10-28 - 来自专栏vivo互联网技术
【干货】Elasticsearch性能调优权威指南（13）
本文翻译自QBox官方博客“Elasticsearch性能调优权威指南”系列文章的第一篇，主要从集群拓扑结构、分片与副本、容量规划以及内存优化等方面介绍了性能调优的基本原理和实践策略。 调优是必需、必要和重要的！任何系统的调优都必需有性能度量指标的支持，因此对监控的清晰理解，以及对变化的度量指标的映射，对所有Elasticsearch用户来说非常必要。 本系列教程的3篇文章将会介绍一些性能调优的技巧和方法，并解释与每一步最相关的系统配置设置和度量。 2Elasticsearch集群的内部原理（拓扑结构） Elasticsearch提供了一个非常大的工具箱用于规划复杂的集群拓扑结构。 在专用节点中区分master和data节点的一个好处是，只需设置3个master候选节点，并把参数minimum_master_nodes设置为2。
1K10发布于 2019-04-19 - 来自专栏大数据知识
实战大数据，HBase 性能调优指南
1 HBase 表结构设计调优 1.1 Row Key 设计 HBase 中 row key 用来检索表中的记录，支持以下三种方式： 通过单个 row key 访问：即按照某个 row key 键值进行 目前 Hbase 并不能很好的处理超过 2~3 个 column family 的表。 1.3 表参数调优 Pre-Creating Regions(预分区) 默认情况下，在创建 HBase 表的时候会自动创建一个 region 分区，当导入数据的时候，所有的 HBase 客户端都向这一个 2 HBase 写调优 2.1 多 HTable 并发写 创建多个 HTable 客户端用于写操作，提高写数据的吞吐量。 下面给个具体的例子： 3 HBase 读调优 3.1 多 HTable 并发写 创建多个 HTable 客户端用于读操作，提高读数据的吞吐量，举一个例子： 3.2 HTable 读参数设置 3.2.1
1.2K40编辑于 2021-12-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号