- 综合排序
- 最热优先
- 最新优先
- 来自专栏新智元
【干货】BERT模型的标准调优和花式调优
Transformer 模型。 之后这三个向量拼接起来的输入会喂入 BERT 模型，输出各个位置的表示向量。 单句标注 Google 公开的 BERT 预训练模型，根据语言，可分为英文，中文，多语言（104 种语言）。 而这篇文章，直接用 BERT 多语言预训练模型在所有语言上，所有任务上，进行 finetune。 而 BERT 原模型只能生成单句的句子向量，或者句子对的。
4.4K10发布于 2019-05-13 - 来自专栏阿泽的学习笔记
算法模型调优指南
在算法项目落地过程中，如果只考虑机器学习相关部分，个人感觉最花时间的两个部分是数据质量问题处理和模型实验与迭代调优。 从第6部分开始是更深入的通过数据分析来进行模型调优的一些介绍，以及后续的测试，工程化，上线的简介，比较适合有经验的算法工程师阅读。 确保模型能够运行，并在小数据集上overfit，或复现一些已知结果。 评估并分析结果。后续会详细介绍分析手段方法。 参数调优。对模型的各种参数，模型结构进行各种调整。 数据与模型调优。 问题对应的典型数据集，例如我们可以收集一系列节假日，办公型门店的历史数据，用于后续调优改进的检验集。 主要操作是更换模型或者预处理方法。AutoML往往最终达到的效果更高，但需要的尝试次数往往远远大于人工。会有大量的操作花费在超参搜索调优上。
1.7K43发布于 2021-07-06 - 来自专栏数据科学（冷冻工厂）
Python 模型超参数调优
超参数的一些示例： 树的数量或树的深度 矩阵分解中潜在因素的数量 学习率（多种模式） 深层神经网络隐藏层数 k均值聚类中的簇数 超参数的调整，对于提升模型的相关性能有一定的作用。 3. 书 封面 超参数是构建有用的机器学习模型的重要元素。本书为 Python 超参数调整方法[2]（机器学习最流行的编码语言之一）。 了解强大的失败者方法以及最佳实践 探索流行算法的超参数 了解如何在不同的框架和库中调整超参数 深入了解 Scikit、Hyperopt、Optuna、NNI 和 DEAP 等顶级框架 掌握可立即应用于机器学习模型的最佳实践
62230编辑于 2023-02-27 - 来自专栏csico
模型的选择与调优
交叉验证（所有数据分成n等分 ） 最常用的为10折交叉验证 举例： 4折交叉验证（分成4等分时）： 最后求出4个准确率的均值 网格搜索：调参数 对模型预设几种超参数组合，每组超参数都采用交叉验证来进行评估 ，选出最优参数组合建立模型 API from sklearn.model_selection import GridSearchCV # coding=utf8 import numpy as np gc.score(x_test,y_test) print(gc.best_score_) # 显示在交叉验证中最好的结果 print(gc.best_estimator_) # 显示选择最好的模型参数
53030编辑于 2021-12-29 - 来自专栏鸿的学习笔记
吴恩达谈 MLOps：调优数据比调优模型更重要
在之前的 AI 系统设计当中，大家似乎更重视对模型的调优这一块，而忽视了对数据的调优，吴恩达认为前者是 Model-centric（以模型为中心），后者是 Data-centric（以数据为中心）。 并且从 实证经验表明，优化模型获得的收益不如优化数据集。在讲座举的钢板缺陷检测任务当中，baseline准确率为76.2%，各种换模型调参数的骚操作之后，对准确率几乎没有提升。 但是吴恩达认为把时间花费在对数据质量的优化上面，可能要比花费时间对模型进行调优，受益会更多。 Model-centric: 以调整模型代码、调优模型超参数为主的系统调优策略，在这种策略下，可以认为数据集是固定的 Data-centric: 与Model-centric相对，以调整数据集为主的系统调优策略 通常，以模型为中心的科学家偏爱某个模型家族，这很可能构成了他们在研究生院论文的主题。他们根据问题首先从模型开始，并努力通过特征工程使数据适合其模型。
1.3K40发布于 2021-04-23 - 来自专栏AI
AI模型的评估与调优
AI模型的评估与调优：交叉验证、ROC、F1-score等在机器学习和人工智能（AI）应用中，模型的评估和调优是非常关键的步骤。 发现问题：通过不同的评估方法，我们可以发现模型可能存在的问题，如过拟合、欠拟合等。进行模型调优：评估可以帮助我们调整模型的超参数或选择更合适的算法。2. 模型调优：提高模型性能的技巧超参数调优是提升模型性能的关键步骤。超参数是模型训练过程中需要手动设置的参数，它们直接影响模型的训练效果和最终性能。 常见的调优方法包括：网格搜索（Grid Search）：通过遍历指定的参数空间，逐一尝试不同的超参数组合，从而找到最优的参数配置。 Bishop这本书是模式识别和机器学习领域的经典教材，书中深入探讨了模型评估和调优的理论基础，并涉及了多种评价指标。
1.1K00编辑于 2025-01-27 - 来自专栏chenchenchen
SQL调优之性能调优
针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.3K30发布于 2019-12-03 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ 通过日志或者WEBUI 3、内存调优 ? Spark JVM调优主要是降低gc时间，可以修改Executor内存的比例参数。 RDD缓存、task定义运行的算子函数，可能会创建很多对象，这样会占用大量的堆内存。 Spark中如何内存调优？
2.1K30发布于 2018-09-13 离线推理全流程&模型调优
整体概述小模型推理方案：ATC转换架构图：ModelZoo-PyTorch指导文档：https://gitee.com/ascend/ModelZoo-PyTorch/blob/master/ACL_PyTorch /docs/README.md模型推理离线推理导出Onnx参考链接：ONNX的导出Onnx转om参考链接1：Onnx转Om参考链接2：ATC工具介绍离线推理参考链接：离线推理Chinese_CLIP上机操作 Chinese_CLIP模型介绍参考链接传统模型基于昇腾迁移适配全流程模型支持度分析msit analyze安装msit: https://gitee.com/ascend/msit/blob/master 图片模型转换：pt->onnx：参考链接执行分析命令：使用onnx-sim对onnx模型进行简化export bs=24onnxsim models/vit-b-16.txt.fp32.onnx models (onnx->om)atc工具使用指导：链接AOE自动调优（onnx->om）使用指导：链接模型压缩：官方指导文档：链接离线推理Chinese_CLIP模型推理指导ais_bench使用安装：链接推理执行
23600编辑于 2025-06-20- 来自专栏纯洁的微笑
Tomcat 性能调优之 JVM 调优
因此在对Web 容器( 应用服务器) 的调优中必不可少的是对于 JVM 的调优。 对于 JVM 的调优，主要有两个方面考虑： 内存大小配置 垃圾回收算法选择 当然，确切的说，以上两点并不互相独立，内存的大小配置也会影响垃圾回收的执行效率。 延迟、吞吐量调优 其他 JVM 配置 垃圾回收算法对应到的就是不同的垃圾收集器，具体到在 JVM 中的配置，是使用 -XX:+UseParallelOldGC 或者 -XX:+UseConcMarkSweepGC 所谓调优，就是一个不断调整和优化的过程，需要观察、配置、测试再如此重复。有相关经验的朋友欢迎留言补充！ 说到底，那上面的这些选项是要配置在哪里呢？
2.2K30发布于 2019-05-06 - 来自专栏个人积累
数据库调优 项目调优
Springboot项目调优 配置文件调优 更改Tomcat的相关配置 设置Tomcat的最大连接数 设置请求头最大内存 设置post请求的最大内存 设置Tomcat最大线程数 设置Tomcat 的最小工作线程数 JVM调优 设置项目启动的参数 在vm option处添加配置内容 -XX:MetaspaceSize=128m #（元空间默认大小） -XX:MaxMetaspaceSize=128m
1K51发布于 2020-10-10 - 来自专栏SmartSi
Spark 性能调优之Shuffle调优
因此，如果要让作业的性能更上一层楼，就有必要对 shuffle 过程进行调优。 但是也必须提醒大家的是，影响一个 Spark 作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle 调优只能在整个 Spark 的性能调优中占到一小部分而已。 因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解 shuffle 的原理，以及相关参数的说明，同时给出各个参数的调优建议。 2. 5. shuffle相关参数调优 以下是Shffule过程中的一些主要参数，这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。 调优建议：在资源参数调优中讲解过这个参数。如果内存充足，而且很少使用持久化操作，建议调高这个比例，给 shuffle read 的聚合操作更多内存，以避免由于内存不足导致聚合过程中频繁读写磁盘。
1.8K31发布于 2019-08-08 - 来自专栏SmartSi
Spark 性能调优之开发调优
Spark的性能调优实际上是由很多部分组成的，不是调节几个参数就可以立竿见影提升作业性能的。 整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对 Spark的原理有较深层次掌握和研究的同学，主要讲解了如何对Spark作业的shuffle运行过程以及细节进行调优。 本文作为Spark性能优化指南的基础篇，主要讲解开发调优。 2. 开发调优 2.1 调优概述 Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。
1.3K31发布于 2019-08-07 - 来自专栏SmartSi
Spark 性能调优之资源调优
整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对 本文作为Spark性能优化指南的基础篇，主要讲解资源调优。 2. 资源调优 2.1 调优概述 在开发完Spark作业之后，就该为作业配置合适的资源了。 理解作业基本原理，是我们进行资源参数调优的基本前提。 2.3 资源参数调优 了解完了Spark作业运行的基本原理之后，对资源相关的参数就容易理解了。 参数调优建议：Executor的CPU core数量设置为2-4个较为合适。
2K30发布于 2019-08-07 - 来自专栏大数据成神之路
Spark调优 | Spark SQL参数调优
本文讲解最近关于在参与hive往spark迁移过程中遇到的一些参数相关问题的调优。 内容分为两部分，第一部分讲遇到异常，从而需要通过设置参数来解决的调优；第二部分讲用于提升性能而进行的调优。 异常调优 spark.sql.hive.convertMetastoreParquet parquet是一种列式存储格式，可以用于spark-sql 和hive 的存储格式。 性能调优 除了遇到异常需要被动调整参数之外，我们还可以主动调整参数从而对性能进行调优。
8.3K63发布于 2019-08-16 - 来自专栏ApacheHudi
调优 | Apache Hudi应用调优指南
通过Spark作业将数据写入Hudi时，Spark应用的调优技巧也适用于此。如果要提高性能或可靠性，请牢记以下几点。 GC调优：请确保遵循Spark调优指南中的垃圾收集调优技巧，以避免OutOfMemory错误。
1.3K20发布于 2021-04-13 Flink 内存模型和生产环境调优
，统一了内存配置方式，本文详细介绍 Flink TaskManager 内存模型的各内存块配置参数、生产环境中的优化策略，以及 Jemalloc 内存分配器的应用。 Flink 内存模型结构图On-Heap [JVM 堆内存]1、Framework Heap Memory: Flink 框架本身使用的内存，即 TaskManager 本身所占用的堆内存。 为其运行而分配的内存 Flink 使用内存 = 框架堆内外 + task 堆内外 + network + manage 配置参数:taskmanager.memory.flink.size=xxx对应调优策略内存调优是优化 如果有基于 rocksdb 的状态数据，可以设置 state.backend.rocksdb.memory.managed=true，交由Flink托管，如果对 rocksdb 熟悉，想自己进行精细化调优 ，则设置为 false，并调优 rocksdb 相关参数。
37310编辑于 2025-10-30- 来自专栏Python进阶之路
大语言模型的指令调优：综述
在这篇综述中，研究者系统地回顾了文献，涵盖了指令调优的一般方法、指令调优数据集的构建、指令调优模型的训练，以及指令调优在不同模态、领域和应用中的实际应用。 研究方法： 文献综述：本研究系统回顾了指令调优的一般方法、指令调优数据集的构建、指令调优模型的训练，以及指令调优在不同模态、领域和应用中的实际应用。 模型评估：研究回顾了多模态技术和数据集在指令调优中的应用，涵盖图像、语音和视频等领域，并评估了指令调优模型的性能表现。 关于指令调优模型是否能够泛化到未知的任务和领域，以及这对模型理解能力的影响，目前尚未达成共识。此外，指令调优可能使模型过度适应训练数据集，进而在新任务上的表现受到影响。 研究者还回顾了对指令调优模型的分析，以发现其优势和潜在缺陷。我们希望这项工作能够激励人们进一步努力解决当前指令调优模型的缺陷。
60700编辑于 2024-05-25 - 来自专栏DeepHub IMBA
使用阈值调优改进分类模型性能
阈值调优是数据科学中一个重要且必要的步骤。它与应用程序领域密切相关，并且需要一些领域内的知识作为参考。在本文中将演示如何通过阈值调优来提高模型的性能。 阈值优化 假设我们正在处理一个二元分类任务的逻辑回归模型。我们已经进行了训练、超参数调优和测试阶段。该模型已经过交叉验证。 也就是说，基本上能做的事情我们都已经做了，但是还是希望能够有一些其他的方式来优化模型，那么则可以试试调整模型的阈值。 根据我们应用的决策阈值，相同的模型可以表现出一些不同的性能。 通过调整阈值并进行结果的对比，一旦对结果满意，模型就可以投入到生产中了。 总结 为分类模型选择最重要的评价指标并不容易。 模型的行为很大程度上受到阈值选择的影响，我们可以应用不同的技术来评估模型并调优阈值以获得预期的结果。
1K20编辑于 2022-11-11 - 来自专栏数据派THU
使用阈值调优改进分类模型性能
来源：Deephub Imba 本文约2500字，建议阅读7分钟 本文将演示如何通过阈值调优来提高模型的性能。 阈值调优是数据科学中一个重要且必要的步骤。 在本文中将演示如何通过阈值调优来提高模型的性能。 阈值优化 假设我们正在处理一个二元分类任务的逻辑回归模型。我们已经进行了训练、超参数调优和测试阶段。该模型已经过交叉验证。 根据我们应用的决策阈值，相同的模型可以表现出一些不同的性能。 通过调整阈值并进行结果的对比，一旦对结果满意，模型就可以投入到生产中了。 总结 为分类模型选择最重要的评价指标并不容易。 模型的行为很大程度上受到阈值选择的影响，我们可以应用不同的技术来评估模型并调优阈值以获得预期的结果。 编辑：王菁 校对：林亦霖
1.2K20编辑于 2022-10-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号