- 综合排序
- 最热优先
- 最新优先
- 来自专栏Python进阶之路
大语言模型的指令调优：综述
论文标题：Instruction Tuning for Large Language Models: A Survey 论文地址：https://arxiv.org/abs/2308.10792 指令调优是提升大语言模型 指令调优是指以有监督的方式在由（指令，输出）对组成的数据集上进一步训练大语言模型。这一过程旨在缩小 LLMs 的下一个标记预测目标与用户期望 LLMs 遵循人类指令的目标之间的差距。 因此，指令调优是一种有效的技术，可以将大语言模型与人类指令进行对齐。 第 7 节回顾了如何提高指令微调的效率，降低与调整大模型相关的计算成本和时间成本。 第 8 节介绍了对指令调优模型的评估、分析以及对这些模型的批评。 模型评估：研究回顾了多模态技术和数据集在指令调优中的应用，涵盖图像、语音和视频等领域，并评估了指令调优模型的性能表现。
63300编辑于 2024-05-25 - 来自专栏Java帮帮-微信公众号-技术文章全总结
虚拟机11.JVM调优_调优方法
虚拟机11.JVM调优_调优方法 ENTER TITLE JVM调优工具 Jconsole，jProfile，VisualVM Jconsole : jdk自带，功能简单，但是可以在系统有一定负荷的情况下使用 如何调优 观察内存释放情况、集合类检查、对象树 上面这些调优工具都提供了强大的功能，但是总的来说一般分为以下几类功能 堆信息查看 ? 在我们进行调优的时候，不可能用眼睛去跟踪所有系统变化，依赖快照功能，我们就可以进行系统两个不同运行时刻，对象（或类、线程等）的不同，以便快速找到问题 举例说，我要检查系统进行垃圾回收以后，是否还有该收回的对象被遗漏下来的了 当然严格来说，这么算是不对的，世界停顿的时间要比这是数据稍微大5-10ms. 对我们来说如果不输出日志，对我们是有参考意义的。
1.1K60发布于 2018-03-15 - 来自专栏搜云库技术团队
JVM 11 的调优指南：如何进行JVM调优，JVM调优参数
JVM 11的优化指南：如何进行JVM调优，以及JVM调优参数有哪些”这篇文章将包含JVM 11调优的核心概念、重要性、调优参数，并提供12个实用的代码示例，每个示例都会结合JVM调优参数和Java代码 本文已收录于，我的技术网站 ddkk.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享 JVM 11的优化指南 JVM调优简介 JVM调优是通过调整Java虚拟机的配置参数来提升应用程序的性能和资源利用效率的过程 JVM调优的重要性 提高性能：通过调优，可以提升应用程序的响应速度和处理能力。 资源优化：合理的配置可以使应用更高效地利用系统资源。 JVM 11调优参数 堆内存设置：-Xms 和 -Xmx 设置堆的起始大小和最大大小。 垃圾收集器选择：-XX:+UseG1GC 使用G1垃圾收集器，适用于大堆和多核处理器。 企业级 JVM 11 的调优参数，机器配置是8核32G 为配置有8核和32GB内存的机器推荐JVM 11调优参数时，需考虑应用的类型、负载特性等。
2.3K10编辑于 2024-01-17 - 来自专栏新智元
【干货】BERT模型的标准调优和花式调优
Transformer 模型。 之后这三个向量拼接起来的输入会喂入 BERT 模型，输出各个位置的表示向量。 首先，多语言里一个大问题是如何将词分开，因为如此多语言，词表会非常大，这里作者用 BERT 自带 WordPiece 直接分词，然后用分完后第一个子词位置的输出向量来预测。 将页面文档分成多个片段，和 query 拼接，然后同时对几个问题，用 [CLS] 进行预测问题种类，而其他 token 的位置预测所在范围，最后将一个大页面中的所有片段的分数排序，挑出最高者。 而 BERT 原模型只能生成单句的句子向量，或者句子对的。
4.4K10发布于 2019-05-13 - 来自专栏阿泽的学习笔记
算法模型调优指南
在算法项目落地过程中，如果只考虑机器学习相关部分，个人感觉最花时间的两个部分是数据质量问题处理和模型实验与迭代调优。 从第6部分开始是更深入的通过数据分析来进行模型调优的一些介绍，以及后续的测试，工程化，上线的简介，比较适合有经验的算法工程师阅读。 确保模型能够运行，并在小数据集上overfit，或复现一些已知结果。 评估并分析结果。后续会详细介绍分析手段方法。 参数调优。对模型的各种参数，模型结构进行各种调整。 数据与模型调优。 问题对应的典型数据集，例如我们可以收集一系列节假日，办公型门店的历史数据，用于后续调优改进的检验集。 主要操作是更换模型或者预处理方法。AutoML往往最终达到的效果更高，但需要的尝试次数往往远远大于人工。会有大量的操作花费在超参搜索调优上。
1.7K43发布于 2021-07-06 - 来自专栏数据科学（冷冻工厂）
Python 模型超参数调优
超参数的一些示例： 树的数量或树的深度 矩阵分解中潜在因素的数量 学习率（多种模式） 深层神经网络隐藏层数 k均值聚类中的簇数 超参数的调整，对于提升模型的相关性能有一定的作用。 3. 书 封面 超参数是构建有用的机器学习模型的重要元素。本书为 Python 超参数调整方法[2]（机器学习最流行的编码语言之一）。 了解强大的失败者方法以及最佳实践 探索流行算法的超参数 了解如何在不同的框架和库中调整超参数 深入了解 Scikit、Hyperopt、Optuna、NNI 和 DEAP 等顶级框架 掌握可立即应用于机器学习模型的最佳实践
62830编辑于 2023-02-27 - 来自专栏大模型应用
大模型应用：大模型参数调优：结合本地模型对比多种组合探索差异.7
引言 在大模型的应用中，参数调优是连接模型潜力与实际效能的关键桥梁。与传统的软件参数不同，大模型的生成参数更像是一组精密的调控旋钮，它们不改变模型的基础知识，而是影响模型如何思考和表达。 （左下）图表内容：X轴：总体质量评分Y轴：出现频次柱状图：不同评分区间的配置数量分布实际意义：左偏分布：多数参数配置效果不佳正态分布：参数敏感性适中右偏分布：多数配置都能获得较好效果业务价值：评估参数调优的难易程度了解模型在默认参数下的表现基线判断是否需要精细调优子图 四、参数调优参考1. 分步调优流程图五、总结 大模型的参数调优本质上是在控制与释放之间寻找平衡的艺术。 ，不断更新调优策略。
73432编辑于 2026-02-04 - 来自专栏csico
模型的选择与调优
交叉验证（所有数据分成n等分 ） 最常用的为10折交叉验证 举例： 4折交叉验证（分成4等分时）： 最后求出4个准确率的均值 网格搜索：调参数 对模型预设几种超参数组合，每组超参数都采用交叉验证来进行评估 ，选出最优参数组合建立模型 API from sklearn.model_selection import GridSearchCV # coding=utf8 import numpy as np gc.score(x_test,y_test) print(gc.best_score_) # 显示在交叉验证中最好的结果 print(gc.best_estimator_) # 显示选择最好的模型参数
53830编辑于 2021-12-29 - 来自专栏QQ大数据团队的专栏
腾讯云ChatBI：基于大模型的效果调优方案探索
随着近几年大模型技术的不断进步，腾讯云BI结合大模型的产品ChatBI也就应运而生，试想一下: 如果用户想要查询公司产品这个月的收入增加了多少? 二、基于大模型的ChatBI效果调优 虽然大模型为ChatBI提供了强大的基础能力，但它也存在一些不足，如泛化性、幻觉以及Text2SQL能力等问题。 为了弥补这些不足，腾讯云ChatBI在技术方案设计中进行了大量工程优化，包括意图澄清、Text2DSL研发和ICL调优等，让大模型更好地理解业务场景。 3.ICL（In-Context Learning）调优 即使是同一个问题，在不同业务场景和知识库下的结果也可能不同，因此需要对场景进行细分，但是传统的预训练和微调方法可能不足以应对快速变化的业务需求和数据环境 为了做到针对性的优化，我们引入了ICL调优。 ICL有如下好处： 1.见效快：ICL允许模型在不直接训练的情况下，通过阅读上下文来适应新任务或数据，这样可以更快地适应新的业务场景。
2.6K11编辑于 2024-11-25 - 来自专栏鸿的学习笔记
吴恩达谈 MLOps：调优数据比调优模型更重要
在之前的 AI 系统设计当中，大家似乎更重视对模型的调优这一块，而忽视了对数据的调优，吴恩达认为前者是 Model-centric（以模型为中心），后者是 Data-centric（以数据为中心）。 并且从 实证经验表明，优化模型获得的收益不如优化数据集。在讲座举的钢板缺陷检测任务当中，baseline准确率为76.2%，各种换模型调参数的骚操作之后，对准确率几乎没有提升。 但是吴恩达认为把时间花费在对数据质量的优化上面，可能要比花费时间对模型进行调优，受益会更多。 Model-centric: 以调整模型代码、调优模型超参数为主的系统调优策略，在这种策略下，可以认为数据集是固定的 Data-centric: 与Model-centric相对，以调整数据集为主的系统调优策略 通常，以模型为中心的科学家偏爱某个模型家族，这很可能构成了他们在研究生院论文的主题。他们根据问题首先从模型开始，并努力通过特征工程使数据适合其模型。
1.3K40发布于 2021-04-23 - 来自专栏大数据-BigData
Flink大状态与Checkpint调优
Checkpointing调优 应用程序可以配置定期触发检查点。 当检查点的完成时间超过检查点间隔时，在进行中的检查点完成之前不会触发下一个检查点。 RocksDB调优 许多大型 Flink 流应用程序的状态存储主力是 RocksDB 状态后端。 后端的扩展性远远超出了主内存，并且可靠地存储了大的keyed状态。 RocksDB内存调优 RocksDB 状态后端的性能很大程度上取决于它可用的内存量。 为了提高性能，增加内存会很有帮助，或者调整内存的功能。 某些操作（如大窗口）会导致其下游操作符的负载激增：在窗口的情况下，下游操作符可能在构建窗口时几乎无事可做，而在发出窗口时有负载要做。
1.7K32编辑于 2022-03-07 - 来自专栏AI
AI模型的评估与调优
AI模型的评估与调优：交叉验证、ROC、F1-score等在机器学习和人工智能（AI）应用中，模型的评估和调优是非常关键的步骤。 发现问题：通过不同的评估方法，我们可以发现模型可能存在的问题，如过拟合、欠拟合等。进行模型调优：评估可以帮助我们调整模型的超参数或选择更合适的算法。2. 模型调优：提高模型性能的技巧超参数调优是提升模型性能的关键步骤。超参数是模型训练过程中需要手动设置的参数，它们直接影响模型的训练效果和最终性能。 常见的调优方法包括：网格搜索（Grid Search）：通过遍历指定的参数空间，逐一尝试不同的超参数组合，从而找到最优的参数配置。 Bishop这本书是模式识别和机器学习领域的经典教材，书中深入探讨了模型评估和调优的理论基础，并涉及了多种评价指标。
1.1K00编辑于 2025-01-27 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ spark.locality.wait.node spark.locality.wait.rack 注意：等待时间不能调大很大，调整数据本地化的级别不要本末倒置 通过日志或者WEBUI 3、内存调优 ? Spark中如何内存调优？
2.1K30发布于 2018-09-13 - 来自专栏chenchenchen
SQL调优之性能调优
针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 或 (OR) 和与 (AND) 操作符相反，在用或 (OR) 操作符写 SQL 语句时，就应该将概率大的表达示放在左面，因为如果第一个表达示为假的话，OR 操作符意味着需要进行下一个表达示的解析。 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.3K30发布于 2019-12-03 - 来自专栏java一日一条
11 个简单的 Java 性能调优技巧
这里有11个易于遵循的建议和最佳实践可以帮助你创建一个性能良好的应用程序。 ? 大部分建议是针对Java的。但也有若干建议是与语言无关的，可以应用于所有应用程序和编程语言。 在讨论专门针对Java的性能调优技巧之前，让我们先来看看通用技巧。 1.在你知道必要之前不要优化 这可能是最重要的性能调整技巧之一。你应该遵循常见的最佳实践做法并尝试高效地实现用例。 this test.replace(“test”,“simple test”); // with this StringUtils.replace(test, “test”,“simple test”); 11
40420发布于 2018-09-14 - 来自专栏精讲JAVA
11 个简单的 Java 性能调优技巧
这里有11个易于遵循的建议和最佳实践可以帮助你创建一个性能良好的应用程序。 大部分建议是针对Java的。但也有若干建议是与语言无关的，可以应用于所有应用程序和编程语言。 在讨论专门针对Java的性能调优技巧之前，让我们先来看看通用技巧。 1.在你知道必要之前不要优化 这可能是最重要的性能调整技巧之一。你应该遵循常见的最佳实践做法并尝试高效地实现用例。 thistest.replace(“test”, “simple test”);// with thisStringUtils.replace(test, “test”, “simple test”); 11 在你知道必要之前不要优化 使用分析器查找真正的瓶颈 首先处理最大的瓶颈 来源：码农网 译文：http://www.codeceo.com 原文：https://dzone.com/articles/11
68080发布于 2018-01-30 - 来自专栏Albert陈凯
2019-11-15 JVM参数调优推荐
JVM调优的"标准参数"的各种陷阱 ，R大的文章，在JDK6时写的，年年期待更新。 内存与GC篇 2.1 GC策略 为了稳健，还是8G以下的堆还是CMS好了，G1现在虽然是默认了，但其实在小堆里的表现也没有比CMS好，还是JDK11的ZGC引人期待。 但像R大说的，System GC是保护机制（如堆外内存满时清理它的堆内引用对象），禁了system.gc() 未必是好事，只要没用什么特别烂的类库，真有人调了总有调的原因，所以不应该加这个烂大街的参数。 Full GC 不同于 老生代75%时触发的CMS GC，只在老生代达到100%，老生代碎片过大无法分配空间给新晋升的大对象，堆外内存满，这些特殊情况里发生，所以设为每次都进行碎片整理是合适的，详见此贴里 R大的解释。
2.2K20发布于 2019-11-15 - 来自专栏算法与数据结构
11个简单的Java性能调优技巧
内容源自Java技术栈 11个简单的Java性能调优技巧 大多数开发人员理所当然地以为性能优化很复杂，需要大量的经验和知识。 好吧，不能说这是完全错误的。 这里有11个易于遵循的建议和最佳实践可以帮助你创建一个性能良好的应用程序。 大部分建议是针对Java的。但也有若干建议是与语言无关的，可以应用于所有应用程序和编程语言。 在讨论专门针对Java的性能调优技巧之前，让我们先来看看通用技巧。 1.在你知道必要之前不要优化 这可能是最重要的性能调整技巧之一。你应该遵循常见的最佳实践做法并尝试高效地实现用例。 test.replace(“test”, “simple test”); // with this StringUtils.replace(test, “test”, “simple test”); 11
55830发布于 2019-05-28 - 来自专栏山河已无恙
如何高效使用DeepSeek-R1：推理大模型调优指南
写在前面 博文内容为参考由 together.ai 整理的一些 DeepSeek-R1 调优指南 文章做了节译，理解不足小伙伴帮忙指正 :),生活加油 我看远山，远山悲悯 持续分享技术干货，感兴趣小伙伴可以关注下 ^_^ 如何高效使用DeepSeek-R1：推理大模型提示工程调优指南 LLM 中 DeepSeek-R1 与传统非推理模型的交互方式存在本质差异。 但与通用大模型不同，推理型模型需要特殊的交互策略，博文内容列举几个常见的优化手段，帮助开发者构建高效的交互范式。 ，并按照特定的方式进行回应，比如 你是一个技术博主 少量示例: 这些示例可以帮助大语言模型更好地理解任务，并生成更准确的响应，{Q：分布式锁实现方式有哪些？ 用户输人:用户的输人可以直接引导大语言模型生成特定的答案,用户输入的问题 {QUESTION} 高级交互 数学推理增强模式 要求：请通过逐步推导证明勾股定理，并将最终答案用Latex公式框起 示例响应：
1K10编辑于 2025-03-04 - 来自专栏数智化医院
医疗大模型落地方案：技术选型、部署策略与调优
医疗大模型的落地应用已成为推动医疗行业数字化转型的重要引擎。本文将从技术选型、部署策略和调优方案三大维度，系统性地解析医疗大模型落地的关键要素，为医疗机构提供可操作的落地指南。 三、调优方案：医疗大模型的性能优化与持续改进医疗大模型的调优是确保其临床实用性的关键环节，也是实现从技术到价值转化的最后一步。有效的调优方案能够显著提升模型在医疗场景中的准确率、可靠性和用户体验。 数据层面的调优策略高质量的数据是医疗大模型性能的基础，数据层面的调优主要包括以下方面：医疗数据增强：多源数据融合：整合电子病历、医学影像、检验报告、临床指南、医学文献等多种数据类型，构建多模态训练数据集 模型层面的优化技术模型层面的调优旨在提升医疗大模型在专业场景中的性能和效率：模型适配与微调：领域适配：在通用大模型基础上进行医疗领域适配，如联影"元智"医疗大模型吸收了通用大模型在处理自然语言、长文本方面的最新成果 应用层面的调优方法应用层面的调优关注如何使医疗大模型更好地融入实际工作流程，提升用户体验：交互设计优化：自然语言交互：设计符合医护人员习惯的自然语言交互方式，降低使用门槛。
1.5K10编辑于 2025-04-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号