- 综合排序
- 最热优先
- 最新优先
- 来自专栏Python进阶之路
大语言模型的指令调优：综述
论文标题：Instruction Tuning for Large Language Models: A Survey 论文地址：https://arxiv.org/abs/2308.10792 指令调优是提升大语言模型 指令调优是指以有监督的方式在由（指令，输出）对组成的数据集上进一步训练大语言模型。这一过程旨在缩小 LLMs 的下一个标记预测目标与用户期望 LLMs 遵循人类指令的目标之间的差距。 因此，指令调优是一种有效的技术，可以将大语言模型与人类指令进行对齐。 具体来说： 第 2 节介绍了指令调优所采用的一般方法。 第 3 节概述了常用指令调优代表性数据集的构建过程。 第 4 节介绍了具有代表性的指令微调模型。 第 7 节回顾了如何提高指令微调的效率，降低与调整大模型相关的计算成本和时间成本。 第 8 节介绍了对指令调优模型的评估、分析以及对这些模型的批评。
63300编辑于 2024-05-25 - 来自专栏新智元
【干货】BERT模型的标准调优和花式调优
Transformer 模型。 首先，多语言里一个大问题是如何将词分开，因为如此多语言，词表会非常大，这里作者用 BERT 自带 WordPiece 直接分词，然后用分完后第一个子词位置的输出向量来预测。 将页面文档分成多个片段，和 query 拼接，然后同时对几个问题，用 [CLS] 进行预测问题种类，而其他 token 的位置预测所在范围，最后将一个大页面中的所有片段的分数排序，挑出最高者。 而 BERT 原模型只能生成单句的句子向量，或者句子对的。 关于视频特征具体提取过程，先利用 S3D 模型（详见 Rethinking Spatiotemporal Feature Learning: Speed-Accuracy Trade-offs in Video
4.4K10发布于 2019-05-13 - 来自专栏阿泽的学习笔记
算法模型调优指南
在算法项目落地过程中，如果只考虑机器学习相关部分，个人感觉最花时间的两个部分是数据质量问题处理和模型实验与迭代调优。 从第6部分开始是更深入的通过数据分析来进行模型调优的一些介绍，以及后续的测试，工程化，上线的简介，比较适合有经验的算法工程师阅读。 确保模型能够运行，并在小数据集上overfit，或复现一些已知结果。 评估并分析结果。后续会详细介绍分析手段方法。 参数调优。对模型的各种参数，模型结构进行各种调整。 数据与模型调优。 例如在MNIST问题中，3和5两个类别的边界上，可以看到很多长得像3的5和长得像5的3，而t-SNE这类降维方法则没有这种性质，无法体现出模型在预测confidence上的平滑变化。 主要操作是更换模型或者预处理方法。AutoML往往最终达到的效果更高，但需要的尝试次数往往远远大于人工。会有大量的操作花费在超参搜索调优上。
1.7K43发布于 2021-07-06 - 来自专栏数据科学（冷冻工厂）
Python 模型超参数调优
超参数的一些示例： 树的数量或树的深度 矩阵分解中潜在因素的数量 学习率（多种模式） 深层神经网络隐藏层数 k均值聚类中的簇数 超参数的调整，对于提升模型的相关性能有一定的作用。 3. 书 封面 超参数是构建有用的机器学习模型的重要元素。本书为 Python 超参数调整方法[2]（机器学习最流行的编码语言之一）。 了解强大的失败者方法以及最佳实践 探索流行算法的超参数 了解如何在不同的框架和库中调整超参数 深入了解 Scikit、Hyperopt、Optuna、NNI 和 DEAP 等顶级框架 掌握可立即应用于机器学习模型的最佳实践 Github仓库 本书还在Github[3]中提供了许多实例，用于查看书中提到的所有示例的结果。 E5%8F%82%E6%95%B0/3101858 [2] 书: https://www.packtpub.com/product/hyperparameter-tuning-with-python [3]
62830编辑于 2023-02-27 - 来自专栏大模型应用
大模型应用：大模型参数调优：结合本地模型对比多种组合探索差异.7
引言 在大模型的应用中，参数调优是连接模型潜力与实际效能的关键桥梁。与传统的软件参数不同，大模型的生成参数更像是一组精密的调控旋钮，它们不改变模型的基础知识，而是影响模型如何思考和表达。 （左下）图表内容：X轴：总体质量评分Y轴：出现频次柱状图：不同评分区间的配置数量分布实际意义：左偏分布：多数参数配置效果不佳正态分布：参数敏感性适中右偏分布：多数配置都能获得较好效果业务价值：评估参数调优的难易程度了解模型在默认参数下的表现基线判断是否需要精细调优子图 四、参数调优参考1. 分步调优流程图五、总结 大模型的参数调优本质上是在控制与释放之间寻找平衡的艺术。 ，不断更新调优策略。
73432编辑于 2026-02-04 - 来自专栏运维经验分享
tomcat 9.0.4 性能调优3
tomcat9.0.4 ---- 参考了网上的一些优化参数，但是在启动中发现 有2个报错： 11-Feb-2018 15:57:23.293 警告 [main] org.apache.catalina.startup.SetAllPropertiesRule.begin [SetAllPropertiesRule]{Server/Service/Connector} Setting property 'maxSpareThreads' to '200' did not find a matching pro
50340发布于 2019-03-15 - 来自专栏csico
模型的选择与调优
交叉验证（所有数据分成n等分 ） 最常用的为10折交叉验证 举例： 4折交叉验证（分成4等分时）： 最后求出4个准确率的均值 网格搜索：调参数 对模型预设几种超参数组合，每组超参数都采用交叉验证来进行评估 ，选出最优参数组合建立模型 API from sklearn.model_selection import GridSearchCV # coding=utf8 import numpy as np StandardScaler() x_train 网格搜索 # 使用K近邻算法 knn = KNeighborsClassifier() # 构造一些参数的值进行搜索 param = {'n_neighbors':[3,5,10 gc.score(x_test,y_test) print(gc.best_score_) # 显示在交叉验证中最好的结果 print(gc.best_estimator_) # 显示选择最好的模型参数
53830编辑于 2021-12-29 - 来自专栏QQ大数据团队的专栏
腾讯云ChatBI：基于大模型的效果调优方案探索
随着近几年大模型技术的不断进步，腾讯云BI结合大模型的产品ChatBI也就应运而生，试想一下: 如果用户想要查询公司产品这个月的收入增加了多少? 二、基于大模型的ChatBI效果调优 虽然大模型为ChatBI提供了强大的基础能力，但它也存在一些不足，如泛化性、幻觉以及Text2SQL能力等问题。 为了弥补这些不足，腾讯云ChatBI在技术方案设计中进行了大量工程优化，包括意图澄清、Text2DSL研发和ICL调优等，让大模型更好地理解业务场景。 3.ICL（In-Context Learning）调优 即使是同一个问题，在不同业务场景和知识库下的结果也可能不同，因此需要对场景进行细分，但是传统的预训练和微调方法可能不足以应对快速变化的业务需求和数据环境 为了做到针对性的优化，我们引入了ICL调优。 ICL有如下好处： 1.见效快：ICL允许模型在不直接训练的情况下，通过阅读上下文来适应新任务或数据，这样可以更快地适应新的业务场景。
2.6K11编辑于 2024-11-25 - 来自专栏鸿的学习笔记
吴恩达谈 MLOps：调优数据比调优模型更重要
3月25日，吴恩达开了一个直播讲 A Chat with Andrew on MLOps: From Model-centric to Data-centric AI ，看完后深受启发，便随手写下一些笔记 在之前的 AI 系统设计当中，大家似乎更重视对模型的调优这一块，而忽视了对数据的调优，吴恩达认为前者是 Model-centric（以模型为中心），后者是 Data-centric（以数据为中心）。 并且从 实证经验表明，优化模型获得的收益不如优化数据集。在讲座举的钢板缺陷检测任务当中，baseline准确率为76.2%，各种换模型调参数的骚操作之后，对准确率几乎没有提升。 但是吴恩达认为把时间花费在对数据质量的优化上面，可能要比花费时间对模型进行调优，受益会更多。 Model-centric: 以调整模型代码、调优模型超参数为主的系统调优策略，在这种策略下，可以认为数据集是固定的 Data-centric: 与Model-centric相对，以调整数据集为主的系统调优策略
1.3K40发布于 2021-04-23 - 来自专栏大数据-BigData
Flink大状态与Checkpint调优
Checkpointing调优 应用程序可以配置定期触发检查点。 当检查点的完成时间超过检查点间隔时，在进行中的检查点完成之前不会触发下一个检查点。 RocksDB调优 许多大型 Flink 流应用程序的状态存储主力是 RocksDB 状态后端。 后端的扩展性远远超出了主内存，并且可靠地存储了大的keyed状态。 RocksDB内存调优 RocksDB 状态后端的性能很大程度上取决于它可用的内存量。 为了提高性能，增加内存会很有帮助，或者调整内存的功能。 某些操作（如大窗口）会导致其下游操作符的负载激增：在窗口的情况下，下游操作符可能在构建窗口时几乎无事可做，而在发出窗口时有负载要做。 例如，可以保留 3 个最新检查点的历史记录作为主副本，并且只保留最新检查点的任务本地状态。 对于恢复，如果有匹配的辅助副本可用，Flink 将始终首先尝试从任务本地状态恢复。
1.7K32编辑于 2022-03-07 - 来自专栏AI
AI模型的评估与调优
AI模型的评估与调优：交叉验证、ROC、F1-score等在机器学习和人工智能（AI）应用中，模型的评估和调优是非常关键的步骤。 发现问题：通过不同的评估方法，我们可以发现模型可能存在的问题，如过拟合、欠拟合等。进行模型调优：评估可以帮助我们调整模型的超参数或选择更合适的算法。2. 通过这种方法，我们能够得到一个相对稳定的模型性能评估结果，避免由于数据划分方式不同而导致的评估偏差。3. 模型调优：提高模型性能的技巧超参数调优是提升模型性能的关键步骤。超参数是模型训练过程中需要手动设置的参数，它们直接影响模型的训练效果和最终性能。 Bishop这本书是模式识别和机器学习领域的经典教材，书中深入探讨了模型评估和调优的理论基础，并涉及了多种评价指标。
1.1K00编辑于 2025-01-27 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 可以增加每次发送task的等待时间（默认都是3s），将3s倍数调大， 结合WEBUI来调节： spark.locality.wait spark.locality.wait.process 通过日志或者WEBUI 3、内存调优 ? 3) gc 多了就会影响Spark的性能和运行的速度。 Spark JVM调优主要是降低gc时间，可以修改Executor内存的比例参数。 Spark中如何内存调优？
2.1K30发布于 2018-09-13 - 来自专栏chenchenchen
SQL调优之性能调优
WHERE column1 - 3 = -column2 转换成： ... WHERE column1 = -column2 3 还是可以带来查询性能的优化的。 针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 或 (OR) 和与 (AND) 操作符相反，在用或 (OR) 操作符写 SQL 语句时，就应该将概率大的表达示放在左面，因为如果第一个表达示为假的话，OR 操作符意味着需要进行下一个表达示的解析。 = 1 AND column2 = 'B') 表 3. 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.3K30发布于 2019-12-03 - 来自专栏山河已无恙
如何高效使用DeepSeek-R1：推理大模型调优指南
写在前面 博文内容为参考由 together.ai 整理的一些 DeepSeek-R1 调优指南 文章做了节译，理解不足小伙伴帮忙指正 :),生活加油 我看远山，远山悲悯 持续分享技术干货，感兴趣小伙伴可以关注下 ^_^ 如何高效使用DeepSeek-R1：推理大模型提示工程调优指南 LLM 中 DeepSeek-R1 与传统非推理模型的交互方式存在本质差异。 但与通用大模型不同，推理型模型需要特殊的交互策略，博文内容列举几个常见的优化手段，帮助开发者构建高效的交互范式。 : 明确的指令:这些指令可以指导大语言模型理解用户的需求，并按照特定的方式进行回应，比如 你是一个技术博主 少量示例: 这些示例可以帮助大语言模型更好地理解任务，并生成更准确的响应，{Q：分布式锁实现方式有哪些 建议生成3-5个候选方案后，采用以下评估维度： 答案正确性（70%权重） 推理过程完整性（25%权重） 表达简洁度（15%权重） 掌握深度推理模型的交互范式，本质上是构建精准的需求映射关系。
1K10编辑于 2025-03-04 - 来自专栏数智化医院
医疗大模型落地方案：技术选型、部署策略与调优
医疗大模型的落地应用已成为推动医疗行业数字化转型的重要引擎。本文将从技术选型、部署策略和调优方案三大维度，系统性地解析医疗大模型落地的关键要素，为医疗机构提供可操作的落地指南。 三、调优方案：医疗大模型的性能优化与持续改进医疗大模型的调优是确保其临床实用性的关键环节，也是实现从技术到价值转化的最后一步。有效的调优方案能够显著提升模型在医疗场景中的准确率、可靠性和用户体验。 数据层面的调优策略高质量的数据是医疗大模型性能的基础，数据层面的调优主要包括以下方面：医疗数据增强：多源数据融合：整合电子病历、医学影像、检验报告、临床指南、医学文献等多种数据类型，构建多模态训练数据集 模型层面的优化技术模型层面的调优旨在提升医疗大模型在专业场景中的性能和效率：模型适配与微调：领域适配：在通用大模型基础上进行医疗领域适配，如联影"元智"医疗大模型吸收了通用大模型在处理自然语言、长文本方面的最新成果 应用层面的调优方法应用层面的调优关注如何使医疗大模型更好地融入实际工作流程，提升用户体验：交互设计优化：自然语言交互：设计符合医护人员习惯的自然语言交互方式，降低使用门槛。
1.5K10编辑于 2025-04-16 离线推理全流程&模型调优
整体概述小模型推理方案：ATC转换架构图：ModelZoo-PyTorch指导文档：https://gitee.com/ascend/ModelZoo-PyTorch/blob/master/ACL_PyTorch /docs/README.md模型推理离线推理导出Onnx参考链接：ONNX的导出Onnx转om参考链接1：Onnx转Om参考链接2：ATC工具介绍离线推理参考链接：离线推理Chinese_CLIP上机操作 Chinese_CLIP模型介绍参考链接传统模型基于昇腾迁移适配全流程模型支持度分析msit analyze安装msit: https://gitee.com/ascend/msit/blob/master 图片模型转换：pt->onnx：参考链接执行分析命令：使用onnx-sim对onnx模型进行简化export bs=24onnxsim models/vit-b-16.txt.fp32.onnx models (onnx->om)atc工具使用指导：链接AOE自动调优（onnx->om）使用指导：链接模型压缩：官方指导文档：链接离线推理Chinese_CLIP模型推理指导ais_bench使用安装：链接推理执行
25400编辑于 2025-06-20一文看懂大模型核心参数调优用法与实战
一、参数调优的重要性如果把调用大模型比作烹饪，那么参数调优就是掌控火候的关键——火候太小，菜肴寡淡无味；火候太大，食材可能烧焦。 二、基础准备：OpenAI Python SDK 简介与安装在深入探讨大模型参数调优之前，首先需要确保开发环境已正确配置。 但需要注意每个候选实际上是独立调用模型生成，费用也近似按倍数增加。例如生成3个回复的费用约是单回复的3倍（因为输出 token 数增加）。因此除非有挑选最佳回答的需求，否则不建议轻易将 n 调太高。 ，其实是一种对模型的“对话艺术”在大模型的世界里，参数调优不仅仅是技术微调，更像是与模型进行一场默契的对话。 在实际项目中，无论你是在开发客服助手、文案生成系统、知识库搜索引擎，还是构建多模态 Agent，理解并掌握这些参数的调优技巧，是将大模型从“能跑”到“好用”的关键一步。
3K72编辑于 2025-04-25- 来自专栏不温卜火
Spark性能优化 (3) | Shuffle 调优
spark.reducer.maxSizeInFlight参数进行设置，默认为48MB， val conf = new SparkConf() .set("spark.reducer.maxSizeInFlight", "96") 3. 如果在指定次数之内拉取还是没有成功，就可能会导致作业执行失败，默认为3， val conf = new SparkConf() .set("spark.shuffle.io.maxRetries", 当你使用SortShuffleManager时，如果的确不需要排序操作，那么建议将这个参数调大一些，大于shuffle read task的数量，那么此时map-side就不会进行排序了，减少了排序的性能开销
68820发布于 2020-10-28 - 来自专栏纯洁的微笑
Tomcat 性能调优之 JVM 调优
因此在对Web 容器( 应用服务器) 的调优中必不可少的是对于 JVM 的调优。 对于 JVM 的调优，主要有两个方面考虑： 内存大小配置 垃圾回收算法选择 当然，确切的说，以上两点并不互相独立，内存的大小配置也会影响垃圾回收的执行效率。 我们前面也提到，垃圾回收算法和内存的大小配置并非独立的，内存设置大是回收的频率会降低，但每次的执行时间也会变长。所以这里也是一个需要权衡的地方。 延迟、吞吐量调优 其他 JVM 配置 垃圾回收算法对应到的就是不同的垃圾收集器，具体到在 JVM 中的配置，是使用 -XX:+UseParallelOldGC 或者 -XX:+UseConcMarkSweepGC 所谓调优，就是一个不断调整和优化的过程，需要观察、配置、测试再如此重复。有相关经验的朋友欢迎留言补充！ 说到底，那上面的这些选项是要配置在哪里呢？
2.2K30发布于 2019-05-06 - 来自专栏SmartSi
Spark 性能调优之Shuffle调优
因此，如果要让作业的性能更上一层楼，就有必要对 shuffle 过程进行调优。 但是也必须提醒大家的是，影响一个 Spark 作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle 调优只能在整个 Spark 的性能调优中占到一小部分而已。 因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解 shuffle 的原理，以及相关参数的说明，同时给出各个参数的调优建议。 2. 5. shuffle相关参数调优 以下是Shffule过程中的一些主要参数，这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。 调优建议：在资源参数调优中讲解过这个参数。如果内存充足，而且很少使用持久化操作，建议调高这个比例，给 shuffle read 的聚合操作更多内存，以避免由于内存不足导致聚合过程中频繁读写磁盘。
1.8K31发布于 2019-08-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号