- 综合排序
- 最热优先
- 最新优先
- 来自专栏Python进阶之路
大语言模型的指令调优：综述
论文标题：Instruction Tuning for Large Language Models: A Survey 论文地址：https://arxiv.org/abs/2308.10792 指令调优是提升大语言模型 指令调优是指以有监督的方式在由（指令，输出）对组成的数据集上进一步训练大语言模型。这一过程旨在缩小 LLMs 的下一个标记预测目标与用户期望 LLMs 遵循人类指令的目标之间的差距。 因此，指令调优是一种有效的技术，可以将大语言模型与人类指令进行对齐。 具体来说： 第 2 节介绍了指令调优所采用的一般方法。 第 3 节概述了常用指令调优代表性数据集的构建过程。 第 4 节介绍了具有代表性的指令微调模型。 第 7 节回顾了如何提高指令微调的效率，降低与调整大模型相关的计算成本和时间成本。 第 8 节介绍了对指令调优模型的评估、分析以及对这些模型的批评。
63300编辑于 2024-05-25 - 来自专栏新智元
【干货】BERT模型的标准调优和花式调优
Transformer 模型。 首先，多语言里一个大问题是如何将词分开，因为如此多语言，词表会非常大，这里作者用 BERT 自带 WordPiece 直接分词，然后用分完后第一个子词位置的输出向量来预测。 将页面文档分成多个片段，和 query 拼接，然后同时对几个问题，用 [CLS] 进行预测问题种类，而其他 token 的位置预测所在范围，最后将一个大页面中的所有片段的分数排序，挑出最高者。 而 BERT 原模型只能生成单句的句子向量，或者句子对的。 方法和最早看 GPT2 非监督一样，出奇简单，却有效。 虽然之后 finetune 过程和标准法里的双句分类相似，但因其构建下句的方法特别，所以拿到花式来讲。
4.4K10发布于 2019-05-13 - 来自专栏阿泽的学习笔记
算法模型调优指南
在算法项目落地过程中，如果只考虑机器学习相关部分，个人感觉最花时间的两个部分是数据质量问题处理和模型实验与迭代调优。 从第6部分开始是更深入的通过数据分析来进行模型调优的一些介绍，以及后续的测试，工程化，上线的简介，比较适合有经验的算法工程师阅读。 确保模型能够运行，并在小数据集上overfit，或复现一些已知结果。 评估并分析结果。后续会详细介绍分析手段方法。 参数调优。对模型的各种参数，模型结构进行各种调整。 数据与模型调优。 问题对应的典型数据集，例如我们可以收集一系列节假日，办公型门店的历史数据，用于后续调优改进的检验集。 主要操作是更换模型或者预处理方法。AutoML往往最终达到的效果更高，但需要的尝试次数往往远远大于人工。会有大量的操作花费在超参搜索调优上。
1.7K43发布于 2021-07-06 - 来自专栏数据科学（冷冻工厂）
Python 模型超参数调优
2. 超参数 在机器学习的上下文中，超参数[1]是在开始学习过程之前设置的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。 超参数的一些示例： 树的数量或树的深度 矩阵分解中潜在因素的数量 学习率（多种模式） 深层神经网络隐藏层数 k均值聚类中的簇数 超参数的调整，对于提升模型的相关性能有一定的作用。 3. 书 封面 超参数是构建有用的机器学习模型的重要元素。本书为 Python 超参数调整方法[2]（机器学习最流行的编码语言之一）。 了解强大的失败者方法以及最佳实践 探索流行算法的超参数 了解如何在不同的框架和库中调整超参数 深入了解 Scikit、Hyperopt、Optuna、NNI 和 DEAP 等顶级框架 掌握可立即应用于机器学习模型的最佳实践 参考资料 [1] 超参数: https://baike.baidu.com/item/%E8%B6%85%E5%8F%82%E6%95%B0/3101858 [2] 书: https://www.packtpub.com
62830编辑于 2023-02-27 - 来自专栏大模型应用
大模型应用：大模型参数调优：结合本地模型对比多种组合探索差异.7
引言 在大模型的应用中，参数调优是连接模型潜力与实际效能的关键桥梁。与传统的软件参数不同，大模型的生成参数更像是一组精密的调控旋钮，它们不改变模型的基础知识，而是影响模型如何思考和表达。 （左下）图表内容：X轴：总体质量评分Y轴：出现频次柱状图：不同评分区间的配置数量分布实际意义：左偏分布：多数参数配置效果不佳正态分布：参数敏感性适中右偏分布：多数配置都能获得较好效果业务价值：评估参数调优的难易程度了解模型在默认参数下的表现基线判断是否需要精细调优子图 四、参数调优参考1. 分步调优流程图五、总结 大模型的参数调优本质上是在控制与释放之间寻找平衡的艺术。 ，不断更新调优策略。
73432编辑于 2026-02-04 - 来自专栏csico
模型的选择与调优
交叉验证（所有数据分成n等分 ） 最常用的为10折交叉验证 举例： 4折交叉验证（分成4等分时）： 最后求出4个准确率的均值 网格搜索：调参数 对模型预设几种超参数组合，每组超参数都采用交叉验证来进行评估 ，选出最优参数组合建立模型 API from sklearn.model_selection import GridSearchCV # coding=utf8 import numpy as np x_train 网格搜索 # 使用K近邻算法 knn = KNeighborsClassifier() # 构造一些参数的值进行搜索 param = {'n_neighbors':[3,5,10]} # 选用2折交叉验证 cv = 2 # 进行网格搜索 gc = GridSearchCV(knn, param_grid=param,cv=cv) gc.fit(x_train,y_train) gc_s = gc.score (x_test,y_test) print(gc.best_score_) # 显示在交叉验证中最好的结果 print(gc.best_estimator_) # 显示选择最好的模型参数 print
53830编辑于 2021-12-29 - 来自专栏盛开在夏天的太阳
JVM调优--GC2
参开资料: 1. https://blog.csdn.net/liaynling/article/details/81251870 一. java jvm 参数 -Xms -Xmx -Xmn -Xss 调优 配置详解 堆大小设置 JVM 中最大堆大小有三方面限制: 1.相关操作系统的数据模型(32-bt还是64-bit)限制; 2.系统的可用虚拟内存限制; 3.系统的可用物理内存限制. ,这个限制一般是 2GB-3GB(一般来说Windows系统下为1.5G-2G,Linux系统下为2G-3G),而64bit以上的处理器就不会有限制了 总结: JVM调优 1. 其他 (1)避免使用大对象 所谓大对象就是指，需要大量连续内存空间的Java对象，最典型的大对象就是那种很长的字符串及数组。 此时会触发FullGC 二. jvm性能调优常用的命令 1. top命令.
52820编辑于 2022-05-06 - 来自专栏QQ大数据团队的专栏
腾讯云ChatBI：基于大模型的效果调优方案探索
二、基于大模型的ChatBI效果调优 虽然大模型为ChatBI提供了强大的基础能力，但它也存在一些不足，如泛化性、幻觉以及Text2SQL能力等问题。 为了弥补这些不足，腾讯云ChatBI在技术方案设计中进行了大量工程优化，包括意图澄清、Text2DSL研发和ICL调优等，让大模型更好地理解业务场景。 2.Text2DSL（Domain Specific Language） 目前腾讯云ChatBI默认是使用Text2SQL的技术路线，使用大模型根据问题生成SQL。 基于以上问题，我们也在Text2SQL上线后，调研并开发了Text2DSL的方案。Text2DSL不会直接让大模型生成SQL，而是生成一段我们定义好的DSL结构。 为了做到针对性的优化，我们引入了ICL调优。 ICL有如下好处： 1.见效快：ICL允许模型在不直接训练的情况下，通过阅读上下文来适应新任务或数据，这样可以更快地适应新的业务场景。
2.6K11编辑于 2024-11-25 - 来自专栏鸿的学习笔记
吴恩达谈 MLOps：调优数据比调优模型更重要
在之前的 AI 系统设计当中，大家似乎更重视对模型的调优这一块，而忽视了对数据的调优，吴恩达认为前者是 Model-centric（以模型为中心），后者是 Data-centric（以数据为中心）。 并且从 实证经验表明，优化模型获得的收益不如优化数据集。在讲座举的钢板缺陷检测任务当中，baseline准确率为76.2%，各种换模型调参数的骚操作之后，对准确率几乎没有提升。 但是吴恩达认为把时间花费在对数据质量的优化上面，可能要比花费时间对模型进行调优，受益会更多。 Model-centric: 以调整模型代码、调优模型超参数为主的系统调优策略，在这种策略下，可以认为数据集是固定的 Data-centric: 与Model-centric相对，以调整数据集为主的系统调优策略 通常，以模型为中心的科学家偏爱某个模型家族，这很可能构成了他们在研究生院论文的主题。他们根据问题首先从模型开始，并努力通过特征工程使数据适合其模型。
1.3K40发布于 2021-04-23 - 来自专栏大数据-BigData
Flink大状态与Checkpint调优
Checkpointing调优 应用程序可以配置定期触发检查点。 当检查点的完成时间超过检查点间隔时，在进行中的检查点完成之前不会触发下一个检查点。 RocksDB调优 许多大型 Flink 流应用程序的状态存储主力是 RocksDB 状态后端。 后端的扩展性远远超出了主内存，并且可靠地存储了大的keyed状态。 RocksDB内存调优 RocksDB 状态后端的性能很大程度上取决于它可用的内存量。 为了提高性能，增加内存会很有帮助，或者调整内存的功能。 某些操作（如大窗口）会导致其下游操作符的负载激增：在窗口的情况下，下游操作符可能在构建窗口时几乎无事可做，而在发出窗口时有负载要做。
1.7K32编辑于 2022-03-07 - 来自专栏AI
AI模型的评估与调优
AI模型的评估与调优：交叉验证、ROC、F1-score等在机器学习和人工智能（AI）应用中，模型的评估和调优是非常关键的步骤。 发现问题：通过不同的评估方法，我们可以发现模型可能存在的问题，如过拟合、欠拟合等。进行模型调优：评估可以帮助我们调整模型的超参数或选择更合适的算法。2. 模型调优：提高模型性能的技巧超参数调优是提升模型性能的关键步骤。超参数是模型训练过程中需要手动设置的参数，它们直接影响模型的训练效果和最终性能。 常见的调优方法包括：网格搜索（Grid Search）：通过遍历指定的参数空间，逐一尝试不同的超参数组合，从而找到最优的参数配置。 Bishop这本书是模式识别和机器学习领域的经典教材，书中深入探讨了模型评估和调优的理论基础，并涉及了多种评价指标。
1.1K00编辑于 2025-01-27 - 来自专栏chenchenchen
SQL调优之性能调优
针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 或 (OR) 和与 (AND) 操作符相反，在用或 (OR) 操作符写 SQL 语句时，就应该将概率大的表达示放在左面，因为如果第一个表达示为假的话，OR 操作符意味着需要进行下一个表达示的解析。 ： 索引查找 column2 = ‘ A ’ , 结果集 = {row1}索引查找 column 2 = ‘ B ’ , 结果集 = {row2}OR 合并结集，结果集 = {}索引查找 column1 没有索引的话，查询 1 将需要 2 倍于查询 2 所需的时间。 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.3K30发布于 2019-12-03 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ 2、Spark数据本地化调优： Spark中任务调度时，TaskScheduler在分发之前需要依据数据的位置来分发，最好将task分发到数据所在的节点上，如果TaskScheduler分发的task在默认 2) 如何查看数据本地化的级别？ 通过日志或者WEBUI 3、内存调优 ? Spark中如何内存调优？
2.1K30发布于 2018-09-13 - 来自专栏山河已无恙
如何高效使用DeepSeek-R1：推理大模型调优指南
写在前面 博文内容为参考由 together.ai 整理的一些 DeepSeek-R1 调优指南 文章做了节译，理解不足小伙伴帮忙指正 :),生活加油 我看远山，远山悲悯 持续分享技术干货，感兴趣小伙伴可以关注下 ^_^ 如何高效使用DeepSeek-R1：推理大模型提示工程调优指南 LLM 中 DeepSeek-R1 与传统非推理模型的交互方式存在本质差异。 但与通用大模型不同，推理型模型需要特殊的交互策略，博文内容列举几个常见的优化手段，帮助开发者构建高效的交互范式。 ，并按照特定的方式进行回应，比如 你是一个技术博主 少量示例: 这些示例可以帮助大语言模型更好地理解任务，并生成更准确的响应，{Q：分布式锁实现方式有哪些？ 最终答案：\boxed{a^2 + b^2 = c^2} 思维链强制触发 当模型出现跳步推理时，使用指令格式："请以分步推导方式解释量子纠缠现象，每步思考需用【】标注" 模型评估方法论 多解择优策略
1K10编辑于 2025-03-04 - 来自专栏数智化医院
医疗大模型落地方案：技术选型、部署策略与调优
医疗大模型的落地应用已成为推动医疗行业数字化转型的重要引擎。本文将从技术选型、部署策略和调优方案三大维度，系统性地解析医疗大模型落地的关键要素，为医疗机构提供可操作的落地指南。 三、调优方案：医疗大模型的性能优化与持续改进医疗大模型的调优是确保其临床实用性的关键环节，也是实现从技术到价值转化的最后一步。有效的调优方案能够显著提升模型在医疗场景中的准确率、可靠性和用户体验。 数据层面的调优策略高质量的数据是医疗大模型性能的基础，数据层面的调优主要包括以下方面：医疗数据增强：多源数据融合：整合电子病历、医学影像、检验报告、临床指南、医学文献等多种数据类型，构建多模态训练数据集 应用层面的调优方法应用层面的调优关注如何使医疗大模型更好地融入实际工作流程，提升用户体验：交互设计优化：自然语言交互：设计符合医护人员习惯的自然语言交互方式，降低使用门槛。 应用调优实践案例："宝医数智"平台推出的听译机器人自动生成病历，将门诊病历录入时间从2分钟缩短至30秒；离院后，系统依据胎心监测数据提供定制饮食方案[6]。
1.5K10编辑于 2025-04-16 离线推理全流程&模型调优
/docs/README.md模型推理离线推理导出Onnx参考链接：ONNX的导出Onnx转om参考链接1：Onnx转Om参考链接2：ATC工具介绍离线推理参考链接：离线推理Chinese_CLIP上机操作 Chinese_CLIP模型介绍参考链接传统模型基于昇腾迁移适配全流程模型支持度分析msit analyze安装msit: https://gitee.com/ascend/msit/blob/master 图片模型转换：pt->onnx：参考链接执行分析命令：使用onnx-sim对onnx模型进行简化export bs=24onnxsim models/vit-b-16.txt.fp32.onnx models ││ Expand │ 1 │ 0 ││ Gather │ 101 │ 2 (onnx->om)atc工具使用指导：链接AOE自动调优（onnx->om）使用指导：链接模型压缩：官方指导文档：链接离线推理Chinese_CLIP模型推理指导ais_bench使用安装：链接推理执行
25400编辑于 2025-06-20- 来自专栏不温卜火
Spark性能优化 (2) | 算子调优
因此，mapPartitions算子适用于数据量不是特别大的时候，此时使用mapPartitions算子对性能的提升效果还是不错的。 foreachPartition算子存在一个问题，与mapPartitions算子类似，如果一个分区的数据量特别大，可能会造成OOM，即内存溢出。 针对上述的两个问题，我们分别进行分析： 针对第一个问题，既然分区的数据量变小了，我们希望可以对分区数据进行重新分配，比如将原来4个分区的数据转化到2个分区中，这样只需要用后面的两个task进行处理即可， 四. repartition解决 SparkSQL 低并行度问题 在第一节的常规性能调优中我们讲解了并行度的调节策略，但是，并行度的设置对于Spark SQL是不生效的，用户设置的并行度只对于Spark 本地聚合后，在map端的数据量变少，减少了磁盘IO，也减少了对磁盘空间的占用； 2. 本地聚合后，下一个stage拉取的数据量变少，减少了网络传输的数据量； 3.
1.8K20发布于 2020-10-28 一文看懂大模型核心参数调优用法与实战
一、参数调优的重要性如果把调用大模型比作烹饪，那么参数调优就是掌控火候的关键——火候太小，菜肴寡淡无味；火候太大，食材可能烧焦。 为了更直观地理解参数调优的重要性，我们来看几个实际案例：案例一：智能客服中的参数调优在智能客服场景中，用户通常希望获得准确、简洁的回答。 二、基础准备：OpenAI Python SDK 简介与安装在深入探讨大模型参数调优之前，首先需要确保开发环境已正确配置。 ，其实是一种对模型的“对话艺术”在大模型的世界里，参数调优不仅仅是技术微调，更像是与模型进行一场默契的对话。 在实际项目中，无论你是在开发客服助手、文案生成系统、知识库搜索引擎，还是构建多模态 Agent，理解并掌握这些参数的调优技巧，是将大模型从“能跑”到“好用”的关键一步。
3K72编辑于 2025-04-25- 来自专栏OSChina
Mysql高级 （2）——sql性能调优
sql 性能下降的原因 2 sql service的解析顺序 3 sql 的7中join 4 索引 5 explain 的介绍 单表建立索引案例 2表建立索引案例： 3表建立索引案例： -- 查询慢查询日志是否开启及记录日志的位置
63030发布于 2019-07-31 - 来自专栏纯洁的微笑
Tomcat 性能调优之 JVM 调优
因此在对Web 容器( 应用服务器) 的调优中必不可少的是对于 JVM 的调优。 对于 JVM 的调优，主要有两个方面考虑： 内存大小配置 垃圾回收算法选择 当然，确切的说，以上两点并不互相独立，内存的大小配置也会影响垃圾回收的执行效率。 我们前面也提到，垃圾回收算法和内存的大小配置并非独立的，内存设置大是回收的频率会降低，但每次的执行时间也会变长。所以这里也是一个需要权衡的地方。 延迟、吞吐量调优 其他 JVM 配置 垃圾回收算法对应到的就是不同的垃圾收集器，具体到在 JVM 中的配置，是使用 -XX:+UseParallelOldGC 或者 -XX:+UseConcMarkSweepGC 所谓调优，就是一个不断调整和优化的过程，需要观察、配置、测试再如此重复。有相关经验的朋友欢迎留言补充！ 说到底，那上面的这些选项是要配置在哪里呢？
2.2K30发布于 2019-05-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号