- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI
AI模型的评估与调优
AI模型的评估与调优：交叉验证、ROC、F1-score等在机器学习和人工智能（AI）应用中，模型的评估和调优是非常关键的步骤。 发现问题：通过不同的评估方法，我们可以发现模型可能存在的问题，如过拟合、欠拟合等。进行模型调优：评估可以帮助我们调整模型的超参数或选择更合适的算法。2. 模型调优：提高模型性能的技巧超参数调优是提升模型性能的关键步骤。超参数是模型训练过程中需要手动设置的参数，它们直接影响模型的训练效果和最终性能。 常见的调优方法包括：网格搜索（Grid Search）：通过遍历指定的参数空间，逐一尝试不同的超参数组合，从而找到最优的参数配置。 Bishop这本书是模式识别和机器学习领域的经典教材，书中深入探讨了模型评估和调优的理论基础，并涉及了多种评价指标。
1.1K00编辑于 2025-01-27 - 来自专栏Python进阶之路
大语言模型的指令调优：综述
论文标题：Instruction Tuning for Large Language Models: A Survey 论文地址：https://arxiv.org/abs/2308.10792 指令调优是提升大语言模型 指令调优是指以有监督的方式在由（指令，输出）对组成的数据集上进一步训练大语言模型。这一过程旨在缩小 LLMs 的下一个标记预测目标与用户期望 LLMs 遵循人类指令的目标之间的差距。 因此，指令调优是一种有效的技术，可以将大语言模型与人类指令进行对齐。 第 7 节回顾了如何提高指令微调的效率，降低与调整大模型相关的计算成本和时间成本。 第 8 节介绍了对指令调优模型的评估、分析以及对这些模型的批评。 模型评估：研究回顾了多模态技术和数据集在指令调优中的应用，涵盖图像、语音和视频等领域，并评估了指令调优模型的性能表现。
61500编辑于 2024-05-25 - 来自专栏新智元
【干货】BERT模型的标准调优和花式调优
Transformer 模型。 之后这三个向量拼接起来的输入会喂入 BERT 模型，输出各个位置的表示向量。 首先，多语言里一个大问题是如何将词分开，因为如此多语言，词表会非常大，这里作者用 BERT 自带 WordPiece 直接分词，然后用分完后第一个子词位置的输出向量来预测。 将页面文档分成多个片段，和 query 拼接，然后同时对几个问题，用 [CLS] 进行预测问题种类，而其他 token 的位置预测所在范围，最后将一个大页面中的所有片段的分数排序，挑出最高者。 而 BERT 原模型只能生成单句的句子向量，或者句子对的。
4.4K10发布于 2019-05-13 - 来自专栏阿泽的学习笔记
算法模型调优指南
在算法项目落地过程中，如果只考虑机器学习相关部分，个人感觉最花时间的两个部分是数据质量问题处理和模型实验与迭代调优。 从第6部分开始是更深入的通过数据分析来进行模型调优的一些介绍，以及后续的测试，工程化，上线的简介，比较适合有经验的算法工程师阅读。 确保模型能够运行，并在小数据集上overfit，或复现一些已知结果。 评估并分析结果。后续会详细介绍分析手段方法。 参数调优。对模型的各种参数，模型结构进行各种调整。 数据与模型调优。 问题对应的典型数据集，例如我们可以收集一系列节假日，办公型门店的历史数据，用于后续调优改进的检验集。 主要操作是更换模型或者预处理方法。AutoML往往最终达到的效果更高，但需要的尝试次数往往远远大于人工。会有大量的操作花费在超参搜索调优上。
1.7K43发布于 2021-07-06 - 来自专栏数据科学（冷冻工厂）
Python 模型超参数调优
超参数的一些示例： 树的数量或树的深度 矩阵分解中潜在因素的数量 学习率（多种模式） 深层神经网络隐藏层数 k均值聚类中的簇数 超参数的调整，对于提升模型的相关性能有一定的作用。 3. 书 封面 超参数是构建有用的机器学习模型的重要元素。本书为 Python 超参数调整方法[2]（机器学习最流行的编码语言之一）。 了解强大的失败者方法以及最佳实践 探索流行算法的超参数 了解如何在不同的框架和库中调整超参数 深入了解 Scikit、Hyperopt、Optuna、NNI 和 DEAP 等顶级框架 掌握可立即应用于机器学习模型的最佳实践
62430编辑于 2023-02-27 - 来自专栏QQ大数据团队的专栏
AI大模型结合专家经验，开启大数据系统智能调优分析新范式
本文共计1052字 预计阅读时长4分钟 腾讯云大数据智能管家TCInsight在已落地的专家经验及机器学习优化功能基础之上，推出了AI模型结合专家经验的大数据系统智能根因分析和SQL调优功能，通过智能化的方式帮助企业快速 实际场景中往往存在更为复杂的根因传导链路，需要多层级的关联分析挖掘根因，据此智能管家通过AI大模型进行多维度多层级根因推导，提供异常关联拓扑、异常项Top及影响系数。 而通过智能管家AI特征分析识别指标异常，结合相关性分析报告可快速清晰提供影响因子的关联关系及影响系数，结合专家经验、关联分析算法及 AI 大模型识别影响系数的智能根因分析，可缩短故障分析时间 60% 以上 “起底”SQL AI调优 新发布的Spark SQL智能调优功能，基于通用AI大模型对异常的SQL进行深度分析，智能生成SQL调优建议。 (s) 下期“路透” 腾讯云大数据智能管家TCInsight将持续紧跟AI进步的脚步，继续深化专家经验与AI大模型结合，挖掘、支持更多场景的智能调优调参能力。
39510编辑于 2025-07-20 - 来自专栏大模型应用
大模型应用：大模型参数调优：结合本地模型对比多种组合探索差异.7
引言 在大模型的应用中，参数调优是连接模型潜力与实际效能的关键桥梁。与传统的软件参数不同，大模型的生成参数更像是一组精密的调控旋钮，它们不改变模型的基础知识，而是影响模型如何思考和表达。 （左下）图表内容：X轴：总体质量评分Y轴：出现频次柱状图：不同评分区间的配置数量分布实际意义：左偏分布：多数参数配置效果不佳正态分布：参数敏感性适中右偏分布：多数配置都能获得较好效果业务价值：评估参数调优的难易程度了解模型在默认参数下的表现基线判断是否需要精细调优子图 四、参数调优参考1. 分步调优流程图五、总结 大模型的参数调优本质上是在控制与释放之间寻找平衡的艺术。 ，不断更新调优策略。
69732编辑于 2026-02-04 - 来自专栏csico
模型的选择与调优
交叉验证（所有数据分成n等分 ） 最常用的为10折交叉验证 举例： 4折交叉验证（分成4等分时）： 最后求出4个准确率的均值 网格搜索：调参数 对模型预设几种超参数组合，每组超参数都采用交叉验证来进行评估 ，选出最优参数组合建立模型 API from sklearn.model_selection import GridSearchCV # coding=utf8 import numpy as np gc.score(x_test,y_test) print(gc.best_score_) # 显示在交叉验证中最好的结果 print(gc.best_estimator_) # 显示选择最好的模型参数
53430编辑于 2021-12-29 - 来自专栏AI大模型
AI大模型调优工程：突破显存墙与灾难性遗忘的双重挑战
最新AI大模型应用开发学习系统[最新AI大模型应用开发学习资料免费领取]引言：面对万亿参数模型，传统全参数微调已成为资源黑洞。 本文提出动态混合稀疏微调框架（DySparse），通过结构感知参数选择、梯度稀疏化压缩、神经路径蒸馏三大核心技术，在Llama3-405B模型实现调显存占用下降89%（8xA100可微调）、多任务遗忘率低于 一、大模型调优的核心瓶颈1.1 显存资源爆炸式增长模型规模全参数微调显存PEFT显存DySparse(ours)70B2.1TB320GB98GB405B8.4TB1.2TB925GB注：Batch Size ，解决法律/金融领域严格约束问题结语“模型调优不是简单的参数扰动，而是在高维空间构建知识立交桥”——2024年NeurIPS主旨报告。 随着稀疏化技术、硬件协同设计的突破，万亿模型在消费级设备的轻量化调优正在成为现实。未来重点将是实现：更低资源消耗、更少遗忘风险、更高领域适应性的三角平衡。
27510编辑于 2025-08-04 - 来自专栏QQ大数据团队的专栏
腾讯云ChatBI：基于大模型的效果调优方案探索
随着近几年大模型技术的不断进步，腾讯云BI结合大模型的产品ChatBI也就应运而生，试想一下: 如果用户想要查询公司产品这个月的收入增加了多少? 二、基于大模型的ChatBI效果调优 虽然大模型为ChatBI提供了强大的基础能力，但它也存在一些不足，如泛化性、幻觉以及Text2SQL能力等问题。 为了弥补这些不足，腾讯云ChatBI在技术方案设计中进行了大量工程优化，包括意图澄清、Text2DSL研发和ICL调优等，让大模型更好地理解业务场景。 3.ICL（In-Context Learning）调优 即使是同一个问题，在不同业务场景和知识库下的结果也可能不同，因此需要对场景进行细分，但是传统的预训练和微调方法可能不足以应对快速变化的业务需求和数据环境 为了做到针对性的优化，我们引入了ICL调优。 ICL有如下好处： 1.见效快：ICL允许模型在不直接训练的情况下，通过阅读上下文来适应新任务或数据，这样可以更快地适应新的业务场景。
2.5K11编辑于 2024-11-25 - 来自专栏鸿的学习笔记
吴恩达谈 MLOps：调优数据比调优模型更重要
吴恩达的观点 一个 AI 系统包括了代码和数据两部分，用一个公式表示就是AI System = Code + Data，其中更详细的来说，代码指的模型和算法。 在之前的 AI 系统设计当中，大家似乎更重视对模型的调优这一块，而忽视了对数据的调优，吴恩达认为前者是 Model-centric（以模型为中心），后者是 Data-centric（以数据为中心）。 在之前使用以模型为中心的 AI 系统中，因为重点在模型的选择和参数调整上面，就不太重视数据本身，单纯只是把数据作为 AI 系统的食物（Data is Food for AI）。 但是吴恩达认为把时间花费在对数据质量的优化上面，可能要比花费时间对模型进行调优，受益会更多。 Model-centric: 以调整模型代码、调优模型超参数为主的系统调优策略，在这种策略下，可以认为数据集是固定的 Data-centric: 与Model-centric相对，以调整数据集为主的系统调优策略
1.3K40发布于 2021-04-23 - 来自专栏大数据-BigData
Flink大状态与Checkpint调优
Checkpointing调优 应用程序可以配置定期触发检查点。 当检查点的完成时间超过检查点间隔时，在进行中的检查点完成之前不会触发下一个检查点。 RocksDB调优 许多大型 Flink 流应用程序的状态存储主力是 RocksDB 状态后端。 后端的扩展性远远超出了主内存，并且可靠地存储了大的keyed状态。 RocksDB内存调优 RocksDB 状态后端的性能很大程度上取决于它可用的内存量。 为了提高性能，增加内存会很有帮助，或者调整内存的功能。 某些操作（如大窗口）会导致其下游操作符的负载激增：在窗口的情况下，下游操作符可能在构建窗口时几乎无事可做，而在发出窗口时有负载要做。
1.7K32编辑于 2022-03-07 - 来自专栏chenchenchen
SQL调优之性能调优
针对专门操作符的调优 前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。 或 (OR) 和与 (AND) 操作符相反，在用或 (OR) 操作符写 SQL 语句时，就应该将概率大的表达示放在左面，因为如果第一个表达示为假的话，OR 操作符意味着需要进行下一个表达示的解析。 本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。
2.3K30发布于 2019-12-03 - 来自专栏LhWorld哥陪你聊算法
【Spark篇】---Spark调优之代码调优，数据本地化调优，内存调优，SparkShuffle调优，Executor的堆外内存调优
一、前述 Spark中调优大致分为以下几种 ，代码调优，数据本地化，内存调优，SparkShuffle调优，调节Executor的堆外内存。 二、具体 1、代码调优 1、避免创建重复的RDD，尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略？ spark.locality.wait.node spark.locality.wait.rack 注意：等待时间不能调大很大，调整数据本地化的级别不要本末倒置 通过日志或者WEBUI 3、内存调优 ? Spark中如何内存调优？
2.1K30发布于 2018-09-13 - 来自专栏数智化医院
医疗大模型落地方案：技术选型、部署策略与调优
三、调优方案：医疗大模型的性能优化与持续改进医疗大模型的调优是确保其临床实用性的关键环节，也是实现从技术到价值转化的最后一步。有效的调优方案能够显著提升模型在医疗场景中的准确率、可靠性和用户体验。 基于当前医疗AI领域的实践，调优工作需要从数据、模型、应用等多个层面系统推进，并建立持续优化的长效机制。 数据层面的调优策略高质量的数据是医疗大模型性能的基础，数据层面的调优主要包括以下方面：医疗数据增强：多源数据融合：整合电子病历、医学影像、检验报告、临床指南、医学文献等多种数据类型，构建多模态训练数据集 应用层面的调优方法应用层面的调优关注如何使医疗大模型更好地融入实际工作流程，提升用户体验：交互设计优化：自然语言交互：设计符合医护人员习惯的自然语言交互方式，降低使用门槛。 医疗大模型的调优需要跨学科团队协作，包括数据科学家、AI工程师、临床医生、医疗信息化专家等。如福州大学超级计算团队是一支依托计算机与大数据学院组建的多学科交叉队伍[4]。
1.5K10编辑于 2025-04-16 - 来自专栏山河已无恙
如何高效使用DeepSeek-R1：推理大模型调优指南
写在前面 博文内容为参考由 together.ai 整理的一些 DeepSeek-R1 调优指南 文章做了节译，理解不足小伙伴帮忙指正 :),生活加油 我看远山，远山悲悯 持续分享技术干货，感兴趣小伙伴可以关注下 ^_^ 如何高效使用DeepSeek-R1：推理大模型提示工程调优指南 LLM 中 DeepSeek-R1 与传统非推理模型的交互方式存在本质差异。 但与通用大模型不同，推理型模型需要特殊的交互策略，博文内容列举几个常见的优化手段，帮助开发者构建高效的交互范式。 交互禁忌清单 系统指令污染：禁止在提示词中添加类似你是一个AI助手...的系统设定，此类信息会干扰模型认知框架 少样本陷阱： 不推荐示例示范（即使看似相关） ❌ 提供错误示范： # 以下是用户查询日志分析的示例代码 ，并按照特定的方式进行回应，比如 你是一个技术博主 少量示例: 这些示例可以帮助大语言模型更好地理解任务，并生成更准确的响应，{Q：分布式锁实现方式有哪些？
96710编辑于 2025-03-04 离线推理全流程&模型调优
整体概述小模型推理方案：ATC转换架构图：ModelZoo-PyTorch指导文档：https://gitee.com/ascend/ModelZoo-PyTorch/blob/master/ACL_PyTorch /docs/README.md模型推理离线推理导出Onnx参考链接：ONNX的导出Onnx转om参考链接1：Onnx转Om参考链接2：ATC工具介绍离线推理参考链接：离线推理Chinese_CLIP上机操作 Chinese_CLIP模型介绍参考链接传统模型基于昇腾迁移适配全流程模型支持度分析msit analyze安装msit: https://gitee.com/ascend/msit/blob/master 图片模型转换：pt->onnx：参考链接执行分析命令：使用onnx-sim对onnx模型进行简化export bs=24onnxsim models/vit-b-16.txt.fp32.onnx models (onnx->om)atc工具使用指导：链接AOE自动调优（onnx->om）使用指导：链接模型压缩：官方指导文档：链接离线推理Chinese_CLIP模型推理指导ais_bench使用安装：链接推理执行
24500编辑于 2025-06-20一文看懂大模型核心参数调优用法与实战
如果你对大模型的创新应用、AI技术发展以及实际落地实践感兴趣，那么请关注Fanstuck。 一、参数调优的重要性如果把调用大模型比作烹饪，那么参数调优就是掌控火候的关键——火候太小，菜肴寡淡无味；火候太大，食材可能烧焦。 二、基础准备：OpenAI Python SDK 简介与安装在深入探讨大模型参数调优之前，首先需要确保开发环境已正确配置。 ，其实是一种对模型的“对话艺术”在大模型的世界里，参数调优不仅仅是技术微调，更像是与模型进行一场默契的对话。 在实际项目中，无论你是在开发客服助手、文案生成系统、知识库搜索引擎，还是构建多模态 Agent，理解并掌握这些参数的调优技巧，是将大模型从“能跑”到“好用”的关键一步。
2.8K72编辑于 2025-04-25- 来自专栏个人积累
数据库调优 项目调优
Springboot项目调优 配置文件调优 更改Tomcat的相关配置 设置Tomcat的最大连接数 设置请求头最大内存 设置post请求的最大内存 设置Tomcat最大线程数 设置Tomcat 的最小工作线程数 JVM调优 设置项目启动的参数 在vm option处添加配置内容 -XX:MetaspaceSize=128m #（元空间默认大小） -XX:MaxMetaspaceSize=128m
1K51发布于 2020-10-10 - 来自专栏SmartSi
Spark 性能调优之Shuffle调优
因此，如果要让作业的性能更上一层楼，就有必要对 shuffle 过程进行调优。 但是也必须提醒大家的是，影响一个 Spark 作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle 调优只能在整个 Spark 的性能调优中占到一小部分而已。 因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解 shuffle 的原理，以及相关参数的说明，同时给出各个参数的调优建议。 2. 5. shuffle相关参数调优 以下是Shffule过程中的一些主要参数，这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。 调优建议：在资源参数调优中讲解过这个参数。如果内存充足，而且很少使用持久化操作，建议调高这个比例，给 shuffle read 的聚合操作更多内存，以避免由于内存不足导致聚合过程中频繁读写磁盘。
1.8K31发布于 2019-08-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号