- 综合排序
- 最热优先
- 最新优先
- 来自专栏算法channel
模型调参和超参数优化的4个工具
现在，我想讨论一些我将在文章中使用的术语： 模型参数——模型参数是您的模型从数据中学习的参数，例如特征、关系等，您无法手动调整（不是特征工程）。 但实际上，我什么时候知道我需要进行超参数优化？ 作为数据科学家，我们经常犯的错误之一是使用模型的默认参数。根据您使用的默认参数，您可能没有使用模型的最佳版本。 Hyperopt使用贝叶斯优化算法进行超参数调整，为给定模型选择最佳参数。它可以优化具有数百个超参数的大规模模型。 Hyperopt 的特点： HyperOpt 需要 4 个基本组件来优化超参数： 搜索空间， 损失函数， 优化算法， 用于存储历史记录（分数、配置）的数据库 在项目中使用 Hyperopt 的步骤： 初始化要搜索的空间 4. Scikit-优化 Scikit-Optimize是 Python 中用于超参数优化的开源库。它是由 Scikit-learn 背后的团队开发的。与其他超参数优化库相比，它相对容易使用。
2.9K30编辑于 2022-08-31 大模型、小模型、参数量
## 几个概念总参数量 = 词嵌入层参数 + 解码器层参数小模型 就是在参数量上显著小于LLM的模型所有参数 都放在 safttensors 模型文件 中预训练 就是为了 生成合理的 参数值后训练 也是为了 生成合理的 参数值蒸馏、微调、强化学习，都是后训练大模型变成小模型采用"蒸馏+量化+剪枝"的组合策略 一、大模型 GPT-3 参数量详解大模型的参数量是指神经网络中所有可训练权重和偏置的总数，这些参数决定了模型的学习能力和表达能力 单层注意力参数量 = 4×(dmodel)24 \times (d_{model})^24×(dmodel)2=4×20482=4×4,194,304=16,777,216=1.6777 千万= 4 三、大模型、小模型参数差距的本质大模型的参数量，本质上是用 dmodel2d_{model}^2dmodel2 的代价，换取高维语义空间的表达能力。 维度对比大模型 (LLM)小模型 (SLM)对参数量的影响隐藏层维度 (dmodeld_{model}dmodel)12288 (GPT-3/4)2048 (Phi-3) / 1024 (TinyLLaMA
55021编辑于 2026-01-04- 来自专栏全栈程序员必看
sklearn输出模型参数_rfm模型算法
总第105篇 最近会开始一个新的系列，sklearn库中各模型的参数解释，本篇主要讲述最基础的LR模型。 模型参数详解 逻辑回归： sklearn.linear_model.LogisticRegression(penalty='l2', dual=False, tol=0.0001, class_weight:class_weight是很重要的一个参数，是用来调节正负样本比例的，默认是值为None，也就是正负样本的权重是一样的，你可以以dict的形式给模型传入任意你认为合适的权重比， 比如，有一数据集的正负样本绝对数量比为4:6,如果你给参数class_weight赋予balanced值，那么最后模型结果中，正负样本的权重比就会变成6:4。 set_params(**params):为估计器设置参数 你还可以看： 逻辑斯蒂回归模型 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。
1K10编辑于 2022-11-04 - 来自专栏捞月亮的小北
4. SpringMVC获取请求参数
通过控制器方法的形参获取请求参数 在控制器方法的形参位置，设置和请求参数同名的形参，当浏览器发送请求，匹配到请求映射时，在 DispatcherServlet 中就会将请求参数赋值给相应的形参 注： 若请求所传输的请求参数中有多个同名的请求参数，此时可以在控制器方法的形参中设置字符串 数组或者字符串类型的形参接收此请求参数 若使用字符串数组类型的形参，此参数的数组中包含了每一个数据 ：设置是否必须传输此请求参数，默认值为 true 若设置为 true 时，则当前请求必须传输 value 所指定的请求参数，若没有传输该请求参数，且没有设置 defaultValue 属性，则页面报错 null defaultValue：不管 required 属性值为 true 或 false，当 value 所指定的请求参数没有传输或传输的值 为""时，则使用默认值为形参赋值 4. 通过 POJO 获取请求参数 可以在控制器方法的形参位置设置一个实体类类型的形参，此时若浏览器传输的请求参数的参数名和实体类中的属性名一致，那么请求参数就会为此属性赋值 7.
42210编辑于 2023-12-01 - 来自专栏张俊红
Sklearn参数详解—LR模型
总第105篇 最近会开始一个新的系列，sklearn库中各模型的参数解释，本篇主要讲述最基础的LR模型。 模型参数详解 逻辑回归： sklearn.linear_model.LogisticRegression(penalty='l2', dual=False, tol=0.0001, class_weight:class_weight是很重要的一个参数，是用来调节正负样本比例的，默认是值为None，也就是正负样本的权重是一样的，你可以以dict的形式给模型传入任意你认为合适的权重比， 比如，有一数据集的正负样本绝对数量比为4:6,如果你给参数class_weight赋予balanced值，那么最后模型结果中，正负样本的权重比就会变成6:4。 模型对象 coef_:返回各特征的系数,绝对值大小可以理解成特征重要性 intercept_:返回模型的截距 n_iter_:模型迭代次数 模型方法 decision_function(X):返回决策函数值
7.8K60发布于 2018-06-11 - 来自专栏深度学习自然语言处理
GLoRA—高效微调模型参数！
RepAdapter：RepAdapter将轻量级网络插入到预先训练的模型中，并且在训练后，额外的参数将被重新参数化为附近的投影权重。 根据之前的工作，本文评估了shot为1、2、4、8和16下的结果。 它们之间的区别仅在于搜索空间中的LoRA维度，该维度在最大模型中为8和4，在中间模型中为4和2，在最小模型中为2。本文方法中增加的参数灵活性允许在最终模型中进行用户定义的可训练参数计数。 将最先进的参数有效迁移学习提高了2.9%，即使是最小的模型也大大优于所有现有方法。 1、2、4、8和16的shot结果如下图所示。GLoRA在大多数few-shot learning数据集中表现出卓越的功效，在参数计数相似的情况下，其性能始终大大优于现有方法。
85610编辑于 2023-08-22 - 来自专栏自动化、性能测试
FastAPI（4）- 路径参数 Path Parameters
什么是路径 假设一个 url 是： http://127.0.0.1:8080/items/abcd 那么路径 path 就是 /items/abcd 路径参数 就是将路径上的某一部分变成参数， yy"} return {"model_name": model_name, "message": "巴拉巴拉"} 参数传枚举值的请求结果 参数传非枚举值的请求结果 错误提示传的参数值并不是枚举类中的值 重点：路径参数可以不传吗？ 路径参数是必传参数 实际栗子 # 路径参数 item_id @app.get("/items/{item_id}") async def read_item(item_id): return { "item_id": item_id} 假设不传 item_id 总结 路径参数是请求路径的一部分，如果不传，请求的是另一个路径，如果不存在就会 404
2.5K22发布于 2021-09-26 - 来自专栏Spring Cloud设计原理
Junit 4 Tutorials(Junit 4 教程) 四、Junit4 参数化测试
Junit 4 参数化测试 允许通过变化范围的参数值来测试方法。 参数擦测试可以通过以下简单的步骤实现： 对测试类添加注解 @RunWith(Parameterized.class) 将需要使用变化范围参数值测试的参数定义为私有变量 使用上一步骤声明的私有变量作为入参 使用定义的私有变量定义测试方法 Junit 4 参数化测试样例 EvenNumberChecker.java 校验输入的数字是否为偶数： package in.co.javatutorials; / return false; } } } EvenNumberCheckerTest.java 对 EvenNumberChecker.java 进行参数化测试 Junit 4断言方法（Assert methods） Junit 4参数化测试 Junit 4测试套件(Test Suite) Junit 4忽略测试(Ignore Test) Junit 4超时测试
1K20发布于 2021-09-14 DeepSeek-V4 发布在即：万亿参数与架构级创新重塑大模型景观
DeepSeek（深度求索）的下一代旗舰模型 DeepSeek-V4 已进入发布前的最后冲刺阶段。多方消息显示，该模型正在进行硬件适配与灰度测试，预计将于本周正式亮相。 作为继 R1 推理模型之后的又一里程碑，DeepSeek-V4 通过架构级创新，试图打破算力瓶颈，在更低成本下实现性能跃迁。 核心技术突破：从计算密集转向“记忆”优化DeepSeek-V4 的核心创新在于其革命性的 Engram（条件存储）架构。该技术将大模型的“静态知识记忆”与“动态逻辑计算”进行了有效分离。 计算存储解耦： 传统模型在进行推理时，必须将所有参数加载到昂贵的 GPU 显存（HBM）中。 实验表明，Engram 能精准识别如“亚历山大大帝”或“四大发明”等固化语言模式，减轻 Transformer 主干的负担，为万亿级参数规模的平价扩展铺平了道路。
3.9K280编辑于 2026-03-03- 来自专栏技术人生黄勇
仅4B参数！面壁端侧模型MiniCPM 3.0达到GPT-3.5水平
“ 端侧模型正成为一个备受关注的技术前沿。面壁智能发布的MiniCPM 3.0，以其4B参数量在性能上逼近GPT-3.5，更在端侧部署上实现了技术突破。 MiniCPM 3.0是一款4B大小的模型，在自然语言理解、知识、代码、数学等能力上可达到GPT-3.5水平。 01—特点 4B参数量的 MiniCPM 3.0 在多数评测集上的效果比肩甚至超越众多 7B-9B 模型。 02—性能评估 在代码能力、功能调用、数学推理、中英文指令遵循多个评测集的表现上，MiniCPM 3.0 以 4B 的小参数量表现优异。多项评测得分接近或者超过 GPT-3.5。 更小的参数意味着更低的部署门槛和使用成本，某种程度上有助于解决云侧模型耗能、算力等成本居高不下的问题。
81710编辑于 2024-12-09 - 来自专栏【腾讯云开发者】
鹅厂发布的这个算力集群，最快4天训练万亿参数大模型
大模型要成功，算力是关键。 这是腾讯云面向大模型训练场景，发布的全新一代的HCC高性能计算集群性能参数： “算力性能和上一代相比提升3倍，服务器接入带宽从1.6T提升到3.2T。” 去年10月，腾讯完成首个万亿参数的AI大模型——混元NLP大模型训练。在同等数据集下，将训练时间由50天缩短到11天。如果基于新一代集群，训练时间将进一步缩短至4天。 2.2 网络：自研星脉高性能计算网络，将集群算力再提升20% 我们知道，模型参数量越大，对带宽的需求就越高。 而万亿参数大模型训练，是一种带宽敏感的计算业务，往往是All-to-All的通信模式。 2.3 存储：TB级吞吐能力和千万级IOPS，减少计算节点等待 近5年，模型参数量增长十万倍，而GPU显存只增长了 4 倍。理论上，云上的池化资源能解决这一问题。
3.3K51编辑于 2023-04-19 - 来自专栏自然语言处理
大模型生成解码参数速查
控制输出长度的参数 控制所使用的生成策略的参数 用于操作模型输出 logits 的参数 定义“generate”输出变量的参数 可以在生成时使用的特殊字符
24610编辑于 2024-01-09 - 来自专栏技术分享
ChatGPT模型请求参数学习
请求响应参数详情： 如果刚开始进行开发， 只用对必须携带的参数进行测试， 等项目熟练了之后再将所有的参数都进行测 查看可用的请求正文 ： curl https://api.openai.com/v1 与GPT-4 Turbo和所有GPT-3.5 Turbo模型兼容。 type 是一个可选的字符串参数，默认值为 text。 如果省略parameters，则定义了一个参数列表为空的函数。 tool_choice (string or object，可选)：控制模型调用的函数（如果有）。 "gpt-4"), /** GPT4.0 超长上下文 */ GPT_4_32K("gpt-4-32k"), ; private String 通过创建问答模型的问答请求对象， 然后将上述的Message内容 和 需要的一些其他参数传递进去。
1K10编辑于 2024-05-31 - 来自专栏Michael阿明学习之路
4. 训练模型
线性模型正则化 4. 早期停止法（Early Stopping） 本文为《机器学习实战：基于Scikit-Learn和TensorFlow》的读书笔记。 中文翻译参考 1. 线性回归 如何得到模型的参数 1.1 正规方程求解 先生成带噪声的线性数据 import numpy as np import matplotlib.pyplot as plt X = 2*np.random.rand (100,1) y = 4+3*X+np.random.randn(100,1) plt.plot(X,y,"b.") plt.axis([0,2,0,15]) ? 参数越多，找到最佳参数的难度也越大 1.4 批量梯度下降 会使用全部的训练数据 在大数据集上会变得很慢 eta = 0.1 # 学习率 n_iter = 1000 m = 100 theta = np.random.randn ElasticNet(alpha=0.1, l1_ratio=0.5) elastic_net.fit(X, y) elastic_net.predict([[1.5]]) # array([4.99822842]) 4.
59940发布于 2021-02-19 - 来自专栏刘远的专栏
airflow—给DAG实例传递参数（4）
我们需要在创建dag实例时传递参数，每个任务都可以从任务实例中获取需要的参数。 EXEC_DATE, --exec_date EXEC_DATE The execution date of the DAG 我们把json格式的字符串参数 源码详解 每个DAG 实例都有一个上下文的概念，以context参数的形式会透传给所有的任务，以及所有任务的回调函数。 _run_this__20170414', u'END_DATE': '2017-04-14', u'execution_date': datetime.datetime(2017, 4, ') 再从DagRun实例中获取conf参数，值为json对象类型 dag_run_conf = kwargs.get('dag_run').conf
15K90发布于 2018-01-12 - 来自专栏从零开始学自动化测试
FastAPI学习-4.query 查询参数
声明不属于路径参数的其他函数参数时，它们将被自动解释为”查询字符串”参数 查询字符串是键值对的集合，这些键值对位于 URL 的 ？ 之后，并以 & 符号分隔。 小笔记：还要注意的是，FastAPI 足够聪明，能够分辨出参数 item_id 是路径参数而 q 不是，因此 q 是一个查询参数。 必需查询参数 当你为非路径参数声明了默认值时（目前而言，我们所知道的仅有查询参数），则该参数不是必需的。 如果你不想添加一个特定的值，而只是想使该参数成为可选的，则将默认值设置为 None。 skip，一个默认值为 0 的 int 类型参数。 limit，一个可选的 int 类型参数。 你还可以像在 路径参数 中那样使用 Enum。 多个路径和查询参数 你可以同时声明多个路径参数和查询参数，FastAPI 能够识别它们。 而且你不需要以任何特定的顺序来声明。
82110编辑于 2023-08-22 - 来自专栏机器学习/数据可视化
plotly-express-4-常见绘图参数
列中的值用于在负方向调整 X 轴误差线的大小，如果参数error_x==None，则直接忽略该参数； error_y：指定列名。显示误差线，列中的值用于调整 Y 轴误差线的大小。 列中的值用于在负方向调整 Y 轴误差线的大小，如果参数error_y==None，则直接忽略该参数； animation_frame：指定列名。 此参数用于修改图表中显示的列名称。 当参数color指定的列不是数值数据时，该参数为color列指定颜色序列，若category_orders参数不为None，则按category_orders中设定的顺序循环执行color_discrete_sequence 当参数color指定的列不是数值数据时，该参数用于将特定颜色分配给，与特定值对应的标记，color_discrete_map中的键为color表示的列值。
5.7K10发布于 2021-03-01 - 来自专栏自然语言处理
模型融合与超参数优化
3、对五个模型，分别进行步骤2，我们将获得5个模型，以及五个模型分别通过交叉验证获得的训练集预测结果。即P1、P2、P3、P4、P5。 4、用五个模型分别对测试集进行预测，得到测试集的预测结果：T1、T2、T3、T4、T5。 5、将P15、T15作为下一层的训练集和测试集。在图中分别作为了模型6的训练集和测试集。 超参数优化 推荐两个工具：Optuna和BayesianOptimization 推荐1：Optuna import numpy as np import optuna import lightgbm stratified=True, verbose_eval =200, metrics=['auc']) return max(cv_result['auc-mean']) # 第二步：设置超参数搜索范围 random_state=0) # 第三步：设置优化目标 # lgbBO.maximize(init_points=init_round, n_iter=opt_round) # 第四步：获取最优参数
1.1K10发布于 2021-11-24 - 来自专栏数据科学（冷冻工厂）
Python 模型超参数调优
导读 本文将对超参数进行简要的解释，并推荐一本利用Python进行超参数调整的书籍，其中包含了许多超参数调整的方法，对于刚刚学习深度学习的小伙伴来说，是一个不错的选择。 2. 超参数 在机器学习的上下文中，超参数[1]是在开始学习过程之前设置的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。 超参数的一些示例： 树的数量或树的深度 矩阵分解中潜在因素的数量 学习率（多种模式） 深层神经网络隐藏层数 k均值聚类中的簇数 超参数的调整，对于提升模型的相关性能有一定的作用。 3. 书 封面 超参数是构建有用的机器学习模型的重要元素。本书为 Python 超参数调整方法[2]（机器学习最流行的编码语言之一）。 深入了解 Scikit、Hyperopt、Optuna、NNI 和 DEAP 等顶级框架 掌握可立即应用于机器学习模型的最佳实践 实战 目前该书籍的Github仓库已有70Star，正在持续增长。
62530编辑于 2023-02-27 - 来自专栏相约机器人
GPT-4参数将达10兆！这个表格预测全新语言模型参数将是GPT-3的57倍
---- 【新智元导读】GPT-4将会有高达10兆个参数？近日，有网友在分析了GPT-3和其他语言模型之后大胆预测，GPT-4将会达到GPT-3的57倍！ 对于机器学习来说，参数可以算得上算法的关键：它们是历史的输入数据，经过模型训练得来的结果，是模型的一部分。 一般来说，在NLP领域，参数数量和复杂程度之间具有正相关性。 而OpenAI的GPT-3则是迄今为止最大的语言模型之一，有1750亿个参数。 那么，GPT-4会是什么样子的？ 近日有网友就对GTP-4及其「开源版」GPT-NeoX进行了大胆的预测。 ? 作者认为，GPT-4的参数或许可以达到10T，是现在GPT-3模型的57倍还多，而GPT-NeoX的规模则可以和GPT-3持平。 等下，如果是这样，程序员们还能不能在GPT-NeoX上愉快地调参了？ 网友评论 GPT-4怎么这么大？ 「GPT-3已经接近理论上每个token的最大效率了。如果OpenAI模型的工作方式是正确的，更大的模型只是对算力的浪费。」 ?
1.6K60发布于 2021-07-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号