- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型应用
大模型应用：大模型权重敏感性分析：L1L2 范数、梯度贡献深入解读.39
什么是权重敏感性 大模型的权重敏感性，通俗来说就是模型中某一个或某一组权重参数的微小变化，对模型最终输出结果或性能指标的影响程度。 正因如此，它们在模型轻量化与部署优化中扮演着关键角色：一方面，可作为模型剪枝或压缩的重点目标，通过直接移除、置零或大幅精简这些权重，显著降低模型的参数量和计算复杂度；另一方面，在对这类权重实施低精度量化 L2 范数（L2 Norm）2.1 核心定义L2 范数又称欧几里得范数，Euclidean Norm，是指一组数值中所有元素的平方和的平方根，在大模型权重分析中，用于衡量某一层或某一组权重的整体规模，反映权重 ：训练中通过惩罚 ‖W‖₂² 约束权重增长权重分布分析：比较不同层/模型的 L2 范数可了解其能量分布差异训练稳定性监控：L2 范数骤增常提示梯度爆炸可能3. 分析： 静态分析：直接计算所有权重的“规模”（L1/L2范数），看看哪些权重本身数值大。动态分析：用数据跑一遍模型，通过反向传播计算每个权重的“梯度”，看看哪些权重对当前任务结果的影响大。
48443编辑于 2026-03-08 - 来自专栏机器之心
350亿参数、开放权重，Transformer作者创业后推出新大模型
Cohere 推出的模型名为「Command-R」，参数量为 35B，它是一个针对大规模生产工作负载的全新大语言模型研究版本。 具体而言，Command-R 具有以下功能特征： RAG 和工具使用方面的高度准确性 低延迟、高吞吐量 更长的 128k 上下文和更低的价格 跨 10 种主要语言的强大功能 HuggingFace 上提供模型权重以供研究和评估 Command-R 是一系列模型中的首个版本，提高了对企业大规模采用至关重要的功能。 目前，Cohere 在 Huggingface 上开放了模型权重。 对于增强生成，通过识别最相关的信息，Command-R 可以总结、分析、打包这些信息，并帮助员工提高工作效率或者创造全新的产品体验。 图右为 Command-R（Embed+Rerank）、Command-R 与 Llama 2 70B（chat）、Mixtral、GPT3.5-Turbo 等模型在 Natural Questions
51910编辑于 2024-03-18 - 来自专栏CreateAMind
模型权重和多模型推理的基础
赤池信息准则（AIC）定义为：AIC = –2 log(最大似然值) + 2k，其中 k 为模型中的参数个数。基于拟合优度与简约性原则，AIC 值较小的模型更受青睐。 将“真实在模型集中”作为条件，与为了在参数分析中开发估计量而对单个模型进行条件化一样无辜。 特别是，公式（2）和（3）可用于将模型权重与先验概率联系起来。 贝叶斯推断通常始于先验概率的设定，再结合观测数据的概率，通过贝叶斯定理得到后验概率。 另一方面，我们也可以利用公式（2）和（3）从后验概率反推出先验概率。这样，我们便能通过隐含的先验权重来评估一组模型权重，即探究：什么样的先验加权方案会导致这组权重成为后验模型权重。 贝叶斯因子由模型集合、参数所选的先验以及数据共同决定，但并不依赖于先验模型权重的设定。表2列出了五个模型对应的四组先验及其产生的后验分布。
16410编辑于 2026-03-11 如何利用匠厂生成高权重的产品参数对比分析表？
如果你的产品参数无法进入 AI 的“语义索引库”，或者在 AI 生成的对比分析中处于缺失状态，那么品牌将彻底失去未来的流量入口。 对于 3C 数码、B2B 企业服务等依赖决策咨询的行业，如何生成一套能被 AI 高频采纳的高权重产品参数对比表，是打破信息差、建立信任背书的核心关键。 **结构化程度低**：传统软文多为碎片化描述，缺乏 AI 引擎最喜欢的 **FAQ 问答库**、**技术白皮书** 和 **参数对比表** 结构，导致 AI 难以精准抓取关键事实。2. 它能够自动植入 **Markdown 标签**（如 H2/H3 标题、加粗关键词、标准列表），并动态生成高逻辑性的参数对比表。 ---## 三、 实战演练：高权重产品参数对比分析表为了让大家更直观地理解，以下是利用匠厂平台生成的典型行业对比分析逻辑，此类表格极易被 AI 引擎识别为“权威选购指南”：| 维度 | 传统 SEO 手法
14910编辑于 2026-02-09- 来自专栏数据科学
旅行搜索词权重分析
pd df = pd.read_csv('/Users/spark/pship/tripdata/top_app_search_user_query.csv') In [2] : df.head() Out[2]: .dataframe tbody tr th:only-of-type df.dropna() 有效去重复¶ 从每个用户的query session中，获取20个 tag 词 未直接采用全部用户query做tag权重分析 北海道,旅游,澳大利亚,清莱,澳洲,清迈,泰国,厦门,哈尔滨,俄罗斯,香格里拉,丽江 权重词提取¶ 使用所有的用户的top 20 query tag ，汇总计算关键词出现的权重 In [8]: alltags = jieba.analyse.extract_tags(','.join(df.querytag
61230发布于 2018-12-20 - 来自专栏数据分析与挖掘
【colab pytorch】模型权重初始化
注意 model.modules() 和 model.children() 的区别：model.modules() 会迭代地遍历模型的所有子层，而 model.children() 只会遍历模型下的一层 Common practise for initialization. for layer in model.modules(): if isinstance(layer, torch.nn.Conv2d torch.nn.init.constant_(layer.bias, val=0.0) elif isinstance(layer, torch.nn.BatchNorm2d
79930发布于 2020-08-26 - 来自专栏DeepHub IMBA
权重衰减== L2正则化?
更有技术性的是，神经网络学习的权重更专门于给定的数据，而不能学习的特征，可以推广。 为了解决过拟合问题，我们采用了一种叫做正则化的技术来降低模型的复杂性和约束权重，从而迫使神经网络学习可归纳的特征。 有的对模型进行了额外的约束，如对参数值进行约束;有的对目标函数进行了额外的约束，可以认为是对参数值进行了间接约束或软约束。如果我们小心地使用这些技术，就可以提高测试集的性能。 偏差参数将不变的部分推导不应用正则化项,而重量参数将包含额外的((λ/ n) * w)正则化项。 因此，偏差和权重的学习规则为: ? Figure 6. L2正则化和权值衰减不是一回事，但可以通过基于学习率的权值衰减因子的重新参数化使SGD等效。困惑吗?让我给你详细解释一下。 权重衰变方程给出下面λ是衰减系数。 ? 特别地，当与自适应梯度相结合时，L2正则化导致具有较大历史参数和/或梯度振幅的权重被正则化的程度小于使用权值衰减时的情况。与SGD相比，当使用L2正则化时，这会导致adam表现不佳。
1.1K20发布于 2020-05-29 识别权重变化的潜在因果模型
为此，我们从分析从观测数据中识别潜在变量时存在的三个内在不确定性问题入手：传递性、排列不确定性和缩放不确定性。我们发现，传递性是阻碍潜在因果变量可识别性的关键因素。 为了解决由传递性导致的不可识别问题，我们引入了一种新颖的可识别性条件，即底层潜在因果模型满足一个线性高斯模型，其中因果系数和高斯噪声的分布由一个附加的观测变量进行调制。
9110编辑于 2026-03-11- 来自专栏我爱计算机视觉
浅谈模型压缩之量化、剪枝、权重共享
假设在模型优化前，原始模型处理每个视频要30秒，那么一张GPU卡一分钟只能处理2个视频。 03 模型剪枝 模型的构成是由许多浮点型的神经元相连接，每一层根据神经元的权重将信息向下传递。但是有一些神经元的权重非常小，这类神经元对整个模型的加载的信息的影响也就微乎其微。 每一层把数值小的神经元去掉，但是究竟剪枝粒度维持到多大是很有讲究的，比如可以把每层最小的5个减掉，也可能只剪3个，或者每层有每层不同的策略，也可以用L1/L2正则的方式去做。 04 模型量化 模型的精度量化并不是简单的将高精度的权重用低精度权重表示就好了，这里面涉及到许多适配硬件的因素。先来看下神经元权重是如何在计算机里表示的。 有相关的人士分析过，从概率分布角度去看，int8的字符长度可以较完整的覆盖大部分的模型权重值。float 32到int8的转变，只需要一个系数乘积将原有的小数部分变为整数。
2.7K21发布于 2020-03-06 - 来自专栏全栈程序员必看
多模型融合权重如何训练_单因子模型
组合权重优化 组合权重优化在多因子模型中起到了至关重要的作用。组合权重优化的目的在于将组合的风险特征完全定量化，使得投资经理可以清楚的了解组合的收益来源和风险暴露。 组合权重优化的过程包含2个因素：第一，权重优化的目标函数；第二，约束条件。 其中，约束条件我们在上一节中已经提到，即为组合的行业中性和风格因子中性。 ，引入了风险厌恶系数，具体权重优化表达为： 3）最大化组合信息比率 最大化组合信息比率为目标函数以预期收益与预期组合风险的比值作为目标函数，具体权重优化表达为： 上述三种优化目标函数中，第一种方法和第三种方法完全依赖风险模型给定的数据结果进行计算 示意图如下： 研究结果 本文重点是如何得到组合的权重，因此没有讲解因子分析、因子验证、策略构建部分。一旦组合权重完成，策略构建也基本完成。 本文以2019-01-31这一个调仓日为例，分析出当天如果调仓的组合权重。
1.5K20编辑于 2022-11-08 - 来自专栏数据STUDIO
MCMC确定机器学习集成模型最佳权重
当然这么说可能有些武断，但是这样做可以大大简化模型的复杂度，因此马尔科夫链在很多时间序列模型中得到广泛的应用，比如循环神经网络RNN，隐式马尔科夫模型HMM等，当然MCMC也需要它。 ，那么我们只要能求出系统中任意两个状态之间的转换概率，这个马尔科夫链的模型就定了。 ) num_bins = 50 plt.hist(pi, num_bins, normed=1, facecolor='red', alpha=0.7) plt.show() MCMC采样集成模型权重 基本步骤 初始化集成模型权重 生产新的权重 如果 MAE 较低，则立即接受新权重，否则接受新权重的概率为 np.exp(-diff/.3) 重复2-3步 初始化权重 设共有 n 个模型，则模型权重为 [1/n,1/n,...,1/n] weight = np.array([1.0/num,]*num) 生产新的权重 目标平稳分布为：高斯分布 π_0(x) 马尔可夫链状态转移矩阵 Q(i,j) 的条件转移概率
46410编辑于 2024-07-24 - 来自专栏数据森麟
100种分析思维模型（2）
上次我介绍了第 001 号分析思维模型： 福格行为模型(点我) 下面开始介绍第 002 号分析思维模型： 杜邦分析模型 1. 模型介绍 杜邦分析模型起源于 1802 年成立的杜邦公司，它的基本思想是将关键指标进行分解，这样有助于深入分析企业的经营业绩。 杜邦分析模型的特点，是将指标之间的内在联系，有机地结合起来，形成一套指标体系，让分析的层次更加清晰，从而方便地找到影响业务的关键因素。 应用杜邦分析模型的步骤： （1）从核心指标开始，逐层分解各个指标； （2）制作杜邦分析图，填入相关指标数据； （3）对比前后期数据，或者横向进行对比。 杜邦分析模型可以一层又一层地向下分解，形成一个类似于金字塔的结构，从而比较清晰地展现指标之间的关系。 2. 应用举例 杜邦分析模型在财务分析、销售管理等领域都有着广泛的应用。
56220发布于 2021-03-12 - 来自专栏DeepHub IMBA
dLLM：复用自回归模型权重快速训练扩散语言模型
dLLM是一个开源的Python库,它把扩散语言模型的训练、微调、推理、评估这一整套流程都统一了起来，而且号称任何的自回归LLM都能通过dLLM转成扩散模型 扩散模型用在语言上有什么不同 做过图像扩散模型的应该能理解这个思路 把AR模型转成扩散模型 这是dLLM最核心的功能，LLaMA系列模型、instruction-tuned的LLM,甚至BERT这种encoder,都能拿来微调成扩散模型。 eval_dataset=eval_data, args=training_args, data_collator=transformers.DataCollatorForSeq2Seq 还可以使用LoRA + 4-bit量化微调 accelerate launch \ --config_file scripts/accelerate_configs/zero2.yaml \ 扩散模型要是想在语言领域站稳脚,就要做到训练简单、评估方便、容易集成，dLLM在这个方向上走了不小一步。 对于在做next-gen语言模型的人来说,这个框架确实值得研究一下。
22610编辑于 2025-12-30 如何不用yolov5权重或者模型进行目标检测和绘制map等参数图
当你看到这个博客时候，你第一反应肯定是扯犊子，没有模型也能目标检测？是的你没听错，我可以不用权重进行仿真目标检测结果，包括图片，视频以及参数曲线生成。 先来看我生成参数图 可以看出和真的训练参数几乎没有任何区别，而且仿真模拟参数都是可以通过代码控制，比如想把map设置到0.8，loss从0.1开始往下降，epoches改成500等等，都是可以完成。 而且最近我已经实现对视频进行模拟检测，这种技术应用背景产生根本原因是： 很多同学刚接触目标检测，然后也不清楚怎么弄，其实环境搭建，模型训练，测试，准备数据集等一堆操作需要很长时间，关键还有硬件还得GPU 有的同学为了完成作业或者交作业，需要及时获得检测结果，还有视频结果以及参数图，而这些都需要一个高精度模型才能完成这样的任务，如果能够模拟生成则可以省略掉硬件准备，数据集标注，模型训练等一系列操作，而且快速完成作业 ，虽然这样做可以解燃眉之急，但是我还是推荐大家老老实实训练自己的模型，这样才能收获到真的知识，而使用我这种办法有一种投机倒把，当然也可以锻炼自己代码编写能力。
11910编辑于 2025-07-18- 来自专栏DeepHub IMBA
卷积神经网络中的参数共享权重复制
卷积层的输出是一组特征图，其中每个特征图是单元内固定权重参数与输入数据之间的卷积运算结果。 以下是要采取的步骤：· 获取conv 层的输出宽度 （输入大小的宽度-过滤器大小+（2 * Padding）/步幅）+1 =卷积层的输出宽度 计算conv层中神经元/单位的数量 计算没有使用权值共享的训练参数的数量 （包括偏差） 计算使用权值共享的训练参数（包括偏差）的数量 下表描述了来自AlexNet和LeNet CNN架构的信息，这些信息将用于得出卷积层内训练参数/权重的数量。 显然，通过参数共享，我们可以减少conv层中的权重数量。 参数共享用于网络中的所有conv层。 参数共享减少了训练时间；这是减少反向传播过程中必须进行的权重更新次数的直接好处。 重申一下，当根据过滤器与卷积层中某个平面内某个单元的输入数据之间的卷积结果生成特征图时就会产生参数共享。此层平面内的所有单元共享相同的权重；因此称为权重/参数共享。
2.4K20发布于 2020-07-24 - 来自专栏运维开发王义杰
AI: 大模型权重的理解与应用
然而，对于许多人来说，理解这些大模型的内部机制，尤其是它们的权重（weights），仍然是一个挑战。在这篇文章中，我们将深入探讨大模型的权重及其重要性。 什么是大模型权重？ 大模型权重是指模型中每个神经元连接的参数。这些权重在训练过程中不断调整，以使模型能够更准确地预测输出。简单来说，权重决定了输入数据如何通过模型被处理和转换。 权重的重要性 权重在模型中的作用类似于人类大脑中的神经连接强度。不同的权重组合让模型能够识别和分类各种复杂的模式。 例如，在图像识别任务中，模型通过调整权重来识别图像中的边缘、形状和颜色；在自然语言处理任务中，模型通过权重来理解单词之间的关系和上下文。 权重的初始化 在训练模型之前，权重需要被初始化。 权重共享 在一些大模型中，如卷积神经网络（CNN），权重共享是一种常见技术。通过在不同的神经元之间共享相同的权重，可以减少模型的参数数量，从而降低计算复杂度和存储需求。
3.8K11编辑于 2024-07-10 - 来自专栏mathor
Huggingface 预训练模型权重下载的问题
文章转自Hugging face预训练模型 Hugging face简介 Hugging face是一个专注于NLP的公司，拥有一个开源的预训练模型库Transformers ，里面囊括了非常多的模型例如 BERT GPT 等 模型库 官网的模型库的地址如下：https://huggingface.co/models ? 使用Windows模型保存的路径在C:\Users\[用户名]\.cache\torch\transformers\目录下，根据模型的不同下载的东西也不相同 使用Linux模型保存的路径在~/.cache 存在的问题 这些前提是你的电脑有网络可以直接使用代码下载相应的模型文件，但是问题是有些机器是没有外网连接权限或者下载速度非常慢。 这时候就需要把模型文件下载后在导入代码中，还是以刚才的 hfl/chinese-xlnet-base模型为例，直接在官网搜索模型，点击进入模型的详情界面 ?
9.7K20发布于 2020-11-09 - 来自专栏全栈程序员必看
cocos2dx tolua传递参数分析
cocos2dx tolua传递参数分析： tolua_Cocos2d_CCNode_addChild00 == void CCNode::addChild(CCNode *child) tolua_Cocos2d_CCNode_addChild01 我们这里分析一下最后一个：/* method: addChild of class CCNode */#ifndef TOLUA_DISABLE_tolua_Cocos2d_CCNode_addChild02static tolua_isusertype(tolua_S,2,"CCNode",0,&tolua_err) || ! 看下上面的分析//我想大家应该明确了。通过这样的方法，我们以后查找这类问题。就会方便非常多。 : D/cocos2d-x debug info(3169): [C]: in function 'addChild'03-31 10:09:50.499: D/cocos2d-x debug info
53220编辑于 2022-07-06 - 来自专栏数据魔术师
如何正确初始化神经网络的权重参数
目前训练神经网络模型一般采用的是反向传播算法，即将输入的数据进行正向传递得到输出，通过现有输出和期望输出的差异计算损失函数，计算损失函数对参数的梯度，并将误差沿着梯度的负方向反向传递，神经网络权值参数的更新值与梯度成比例 2. 实验环境：python3.6.5 3. 初始化方法： a）将所有的参数初始化为0 b）标准正态分布去初始化参数 c）均匀分布初始化 d) Xavier初始化 4. 实验结果分析： a）如果将所有的权重都设置为0，则每一层激活函数的输出都是0。 ? 这是因为如果初始化权重全是0，神经元在训练过程中都学习到相同的特征，同一层的神经元是无差异的。 假设数据点跟权重参数独立且服从均值为0，方差为1的分布，那么累加后的的方差为，相对于权重的标准正态分布来说，z其实是个方差很大的高斯分布，那么再经过一个tanh函数（大于2或者小于-2输出分别为1或-1 （均值为0） 2.输入也是独立同分布的（均值为0） 3.权重和输入相互独立 这样我们就可以将和的方差变成每项方差的和： 从Wikipedia上可知，两个独立变量X,Y相乘它们的方差为： 因此，将X替换为
3.8K20发布于 2020-02-28 - 来自专栏疯狂学习GIS
基于Amos路径分析的模型拟合参数详解
前面两篇博客，分别对Amos的基本操作与模型、参数等加以详细介绍，点击下方即可进入对应文章。 博客1[1]：基于Amos的路径分析与模型参数详解 博客2[2]：基于Amos路径分析的输出结果参数详解 本文（也就是博客3）则将由模型拟合度指标入手，对Amos所得到的路径分析模型结果加以度量。 因此，可以用卡方自由度比这一参数作为衡量整体模型拟合度的指标：若其值处于1至3之间，表示模型拟合度可以接受。 2 GFI、AGFI 在模型运行完毕后，点击软件左侧“View Text”按钮，可以查看更为详细的模型结果。 首先点击“Model Fit”。 其大于0.9时认为模型拟合程度可以接受。 6 ECVI 综上可知，结构方程模型对应的模型拟合指标参数很多多。
4.1K30发布于 2021-07-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号