- 综合排序
- 最热优先
- 最新优先
- 来自专栏CreateAMind
模型权重和多模型推理的基础
作者强调： 模型权重应被理解为后验模型概率：在“真实模型位于所考虑模型集合中”的条件下，模型权重代表该模型为真的概率。 模型权重即模型概率 模型权重具有非负性，且总和为 1。对于一个模型集合（例如，所有包含某个特定关注参数的模型），其权重通过将该集合中各个模型的权重相加得到。 这样，我们便能通过隐含的先验权重来评估一组模型权重，即探究：什么样的先验加权方案会导致这组权重成为后验模型权重。 贝叶斯因子然后与先验模型权重结合以计算后验模型权重。 此外，我们还考虑了均匀先验模型权重（即对所考察的五个模型每个赋予权重 1/5）；奥卡姆权重（偏好简约模型，其先验权重与 exp[−参数个数] 成正比）；以及复杂性权重（适度偏好更复杂的模型，以反映“真实情况是复杂的
17710编辑于 2026-03-11 - 来自专栏数据分析与挖掘
【colab pytorch】模型权重初始化
注意 model.modules() 和 model.children() 的区别：model.modules() 会迭代地遍历模型的所有子层，而 model.children() 只会遍历模型下的一层
80430发布于 2020-08-26 识别权重变化的潜在因果模型
为了解决由传递性导致的不可识别问题，我们引入了一种新颖的可识别性条件，即底层潜在因果模型满足一个线性高斯模型，其中因果系数和高斯噪声的分布由一个附加的观测变量进行调制。
9210编辑于 2026-03-11- 来自专栏我爱计算机视觉
浅谈模型压缩之量化、剪枝、权重共享
03 模型剪枝 模型的构成是由许多浮点型的神经元相连接，每一层根据神经元的权重将信息向下传递。但是有一些神经元的权重非常小，这类神经元对整个模型的加载的信息的影响也就微乎其微。 如果可以把这些权重较小的神经元删减掉，既减少了模型大小，也不会对模型的效果带来大的影响。 简单理解的话如下图所示: ? 04 模型量化 模型的精度量化并不是简单的将高精度的权重用低精度权重表示就好了，这里面涉及到许多适配硬件的因素。先来看下神经元权重是如何在计算机里表示的。 05 模型共享权重 共享权重的概念指的是模型在构建的过程中是否有些局部的信息在全局是多次出现并重复使用的，举一个卷积神经网络的例子。当CNN模型在识别以下这个图像的时候， ? 那么如果可以通过聚类的方式挖掘出这些可以共享的权重系数，并且以类别的方式让它们共享一些权重，就可以实现模型的压缩。
2.7K21发布于 2020-03-06 - 来自专栏全栈程序员必看
多模型融合权重如何训练_单因子模型
结构化多因子风险模型首先对收益率进行简单的线性分解，分解方程中包含四个组成部分：股票收益率、因子暴露、因子收益率和特质因子收益率。 组合权重优化 组合权重优化在多因子模型中起到了至关重要的作用。组合权重优化的目的在于将组合的风险特征完全定量化，使得投资经理可以清楚的了解组合的收益来源和风险暴露。 ，引入了风险厌恶系数，具体权重优化表达为： 3）最大化组合信息比率 最大化组合信息比率为目标函数以预期收益与预期组合风险的比值作为目标函数，具体权重优化表达为： 上述三种优化目标函数中，第一种方法和第三种方法完全依赖风险模型给定的数据结果进行计算 示意图如下： 研究结果 本文重点是如何得到组合的权重，因此没有讲解因子分析、因子验证、策略构建部分。一旦组合权重完成，策略构建也基本完成。 最后贴出源码和策略克隆链接：基于Barra多因子模型的组合权重优化 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
1.5K20编辑于 2022-11-08 - 来自专栏数据STUDIO
MCMC确定机器学习集成模型最佳权重
当然这么说可能有些武断，但是这样做可以大大简化模型的复杂度，因此马尔科夫链在很多时间序列模型中得到广泛的应用，比如循环神经网络RNN，隐式马尔科夫模型HMM等，当然MCMC也需要它。 |...X_{t−2},X_{t−1},X_t)=P(X_{t+1}|X_t) 既然某一时刻状态转移的概率只依赖于它的前一个状态，那么我们只要能求出系统中任意两个状态之间的转换概率，这个马尔科夫链的模型就定了 =2)) num_bins = 50 plt.hist(pi, num_bins, normed=1, facecolor='red', alpha=0.7) plt.show() MCMC采样集成模型权重 基本步骤 初始化集成模型权重 生产新的权重 如果 MAE 较低，则立即接受新权重，否则接受新权重的概率为 np.exp(-diff/.3) 重复2-3步 初始化权重 设共有 n 个模型，则模型权重为 [1/n,1/n,...,1/n] weight = np.array([1.0/num,]*num) 生产新的权重 目标平稳分布为：高斯分布 π_0(x) 马尔可夫链状态转移矩阵 Q(i,j) 的条件转移概率
47510编辑于 2024-07-24 - 来自专栏DeepHub IMBA
dLLM：复用自回归模型权重快速训练扩散语言模型
dLLM是一个开源的Python库,它把扩散语言模型的训练、微调、推理、评估这一整套流程都统一了起来，而且号称任何的自回归LLM都能通过dLLM转成扩散模型 扩散模型用在语言上有什么不同 做过图像扩散模型的应该能理解这个思路 把AR模型转成扩散模型 这是dLLM最核心的功能，LLaMA系列模型、instruction-tuned的LLM,甚至BERT这种encoder,都能拿来微调成扩散模型。 支持的模型和训练方式 dLLM自带了几个参考实现:LLaDA/LLaDA-MoE、Dream、BERT-Chat、Edit Flow模型。训练示例覆盖预训练、监督微调(SFT)、评估这几个阶段。 这种方式特别适合代码重构、文档编辑、可控的文本改写这类任务，而dLLM提供了从头训练Edit Flow模型的完整教程。 评估 评估扩散模型确实有点麻烦,dLLM用标准化的脚本解决这个问题。 扩散模型要是想在语言领域站稳脚,就要做到训练简单、评估方便、容易集成，dLLM在这个方向上走了不小一步。 对于在做next-gen语言模型的人来说,这个框架确实值得研究一下。
23810编辑于 2025-12-30 - 来自专栏运维开发王义杰
AI: 大模型权重的理解与应用
然而，对于许多人来说，理解这些大模型的内部机制，尤其是它们的权重（weights），仍然是一个挑战。在这篇文章中，我们将深入探讨大模型的权重及其重要性。 什么是大模型权重？ 大模型权重是指模型中每个神经元连接的参数。这些权重在训练过程中不断调整，以使模型能够更准确地预测输出。简单来说，权重决定了输入数据如何通过模型被处理和转换。 权重的重要性 权重在模型中的作用类似于人类大脑中的神经连接强度。不同的权重组合让模型能够识别和分类各种复杂的模式。 例如，在图像识别任务中，模型通过调整权重来识别图像中的边缘、形状和颜色；在自然语言处理任务中，模型通过权重来理解单词之间的关系和上下文。 权重的初始化 在训练模型之前，权重需要被初始化。 结论 大模型权重是机器学习模型中至关重要的组成部分。通过理解和调整这些权重，我们能够构建出功能强大、性能优异的模型。尽管权重的概念可能看似复杂，但它们实际上是模型学习和推理能力的核心。
3.8K11编辑于 2024-07-10 - 来自专栏mathor
Huggingface 预训练模型权重下载的问题
文章转自Hugging face预训练模型 Hugging face简介 Hugging face是一个专注于NLP的公司，拥有一个开源的预训练模型库Transformers ，里面囊括了非常多的模型例如 BERT GPT 等 模型库 官网的模型库的地址如下：https://huggingface.co/models ? 使用Windows模型保存的路径在C:\Users\[用户名]\.cache\torch\transformers\目录下，根据模型的不同下载的东西也不相同 使用Linux模型保存的路径在~/.cache 存在的问题 这些前提是你的电脑有网络可以直接使用代码下载相应的模型文件，但是问题是有些机器是没有外网连接权限或者下载速度非常慢。 这时候就需要把模型文件下载后在导入代码中，还是以刚才的 hfl/chinese-xlnet-base模型为例，直接在官网搜索模型，点击进入模型的详情界面 ?
9.7K20发布于 2020-11-09 - 来自专栏烹饪一朵云
权重认知
bmatrix} x_1 \\ x_2 \\ 1 \end{bmatrix} 此时代码构造为 dataMat = buildMat(Input) weights = ones((n, 1)) # 初始化权重向量为 我们初始化权重向量的时候，为何默认为1？ weights = ones((n, 1)) # 初始化权重向量 当初始化为0，在计算梯度时，gradient为0，后续的计算无意义 gradient = dataMat * mat(weights) [ -66.06053372][3143.37196469]]主要到-1会令sigmod函数溢出，此时的直线为 [image.png] 当初始化为2，此时的直线为 [image.png] 原因是在计算权重的时候 ，已然被约分 b=\frac{weights[0]}{weights[2]};w=\frac{weights[1]}{weights[2]} 关于权重计算 为何 b=\frac{weights[0
2.8K00发布于 2020-06-19 - 来自专栏coding个人笔记
css权重
这其实跟CSS权重有关。面试一问CSS权重的问题，应该百分之99的人随口都能说出： ! 其实有很多都不知道为什么，但其实权重是可以计算的： ! yellow;}权重10 所以页面显示的是红色。 再比如这个： div p a{color: yellow;}权重：1+1+1=3 div a{color: blue;}权重：1+1=2 a{color: red}权重：1
权重的计算是这样的，样式里面能定位到这个元素的样式，也就是说很多样式规则应用到某一个元素上的时候，每一个的样式权重计算出来，优先高权重的样式，如果权重一样则比较顺序1.3K30发布于 2020-04-23 - 来自专栏Devops专栏
CSS 权重
CSS权重 CSS权重指的是样式的优先级，有两条或多条样式作用于一个元素，权重高的那条样式对元素起作用,权重相同的，后写的样式会覆盖前面写的样式。 权重的等级 可以把样式的应用方式分为几个等级，按照等级来计算权重 1、! important，加在样式属性值后，权重值为 10000 2、内联样式，如：style=””，权重值为1000 3、ID选择器，如：#content，权重值为100 4、类，伪类和属性选择器，如 ： content、:hover 权重值为10 5、标签选择器和伪元素选择器，如：div、p、:before 权重值为1 6、通用选择器（*）、子选择器（>）、相邻选择器（+）、同胞选择器（~）、权重值为 -- 第一条样式的权重计算： 100+1+10+1，结果为112； 第二条样式的权重计算： 100+10+1，结果为111； h2标题的最终颜色为red --> 实践开发情况中，这种样式权重比较的情况应该是比较少的
2.6K20发布于 2019-05-31 - 来自专栏一个有趣的灵魂W
Numpy简述神经网络模型权重搜索原理-Pytorch引文
同时，让我们顺带复习一下基本的求导、前馈、权重、Loss等词汇在深度学习里是怎么运作的吧： 正文开始： 学习torch之前，容我们思考一下，深度学习模型的学习思维和逻辑过程。 假如，面对我们的是一个线性模型：Y=wX。那我们最关键的是学习（训练、调整）权重w的值。 权重不断的在改变中经过了2，但并没有停止的意思。因此我们的模型并不能给我们最终结果为2。 03 — 由此，我们需要优化： 优化的过程需要涉及到求导，导数为0的时候就是我们线性函数的最优解（暂时）。
36720编辑于 2023-10-06 - 来自专栏小鹏的专栏
tf37：tensorflow中将模型的权重值限定范围
MachineLP的Github（欢迎follow）：https://github.com/MachineLP 我们在搭建模型的时候，受到一些收敛条件的限制，像wgan_loss需要讲权重设置在[-0.01 _ = session.run(clip_disc_weights) 总结，wgan_loss不加入权重限制不会收敛，同时wgan时候经过严格的理论推导，当理论不充分时，在使用的时候需要多实验室
1K30编辑于 2022-05-09 - 来自专栏Spring相关
Css权重解析
Css权重解析 关于CSS权重，我们需要一套计算公式来去计算，这个就是 CSS Specificity，我们称为CSS 特性或称非凡性，它是一个衡量CSS值优先级的一个标准 具体规范入如下： specificity important贡献值 重要的 ∞ 无穷大 权重是可以叠加的 比如的例子： div ul li ------> 0,0,0,3 .nav ul li ------> 继承的 权重是 0 总结优先级： 使用了 !important声明的规则。 内嵌在 HTML 元素的 style属性里面的声明。 使用了 ID 选择器的规则。 总结：权重是优先级的算法，层叠是优先级的表现
1.3K20发布于 2018-09-10 - 来自专栏全栈程序员必看
深度学习优化策略—权重、权重初始化与权重衰减「建议收藏」
权重的维度保持为 2 的幂 即便是运行最先进的深度学习模型，使用最新、最强大的计算硬件，内存管理仍然在字节（byte）级别上进行。 权重初始化 （Weight Initialization） 永远用小的随机数字初始化权重，以打破不同单元间的对称性（symmetry）。但权重应该是多小呢？推荐的上限是多少？ （weight decay） 参考：权重衰减（weight decay）与学习率衰减（learning rate decay） L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题 系数λ就是权重衰减系数。 为什么可以给权重带来衰减 权重衰减（L2正则化）的作用 作用：权重衰减（L2正则化）可以避免模型过拟合问题。 原理：（1）从模型的复杂度上解释：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合更好（这个法则也叫做奥卡姆剃刀），而在实际应用中，也验证了这一点，L2正则化的效果往往好于未经正则化的效果
1.9K10编辑于 2022-11-10 - 来自专栏深度学习那些事儿
pytorch中读取模型权重数据、保存数据方法总结
pytorch中保存数据策略在长时间的深度训练中有很大的作用，我们可以通过保存训练好的权重，然后等到下次使用的时候再取出来。另外我们也可以通过迁移学习使用别人训练好的数据进行训练。 pytorch保存数据 pytorch保存数据的格式为.t7文件或者.pth文件，t7文件是沿用torch7中读取模型权重的方式。而pth文件是python中存储文件的常用格式。 /checkpoint/autoencoder.t7') 保存用到torch.save函数，注意该函数第一个参数可以是单个值也可以是字典，字典可以存更多你要保存的参数（不仅仅是权重数据）。 ，一般使用的格式是pth，使用官方的模型读取命令会检查你模型的格式是否正确，如果不是使用官方提供模型通过下面的函数强行读取模型(将其他模型例如caffe模型转过来的模型放到指定目录下)会发生错误。 pytorch模型([0-255,BGR])，我们可以使用： model_dir = '自己的模型地址' model = VGG() model.load_state_dict(torch.load(model_dir
26.9K80发布于 2018-06-21 - 来自专栏媒矿工厂
基于权重图模型的VR视频比特分配方案
最新进展 上海交通大学图像所研究团队提出了一种基于权重图模型的比特分配方案，在一定程度上优化了全景视频编码的质量，这个方案主要包含两个步骤。 第一步是权重图模型的建立。 本算法的权重图模型沿用了WS-PSNR计算过程中所使用的权重图模型。在标准的ERP映射格式下，每个单位面积矩形小块区域所对应的球面面积是不一样的。 假设平面视频是分辨率为MxN的ERP格式的视频，由球面到平面的映射函数关系可知，每个采样点的权重为： ? 下图为一帧图像的权重示意图。黑色区域的权重较小，白色区域的权重较大。 ? 其中μ是权重因子，大小范围为0-1之间，代表着纹理复杂度所占的权重大小。T'CTU是原始HEVC框架中的比特，T"CTU是基于权重图模型的比特。 这个CTU级比特方案权衡了基于图像复杂度的比特分配和权重图模型的比特分配，既考虑到VR视频的失真权重，又考虑到了视频本身的纹理程度。 下表是提出的方法相对于HEVC原始方法的BD-RATE。
1.5K40发布于 2018-03-05 - 来自专栏深度学习那些事儿
AI部署系列：你知道模型权重的小秘密吗？？？
今天简单聊聊模型权重，也就是我们俗称的weight。 深度学习中，我们一直在训练模型，通过反向传播求导更新模型的权重，最终得到一个泛化能力比较强的模型。 所谓的AI模型部署阶段，说白了就是将训练好的权重挪到另一个地方去跑。一般来说，权重信息以及权重分布基本不会变（可能会改变精度、也可能会合并一些权重）。 如果一个模型中的权重分布大部分都处在溢出边缘的话，那么模型转换完FP16精度的模型指标可能会大大下降。 可以看到只有模型中有参数权重的表示，并不包含模型结构。不过我们可以通过.py的模型结构一一加载.pth的权重到我们模型中即可。 看一下我们读取.pth后，state_dict的key。 但是训练好的模型权重我们是可以看到的，模型的基本结构我们也是可以知道的，虽然无法证明模型为什么起作用？为什么work？
2.9K30编辑于 2023-10-19 - 来自专栏全栈程序员必看
【综合评价方法 变异系数权重法】指标权重确定方法之变异系数权重法
变异系数法是直接利用各项指标所包含的信息，通过计算得到指标的权重。是一种客观赋权的方法。 3、然后计算每个指标的权重。 4、然后计算每个部落的总分。 5、然后对总分进行max-min归一化。 6、然后将总分值映射成0-100之间的分数作为部落的热度值。 变异系数确定权重源代码实现： # -*- encoding=utf-8 -*- import pandas as pd import numpy as np # 自定义归一化函数 def autoNorm context_train_mean # 对变异系数求和 sum_context_train_cof_var = context_train_cof_var.sum() # 得出权重 context_train_wi = context_train_cof_var/sum_context_train_cof_var # 将权重转换为矩阵 cof_var
3.6K20编辑于 2022-08-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号