- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器之心
350亿参数、开放权重，Transformer作者创业后推出新大模型
Cohere 推出的模型名为「Command-R」，参数量为 35B，它是一个针对大规模生产工作负载的全新大语言模型研究版本。 该模型属于「可扩展」模型类别，能够平衡高效率和高精度， 使企业用户超越概念验证，进入生产阶段。 具体而言，Command-R 具有以下功能特征： RAG 和工具使用方面的高度准确性 低延迟、高吞吐量 更长的 128k 上下文和更低的价格 跨 10 种主要语言的强大功能 HuggingFace 上提供模型权重以供研究和评估 Command-R 是一系列模型中的首个版本，提高了对企业大规模采用至关重要的功能。 目前，Cohere 在 Huggingface 上开放了模型权重。 对于增强生成，通过识别最相关的信息，Command-R 可以总结、分析、打包这些信息，并帮助员工提高工作效率或者创造全新的产品体验。
47710编辑于 2024-03-18 - 来自专栏CreateAMind
模型权重和多模型推理的基础
在这样一个理想世界中，只会存在一个模型；数据分析人员将处于令人羡慕的境地——只需根据已有数据选择最佳的模型参数拟合方法即可。 将“真实在模型集中”作为条件，与为了在参数分析中开发估计量而对单个模型进行条件化一样无辜。 模型权重即模型概率 模型权重具有非负性，且总和为 1。对于一个模型集合（例如，所有包含某个特定关注参数的模型），其权重通过将该集合中各个模型的权重相加得到。 贝叶斯因子的问题 这一观察结果为客观贝叶斯分析提出了困难，在这种情况下，即使是模糊的、甚至不合适的先验也会被放置在参数上。 针对每组参数先验，我们首先在模型上采用均匀先验概率进行分析，并利用马尔可夫链的输出计算近似的后验模型概率；然后利用这些均匀先验和近似的后验模型概率，对贝叶斯因子进行初步近似。
2110编辑于 2026-03-11 如何利用匠厂生成高权重的产品参数对比分析表？
如果你的产品参数无法进入 AI 的“语义索引库”，或者在 AI 生成的对比分析中处于缺失状态，那么品牌将彻底失去未来的流量入口。 对于 3C 数码、B2B 企业服务等依赖决策咨询的行业，如何生成一套能被 AI 高频采纳的高权重产品参数对比表，是打破信息差、建立信任背书的核心关键。 **环境指纹泄露**：普通的 API 接口发布容易被识别为“机器人行为”，缺乏真人操作的物理模拟，导致发布的语料在搜索引擎中权重极低。 ---## 三、 实战演练：高权重产品参数对比分析表为了让大家更直观地理解，以下是利用匠厂平台生成的典型行业对比分析逻辑，此类表格极易被 AI 引擎识别为“权威选购指南”：| 维度 | 传统 SEO 手法 | 匠厂 GEO 优化方案 | AI 搜索引擎采纳权重 || --- | --- | --- | --- || **内容形态** | 碎片化、情绪化文案 | **结构化 FAQ、参数对比表、白皮书**
12610编辑于 2026-02-09- 来自专栏数据科学
旅行搜索词权重分析
df.dropna() 有效去重复¶ 从每个用户的query session中，获取20个 tag 词 未直接采用全部用户query做tag权重分析 北海道,旅游,澳大利亚,清莱,澳洲,清迈,泰国,厦门,哈尔滨,俄罗斯,香格里拉,丽江 权重词提取¶ 使用所有的用户的top 20 query tag ，汇总计算关键词出现的权重 In [8]: alltags = jieba.analyse.extract_tags(','.join(df.querytag
60730发布于 2018-12-20 - 来自专栏数据分析与挖掘
【colab pytorch】模型权重初始化
注意 model.modules() 和 model.children() 的区别：model.modules() 会迭代地遍历模型的所有子层，而 model.children() 只会遍历模型下的一层
79130发布于 2020-08-26 识别权重变化的潜在因果模型
为此，我们从分析从观测数据中识别潜在变量时存在的三个内在不确定性问题入手：传递性、排列不确定性和缩放不确定性。我们发现，传递性是阻碍潜在因果变量可识别性的关键因素。 为了解决由传递性导致的不可识别问题，我们引入了一种新颖的可识别性条件，即底层潜在因果模型满足一个线性高斯模型，其中因果系数和高斯噪声的分布由一个附加的观测变量进行调制。
3710编辑于 2026-03-11- 来自专栏全栈程序员必看
多模型融合权重如何训练_单因子模型
组合权重优化 组合权重优化在多因子模型中起到了至关重要的作用。组合权重优化的目的在于将组合的风险特征完全定量化，使得投资经理可以清楚的了解组合的收益来源和风险暴露。 ，引入了风险厌恶系数，具体权重优化表达为： 3）最大化组合信息比率 最大化组合信息比率为目标函数以预期收益与预期组合风险的比值作为目标函数，具体权重优化表达为： 上述三种优化目标函数中，第一种方法和第三种方法完全依赖风险模型给定的数据结果进行计算 示意图如下： 研究结果 本文重点是如何得到组合的权重，因此没有讲解因子分析、因子验证、策略构建部分。一旦组合权重完成，策略构建也基本完成。 本文以2019-01-31这一个调仓日为例，分析出当天如果调仓的组合权重。 最后贴出源码和策略克隆链接：基于Barra多因子模型的组合权重优化 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
1.5K20编辑于 2022-11-08 - 来自专栏我爱计算机视觉
浅谈模型压缩之量化、剪枝、权重共享
03 模型剪枝 模型的构成是由许多浮点型的神经元相连接，每一层根据神经元的权重将信息向下传递。但是有一些神经元的权重非常小，这类神经元对整个模型的加载的信息的影响也就微乎其微。 04 模型量化 模型的精度量化并不是简单的将高精度的权重用低精度权重表示就好了，这里面涉及到许多适配硬件的因素。先来看下神经元权重是如何在计算机里表示的。 有相关的人士分析过，从概率分布角度去看，int8的字符长度可以较完整的覆盖大部分的模型权重值。float 32到int8的转变，只需要一个系数乘积将原有的小数部分变为整数。 05 模型共享权重 共享权重的概念指的是模型在构建的过程中是否有些局部的信息在全局是多次出现并重复使用的，举一个卷积神经网络的例子。当CNN模型在识别以下这个图像的时候， ? 那么如果可以通过聚类的方式挖掘出这些可以共享的权重系数，并且以类别的方式让它们共享一些权重，就可以实现模型的压缩。
2.6K21发布于 2020-03-06 - 来自专栏DeepHub IMBA
dLLM：复用自回归模型权重快速训练扩散语言模型
dLLM是一个开源的Python库,它把扩散语言模型的训练、微调、推理、评估这一整套流程都统一了起来，而且号称任何的自回归LLM都能通过dLLM转成扩散模型 扩散模型用在语言上有什么不同 做过图像扩散模型的应该能理解这个思路 把AR模型转成扩散模型 这是dLLM最核心的功能，LLaMA系列模型、instruction-tuned的LLM,甚至BERT这种encoder,都能拿来微调成扩散模型。 支持的模型和训练方式 dLLM自带了几个参考实现:LLaDA/LLaDA-MoE、Dream、BERT-Chat、Edit Flow模型。训练示例覆盖预训练、监督微调(SFT)、评估这几个阶段。 这种方式特别适合代码重构、文档编辑、可控的文本改写这类任务，而dLLM提供了从头训练Edit Flow模型的完整教程。 评估 评估扩散模型确实有点麻烦,dLLM用标准化的脚本解决这个问题。 扩散模型要是想在语言领域站稳脚,就要做到训练简单、评估方便、容易集成，dLLM在这个方向上走了不小一步。 对于在做next-gen语言模型的人来说,这个框架确实值得研究一下。
18210编辑于 2025-12-30 - 来自专栏数据STUDIO
MCMC确定机器学习集成模型最佳权重
当然这么说可能有些武断，但是这样做可以大大简化模型的复杂度，因此马尔科夫链在很多时间序列模型中得到广泛的应用，比如循环神经网络RNN，隐式马尔科夫模型HMM等，当然MCMC也需要它。 |...X_{t−2},X_{t−1},X_t)=P(X_{t+1}|X_t) 既然某一时刻状态转移的概率只依赖于它的前一个状态，那么我们只要能求出系统中任意两个状态之间的转换概率，这个马尔科夫链的模型就定了 =2)) num_bins = 50 plt.hist(pi, num_bins, normed=1, facecolor='red', alpha=0.7) plt.show() MCMC采样集成模型权重 基本步骤 初始化集成模型权重 生产新的权重 如果 MAE 较低，则立即接受新权重，否则接受新权重的概率为 np.exp(-diff/.3) 重复2-3步 初始化权重 设共有 n 个模型，则模型权重为 [1/n,1/n,...,1/n] weight = np.array([1.0/num,]*num) 生产新的权重 目标平稳分布为：高斯分布 π_0(x) 马尔可夫链状态转移矩阵 Q(i,j) 的条件转移概率
40210编辑于 2024-07-24 如何不用yolov5权重或者模型进行目标检测和绘制map等参数图
当你看到这个博客时候，你第一反应肯定是扯犊子，没有模型也能目标检测？是的你没听错，我可以不用权重进行仿真目标检测结果，包括图片，视频以及参数曲线生成。 先来看我生成参数图 可以看出和真的训练参数几乎没有任何区别，而且仿真模拟参数都是可以通过代码控制，比如想把map设置到0.8，loss从0.1开始往下降，epoches改成500等等，都是可以完成。 而且最近我已经实现对视频进行模拟检测，这种技术应用背景产生根本原因是： 很多同学刚接触目标检测，然后也不清楚怎么弄，其实环境搭建，模型训练，测试，准备数据集等一堆操作需要很长时间，关键还有硬件还得GPU 有的同学为了完成作业或者交作业，需要及时获得检测结果，还有视频结果以及参数图，而这些都需要一个高精度模型才能完成这样的任务，如果能够模拟生成则可以省略掉硬件准备，数据集标注，模型训练等一系列操作，而且快速完成作业 ，虽然这样做可以解燃眉之急，但是我还是推荐大家老老实实训练自己的模型，这样才能收获到真的知识，而使用我这种办法有一种投机倒把，当然也可以锻炼自己代码编写能力。
11410编辑于 2025-07-18- 来自专栏运维开发王义杰
AI: 大模型权重的理解与应用
然而，对于许多人来说，理解这些大模型的内部机制，尤其是它们的权重（weights），仍然是一个挑战。在这篇文章中，我们将深入探讨大模型的权重及其重要性。 什么是大模型权重？ 大模型权重是指模型中每个神经元连接的参数。这些权重在训练过程中不断调整，以使模型能够更准确地预测输出。简单来说，权重决定了输入数据如何通过模型被处理和转换。 权重的重要性 权重在模型中的作用类似于人类大脑中的神经连接强度。不同的权重组合让模型能够识别和分类各种复杂的模式。 例如，在图像识别任务中，模型通过调整权重来识别图像中的边缘、形状和颜色；在自然语言处理任务中，模型通过权重来理解单词之间的关系和上下文。 权重的初始化 在训练模型之前，权重需要被初始化。 权重共享 在一些大模型中，如卷积神经网络（CNN），权重共享是一种常见技术。通过在不同的神经元之间共享相同的权重，可以减少模型的参数数量，从而降低计算复杂度和存储需求。
3.5K11编辑于 2024-07-10 - 来自专栏DeepHub IMBA
卷积神经网络中的参数共享权重复制
参数共享或权重复制是深度学习中经常被忽略的领域。但是了解这个简单的概念有助于更广泛地理解卷积神经网络的内部。卷积神经网络（cnn）能够使那些通过网络馈送的图像在进行仿射变换时具有不变性。 卷积层的输出是一组特征图，其中每个特征图是单元内固定权重参数与输入数据之间的卷积运算结果。 （包括偏差） 计算使用权值共享的训练参数（包括偏差）的数量 下表描述了来自AlexNet和LeNet CNN架构的信息，这些信息将用于得出卷积层内训练参数/权重的数量。 显然，通过参数共享，我们可以减少conv层中的权重数量。 参数共享用于网络中的所有conv层。 参数共享减少了训练时间；这是减少反向传播过程中必须进行的权重更新次数的直接好处。 重申一下，当根据过滤器与卷积层中某个平面内某个单元的输入数据之间的卷积结果生成特征图时就会产生参数共享。此层平面内的所有单元共享相同的权重；因此称为权重/参数共享。
2.4K20发布于 2020-07-24 - 来自专栏mathor
Huggingface 预训练模型权重下载的问题
文章转自Hugging face预训练模型 Hugging face简介 Hugging face是一个专注于NLP的公司，拥有一个开源的预训练模型库Transformers ，里面囊括了非常多的模型例如 BERT GPT 等 模型库 官网的模型库的地址如下：https://huggingface.co/models ? 使用Windows模型保存的路径在C:\Users\[用户名]\.cache\torch\transformers\目录下，根据模型的不同下载的东西也不相同 使用Linux模型保存的路径在~/.cache 存在的问题 这些前提是你的电脑有网络可以直接使用代码下载相应的模型文件，但是问题是有些机器是没有外网连接权限或者下载速度非常慢。 这时候就需要把模型文件下载后在导入代码中，还是以刚才的 hfl/chinese-xlnet-base模型为例，直接在官网搜索模型，点击进入模型的详情界面 ?
9.7K20发布于 2020-11-09 - 来自专栏疯狂学习GIS
基于Amos路径分析的模型拟合参数详解
前面两篇博客，分别对Amos的基本操作与模型、参数等加以详细介绍，点击下方即可进入对应文章。 博客1[1]：基于Amos的路径分析与模型参数详解 博客2[2]：基于Amos路径分析的输出结果参数详解 本文（也就是博客3）则将由模型拟合度指标入手，对Amos所得到的路径分析模型结果加以度量。 因此，可以用卡方自由度比这一参数作为衡量整体模型拟合度的指标：若其值处于1至3之间，表示模型拟合度可以接受。 因此，相当于饱和模型与独立模型属于结构方程模型的两个极端，而我们的默认模型就位于二者之间。 我们继续看参数。在第二个表格中找到“GFI”与“AGFI”。 ? 其大于0.9时认为模型拟合程度可以接受。 6 ECVI 综上可知，结构方程模型对应的模型拟合指标参数很多多。
4K30发布于 2021-07-22 - 来自专栏全栈程序员必看
基于Amos路径分析的模型拟合参数详解
基于Amos路径分析的模型拟合参数详解 1 卡方、自由度、卡方自由度比 2 GFI、AGFI 3 RMR、RMSEA 4 CFI 5 NFI、TLI（NNFI） 6 ECVI 7 AIC、BIC、CAIC 前面两篇博客，分别对Amos的基本操作与模型、参数等加以详细介绍，点击下方即可进入对应文章。 博客1：基于Amos的路径分析与模型参数详解 博客2：基于Amos路径分析的输出结果参数详解 本文（也就是博客3）则将由模型拟合度指标入手，对Amos所得到的路径分析模型结果加以度量。 因此，可以用卡方自由度比这一参数作为衡量整体模型拟合度的指标：若其值处于1至3之间，表示模型拟合度可以接受。 其大于0.9时认为模型拟合程度可以接受。 6 ECVI 综上可知，结构方程模型对应的模型拟合指标参数很多多。
5.5K31编辑于 2022-09-23 - 来自专栏数据魔术师
如何正确初始化神经网络的权重参数
目前训练神经网络模型一般采用的是反向传播算法，即将输入的数据进行正向传递得到输出，通过现有输出和期望输出的差异计算损失函数，计算损失函数对参数的梯度，并将误差沿着梯度的负方向反向传递，神经网络权值参数的更新值与梯度成比例 相反，如果权重参数设置过小，，那么根据链式法则可得，靠近输入层的权值参数更新缓慢或者更新停止，除了w过小会造成梯度消失的问题之外，激活函数选择不合适，其导数过小也会造成梯度消失的问题（比如采用Sigmoid 实验结果分析： a）如果将所有的权重都设置为0，则每一层激活函数的输出都是0。 ? 这是因为如果初始化权重全是0，神经元在训练过程中都学习到相同的特征，同一层的神经元是无差异的。 假设数据点跟权重参数独立且服从均值为0，方差为1的分布，那么累加后的的方差为，相对于权重的标准正态分布来说，z其实是个方差很大的高斯分布，那么再经过一个tanh函数（大于2或者小于-2输出分别为1或-1 ，将Y替换为，有： 而当输入和权重均值都为0的时候，就有： 根据第一个假设权重参数服从独立同分布，所以： 根据第二个假设输入参数服从独立同分布，所以： 所以我们可以得到： 同样，也有 所以，最终： 为了保持方差在各层间保持不变
3.8K20发布于 2020-02-28 - 来自专栏量子位
千亿参数大模型首次被撬开！Meta复刻GPT-3“背刺”OpenAI，完整模型权重及训练代码全公布
梦晨 萧箫 发自 凹非寺 量子位 | 公众号 QbitAI 千亿级参数AI大模型，竟然真的能获取代码了？！ 一觉醒来，AI圈发生了一件轰动的事情—— Meta AI开放了一个“重达”1750亿参数的大语言模型OPT-175B，不仅参数比GPT-3的3750亿更少，效果还完全不输GPT-3—— 这意味着AI科学家们 为了方便研究人员“量力而行”，Meta AI搞出了各种大小的OPT模型，从125M参数到1750亿参数的不同大小模型都有。 其中，660亿参数的模型还在制作中，马上也会和大伙儿见面： 所以，最大的OPT-175B模型究竟有多高效，又是怎么做到的？ 第二层API开放，允许研究人员探索和评估现有模型的能力（如推理能力）和限制（如偏见） 第三层模型权重开放和训练数据开放。
90280编辑于 2022-05-05 - 来自专栏疯狂学习GIS
基于Amos的路径分析与模型参数详解
博客2[1]：基于Amos路径分析的输出结果参数详解 博客3[2]：基于Amos路径分析的模型拟合参数详解 博客4[3]：基于Amos路径分析的模型修正与调整 1 数据准备 本文所用数据包括某地百余个土壤采样点对应的一种土壤属性含量变量 其中，左上角“Discrepancy”（误差）方框内为模型拟合参数的估计方法。 3.需要进行Anova分析或Manova分析。 需要注意的是，当均值和截距是高度约束的模型参数时，应考虑在此框中填写0。 此处参数更为细致的介绍可以查看这篇博客[4]，此处参数的具体分析方法可以查看这篇博客[5]。 ? 3.3 模型运行 点击软件左侧“Calculate estimaters”，即可对模型加以运行。
3K30发布于 2021-07-22 - 来自专栏林欣哲
隐含层权重参数的初始化方式的对比实验
65.340% -- tf.random_uniform [0, 1) Loss 64.356 -- tf.random_uniform [0, 1) 设置 UniformDistribution权重的方式 97.020% -- Normal 97.480% -- Truncated Normal Loss 0.088 -- Normal 0.034 -- Truncated Normal 模型再大点差别会更明显 ，因为正态分布有些过大过小的数会影响模型，而截断他就少受影响 结论 一般来说就用 TruncatedNormalDistribution，效果是最猴滴～
1.1K70发布于 2018-04-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号