首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏奇点大数据

    话说量化4

    货币——也就是我们俗称的“钱”是世界上最可爱的东西之一,可以说没有它的刺激,也就没有我们现在这么繁荣的市场,也没有这么丰富的各类物质产品和幸福生活。

    79020发布于 2018-09-14
  • 来自专栏GiantPandaCV

    INT4量化用于目标检测

    Int 4量化用于目标检测 【GiantPandaCV】文章2019 CVPR,讲的是Int 4量化用于目标检测,主要是工程化的一些trick。 感受:这篇文章主要是做了实践工作,可以看作是低bit量化(Int 4)用于目标检测的一些trick。 的Int算法即Int-4。 并且让activation在[,] (0 < < 1) 内,文章设置n=20,=0.999. 4、折叠bn。 Int4量化与全精度对比 ? 消融实验 ? FreezeBN与不同bit的对比 ? 截断激活函数阈值的百分比 ? 与其他量化方法的对比图

    1.5K20发布于 2021-03-24
  • 来自专栏机器学习与统计学

    DeepSeek V4 Flash 量化版火了

    简介 事情其实是这样的:antirez 同步开源了两件配套的事: DeepSeek V4 Flash 的专用量化版 GGUF:托管在 huggingface.co/antirez/deepseek-v4 大概率会持续放 v4 Flash 的更新版本 整篇 README 我读下来感觉是:antirez 真的喜欢这个模型,所以才愿意花精力做一个"专用引擎+专用量化"的组合 量化方案(这部分是干货) 仓库里现在主要有几类文件 : 文件 适合场景 量化重点 DeepSeek-V4-Flash-IQ2XXS-w2Q2K-... 不能单独跑,搭配主模型做投机解码实验 imatrix/DeepSeek-V4-Flash-chat-v2-routed-moe-ds4-1p5m.dat 量化校准数据 给 imatrix 版本服务 legacy 版本:q2 / q4 还在,但现在脚本里更推荐 imatrix 版本 DeepSeek V4 Flash 和 ds4 部署栈 量化思路里有一段我特别认同: ❝路由专家占了模型参数的大头,但每个专家只处理一小部分

    1.6K10编辑于 2026-05-19
  • 来自专栏AI机器学习与深度学习算法

    机器学习入门 5-4量化

    本小节主要介绍使用向量化的方式提升性能。 简单线性回归 先来回归一下简单线性回归优化目标以及通过最小二乘的方式求得的参数a,b的解析解。 ? 在上一个小节中,我们是通过循环的方式来求解分子和分母,前面也说过,使用for循环的这种方式,性能相对是比较低的,如果有办法将for循环的计算变成向量之间的计算的话,得益于numpy模块性能就会大大的提升,这就是向量化运算含义 上面我们将对应元素相乘然后相加的操作看成是向量之间的点乘,这也是为什么在最小二乘求解a的解析解的时候要把式子写成相乘累加的形式,这样就可以将其转换成向量之间的运算,进行向量化运算提升性能。 使用向量化运算实现线性回归算法 前面使用sklearn的思想封装了一个名为"SimpleLinearRegression1"的类,在类中使用for循环的方式来求解参数a的值。 ? ? ? ? 实现向量化的代码只需将for循环部分改成向量点乘即可: ? ? ? ? 为了比较两者的性能,将两种方式导入jupyter中,通过魔法命令来验证性能。 ? ? ? ?

    94820发布于 2019-11-13
  • 来自专栏可以叫我才哥

    使用Python进行量化投资A股的4 种方法!

    大家应该都知道,Python的一个应用方向就是——量化交易,恰好最近收到了清华出版社赠送的 《深入浅出Python量化交易实战》 一书,因为平时对数据科学和机器学习都比较感兴趣,简单试读了一下,今天文末也会送出几本 2021年11月1日后用户将无法从中国大陆使用 Yahoo 的产品与服务) yfinance 另外,yfinance也有类似的功能,使用方法也很简单 Tushare 当然,说到用 Python 进行量化交易 JoinQuant 最后一种方法来获取数据就是用现成的量化平台。这里我用joinquant实验了一下 可以看到,通过平台获取数据,还是比较简单的。 http://mpvideo.qpic.cn/0bc3lqaaaaaaoyaj25qpmbrfaxgdaboaaaaa.f10002.mp4? dis_k=4e6da654e1bbc5d6818c55e3835d64ea&dis_t=1649751382&vid=wxv_2274959819105320960&format_id=10002&support_redirect

    2K10编辑于 2022-04-12
  • 来自专栏DrugScience

    量化合物库筛选策略–P4

    上期回顾 超量化合物库筛选策略–P1 超量化合物库筛选策略–P2 超量化合物库筛选策略–P3 具体步骤 5. #1])]=O','[CX4][Cl,Br,I]','[R][Cl,Br,I]','[N;H2;D1;$(N-!@[#6]);! $(N-C=[O,N,S])]'), ('[CX4][Cl,Br,I]', '[R][Cl,Br,I]'), ('[CX4][Cl,Br,I]', '[N;H2;D1;$(N-!@[#6]);! $(N-C=[O,N,S])]'), ('[CX4][Cl,Br,I]', '[N;H1;D2;$(N(-[#6])-[#6]);! #1])]=O','[CX4][Cl,Br,I]','[R][Cl,Br,I]','[N;H2;D1;$(N-!@[#6]);!

    66710编辑于 2022-05-17
  • DeepSeek-7B-chat 4bits量化 QLora 微调

    DeepSeek-7B-chat 4bits量化 QLora 微调 概述 本节我们简要介绍如何基于 transformers、peft 等框架,对 DeepSeek-7B-chat 模型进行 Lora =True, # 是否在4位精度下加载模型。 如果设置为True,则在4位精度下加载模型。 bnb_4bit_compute_dtype=torch.half, # 4位精度计算的数据类型。 bnb_4bit_quant_type="nf4", # 4位精度量化的类型。这里设置为"nf4",表示使用nf4量化类型。 bnb_4bit_use_double_quant=True # 是否使用双精度量化。如果设置为True,则使用双精度量化

    71510编辑于 2025-07-17
  • 来自专栏生信技能树

    信息熵的4量化指标的R代码实现

    d50.index(b3) [1] 0.5 > d50.index(1:100) [1] 0.5 > d50.index(1:1000) [1] 0.5 > d50.index(c(1,2,2,2,3,4) 总结 上面我写的4个公式里面只有基尼系数计算必须输入的是数值,或者把非数值变量取频数后再进行计算。而且仅仅是只有基尼系数是越大,贫富差距越大,多样性越差。其它的数值都是越小多样性越差。

    2K40发布于 2020-05-26
  • 来自专栏DeepHub IMBA

    NVFP4量化技术深度解析:4位精度下实现2.3倍推理加速

    传统INT4量化在推理过程中无法直接处理4位数值,必须先将INT4权重反量化为16位数值才能进行计算,这一额外步骤虽然在SGLang和vLLM等现代推理框架中已经高度优化,但仍然产生计算开销并限制了整体速度 无需反量化操作直接带来了更高的推理吞吐量。 如果希望保持激活精度以最大化模型准确性,可选择NVFP4A16方案,该方案仅量化权重,通常无需校准数据集。 值得注意的是,NVFP4还对激活进行量化,但精度基本保持稳定,特别是与仅量化权重的NVFP4A16相比差异很小。 测试结果还证实了激活量化对保持速度优势的关键作用——仅量化权重的NVFP4A16模型速度提升有限,仅略快于INT4模型。 从技术角度看,NVFP4模型的QLoRA微调是完全可行。NVFP4本质上只是一种数据类型和量化格式,QLoRA可以应用于任何格式和数据类型的量化模型。

    1.7K10编辑于 2025-11-15
  • 来自专栏GiantPandaCV

    NCNN+INT8+YOLOV4量化模型和实时推理

    【GiantPandaCV导语】本文记录了作者使用NCNN量化YOLOV4模型并进行推理的全过程,过程比较详细,希望对想使用NCNN这一功能的读者有帮助。 (ncnn2table)新特性 支持 kl aciq easyquant 三种量化策略 支持多输入的模型量化 支持RGB/RGBA/BGR/BGRA/GRAY输入的模型量化 大幅改善多线程效率 离线进行 ,安装和编译过程可以看我的另一条博客: https://zhuanlan.zhihu.com/p/368653551 2.2 yolov4-tiny量化int8 在量化前,先不要着急,我们先看看ncnn 也就是说,在进行量化前,我们需要yolov4-tiny.bin和yolov4-tiny.param这两个权重文件,因为想快速测试int8版本的性能,这里就不把yolov4-tiny.weights转yolov4 /ncnn2int8 yolov4-tiny-opt.param yolov4-tiny-opt.bin yolov4-tiny-int8.param yolov4-tiny-int8.bin yolov4

    3.1K30发布于 2021-05-18
  • 来自专栏拓端tecdat

    JupyterLab实现医疗推理数据集Llama4Scout的4-bit量化、LoRA低秩适配、SFT有监督微调|轻量化适配

    模型4-bit量化加载代码import osimport torchfrom transformers import AutoTokenizer, Llama4ForConditionalGeneration 量化参数,修改变量名,降低模型显存占用quant_4bit_config = BitsAndBytesConfig( load_in_4bit=True, # 开启4-bit量化 bnb_4bit_use_double_quant =False, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16,)......上述代码执行后,模型将以4-bit量化的形式完成加载 总结本文基于实际的客户咨询项目,详细拆解了如何通过云GPU平台实现Llama 4 Scout大模型的低成本、轻量化微调,通过4-bit量化、LoRA低秩适配、多GPU分布式训练等技术优化,将原本需要4张高端 后续我们将继续探索更大规模Llama 4模型的轻量化微调技术,同时针对更多垂直领域开展大模型的适配研究,优化模型的泛化能力与行业适配性,推动大语言模型的普惠化落地。

    32510编辑于 2026-02-10
  • 来自专栏AI人工智能

    模型量化大揭秘:INT8、INT4量化对推理速度和精度的影响测试

    在我过去两年的实践中,我系统性地测试了INT8和INT4量化技术在不同模型架构上的表现,发现量化技术不仅能够将模型大小压缩2-4倍,还能在特定硬件上实现1.5-3倍的推理速度提升。然而,量化并非银弹。 本文将基于我在多个实际项目中的量化实践经验,深入剖析INT8和INT4量化技术的原理、实现方法和性能表现。 INT4量化的极限压缩探索3.1 INT4量化的挑战与机遇INT4量化将模型压缩推向了极限,但也带来了更大的精度挑战:class INT4Quantizer: """INT4量化器 - 实现4量化 INT4量化中的关键技术,通过将权重分成小组并为每组计算独立的量化参数,可以显著提高量化精度。 量化优化关键词标签#模型量化 #INT8量化 #INT4量化 #推理优化 #AI部署

    3K21编辑于 2025-08-20
  • 来自专栏韩曙亮的移动开发专栏

    【Cubase】Cubase 量化设置 ( 量化预置 | 长度量化 | 快捷键设置 | 量化开头 | 量化 MIDI 事件结尾 | 量化 MIDI 事件长度 )

    文章目录 一、要解决的问题 二、量化预置 三、长度量化 四、快捷键及设置 1、快捷键及设置 2、量化开头 3、量化 MIDI 事件结尾 4量化 MIDI 事件长度 五、对 MIDI 进行量化操作 本博客中的所有设置都是在 , 当前是 4/4 拍 , 一个全音符有 4 拍 , 显示每个 16 分音符的格子 ; 这是设置了 " 1/32 " 量化预置参数 , 每拍显示 8 个格子 , 每个格子的长度是 32 分音符 ; 2、量化开头 量化开头 : 默认按键 " Q " 是量化开头 ; 将所有音符的开始位置对齐到 " 量化预制 " 对应的格子中 ; 该设置是系统自带的 , 不建议修改 ; 3、量化 MIDI 按钮 , 然后点击确定 , 此时 " 量化 MIDI 事件结尾 " 操作就被指定了快捷键 " Ctrl + F12 " ; 4量化 MIDI 事件长度 量化 MIDI 事件长度 : 使用相同设置 " 快捷键 , 量化音符长度 , 此时音符都排列整齐了 , 音符开头和音符长度进行了量化 , 音符结尾自然也进行了量化 ;

    4.8K00编辑于 2023-03-28
  • 量化必学!QMT 最重要 4 个 API,看懂就能写策略

    很多朋友对qmt量化交易软件,感觉非常复杂,我总结了4个重要的api接口,理解了这4个接口,就可以开始进行量化策略编写了。 要从手工过渡到量化交易,我们需要不断去适应量化软件的交易方式。就像我们第一次拿着手机app问:这个怎么操作?那个怎么操作?总之熟能生巧,慢慢接触。

    29710编辑于 2026-06-24
  • 来自专栏图像处理与模式识别研究所

    图像量化

    from skimage import data from matplotlib import pyplot as plt image=data.coffee()#原始图像 ratio=128#设置量化比率 range(image.shape[2]):#图片通道数 image[i][j][k]=int(image[i][j][k]/ratio)*ratio#对图像中的每个像素进行量化 本文的图像量化过程是将256级的彩色图像量化到2级的彩色图像。 量化等级越多,量化比率越低,所得图像层次越丰富,灰度分辨率越高,图像质量好,但数据量大;量化等级越少,量化比率越高,图像层次欠丰富,灰度分辨率低,可能会出现假轮廓,图像质量变差,但数据量较小。 图像量化的作用是在一定主观保真图像质量的前提下,丢掉对视觉影响不大的信息,以获得较高的压缩比。

    85420编辑于 2022-05-28
  • Python 量化

    Python 量化是指利用 Python 编程语言以及相关的库和工具来进行金融市场数据分析、策略开发和交易执行的过程。 Python 由于其简洁、易学、强大的生态系统和丰富的金融库而成为量化交易的首选编程语言之一。 量化交易在金融领域得到广泛应用,它允许交易者通过系统性的方法来制定和执行交易策略,提高交易效率和决策的科学性。 量化主要是通过数学和统计学的方法,利用计算机技术对金融市场进行量化分析,从而制定和执行交易策略。 更多 Python 量化内容可以查看:Python 量化交易。 min(), } print("策略表现:") for key, value in strategy_performance.items(): print(f"{key}: {value:.4f

    59010编辑于 2025-12-16
  • 来自专栏算法之名

    量化交易

    针对可交易的投资商品,理性地运用逻辑分析和回归统计判断市场趋势称为量化交易。 量化策略 量化策略就是赚钱"因子",可以分为基本面和技术面。

    65210编辑于 2024-08-21
  • 来自专栏机器学习、深度学习

    模型量化

    下图显示不同量化策略对速度的提升影响 ? 量化卷积过程 ? 加速策略: AND, XOR and bitcount operations 训练过程 ? 分类性能对比 ?

    96210发布于 2019-05-26
  • 来自专栏算法码上来

    【白话模型量化系列一】矩阵乘法量化

    原本float32存储需要4个字节,现在int8存储只需要1个字节,体积是原来的1/4。 可以加快计算速度。这主要是因为int8数据的读写更快,并且int8矩阵乘法一般来说会更快一点。 我们令 ,用来表示int8的数值范围,如果 ,那就是int4的范围了。 接着整数矩阵 就可以表示为 ,也就是将浮点数区间 里的数字等比例映射到整数区间 ,然后向最近的整数取整。 总结 如果矩阵乘法两个输入的范围都是关于零点对称的,那么计算公式为: 「量化:」 「反量化:」 如果矩阵乘法其中一个输入是relu的结果,那么计算公式为: 「量化:」 「反量化:」 当然还有很多其他情况 此外为了减小量化的损失,还需要在模型结构中插入伪量化节点,然后进行量化感知训练(QAT)。接着还需要将finetune后的模型存储为int8格式。然后还需要开发加载int8模型的推理加速库代码。 网上关于量化的优秀教程非常多,我不会讲太多理论上的量化知识,只会从实践的角度来白话一下我们在Transformer模型量化过程中做的一些尝试。

    1.4K20发布于 2021-12-02
  • 来自专栏PPV课数据科学社区

    十年量化老兵谈量化:玩转量化投资你需要这些技能

    【投研体系】“量化老兵投资体系三大支柱” 问:您这些年一直是做量化投资的,能否讲讲您的量化投资体系? 持有封基:我入市整整十年,一直是量化投资。基本面、技术面,只要能吃饱的都是一碗好面。 比如说分级A轮动,传统的是分成+3、+3.5、+4分开来轮动,其基本思想完全是价值投资思想,但我用了最小二乘法(又称最小平方法,是一种数学优化技术。 “构建量化模型的四个步骤:猜想、建模、回测、实战” 问:具体而言,您是如何构建量化模型的吗?如何确定量化因子的? 持有封基:量化四步骤——猜想、建模、回测、实战。 “做好量化投资:有数学天赋很重要” 问:你做量化差不多十年了,在您看来要做好量化投资,需要做些什么准备? 持有封基:除了热爱投资,还需要热爱数学,热爱量化,这是最根本的。 为了避免过度拟合,一个是能用简单的不要用复杂的,比如说同样达到目的,2个参数比4个参数要好,一般超过10个参数了就非常可能过度拟合了。

    2.8K62发布于 2018-04-24
领券