首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏奇点大数据

    话说量化(2)

    市场,是一个很古老的概念了,至少已经有三四千年以上的历史了。较早的关于市场的记录是在古埃及时期,公元前两千多年之前,就已经有“Bazar”这个概念了,汉语里面也留下了它音译的痕迹——“巴扎”。直到现在,在新疆少数民族聚居区仍然在使用这个词汇作为“集市”的用词概念。

    65520发布于 2018-09-14
  • 来自专栏PostgreSQL研究与原理解析

    PG 向量化引擎--2

    PG 向量化引擎--2 向量化引擎是OLAP数据库提升性能的有效技术。翻到PostgreSQL邮件列表有对向量化引擎的讨论。这里继续进行整理,以作分析。 对于Int32,此区域大小时4*BATCHSIZE,而对于Int16,大小时2*BATCHSIZE。所以使用原生数据可以只做一个memcpy来填充vtype的batch。 2、为什么VectorTupleSlot中包含元组的数据(batch)而不是向量(vtype的数组)? 我们是否可以得出结论,对于OLAP查询使用向量化引擎,对于OLTP查询使用行引擎会更好。 5、对于不能向量化的查询捕获并抛出异常不是处理此类情况最安全和最有效的方法。 花费的时间比预期要长:executor代码中很多东西都发生了改变: par.warkers PG9_6矢量化=关闭 PG9_6矢量化=开启 主矢量化=关闭jit=打开 主矢量化=关闭jit=关闭 主矢量化

    1.5K20编辑于 2022-02-09
  • 来自专栏量化小白上分记

    量化笔面试概率题*2

    我投的基本都是量化岗,到现在3/20的通过率,总之很艰难。 因此E(k) = 2^(k+1) - 2,这样,E(4) = 30 ? 再举一个例子 ? 有一楼梯共m级,刚开始时你在第一级,若每次只能跨上一级或二级,要走上第m级,共有多少走法? 还是刚才的逻辑,假设走k级有f(k)种走法,显然f(1)=1,f(2)=2,如果第一次走了1级,剩下k-1级有f(k-1)种走法,如果第一次走了两级,剩下k-2级有f(k-2)种走法,即f(k)=f(k -1)+f(k-2)。 ,但速度会快很多,代码如下 def f(x): if x ==1: y = 1 elif x ==2: y = 2 else: s

    4.4K20发布于 2019-07-01
  • 来自专栏大模型成长之路

    【大模型学习 | BERT 量化实战(2) 】

    p_bert_embeddings_layernorm_weight', 'p_bert_embeddings_layernorm_bias', #⚠️ BERT 模型包含了 nn.Embedding 层,而当前 PT2E ① 权重分布本身就不光滑(有离群值)② 权重量化导致连续输入映射为不连续输出解决✅ 方法1:替换激活函数 GELU → ReLU✅ 方法2:尝试采用 QAT 逐层敏感性分析核心思想:将原模型逐层量化,观察产生精度下降的原因 isinstance(module, nn.Linear)]def run_sensitivity_analysis(model_fp32, tokenizer): print("Loading SST-2 .4f} | ΔAcc: {delta:.4f}") results.append((name, acc, delta)) results.sort(key=lambda x: x[2] Sensitive Layers:") for r in results[:5]: print(f"{r[0]:40s} | Acc: {r[1]:.4f} | ΔAcc: {r[2]

    95210编辑于 2025-06-27
  • 来自专栏DeepHub IMBA

    使用ExLlamaV2量化并运行EXL2模型

    并且它还引入了一种新的量化格式EXL2,它为如何存储权重带来了很大的灵活性。 在本文中,我们将介绍如何量化EXL2格式的基本模型,以及如何运行它们。 量化EXL2模型 首先需要安装ExLlamaV2库: pip install exllamav2 #为了使用官方的一些脚本,我们还要把官方的代码clone到本地 git clone https:/ 量化过程使用现有脚本非常的简单。那么还有最后一个问题,为什么要使用“EXL2”格式而不是常规的GPTQ格式呢?EXL2带来了哪些新功能? 它支持不同级别的量化:它不局限于4位精度,可以处理2、3、4、5、6和8位量化。 它可以在一个模型和每一层中混合不同的精度,以保留最重要的权重和具有更多bit的层。 ExLlamaV2在量化过程中使用了这种额外的灵活性。它会自动尝试不同的量化参数,并测量了它们引入的误差。

    1.3K10编辑于 2023-11-22
  • 来自专栏人力资源数据分析

    KPI关键指标的量化设计(2)

    我们在上篇文章讲到了如何根据岗位的工作职责进行KPI关键值的选择,那今天我们就来聊聊,如何进行量化的KPI指标的设计。 (2)Measurable可以衡量的:绩效指标是数量化或者行为化的,验证这些绩效指标的数据或者信息是可以获得的。 2、KPI量化指标的3大设计维度 在对KPI的设计中,我们根据数据的类型,我们一般会对KPI的数据有三种形式的量化指标设计 ? ? 1、KPI的标准指标,这个指标的数值是指在月度我们达标的数据 2、KPI保底数据,这个数据指标是我们每月必须一定要完成的数据指标, 3、KPI期望数据,这个数据是我们超出达标数据,跳一跳可以够得到的数据

    2.3K30发布于 2020-11-03
  • 来自专栏嘘、小点声

    股市技术面操作的量化交易--量化交易2-投资方法

    通常,我们认为人们是“风险厌恶”的,并构造如下形式的效用函数来代表投资者的投资偏好: U®=E®- 1/2 Aσ^2 ® 其中E®表示投资组合的预期收益率,σ^2 ®表示投资组合的方差; 预期收益率越高 资产组合 假设有两种资产E_1和E_2,其预期收益率和方差分别为r_1、σ_1^2和r_2、σ_2^2,收益率相关系数为ρ。另有,r_1<r_2、〖0<σ〗_1<σ_2。 如果同时投资于两种资产,权重分别为w_1、1-w_1, 则组合的期望收益率和方差可表示为: r=w_1 r_1+(1-w_1)r_2 σ^2= w_1^2 σ_1^2+〖(1-w_1)〗^2 σ_2^2 +2w_1 (1-w_1)ρσ_1 σ_2 容易证明,当且仅当ρ=1时资产组合标准差与预期收益呈线性关系。 由于ρ的取值范围在-1和1之间,因此通常情况下σ^2= w_1^2 σ_1^2+〖(1-w_1)〗^2 σ_1^2+2w_1 (1-w_1 )ρσ_1 σ_2<〖(w_1 σ_1+(1-w_1 )σ_2

    1.3K20发布于 2020-11-24
  • 来自专栏机器之心

    字节开源大模型量化新思路,2-bit量化模型精度齐平fp16

    这样做的优势是明显的,我们不再需要关注量化特有的问题,比如如何处理敏感通道,如何处理 outlier 等等,而是只需要将量化问题进行数学建模,找到一个合适的优化目标函数,然后去求解该函数。 2. 3. decoupleQ 观察 (1)~(3) 式在量化中的作用,如果我们换一种思路,就会发现其实我们不需要知道 (1) 式和 (2) 式。 W2 算子实现 要对量化后的模型进行推理,需要量化算子的支持,在业界没有现成的 w2a16 的算子可用,作者们基于 Tensorrt-LLM 中的 w4 算子开发了 w2 的 Gemm cuda kernel 量化模型本身是以 2bit weight 的形式加载和存储在显存中,因此会占用比较小的显存。 作者尝试使用不同的方法将模型量化为 W2A16g64。

    1.6K10编辑于 2024-05-14
  • 来自专栏素质云笔记

    NLP+2vec︱认识多种多样的2vec向量化模型

    1、word2vec 耳熟能详的NLP向量化模型。 https://github.com/danielfrg/word2vec 2、doc2vec Paper: https://cs.stanford.edu/~quocle/paragraph_vector.pdf 、非正常语言的字符串中学习到一种向量化的表达方式。 4、batter-pitcher-2vec Python: https://github.com/airalcorn2/batter-pitcher-2vec 5、illustration-2vec Python ://github.com/klb3713/sentence2vec 8、wiki2vec Java/Scala: https://github.com/idio/wiki2vec 9、topicvec

    2.5K70发布于 2018-01-15
  • 来自专栏量化投资与机器学习

    2022 Q2全球量化对冲基金:Quant招聘报告

    量化投资与机器学习微信公众号,是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。 公众号拥有来自公募、私募、券商、期货、银行、保险、高校等行业30W+关注者,荣获2021年度AMMA优秀品牌力、优秀洞察力大奖,连续2年被腾讯云+社区评选为“年度最佳作者”。 知名量化招聘顾问公司Grainstone Lee近日发布了2022年全球量化对冲基金招聘报告。需要注意的是,并不是每个公司都在招聘网站上发布所有的公开职位,所以实际活跃职位的数量可能是不同的。 主观投资与交易、量化投资与交易和软件工程实际上增加的职位较少,但这可以解释为公司使用通用招聘信息招聘这些职位。 如果一份招聘启事被删除了,这通常意味着这个职位已经有人了,或者至少已经没有空缺了。 亚洲的量化招聘职位也增加了100多个。值得注意的是,2022上半年出现了2021年没有看到的远程工作的招聘信息。

    90020编辑于 2022-09-20
  • 来自专栏韩曙亮的移动开发专栏

    【Cubase】Cubase 量化设置 ( 量化预置 | 长度量化 | 快捷键设置 | 量化开头 | 量化 MIDI 事件结尾 | 量化 MIDI 事件长度 )

    文章目录 一、要解决的问题 二、量化预置 三、长度量化 四、快捷键及设置 1、快捷键及设置 2、量化开头 3、量化 MIDI 事件结尾 4、量化 MIDI 事件长度 五、对 MIDI 进行量化操作 本博客中的所有设置都是在 ; 三、长度量化 ---- 长度量化 参数设置 : 在下图 处设置长度量化 , 如果设置成 " 1/16 " , 那么使用鼠标拖动时 , 音符的长度只能是 16 分音符的整数倍 ; 上述的 量化预置 ; 2、量化开头 量化开头 : 默认按键 " Q " 是量化开头 ; 将所有音符的开始位置对齐到 " 量化预制 " 对应的格子中 ; 该设置是系统自带的 , 不建议修改 ; 3、量化 MIDI 事件结尾 量化 MIDI 事件结尾 : 首先选中左侧的 " 量化类别 / 量化 MIDI 事件结尾 " , 点击右侧的 " 输入快捷键 " 下方的输入框 ; 输入快捷键后 , 点击 " 指定 " " 快捷键 , 量化音符长度 , 此时音符都排列整齐了 , 音符开头和音符长度进行了量化 , 音符结尾自然也进行了量化 ;

    5.1K00编辑于 2023-03-28
  • 来自专栏DrugScience

    超量化合物库筛选策略–P2

    上期回顾: 超量化合物库筛选策略–P1 具体步骤: 1. 一切以最终完成上传到Github的地址为准 ├── Codebase #相关代码 ├── Database #所用数据库文件 ├── Workflow #工作流程 ├── 参考资料 #辅助文献 └── 超量化合物库筛选策略 .md #本文 2. 参考: [1] https://enamine.net/ [2] Grygorenko O O , Radchenko D S , Dziuba I , et al.

    68510编辑于 2022-05-17
  • 来自专栏SimpleAI

    【DL笔记2】矢量化技巧&Logistic Regression算法解析

    【DL笔记2】矢量化技巧&Logistic Regression的算法解析 一、神经网络中的矢量化技巧 就一句话: ❝「只要阔能,就不要使用显示for循环(explicit for-loop),而是尽可能采用矢量化技术 因此,我们在面对深度学习问题的时候,首先要想一想,如何把数据进行“矢量化”,就是转化成向量或者矩阵,这样可以大大提高我们的效率。 1.初始化: J=0 (这是cost), , (J对w的偏导,即梯度), b=0 2.一次迭代: For i = 1 to m: { (行向量乘以列向量,就是个数了) (a就是上一篇文章中的y 因此,Logistic regression算法向量化的过程,就是: 把m个样本,同时计算,同时算出它们的,也就是直接算Z这个m维行向量 同时把Z的m维都激活,得到m维行向量A 得到A和Z之后,就可以直接计算

    1.1K30发布于 2020-03-11
  • 来自专栏量化数据源(PandaStock)

    Level-2数据深度解析:从竞价盘口到量化因子

    量化因子构建:可构建撤单率因子(l2_buy_cancel+l2_sell_cancel)/(l2_total_buy_vol+l2_total_sell_vol),作为市场博弈强度的衡量指标。 total_buy_vol>l2_total_sell_vol+撤单率低→真金白银买入警惕信号组合:股价上涨+inst_net_amount为负→散户或游资推动,持续性存疑四、量化策略:从因子到模型Level -2数据在量化策略中的应用,经历了从“简单指标”到“深度因子”的演进。 撤单行为因子:从撤单活跃度、撤单规模、日内时间结构等多个维度构建,量化研究证明这类因子与Barra风格因子的相关性控制在30%以下,具有较强的独立性。 系统架构:一个完整的Level-2量化系统通常包括数据采集层(WebSocket接入Level-2实时行情)、计算引擎层(并行计算微观结构因子)、执行层(订单管理与风控拦截)三个层次。

    67610编辑于 2026-08-19
  • 来自专栏为了不折腾而去折腾的那些事

    使用 Transformers 量化 Meta AI LLaMA2 中文版大模型

    本篇文章聊聊如何使用 HuggingFace 的 Transformers 来量化 Meta AI 出品的 LLaMA2 大模型,让模型能够只使用 5GB 左右显存就能够运行。 为了能够让更多同学能够玩起来 LLaMA2 模型,我尝试使用HuggingFace 的 Transformers 对模型进行了量化,量化后的模型只需要 5GB 左右显存即可运行。 接下来,我们以使用 LLaMA2 中文模型镜像为例,进行模型的量化操作。 编写模型量化程序综上所述,不难写出一段简单的不到三十行的程序,来完成对于 LLaMA2 模型的量化(相关程序,我上传到了 soulteary/docker-llama2-chat/llama2-7b-cn 类似 LLaMA2 官方版本和中文版本全部兼容,这里的量化版的模型和量化前的模型,也是全部兼容的。

    1.7K30编辑于 2023-07-22
  • 来自专栏AI异构

    HAWQ-V2:基于Hessian迹的混合比特量化策略

    HAWQ-V2 本文为 UC Berkeley 大学发表在 NeurIPS 2020 上的混合精度量化论文,是之前 HAWQ 论文的升级版本。 摘要 量化是减少神经网络的内存占用和推理时间的有效方法。但是,超低精度量化可能会导致模型精度显着下降。解决此问题的一种有前途的方法是执行混合精度量化,其中更敏感的层保持更高的精度。 HAWQ-V2 实现了第一个基于Hessian的混合精度激活量化分析,这对于对象检测非常有益。 通过证明,HAWQ-V2在各种任务上均达到了最新水平。 因此,预计具有较高 Hessian 迹的层(即较大的特征值)对量化更敏感。 激活的混合精度量化 ? 激活的混合精度量化 实验结果 ResNet50 on ImageNet ? 如下表所示,其中消融行模型仅使用模型参数与量化差值的 L2 敏感度度量。可以看到,HAWQ-V2提出的敏感度度量方法在SqueezeNext上实现了0.85%的精度提升。 ? 敏感度度量消融实验

    2.2K20发布于 2020-12-08
  • 来自专栏为了不折腾而去折腾的那些事

    使用 Transformers 量化 Meta AI LLaMA2 中文版大模型

    为了能够让更多同学能够玩起来 LLaMA2 模型,我尝试使用HuggingFace 的 Transformers 对模型进行了量化,量化后的模型只需要 5GB 左右显存即可运行。 接下来,我们以使用 LLaMA2 中文模型镜像为例,进行模型的量化操作。 编写模型量化程序 综上所述,不难写出一段简单的不到三十行的程序,来完成对于 LLaMA2 模型的量化(相关程序,我上传到了 soulteary/docker-llama2-chat/llama2-7b-cn 类似 LLaMA2 官方版本和中文版本全部兼容,这里的量化版的模型和量化前的模型,也是全部兼容的。 运行起来的量化后的中文 LLaMA2 项目 显存资源使用 显存资源一直是大家都比较关注的部分,模型启动大概需要 5G 出头的显存资源。

    1.5K30编辑于 2023-09-04
  • 来自专栏算法之名

    量化交易

    针对可交易的投资商品,理性地运用逻辑分析和回归统计判断市场趋势称为量化交易。 量化策略 量化策略就是赚钱"因子",可以分为基本面和技术面。 账户', '密码') # 获取深交所(XSHE)股票代码为000001的在2024年的股票数据(开盘价和收盘价) df = get_price('000001.XSHE', count=2,

    80710编辑于 2024-08-21
  • 来自专栏机器学习、深度学习

    模型量化

    convolutional operations TBN 的性能 比 XNOR-Network 要 高 5% 点左右 如果我们只对网络的权重参数进行二值化,那么得到的结果是 内存空间降低32倍,计算速度提升2倍 can directly result in ∼ 32× memory saving over the real-valued counterparts, and meanwhile bring ∼ 2× 下图显示不同量化策略对速度的提升影响 ? 量化卷积过程 ? 加速策略: AND, XOR and bitcount operations 训练过程 ? 分类性能对比 ?

    1K10发布于 2019-05-26
  • 来自专栏小明的博客

    量化交易

    量化投资没有确切的定义,它泛指通过数学分析、挖掘价格波动规律,或者通过对相关宏观经济、财务数据、量价关系、资金交易等数据进行建模,寻找数据之间的关系,以获得稳定利润为目标,持续计算生成定量化的投资信号 多资产多策略配置: 对冲风险更高收益 技术信息理论的三大假设 市场行为包容消化一切信息 市场运行以趋势方式演变 历史会重演(我们可以通过历史数据来推断未来走势 绩效评估指标 绩效指标也被称为风险指标,它们也是量化投资的基石

    2.9K20编辑于 2022-09-06
领券