- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯云数据库(TencentDB)
查询执行效率低下？向量化执行来帮你
以查询计划执行为例。 CPU的SIMD指令进行优化，从而造成查询执行效率低下的问题。 向量化执行就是解决上述问题的一种有效手段。 作为国内领先的数据库厂商，腾讯云数据库一直致力于推动国产数据库学术人才培养和技术创新生态建设发展。 在本期DB · 洞见直播中，我们邀请到了腾讯云数据库高级工程师胡翔，来为大家介绍向量化执行的最新技术创新、基本原理以及向量化引擎的相关实现。 专家介绍 胡翔 腾讯云数据库高级工程师 博士毕业于中国科学院软件研究所，加入华为高斯实验室工作多年，加入腾讯后主要负责TDSQL PG版数据库向量化执行引擎等相关特性的设计开发工作。
68320编辑于 2022-07-19 - 来自专栏利志分享
浅析Clickhouse的向量化执行
向量化执行就是这种方式的典型代表，这项寄存器硬件层面的特性，为上层应用程序的性能带来了指数级的提升。 向量化执行，可以简单地看作一项消除程序中循环的优化。这里用一个形象的例子比喻。 为了制作n杯果汁，非向量化执行的方式是用1台榨汁机重复循环制作n次，而向量化执行的方式是用n台榨汁机只执行1次。 为了实现向量化执行，需要利用CPU的SIMD指令。 ClickHouse的向量化执行机制主要依赖于SSE指令集，下面简要介绍之。 SSE指令集 SSE指令集是MMX的继任者，其第一版早在Pentium III时代就被引入了。
93720编辑于 2022-04-25 - 来自专栏大数据&分布式
Spark Gluten 向量化执行框架
背景 向量化执行模型已在现代数据库引擎被广泛应用，例如ClickHouse、TiDB、StarRocks等。 Photon向量化执行引擎取代了已有的Spark执行模式（JVM & Codegen）。 Gluten实现向量化计算的主要变更如下所示，在QueryExecution执行前优化过程中，通过注入规则对物理计划进行扩展处理，转为Gluten物理计划，使用向量化执行模式替换已有的JVM + CodeGen 在Task执行阶段，基于Gluten RDD，通过JNI调用Native引擎(默认Velox)实现向量化执行。 向量化执行引擎框架 Gluten 宣布正式开源，并亮相 Spark 技术峰会
1.4K54编辑于 2025-01-21 - 来自专栏量子化学
利用MOKIT从PySCF向其他量化程序传轨道
近期笔者和另一开发者wsr在MOKIT程序中加入了fchk(),py2molpro,py2molcas,py2qchem等模块，可用于从PySCF程序向其他量子化学程序传递分子轨道。 （为什么不用Gaussian算完了传轨道给其他程序：因为Gaussian是商业收费程序，有的课题组/机构没买） （3）自己基于PySCF开发新方法，无现有程序对应，但希望正确地传轨道至下一个量化程序进行后续计算 注意Windows预编译版不支持本文功能，内含的是Gaussian与其他量化程序传轨道的小程序。
1.9K20编辑于 2022-12-07 - 来自专栏量子化学
利用MOKIT从ORCA向其他量化程序传轨道
本文介绍如何使用MOKIT从ORCA向其他量化程序传轨道，有以下可能的用途： （1）在ORCA中进行了RIJK或RIJCOSX加速的大体系HF/DFT计算，想传轨道给其他程序进行后续计算，或想产生fch 往往涉及到对称破缺单重态和检验波函数稳定性等问题，计算实例见笔者在计算化学公社论坛上的回帖 http://bbs.keinsci.com/thread-29762-1-1.html 这里我们假设已经获得了.mdci.nat文件，接着执行 若读者在计算中使用全电子基组，自然无此问题；若用了赝势，按上文操作产生其他量化程序的文件不会含赝势信息，即使轨道系数正确，SCF也会剧烈振荡。这里笔者推荐一种解决办法： Step 1. 获得含赝势的fch文件和ORCA相关文件 执行 fch2mkl ZnMe2.chk 随即产生ZnMe2.fch，ZnMe2_o.inp和ZnMe2_o.mkl文件，现在我们就有了一个含赝势信息的fch 以防覆盖 mkl2fch ZnMe2_o.mkl # 将轨道传回ZnMe2_o.fch 后续可以使用fch2inp，fch2inporb，fch2com，bas_fch2py等小程序传给其他量化程序做计算
1.5K20编辑于 2023-09-03 - 来自专栏PostgreSQL研究与原理解析
聊聊StarRocks向量化执行引擎-过滤操作
聊聊StarRocks向量化执行引擎-过滤操作 StarRocks是开源的新一代极速MPP数据库，采用全面向量化技术，充分利用CPU单核资源，将单核执行性能做到极致。 本文，我们聊聊过滤操作是如何利用SIMD指令进行向量化操作。 过滤操作的SIMD向量化函数是filter_range，我们以binary类型的列为例： BinaryColumnBase<T>::filter_range 执行过程如下图所示： 1、通过1
1.6K40编辑于 2023-05-25 - 来自专栏PostgreSQL研究与原理解析
openGauss-向量化执行引擎-VecUnique算子
openGauss-向量化执行引擎系列-VecUnique算子 openGauss实现了向量化执行引擎，达到算子级别的并行。也就是说在执行器火山模型基础上，一次处理一批数据，而不是一次一个元组。 前期我们介绍了PgSQL Unique算子的实现机制，本文接着介绍openGauss是如何实现Unique算子向量化的。 简单来说，openGauss的VecUnique算子更多的是为了实现执行器整体性的向量化，减少算子之间因为向量化和非向量化算子之间的兼容而进行的VecToRow和RowToVec算子进行的行与向量之间的转换而完成的 1、VecUniqueState 完成VecUnique算子的主要成员变量： 1）uniqueDone：标记VecUnique算子是否执行完 2）container[]数组：数组大小为2个batch大小即
59940编辑于 2023-11-05 - 来自专栏PostgreSQL研究与原理解析
聊聊Doris向量化执行引擎-过滤操作
聊聊Doris向量化执行引擎-过滤操作 Doris是开源的新一代极速MPP数据库，和StarRocks同源，采用全面向量化技术，充分利用CPU单核资源，将单核执行性能做到极致。 本文，我们聊聊过滤操作是如何利用SIMD指令进行向量化操作。 过滤操作的SIMD向量化函数是_evaluate_vectorization_predicate：和StarRocks实现大致类似，但稍有不同： SegmentIterator::_evaluate_vectorization_predicate 执行过程如下图所示： 1、通过1个字节bool类型的ret_flags数组来表示是否满足过滤条件，1表示满足条件，0表示不满足 2、AVX2指令集环境下：通过_mm256_loadu_si256封装的指令函数加载
1.2K40编辑于 2023-05-25 - 来自专栏PostgreSQL研究与原理解析
聊聊ClickHouse向量化执行引擎-过滤操作
4、上面代码耗时因素在于循环次数非常多，等于data数组的大小 5、如果可以降低循环次数，同时保证单次循环耗时变化不大，总体执行效率更高。
1.4K50编辑于 2023-05-25 - 来自专栏漫谈测试
如何量化战略成效的执行情况
避免陷入纯技术指标（如用例执行数），一定要连接到业务影响。同时提醒避免常见陷阱，比如过度追求单一指标（如自动化覆盖率）而忽略质量本质。 量化战略成效的执行，就是将测试团队的日常工作与公司/部门的宏观战略（如加快上市时间、提升客户满意度、降低运营成本、增强品牌声誉）联系起来，并用数据来证明这种联系的强度和效果。 量化，就是从测试战略中分解出可衡量的关键结果。 成本维度（彰显管理的精细化）将质量成本（Cost of Quality）量化，向管理层展示投资回报。 作为测试管理者，量化战略成效的本质是搭建一座桥梁，将技术性的测试活动转化为商业语言，向组织证明：我们在正确地做事（效率）： 通过效能指标体现。
32710编辑于 2025-09-12 - 来自专栏PostgreSQL研究与原理解析
openGauss-向量化执行引擎-索引扫描CStoreIndexScan
openGauss-向量化执行引擎-索引扫描CStoreIndexScan openGauss实现了向量化执行引擎，达到算子级别的并行。 也就是说在执行器火山模型基础上，一次处理一批数据，而不是一次一个元组。这样可以充分利用SIMD指令进行优化，达到指令级别并行。 2、向量化索引扫描算子 openGauss通过CStoreIndexScan算子进行向量化索引扫描。 向量化索引扫描的优势：兼容向量化引擎其他算子，以达到全算子向量化，减少VecToRow和RowToVec的互相转换；同时减少底层算子函数的调用；因为增加了排序，可如同bitmap扫描一样减少heap页的随机访问
75630编辑于 2023-11-05 - 来自专栏Spark学习技巧
一文了解 ClickHouse 的向量化执行
它实现了单机多核并行、分布式计算、向量化执行与SIMD指令、代码生成等多种重要技术。 向量化执行与SIMD ClickHouse不仅将数据按列存储，而且按列进行计算。传统OLTP数据库通常采用按行计算，原因是事务处理中以点查为主，SQL计算量小，实现这些技术的收益不够明显。 向量执行引擎，通常能够带来数倍的性能提升。 What IS SIMD ? SIMD 即 single instruction multiple data 英文首字母缩写，单指令流多数据流，也就是说一次运算指令可以执行多个数据流，一个简单的例子就是向量的加减。 通过它，用户可以同时在多个数据片段上执行运算，实现数据并行（aka:矢量处理）。 SSE2是SSE指令的升级版，寄存器与指令格式都和SSE一致，不同之处在于其能够处理双精度浮点数等更多数据类。
7.1K31发布于 2021-07-02 - 来自专栏PostgreSQL研究与原理解析
openGauss - 向量化执行引擎 - distinct分组聚合的实现
openGauss - 向量化执行引擎 - distinct分组聚合的实现 openGauss向量化执行引擎中分组聚合有两种实现方式：排序和hash。 其中普通group by就是每次查询生成一个分组的聚合；而grouping sets、cube或者rollup分组集就是每次查询生成不同级别或者多个维度的聚合，详见： 下面我们看下openGauss向量化执行引擎中对这些分组聚合如何实现 它的聚合走另外分支： 2、原理 1）通过CStoreScan算子从磁盘上加载一批数据到内存，并通过VecSort向量化算子进行排序 2）从排好序的数据中（要么都在内存，要么溢出到磁盘）拿一批数据batch
60610编辑于 2024-05-06 - 来自专栏漏洞复现
锐捷 EWEB auth 远程命令执行漏洞RCE（批量化）
name: auth接口存在RCE漏洞 author: someone severity: critical description: auth接口存在RCE漏洞，恶意攻击者可能会利用该漏洞执行恶意命令
3.3K10编辑于 2024-03-10 - 来自专栏FreeBuf
内网漫游：通过RDP劫持向远程系统执行任意代码
Seth是一种可以帮助你自动执行RDP中间人攻击的工具，无论目标是否启用了网络级身份验证（NLA），它都将为你完美的执行。 成功执行后，该工具将在后台执行一系列的步骤，以确保攻击的成功实施。以下是执行的相关流程： 欺骗ARP回复 启用IPv4流量转发，将流量从受害主机重定向到攻击者机器，然后再转发到目标RDP服务器。 步骤1-3将在受害者身份验证之前执行。尝试通过RDP向目标服务器进行身份验证的用户将会收到以下消息： ? 当用户建立连接时，其凭据将以明文形式显示给攻击者。 ? 批处理脚本将会在工作站每次启动时执行，以实现后门持久化。 ? 当通过RDP向受感染主机验证的提权用户重启他的机器时，代码将被执行。 ? 创建一个使用系统级权限执行tscon的服务，将劫持ID为3的会话。
1.6K20发布于 2018-07-30 OpenClaw 量化实战：如何降低订单执行延迟并提升成交速度？
量化交易延迟的硬伤：代码只是冰山一角 在量化交易中，0.3秒的窗口期足以让竞争对手完成12次对冲操作。很多团队事后复盘发现，罪魁祸首往往不是策略逻辑，而是基础设施的短板。 对于追求极致速度的量化团队，基础设施的选型与调优是降低延迟的最后一块拼图。 量化交易系统对服务器的要求可以概括为：高并发网络、低延迟 I/O 和 极简架构。传统 VPS 往往存在虚拟化层级过深的问题，导致消息传递延迟不可控。 1. 网络层面的毫秒级博弈 量化数据流主要分为实时行情推送（上行）和订单指令发送（下行）。 对于中小规模的量化团队而言，这或许是目前性价比最高的解决方案。
63011编辑于 2026-03-06- 来自专栏腾讯云数据库(TencentDB)
向量化执行从理论到实现，仅需五步！ | DB·洞见
向量化执行就是解决上述问题的一种有效手段。 探索前沿研究，聚焦技术创新。本期DB·洞见由腾讯云数据库高级工程师胡翔为大家介绍向量化执行的基本原理、技术创新以及向量化引擎的相关实现。 向量化执行引擎实现详解 2.1 如何实现向量化执行引擎 我们结合TDSQL的具体实现，来详细介绍向量化的实现过程。 如何实现向量化执行引擎，其核心工作主要包括四个部分： 向量化执行框架：向量化执行计划的生成和执行以及与非向量化执行计划的兼容。 2.2 向量化执行框架 向量化计划生成的方式，采用贪婪的方式，尽可能将计划路径中涉及的算子转换成向量化执行的方式。 总结和展望 本期分享中，我们通过一篇有关向量化执行的经典论文介绍了向量化的基本原理，并结合TDSQL的实现详细阐述了向量化的实现过程。
2.8K30编辑于 2022-08-26 - 来自专栏韩曙亮的移动开发专栏
【Cubase】Cubase 量化设置 ( 量化预置 | 长度量化 | 快捷键设置 | 量化开头 | 量化 MIDI 事件结尾 | 量化 MIDI 事件长度 )
文章目录 一、要解决的问题 二、量化预置 三、长度量化 四、快捷键及设置 1、快捷键及设置 2、量化开头 3、量化 MIDI 事件结尾 4、量化 MIDI 事件长度 五、对 MIDI 进行量化操作 本博客中的所有设置都是在 ; 三、长度量化 ---- 长度量化 参数设置 : 在下图 处设置长度量化 , 如果设置成 " 1/16 " , 那么使用鼠标拖动时 , 音符的长度只能是 16 分音符的整数倍 ; 上述的 量化预置 ; 2、量化开头 量化开头 : 默认按键 " Q " 是量化开头 ; 将所有音符的开始位置对齐到 " 量化预制 " 对应的格子中 ; 该设置是系统自带的 , 不建议修改 ; 3、量化 MIDI 事件结尾 量化 MIDI 事件结尾 : 首先选中左侧的 " 量化类别 / 量化 MIDI 事件结尾 " , 点击右侧的 " 输入快捷键 " 下方的输入框 ; 输入快捷键后 , 点击 " 指定 " " 快捷键 , 量化音符长度 , 此时音符都排列整齐了 , 音符开头和音符长度进行了量化 , 音符结尾自然也进行了量化 ;
4.5K00编辑于 2023-03-28 - 来自专栏Go工具箱
Go实战 | 基于有向无环图的并发执行流的实现
今天跟大家聊聊在项目中实现的基于有向无环图的工作流。 01 工作流（workflow）概述 工作流，是对工作流程中的工作按一定的规则组织在一起并按其进行执行的一种模型。 本文介绍了一种基于有向无环图实现的工作流，通过有向无环图，可以解决两个问题：从逻辑上，对各个节点的依赖关系进行了组织；从技术上，有依赖关系的节点需要等待执行，无依赖关系的可以并发执行。 02 工作流的实现 下面我们以早上起床穿衣所发生的事件为例来讲解有向无环图的实现。穿衣流程中包含的事件有穿内裤、穿裤子、穿袜子、穿鞋、戴手表、穿衬衣、穿外套等。 如图所示： 由上图可以看到，穿内裤、穿袜子、穿衬衣、戴手表之间没有相互依赖，可以并发执行。而穿鞋子则必须等待所依赖的裤子和袜子穿完后才能执行。下面我们就来看看如何实现这样的有向无环图的工作流。 有向图中的边还能表明两个节点哪个是前置节点，哪个是后置节点。后置节点需要等待前置节点的任务执行完成后才能执行。
1.6K10编辑于 2023-01-31 - 来自专栏PostgreSQL研究与原理解析
TiDB：向量化执行使表达式性能提升10倍成为可能
与火山模型相比，向量化模型大大降低了解释开销。因此我们选择了向量化执行引擎。 本节中，使用表达式colA*0.8 + colB来展示基于行的执行和基于向量化执行之间的开销差距。 向量化执行和基于行的执行引擎性能比较 本节使用TiDB源码进行基准测试，并比较向量化前后的性能。 然后，他们可以执行正确性和性能测试。 正确性和性能测试都直接生成随机数据，并比较向量化执行和基于行执行的性能。上述两个操作可以帮助贡献者轻松向量化我们的内置函数。 下一步做什么 通过引入向量化执行，我们显着提高了表达式执行的性能。目前，默认情况下，我们的主分支上启用了向量化执行。一旦表达式的所有内置函数都支持向量化执行，该表达式将使用向量化执行。 但总的来说，向量化执行明显提升了 TiDB 表达式评估的性能。 此外，当我们对表达式进行向量化时，我们发现向量化执行可以应用于许多其他情况以提高性能。
1.5K30编辑于 2021-12-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号