- 综合排序
- 最热优先
- 最新优先
- 来自专栏PostgreSQL研究与原理解析
AnalyticDB向量化引擎
其架构： 这里重点关注他的向量化引擎。PG的执行引擎是Record-Oriented的火山模型，也就是面向行。ADB自研了Block-Oriented向量化执行引擎。 对于Record-Oriented通过getNext()接口每次获取一个记录，Block-Oriented模式下通过getNextBlock()接口一次获取一批记录，同时每个算子综合运用向量化和即时编译技术 3）内存的分配和回收，也从每条记录的分配回收，到每批记录的分配和回收，整体减少内存分配回收次数和碎片管理的开销 4）在按批处理模型下，代码实现能更好地以向量化方式实现，一方面有利于CPU进行数据预取，另一方面尽可能减少程序的条件跳转 ，从CPU获得更好的指令流水线执行，同时也有利于编译器生成SIMD指令提高执行效率 其宣讲稿中展示了向量化分组聚合场景： 向量化按批读取和处理的行为在本批次中让需要处理的数据和指令都驻留在CPU的L1
64310编辑于 2022-09-06 - 来自专栏PostgreSQL研究与原理解析
PG 向量化引擎--1
PG 向量化引擎 向量化引擎是OLAP数据库提升性能的有效技术。翻到PostgreSQL邮件列表有对向量化引擎的讨论。这里进行整理，以作分析。 未来会改进这一部分，例如当一些节点不能向量化时不再转换到原始执行计划，而是使用Batch/UnBatch节点来产生一个向量化和非向量化节点来兼容。 4）支持逐步实现一个新的向量化执行节点。 未来我们会使用zedstore，向量化执行器更适合列存。 2）向量化agg并未完全向量化。我们还需要做很多优化。 由于向量化引擎需要在所有节点中支持向量化处理，因此遵循上述思路，我们选择使用CustomScan。 我们将继续优化我们的向量化实现：向量化hashagg需要实现向量化hash表、批量计算hash key、批量探测hash表等。当然PG中的原始hash表不是向量化hash表。
1.8K10编辑于 2022-02-09 - 来自专栏PostgreSQL研究与原理解析
PG 向量化引擎--2
PG 向量化引擎--2 向量化引擎是OLAP数据库提升性能的有效技术。翻到PostgreSQL邮件列表有对向量化引擎的讨论。这里继续进行整理，以作分析。 我们是否可以得出结论，对于OLAP查询使用向量化引擎，对于OLTP查询使用行引擎会更好。 5、对于不能向量化的查询捕获并抛出异常不是处理此类情况最安全和最有效的方法。 是的，至于效率，另一种方法是仅对某些plan节点进行向量化，而其他节点不向量化，通过在他们之间添加batch/unbatch节点来实现（这是你说的“在上层传播此错误”？）。 PG catch接收ERROR，反馈给原始非向量化plan。 复制当前并行扫描并实现向量化Gather，保持接口都是VectorTupleTableSlot。我们基本思路是复用当前PG执行逻辑大部分代码，然后进行向量化，并逐步进行性能调优。
1.2K20编辑于 2022-02-09 - 来自专栏PostgreSQL研究与原理解析
openGauss向量化引擎--hash join
openGauss向量化引擎--hash join 传统的行执行器采用一次一个元组的执行模式，执行过程中CPU大部分时间没有用了处理数据，都用在了遍历执行树等操作，导致CPU的有效利用率较低。 面向OLAP场景大量函数调用次数，需要巨大开销，为解决次问题，openGauss中开发了向量化引擎。采用一次一批元组的执行模式，可大幅减少遍历执行节点及调用函数的开销。 本文主要介绍hash join如何进行向量化的。 VecHashJoin 向量化hash join的算子是VecHashJoin。其执行函数是ExecVecHashJoin，分为2个阶段：HASH_BUILD和HASH_PROBE。 最后将m_keyMatch[]数组标记为1的列值构建成向量batch，并返回。
1.1K10编辑于 2022-02-09 - 来自专栏AI相关
再谈RAG与向量存储引擎
在传统程序架构中，为了实现存储和检索除了常用的DBMS以外还可以使用缓存和搜索引擎等技术，那么在AI Agent中想要实现RAG除了向量数据库以外还有没有其他方式？答案的有的。 不仅如此，其实向量这一概念在计算机人工智能技术中也早就出现了，这篇文章我们就来探究一下向量的发展史，以及使用传统向量存储引擎Elasticsearch实现RAG，讨论它与Milvus向量数据库有哪些不同 3）搜索引擎扩展：利用Elasticsearch的自定义脚本实现向量相似度计算，但属线性扫描，仅适用于极小数据集。这些方案普遍存在数据一致性差、无法实时更新、扩展性弱的问题。 无论是构建下一代搜索引擎，还是开发智能推荐系统，或者是实现跨模态内容检索，Elasticsearch的向量搜索功能都为我们提供了强大而灵活的工具。 Elasticsearch 与 Milvus 实现RAG对比对比维度ElasticSearchMilvus核心定位通用搜索引擎专用向量数据库向量支持插件式，7.x后支持原生核心功能最大维度1024/2048
13610编辑于 2026-02-07 - 来自专栏山行AI
AI跑车引擎第三篇——向量引擎之ElastiKnn实战
为了满足这个需求，我们需要一个强大、灵活且高效的搜索引擎。这就是Elasticsearch和ElastiKNN的用武之地。 Elasticsearch是一个基于Apache Lucene的开源搜索引擎，它被广泛应用于全文搜索、日志数据处理和大数据分析等领域。 在AI兴起的当下，一切皆embedding，像Elastiknn这类向量存储和检索引擎也逐渐成为AI跑车引擎里不可缺少的一部分。 安装 1. 由于大多数单词在一个文本中只出现一次或不出现，因此生成的向量是一个稀疏向量。使用稀疏向量数据结构，可以更高效地处理大规模文本语料库，并解决文本分类、聚类和信息检索等问题。 在自然语言处理中，密集的浮点向量通常用于表示文本中的词向量、句向量和段向量。这些向量可以用于文本分类、情感分析、机器翻译等任务。
1.6K20编辑于 2023-06-14 - 来自专栏PostgreSQL研究与原理解析
聊聊Doris向量化执行引擎-过滤操作
聊聊Doris向量化执行引擎-过滤操作 Doris是开源的新一代极速MPP数据库，和StarRocks同源，采用全面向量化技术，充分利用CPU单核资源，将单核执行性能做到极致。 本文，我们聊聊过滤操作是如何利用SIMD指令进行向量化操作。 过滤操作的SIMD向量化函数是_evaluate_vectorization_predicate：和StarRocks实现大致类似，但稍有不同： SegmentIterator::_evaluate_vectorization_predicate
1.2K40编辑于 2023-05-25 - 来自专栏PostgreSQL研究与原理解析
openGauss-向量化执行引擎-VecUnique算子
openGauss-向量化执行引擎系列-VecUnique算子 openGauss实现了向量化执行引擎，达到算子级别的并行。也就是说在执行器火山模型基础上，一次处理一批数据，而不是一次一个元组。 前期我们介绍了PgSQL Unique算子的实现机制，本文接着介绍openGauss是如何实现Unique算子向量化的。 简单来说，openGauss的VecUnique算子更多的是为了实现执行器整体性的向量化，减少算子之间因为向量化和非向量化算子之间的兼容而进行的VecToRow和RowToVec算子进行的行与向量之间的转换而完成的
59640编辑于 2023-11-05 - 来自专栏PostgreSQL研究与原理解析
聊聊ClickHouse向量化执行引擎-过滤操作
俄罗斯Yandex开发的ClickHouse是一款性能黑马的OLAP数据库，其对SIMD的灵活运用给其带来了难以置信的性能。本文我们聊聊它如何对过滤操作进行SIMD优化。
1.4K50编辑于 2023-05-25 - 来自专栏PostgreSQL研究与原理解析
聊聊StarRocks向量化执行引擎-过滤操作
聊聊StarRocks向量化执行引擎-过滤操作 StarRocks是开源的新一代极速MPP数据库，采用全面向量化技术，充分利用CPU单核资源，将单核执行性能做到极致。 本文，我们聊聊过滤操作是如何利用SIMD指令进行向量化操作。 过滤操作的SIMD向量化函数是filter_range，我们以binary类型的列为例： BinaryColumnBase<T>::filter_range 执行过程如下图所示： 1、通过1
1.6K40编辑于 2023-05-25 - 来自专栏PostgreSQL研究与原理解析
openGauss-向量化执行引擎-索引扫描CStoreIndexScan
openGauss-向量化执行引擎-索引扫描CStoreIndexScan openGauss实现了向量化执行引擎，达到算子级别的并行。 2、向量化索引扫描算子 openGauss通过CStoreIndexScan算子进行向量化索引扫描。 向量化索引扫描的优势：兼容向量化引擎其他算子，以达到全算子向量化，减少VecToRow和RowToVec的互相转换；同时减少底层算子函数的调用；因为增加了排序，可如同bitmap扫描一样减少heap页的随机访问
75330编辑于 2023-11-05 - 来自专栏PostgreSQL研究与原理解析
向量化引擎怎么提升数据库性能
数据库向量化是一项工程性很大的挑战，但可为StarRocks等实时分析引擎提供数量级性能提升。 1、向量化引擎为什么可以提升性能 本文讨论的数据库都是基于CPU架构，数据库向量化一般指基于CPU的向量化，因此数据库性能优化的本之在于：基于CPU的程序如何进行性能优化。 2.1 如何进行向量化编程 方法一：编译器自动向量化 不需要更改代码，编译器会自动将标量代码转成向量化代码。只有一些简单的场景才能自动转换。 需要重新设计存储引擎和查询引擎。 2）所有算子、表达式和函数都需要向量化 这是一项艰巨的任务，需要多人几年才能完成。 3.2 向量化算子和表达式 算子向量化和表达式向量化是主要模块。如上图，可总结为按列批量计算。 Batch可以减少分支 misperdictions和instruction cache miss。
1.4K61编辑于 2023-11-06 - 来自专栏PostgreSQL研究与原理解析
openGauss - 向量化执行引擎 - distinct分组聚合的实现
openGauss - 向量化执行引擎 - distinct分组聚合的实现 openGauss向量化执行引擎中分组聚合有两种实现方式：排序和hash。 ，其中普通group by就是每次查询生成一个分组的聚合；而grouping sets、cube或者rollup分组集就是每次查询生成不同级别或者多个维度的聚合，详见： 下面我们看下openGauss向量化执行引擎中对这些分组聚合如何实现 它的聚合走另外分支： 2、原理 1）通过CStoreScan算子从磁盘上加载一批数据到内存，并通过VecSort向量化算子进行排序 2）从排好序的数据中（要么都在内存，要么溢出到磁盘）拿一批数据batch
60110编辑于 2024-05-06 如何设计一个向量搜索引擎
如何设计一个向量搜索引擎 在AI时代，向量搜索已成为推荐系统、图像检索、文档相似性搜索等应用的核心技术。今天我们来聊聊如何构建一个向量搜索引擎。 核心算法 什么是向量搜索？ 简单来说，向量搜索就是在海量的高维向量中，快速找到与查询向量最相似的几个。 在第0层进行精确搜索 return searchLayer(query, current, k, ); } } 系统架构 我们的向量搜索引擎采用分层架构，每层职责清晰： 核心组件介绍 (float[] a, float[] b) { return1.0f - cosineSimilarity(a, b); } } } 性能优化 计算引擎优化 技术方案： 用户行为向量：购买历史、浏览记录、评分等 商品特征向量：类别、价格、品牌、描述等 使用曼哈顿距离计算用户-商品相似度 // 用户画像向量化 UserProfileVectorizer userVectorizer
39510编辑于 2025-06-21- 来自专栏山行AI
AI跑车引擎——向量数据库第二篇
前言 在AI盛行的当下，Vector Search结合LLM的应用模式已经在应用领域逐渐成为主流，要想开好AI这辆跑车，那么首先需要有一款衬手的引擎，它就是向量数据库。 Elasticsearch 是一个基于 Lucene 的搜索引擎，它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful web 接口。 向量数据库是一种专门设计用来处理高维度数据和进行向量搜索的数据库。 5.Weaviate: 是一款开源的语义搜索引擎，其利用机器学习来理解和搜索大规模的数据。 Qdrant: Qdrant是一个向量搜索引擎，它的目标是提供一个功能齐全的解决方案，包括数据存储、索引和查询功能。
2K30编辑于 2023-06-14 首章：向量搜索引擎的设计思路概览
首章：向量搜索引擎的设计思路概览 本文将深入解析向量搜索引擎的设计思路，从架构设计到算法选择，从性能优化到企业级特性，带你了解一个向量搜索系统是如何设计和实现的。可跳过该章节直接从第一章开始学习。 整套课程内容设计 第一部分：理论基础与架构设计（1-3章） 第一章：向量搜索引擎概述与理论基础 ✅ 1.1 什么是向量搜索引擎 1.2 向量搜索的挑战 1.3 常见的向量搜索算法 1.4 HNSW算法原理 ✅ 3.1 向量类的设计思路 3.2 Vector类完整实现 3.3 SearchResult类的实现 3.4 向量数据的内存优化 3.5 向量验证和安全性 3.6 性能测试和基准测试 3.7 向量序列化和反序列化 7.1 计算引擎架构设计 7.2 CPU计算引擎实现 7.2.1 基础实现 7.2.2 SIMD优化 7.2.3 多线程并行 7.2.4 Fork/Join框架应用 7.3 GPU计算引擎实现 7.3.1 多租户架构 企业环境需要支持多租户隔离： 权限管理系统 基于RBAC的权限管理设计： 系统交互流程 搜索请求流程 索引构建流程 监控与可观测性 监控指标设计 通过以上设计思路的分析，我们可以看到一个向量搜索引擎的实现
23711编辑于 2025-07-26- 来自专栏山行AI
AI跑车引擎之向量数据库一览
6.GSI：Global State Index (GSI) 是一个分布式、可扩展的向量搜索引擎，用于全球状态估计。 GSI 利用不同节点间的局部信息，通过一致性哈希和向量近似搜索来实现高效的全球状态查询。7.Qdrant：一个开源的、高性能的向量搜索引擎，支持大规模数据集。 •缺点：可能不如其他专用向量数据库在向量搜索性能上快速。4.Weaviate：•优点：知识图谱向量搜索引擎，自然语言处理，图查询和模型训练支持。•缺点：可能更适合知识图谱应用而非通用向量搜索。 Elasticsearch如何做向量存储与检索 Elasticsearch 是一种广泛使用的开源搜索引擎，主要用于全文检索。 另外，这种方法的性能和扩展性可能不如专门的向量搜索引擎（如 Milvus、Pinecone 等）那么出色。
2.9K40编辑于 2023-06-14 - 来自专栏数据D江湖
中国数据库行业分析报告：向量启航，引擎加持
来源：墨天轮 公众号后台回复： 报告 获取源文件 欢迎添加本站微信：datajh （可上下滑动或点单个图片放大左右滑动查看）
42210编辑于 2022-12-08 深入引擎——一句话如何变成向量？
现在，让我们深入其内部，探寻一个句子，比如“今天天气真好”，是如何经历一场“变形记”，最终成为一个浓缩了其精华的向量的。 经过这个过程，每个 Token 的向量都会被“升级”，从一个独立的“字典定义”变成一个富含上下文信息的“语境化表达”。 第 3 步：池化 (Pooling) - 浓缩精华经过第二步，我们得到了多个向量（每个 Token 对应一个）。但我们通常需要一个向量来代表整句话。如何从多个详细的向量中提炼出一个总代表呢？ 一场会议有许多发言（多个 Token 向量），而池化的目标就是生成一段话的摘要（单一的句向量）。最常见的池化策略有两种：平均池化 (Mean Pooling)：最直接的方法。 模型在训练时被教导将整句话的综合信息都汇聚到 [CLS] Token 对应的向量上。因此，我们只需直接取出这个向量，它就是整句话的高度浓缩摘要。至此，一句话的“变形记”宣告完成。
35511编辑于 2025-08-05- 来自专栏Java进阶架构师
火山引擎ByteHouse：如何为OLAP设计高性能向量检索能力？
点击“阅读原文”，即可下载《ByteHouse向量检索技术指南》 背景 随着LLM技术应用及落地，数据库需要提高向量分析以及AI支持能力，向量数据库及向量检索等能力“异军突起”，迎来业界持续不断关注。 不仅仅是LLM，向量检索也早已在OLAP引擎中应用，用来提升非结构化数据的分析和检索能力。 ByteHouse是火山引擎推出的云原生数据仓库，近期推出高性能向量检索能力，本篇将结合ByteHouse团队对向量数据库行业和技术的前沿观察，详细解读OLAP引擎如何建设高性能的向量检索能力。 因此，向量检索相关技术，以及基于向量检索的向量数据库的概念逐渐流行起来，成为数据库领域一个热门话题。 该机制为当前支持的 HaMergeTree、HaUniqueMergeTree 引擎都添加了支持。
45510编辑于 2024-05-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号