- 综合排序
- 最热优先
- 最新优先
PostgreSQL 向量数据存储指南
引言在当今的数字化时代，数据存储的方式和技术正变得越来越复杂和多样化。随着机器学习和数据科学的发展，向量数据的存储和管理变得尤为重要。 PostgreSQL 的向量数据存储支持PostgreSQL 通过扩展和插件提供了对向量数据的支持。常见的向量数据存储方式包括：数组类型：PostgreSQL 内置数组数据类型，可以存储向量数据。 PostGIS：一个地理空间数据库扩展，支持地理坐标向量的存储和查询。H3、Citus：一些插件和扩展，提供高效的向量数据存储和查询功能。 VectorData 类的 vector 字段将存储向量数据。 实现步骤图像特征提取：使用深度学习模型（如 ResNet）提取图像的特征向量。向量存储：将图像的特征向量存储到 PostgreSQL 数据库中。相似度查询：利用向量相似度计算，从数据库中搜索相似图像。
1.1K00编辑于 2024-07-31- 来自专栏繁依Fanyi 的专栏
PostgreSQL 向量数据存储指南
引言 在当今的数字化时代，数据存储的方式和技术正变得越来越复杂和多样化。随着机器学习和数据科学的发展，向量数据的存储和管理变得尤为重要。 PostgreSQL 的向量数据存储支持 PostgreSQL 通过扩展和插件提供了对向量数据的支持。 常见的向量数据存储方式包括： 数组类型：PostgreSQL 内置数组数据类型，可以存储向量数据。 PostGIS：一个地理空间数据库扩展，支持地理坐标向量的存储和查询。 VectorData 类的 vector 字段将存储向量数据。 实现步骤 图像特征提取：使用深度学习模型（如 ResNet）提取图像的特征向量。 向量存储：将图像的特征向量存储到 PostgreSQL 数据库中。
1.1K11编辑于 2024-09-20 - 来自专栏AI相关
再谈RAG与向量存储引擎
不仅如此，其实向量这一概念在计算机人工智能技术中也早就出现了，这篇文章我们就来探究一下向量的发展史，以及使用传统向量存储引擎Elasticsearch实现RAG，讨论它与Milvus向量数据库有哪些不同 在向量数据库出现前（约2018年前），向量主要存储在以下三类“临时方案”中：1）文件系统+内存索引：使用FAISS、Annoy等库建立索引，向量以NumPy数组或HDF5文件格式存储在磁盘，元数据放在MySQL 在 7.x 版本开始通过 dense_vector 字段类型提供基础向量存储能力，此时向量仅作为数据字段存储，查询时需要通过性能低下的脚本计算相似度。 直到 8.0 版本引入 HNSW 索引支持，才真正实现高效的向量搜索能力。因此，向量存储是向量搜索的必要基础，而索引优化才是实现实用化向量搜索的关键。 ，那么我们就来看看Elasticsearch作为向量存储和检索工具有何特性。
18410编辑于 2026-02-07 - 来自专栏马超的博客
向量数据库：使用Elasticsearch实现向量数据存储与搜索
向量数据库：使用Elasticsearch实现向量数据存储与搜索 一、简介 Elasticsearch在7.x的版本中支持 向量检索[2] 。 keyword" } } } } 2.2 写入数据 PUT index3/_doc/1 { "my_text" : "text1", "my_vector" : [0.5, 10 , 6] } PUT index3/_doc/2 { "my_text" : "text2", "my_vector" : [-0.5, 10, 10] } 三、向量计算函数 3.1 余弦相似度 • doc[<field>].magnitude – 将向量的大小作为浮点数返回（对于7.5版本之前创建的向量，其向量的大小不会被存储）。所以这个函数每次被调用时都会进行重新计算。 ：使用Elasticsearch实现向量数据存储与搜索 [2] 向量检索: https://github.com/elastic/elasticsearch/blob/e8c382f89553e3a7aaafa88a5934288c1192acdc
5.5K20编辑于 2023-09-02 - 来自专栏腾讯云Elasticsearch Service
ES8 向量功能窥探系列（二）：向量数据的存储与优化
同时也将解读腾讯云 ES 向量增强版，如何助力业务实现节省 70% - 90% 存储的优化。1. 存储关于 ES 倒排索引等存储构成，网上早已有很多文章进行过解析，不做赘述。 由于未启用向量索引，我们有理由认为该配置下，向量字段只会引发行存和列存的存储大小增长。 在“无索引”的配置下，列存.dvd大部分存储由向量字段占据，在配置了向量字段的 Flat 索引后，该部分存储几乎 1:1 地转移到.vec类型的向量索引数据文件中。 行存裁剪优化3.1 发现向量的冗余存储在上一章节提到的几种索引模式中，我们不难发现以下几点：向量字段无论索引与否，.fdt占据了整个存储的绝大部分向量原始数值除了存储在.fdt外，无论索引与否，都有额外的结构进行存储 节省 77% 磁盘混合搜索场景：so_vector (200w docs) rally 的so_vector数据集，是 StackOverflow 的问答数据，有 10 列字段，1 列是 768 维的向量
1.9K10编辑于 2025-02-20 - 来自专栏Reinvent Data Science
揭秘 LlamaIndex｜如何持久化存储 LlamaIndex 向量索引？
LlamaIndex 系列】，此前我们已经邀请 LlamaIndex 的联合创始人详解【如何使用私有数据提升 LLM 的能力】，也细致介绍过 LlamaIndex 的各式索引，以及如何查询 LlamaIndex 向量存储索引的简略教程 本次，我们将着重讲解如何在 LlamaIndex 中创建并存储向量索引及 2 种持久化存储向量索引的方法。 01. 如果想要使用持久化存储引擎来存储索引，以便在后续应用搭建过程中使用，可以参照下文的教程。 02. 使用 MilvusVectorStore 连接向量存储，并传入主机和端口参数。 ……） 使用云端向量数据库 需要注意的是，如果遇到海量数据，我们推荐使用云端向量数据库来存储 LlamaIndex 向量索引。 以下教程中使用了 Zilliz Cloud向量数据库。
2K21编辑于 2023-08-25 - 来自专栏Elastic Stack专栏
介绍一种新的向量存储格式：DiskBBQ
最后，通过批量计算簇内向量与查询向量之间的距离，来探索每个簇内的向量。图 0. Hierarchical KMeans 算法流程示例。将向量分割成部分，聚类每个部分，并递归分割直到达到所需的分区大小。 DiskBBQ 另一个有趣的方面是，它允许将向量分配给多个质心。它利用 Google 的正交增强残差溢出 (SOAR)版本将向量分配到多个簇，这在向量位于两个簇边界附近时特别有用。 在超过 100 万个向量上 DiskBBQ 的表现对比。所有数据都舒适地驻留在内存中。DiskBBQ 的索引速度可以快 10 倍，同时在 BBQ 量化向量上几乎与 HNSW 一样快。 , 0.3929], "k": 10, "num_candidates": 50 } }}或者，如果您希望更精细地控制搜索考虑的向量数量，可以直接设置 visit_percentage , 0.3929], "k": 10, "visit_percentage": 10.0 } }}DiskBBQ 将很快在 Elasticsearch Serverless
22610编辑于 2025-10-09 - 来自专栏存储公众号：王知鱼
AI向量搜索新范式：计算存储如何破局？
您是否曾困惑于，在处理海量高维向量数据时，如何在保证搜索效率和准确性的同时，有效控制高昂的硬件成本和有限的存储容量？ SanDisk 的解决方案 SanDisk的解决方案：一款专为大规模ANN向量搜索设计的、软硬件一体的计算存储（Computational Storage）加速器。 解决了纯GPU方案的成本和容量瓶颈： 它以成本低廉且容量巨大的NAND闪存作为主存储介质，而不是昂贵且容量有限的GPU显存，因此能够以极高的性价比支持超大规模（十亿级以上）的向量数据集。 其内部主要组件包括： NAND (黄色): 这是NAND闪存芯片，用于持久化存储海量的、完整的向量数据集。 Orchestrator Unit (红色): 编排/协调单元。 延伸思考 这次分享的内容就到这里了，或许以下几个问题，能够启发你更多的思考，欢迎留言，说说你的想法~ SanDisk的计算存储方案在向量搜索领域展现出巨大潜力，您认为这种“计算靠近数据”的理念，在其他AI
25710编辑于 2025-11-20 - 来自专栏存储公众号：王知鱼
IBM计算存储：SSD如何加速十亿级向量搜索？
内存优化：显著降低内存占用（通常可压缩 10-100 倍），允许在内存中存更多数据。 ✅ 极高的吞吐量和内存效率。 ❌ 精度损失，量化过程会丢失部分向量信息，导致搜索结果不如全精度准确。 5. 确定性的低延迟： VSM 展现了亚 10 毫秒（<0.01s） 扫描百万级向量的能力，这对于实时 RAG 应用来说是极其优异的指标，证明了穷举搜索在硬件加速下完全具有生产可用性。 如果业务场景是低并发、低延迟，VSM 可能无法发挥并行优势（利用率为0%）；但在高并发（10k+ queries） 场景下，它能跑满硬件性能。 暴力美学的胜利： 通过堆叠 VSM 数量（Scale-out），可以在 10亿级 数据规模下实现 CPU 无法企及的高吞吐量。 Micro-batching（微批处理）： 可在网关层将 10-50 毫秒内到达的数百个用户请求“攒”成一个 Batch 发送给 VSM。
18410编辑于 2026-03-09 - 来自专栏Python与算法之美
10分钟入门faiss相似向量检索
一，faiss简介 faiss全称 Facebook AI Similarity Search，是FaceBook的AI团队针对大规模向量 进行 TopK 相似向量 检索 的一个工具，使用C++编写 ，有python接口，对10亿量级的索引可以做到毫秒级检索的性能。 faiss的主要原理是构建base vectors向量数据的index索引，然后利用索引对search vectors 实现 TopK 相似向量检索。 Hierarchical NSW(Navigable Small World)，每个节点64条边，检索复杂度log(logn)，适合千万上亿规模以及更大规模的图索引，缺点是构建索引过程较慢，占用很大的存储 # index向量库的向量 faiss.normalize_L2(xb) print('xb.shape = ',xb.shape,'\n') # 二，准备查询向量
5K30编辑于 2023-09-05 - 来自专栏BestSDK
10大云存储平台技巧
IoT最佳存储系统 由于对象存储的无限扩展架构和持久的性质，它非常适合处理通过IoT文件积累的PB级的非结构化数据。对于云的主要选择，对象存储可以用于私有、公有和混合云平台。 通过将被动数据迁移到较低的存储层，混合云平台可以清理急需的存储空间，否则可能会被很少访问的数据浪费。 对象存储网关可能不适用数据迁移 简化数据向对象存储的迁移，网关看起是一种方法，但它却不是最好的方法。尽管网关可以在数据迁移中减少存储的消费，但实际上，相比于其它的数据迁移项目，它的步骤没有那么少。 使用标准文件或块接口，对象存储网关仍然需要32到34个人工步骤来迁移文件和存储块。 伴随着劳动密集型流程，对象存储网关可能会让你将数据保护过程复杂化。 分层和快照是需要考虑的两个功能，以及服务提供商与存储组合供应商密切合作关系。 对DRaaS要求更多 评估DRaaS供应商时，请确定数据的存储方式。
2.7K60发布于 2018-03-02 - 来自专栏资讯分享
腾讯云向量数据库正式上线公测！提供10亿级向量检索能力
8月1日，腾讯云向量数据库（Tencent Cloud Vector DB）正式上线公测，点击本文末尾的“阅读原文”，即可申请体验。 腾讯云向量数据库是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库。 作为一款全托管的自研企业级分布式数据库服务，腾讯云向量数据库专用于存储、检索、分析多维向量数据。 该数据库支持多种索引类型和相似度计算方法，单索引支持 10 亿级向量规模，可支持百万级 QPS 及毫秒级查询延迟。 向量数据库通过把数据向量化然后进行存储和查询，可以极大地提升效率和降低成本。 统计显示，将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗相比传统方式可以实现10倍效率的提升，如果将向量数据库作为外部知识库用于模型推理，则可以将成本降低2-4个数量级。 此前，腾讯云向量数据库的向量化能力（embedding）曾多次获得权威机构认可，2021年曾登顶MS MARCO榜单第一、相关成果已发表于NLP顶会EMNLP。
42020编辑于 2023-08-03 艾体宝产品丨Redis 8 向量搜索实测：轻松扩展至 10 亿向量
面对生成式 AI 带来的超大规模向量需求，Redis 8 向量搜索实测轻松支持 10 亿向量，依旧保持低延迟与高吞吐表现。 我们发现了一些需要 10 亿个或更多向量的使用场景，很高兴能分享我们在这一规模上的基准测试结果。 将向量搜索扩展到 10 亿个向量并非易事，但 Redis 8 的发布让这一过程显得轻松。 今天，我们将通过展示 Redis 在实时搜索 10 亿个 768 维向量时的处理能力，来说明它如何应对大规模应用程序。 测试配置详解我们使用了一个与 Intel® 合作准备的向量数据集，该数据集包含 10 亿个 768 维向量，采用 FLOAT16 精度和 10K 查询，每个查询有 100 个真实值（精确邻居，exact
58110编辑于 2025-05-22- 来自专栏腾讯云数据库(TencentDB)
腾讯云向量数据库正式上线公测！提供10亿级向量检索能力
今日，腾讯云向量数据库（Tencent Cloud Vector DB）正式上线公测，点击本文末尾的“阅读原文”，即可申请体验。 腾讯云向量数据库是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库。 作为一款全托管的自研企业级分布式数据库服务，腾讯云向量数据库专用于存储、检索、分析多维向量数据。 该数据库支持多种索引类型和相似度计算方法，单索引支持 10 亿级向量规模，可支持百万级 QPS 及毫秒级查询延迟。 向量数据库通过把数据向量化然后进行存储和查询，可以极大地提升效率和降低成本。 统计显示，将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗相比传统方式可以实现10倍效率的提升，如果将向量数据库作为外部知识库用于模型推理，则可以将成本降低2-4个数量级。 此前，腾讯云向量数据库的向量化能力（embedding）曾多次获得权威机构认可，2021年曾登顶MS MARCO榜单第一、相关成果已发表于NLP顶会EMNLP。
59530编辑于 2023-08-03 - 来自专栏人工智能领域
10.高级存储过程技巧（1010）
2.1 存储过程调试的基本概念 2.1.1 调试存储过程的目的 调试存储过程的目的包括： 查找和修复错误：识别和解决存储过程中的逻辑错误或运行时错误。 验证逻辑：确保存储过程的业务逻辑正确无误。 2.2.2 使用“Step Into”进行存储过程调试 Step Into：使用“Step Into”(F10)命令可以进入存储过程或函数的内部，逐行执行，这有助于调试嵌套的存储过程或函数调用。 - 阿里云开发者社区 链接 《SQL-触发器(trigger)的详解以及代码演示》- CSDN博客 链接 《25.3.1 触发器语法和示例》- MySQL 8.0 参考手册 链接 《不可不知的10个数据库安全最佳实践 本文相关文章推荐： 1.MySQL存储过程基础（1/10） 2.创建第一个MySQL存储过程（2/10） 3.使用条件语句编写存储过程（3/10） 4.循环结构在存储过程中的应用（4/10） 5.错误处理在存储过程中的重要性 （5/10） 6.存储过程中的游标使用（6/10） 7.存储过程中的事务管理（7/10） 8.优化存储过程的性能（8/10） 9.存储过程安全性博客大纲（9/10） 10.高级存储过程技巧（10/10
50410编辑于 2024-12-18 - 来自专栏帅云霓的技术小屋
云存储硬核技术内幕——(10)
在前几期，我们提到了，在云计算时代，由于对存储IO及吞吐的要求迅速增加，传统SAN存储难以满足需求，基于标准x86节点的分布式存储成为了主流。 开源分布式存储的代表是Ceph。 Ceph本质上是对象存储(后面会讲到)，以image的形式提供RBD块，在KVM的QEMU中安装RBD块驱动，将RBD块直接挂载给虚拟机。 出于这点考虑，工程师们在服务器上安装了两块硬盘，通过RAID卡，让来自系统的IO被复制到两块硬盘，令两块硬盘存储的内容完全一致。当一块硬盘损坏或被意外拔出时，另一块硬盘还能够读出完整的数据。 因此，在分布式存储中，通常使用多副本机制，最常见的是三副本： 如图，PG落到主OSD后，主OSD所在的Node会将内容复制到另外两个副本对应的OSD节点，并最终落盘。
93920编辑于 2022-08-04 - 来自专栏郭霖
Android 10适配要点，作用域存储
距离Android 10系统正式发布已经过去大半年左右的时间了，你的应用程序已经对它进行适配了吗？ 在Android 10众多的行为变更当中，有一点是非常值得引起我们重视的，那就是作用域存储。 本篇文章对作用域存储进行了比较全面的解析，相信看完之后你将能够轻松地完成Android 10作用域存储的适配升级。 而在作用域存储这个功能上面，恭喜大家，暂时确实是可以不用升级的。 目前Android 10系统对于作用域存储适配的要求还不是那么严格，毕竟之前传统外置存储空间的用法实在是太广泛了。 还有一个是图片存储的路径，不过这个值在Android 10和之前的系统版本中的处理方式不一样。 第三方SDK不支持作用域存储怎么办？ 阅读完了本篇文章之后，相信你对Android 10作用域存储的用法和适配基本上都已经掌握了。
2.8K10发布于 2020-04-16 - 来自专栏存储公众号：王知鱼
AI大模型时代：向量数据库如何挑战存储极限？
本文将深入探讨向量数据库如何成为一个对存储性能高度敏感的关键AI工作负载，并揭示其对底层存储I/O的极致要求，以及我们应如何应对这些挑战。 划线高亮 观点批注 什么是向量数据库？ PPT旨在从概念、功能、应用和行业趋势四个方面介绍向量数据库。 定义与功能： 向量数据库是一种专门用于存储和查询高维向量（Embeddings）的数据库。 这张PPT阐述了这一行动的三个主要驱动因素： 行业趋势（存储敏感性）： 随着向量数据集的爆炸性增长，向量数据库的性能瓶颈正从内存和计算转向存储I/O。 通过实测数据证明，基于DiskANN（存储型）的向量数据库在处理大规模数据集（1亿向量）时，其性能具有良好的可扩展性，但同时也暴露了它对存储带宽的极高依赖性，并伴随着延迟的显著增加。 这有力地证明了向量数据库在高并发下是一个“存储敏感型”或“存储I/O密集型”工作负载。
47810编辑于 2025-12-21 - 来自专栏DeepHub IMBA
向量存储vs知识图谱：LLM记忆系统技术选型
第二个想法可能是存储每条消息加上摘要，然后用语义搜索（RAG里的检索部分）在查询时获取相关信息。 这就是标准的naive retrieval系统的做法。 它们大概率用了一个分类器判断某条消息是否包含需要存储的事实。 然后把事实归到预设的类别里（比如个人资料、偏好、项目），相似的就更新现有记忆，不同的就新建一条。 架构方案的选择 目前主流架构就两条路：向量方案和知识图谱方案。 前面提到的检索方法是大部分人入门时的选择。检索依赖向量存储（常配合稀疏搜索），能同时支持语义和关键词检索。 之前提到向量方案在时间推理和多跳推理上有短板。而知识图谱里信息本身就是结构化的，LLM更容易利用全部上下文。 向量方案随着信息增长，噪音会越来越强，系统可能连不起各个点。 或者搞混合方案，比如自己写个分类器筛选值得存的事实消息来控制成本，其他消息扔自己的向量存储定期压缩和总结。 最后总结 虽然有记忆系统支持，但是也别指望完美。这些系统还是会出现幻觉或者漏掉答案。
34510编辑于 2025-11-15 - 来自专栏Elastic Stack专栏
Lucene 中的标量量化：如何优化存储和搜索向量
Understanding Scalar Quantization in Lucene 自动字节量化在 Lucene 中的应用 HNSW 是一种功能强大且灵活的存储和搜索向量的方法，但它需要大量内存才能快速运行 Lucene 中的分段量化 每个 Lucene 段存储以下内容：单个向量、HNSW 图索引、量化向量和计算的分位数。为了简洁，我们将重点介绍 Lucene 如何存储量化和原始向量。 对于每个段，我们跟踪 vec 文件中的原始向量、veq 文件中的量化向量和单个修正乘数浮点数，以及 vemq 文件中关于量化的元数据。 这里跟踪量化和向量配置以及该段的计算分位数。 因此，对于每个段，我们不仅存储量化向量，还存储用于生成这些量化向量的分位数和原始向量。那么，为什么我们还要保留原始向量呢？ 量化向量的搜索性能明显快于原始向量，召回率通过多收集 5 个向量就可以快速恢复；见 quantized@15。 图 6 讲述了这个故事。虽然召回率有所不同，但这是预期的，并不显著。
1.2K12编辑于 2024-07-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号