- 综合排序
- 最热优先
- 最新优先
PostgreSQL 向量数据存储指南
引言在当今的数字化时代，数据存储的方式和技术正变得越来越复杂和多样化。随着机器学习和数据科学的发展，向量数据的存储和管理变得尤为重要。 PostgreSQL 的向量数据存储支持PostgreSQL 通过扩展和插件提供了对向量数据的支持。常见的向量数据存储方式包括：数组类型：PostgreSQL 内置数组数据类型，可以存储向量数据。 PostGIS：一个地理空间数据库扩展，支持地理坐标向量的存储和查询。H3、Citus：一些插件和扩展，提供高效的向量数据存储和查询功能。 VectorData 类的 vector 字段将存储向量数据。 实现步骤图像特征提取：使用深度学习模型（如 ResNet）提取图像的特征向量。向量存储：将图像的特征向量存储到 PostgreSQL 数据库中。相似度查询：利用向量相似度计算，从数据库中搜索相似图像。
1.1K00编辑于 2024-07-31- 来自专栏繁依Fanyi 的专栏
PostgreSQL 向量数据存储指南
引言 在当今的数字化时代，数据存储的方式和技术正变得越来越复杂和多样化。随着机器学习和数据科学的发展，向量数据的存储和管理变得尤为重要。 PostgreSQL 的向量数据存储支持 PostgreSQL 通过扩展和插件提供了对向量数据的支持。 常见的向量数据存储方式包括： 数组类型：PostgreSQL 内置数组数据类型，可以存储向量数据。 PostGIS：一个地理空间数据库扩展，支持地理坐标向量的存储和查询。 VectorData 类的 vector 字段将存储向量数据。 实现步骤 图像特征提取：使用深度学习模型（如 ResNet）提取图像的特征向量。 向量存储：将图像的特征向量存储到 PostgreSQL 数据库中。
1.1K11编辑于 2024-09-20 - 来自专栏AI相关
再谈RAG与向量存储引擎
不仅如此，其实向量这一概念在计算机人工智能技术中也早就出现了，这篇文章我们就来探究一下向量的发展史，以及使用传统向量存储引擎Elasticsearch实现RAG，讨论它与Milvus向量数据库有哪些不同 在向量数据库出现前（约2018年前），向量主要存储在以下三类“临时方案”中：1）文件系统+内存索引：使用FAISS、Annoy等库建立索引，向量以NumPy数组或HDF5文件格式存储在磁盘，元数据放在MySQL 在 7.x 版本开始通过 dense_vector 字段类型提供基础向量存储能力，此时向量仅作为数据字段存储，查询时需要通过性能低下的脚本计算相似度。 直到 8.0 版本引入 HNSW 索引支持，才真正实现高效的向量搜索能力。因此，向量存储是向量搜索的必要基础，而索引优化才是实现实用化向量搜索的关键。 ，那么我们就来看看Elasticsearch作为向量存储和检索工具有何特性。
18410编辑于 2026-02-07 - 来自专栏马超的博客
向量数据库：使用Elasticsearch实现向量数据存储与搜索
向量数据库：使用Elasticsearch实现向量数据存储与搜索 一、简介 Elasticsearch在7.x的版本中支持 向量检索[2] 。 " } } } } 2.2 写入数据 PUT index3/_doc/1 { "my_text" : "text1", "my_vector" : [0.5, 10, 6] params.queryVector, doc['my_vector'])+1.0", "params": { "queryVector": [-0.5, 10, 6] • doc[<field>].magnitude – 将向量的大小作为浮点数返回（对于7.5版本之前创建的向量，其向量的大小不会被存储）。所以这个函数每次被调用时都会进行重新计算。 Elasticsearch实现向量数据存储与搜索 [2] 向量检索: https://github.com/elastic/elasticsearch/blob/e8c382f89553e3a7aaafa88a5934288c1192acdc
5.5K20编辑于 2023-09-02 - 来自专栏机器学习算法工程师
《机器学习》笔记-支持向量机（6）
章节目录 间隔与支持向量 对偶问题 核函数 软间隔与正则化 支持向量回归 核方法 1 间隔与支持向量 给定训练样本D={{x1, y1}, {x2, y2}, ... 距离超平面最近的这几个训练样本点称为“支持向量”（support vector），两个异类支持向量到超平面的距离之和为， ? 称为“间隔”（margin）。 “核函数选择”是支持向量机的最大变数。常用的核函数有， ? 此外，还可以通过函数到组合得到。 缓解该问题的一个办法是允许支持向量机在一些样本上出错。为此引入了“软间隔”（soft margin）的概念，如下图所示， ? 6 核方法 根据“表示定理”，对于一般的损失函数和正则化项（不要求是凸函数），优化问题的最优解都可表示为核函数的线性组合。这显示出核函数的巨大威力。
86370发布于 2018-03-30 - 来自专栏叶子的开发者社区
向量6（继承）栈操作 C++
定义CStack类实现栈操作。CStack类继承CVector类，新增私有数据成员：
31110编辑于 2023-07-30 - 来自专栏腾讯云Elasticsearch Service
ES8 向量功能窥探系列（二）：向量数据的存储与优化
同时也将解读腾讯云 ES 向量增强版，如何助力业务实现节省 70% - 90% 存储的优化。1. 存储关于 ES 倒排索引等存储构成，网上早已有很多文章进行过解析，不做赘述。 由于未启用向量索引，我们有理由认为该配置下，向量字段只会引发行存和列存的存储大小增长。 在“无索引”的配置下，列存.dvd大部分存储由向量字段占据，在配置了向量字段的 Flat 索引后，该部分存储几乎 1:1 地转移到.vec类型的向量索引数据文件中。 行存裁剪优化3.1 发现向量的冗余存储在上一章节提到的几种索引模式中，我们不难发现以下几点：向量字段无论索引与否，.fdt占据了整个存储的绝大部分向量原始数值除了存储在.fdt外，无论索引与否，都有额外的结构进行存储 虽然该功能相对实验性，但它进一步降低了 ES 向量搜索的存储门槛，拓展了不同读写流程。后续我们仅需要对“复水”算法进行优化，即可不断弱化这一影响，从而使其得到更广泛的使用。6.
1.9K10编辑于 2025-02-20 - 来自专栏Reinvent Data Science
揭秘 LlamaIndex｜如何持久化存储 LlamaIndex 向量索引？
LlamaIndex 系列】，此前我们已经邀请 LlamaIndex 的联合创始人详解【如何使用私有数据提升 LLM 的能力】，也细致介绍过 LlamaIndex 的各式索引，以及如何查询 LlamaIndex 向量存储索引的简略教程 本次，我们将着重讲解如何在 LlamaIndex 中创建并存储向量索引及 2 种持久化存储向量索引的方法。 01. 如果想要使用持久化存储引擎来存储索引，以便在后续应用搭建过程中使用，可以参照下文的教程。 02. 使用 MilvusVectorStore 连接向量存储，并传入主机和端口参数。 ……） 使用云端向量数据库 需要注意的是，如果遇到海量数据，我们推荐使用云端向量数据库来存储 LlamaIndex 向量索引。 以下教程中使用了 Zilliz Cloud向量数据库。
2K21编辑于 2023-08-25 - 来自专栏音视频技术学习笔记
机器学习作业6-支持向量机
这一节课有一定难度，支持向量机单独拿出来讲，都可以写一本书。但是题目实现的比较简单，有成熟的库大大降低了实现的难度。 这一章看了两遍了，还查阅了不少资料，值得多看几遍 线性回归 神经网络 支持向量机 总共三道题 线性SVM 带高斯内核的SVM 搜索最佳参数 实现垃圾邮件识别过滤 源码实现的比较详细，欠缺的是没有画出决策边界 原始数据 c=1 c=100 第二道题 原始数据 c=1 image.png 支持向量机参考资料 ---- 为什么叫“支持向量机” https://www.zhihu.com/question /59621954 ---- 支持向量机是什么意思 https://www.zhihu.com/question/21094489 英文原文： http://bytesizebio.net/2014 /02/05/support-vector-machines-explained-well/ ---- 支持向量机的三重境界 https://blog.csdn.net/v_july_v/article
39320发布于 2021-03-16 - 来自专栏AILearning
【机器学习实战】第6章 支持向量机
第6章 支持向量机 <script type="text/javascript" src="http://cdn.mathjax.org/mathjax/latest/MathJax.js? config=default"></script> 支持向量机 概述 支持向量机(Support Vector Machines, SVM)：是一种机器学习算法。 SMO 伪代码大致如下： 创建一个 alpha 向量并将其初始化为0向量 当迭代次数小于最大迭代次数时(外循环) 对数据集中的每个数据向量(内循环)： 如果该数据向量可以被优化 随机选择另外一个数据向量 同时优化这两个向量 如果两个向量都不能被优化，退出内循环 如果所有向量都没被优化，增加迭代数目 所以：我们可以考虑使用支持向量机，保留支持向量就行（knn需要保留所有的向量），就可以获得非常好的效果。
1.2K80发布于 2017-12-29 - 来自专栏Elastic Stack专栏
介绍一种新的向量存储格式：DiskBBQ
这是一个快速且计算高效的算法，能够对向量数据进行对数级缩放。然而，这种速度是有代价的。为了让 HNSW 良好运作，所有向量都需要驻留在内存中。 这可能会显著减慢无法完全在内存中保存向量的硬件的速度。DiskBBQ 有何不同？DiskBBQ 使用层次化 K-means将向量划分为小簇。它会先选择代表性的质心进行查询，然后再查询各个向量。 最后，通过批量计算簇内向量与查询向量之间的距离，来探索每个簇内的向量。图 0. Hierarchical KMeans 算法流程示例。将向量分割成部分，聚类每个部分，并递归分割直到达到所需的分区大小。 DiskBBQ 另一个有趣的方面是，它允许将向量分配给多个质心。它利用 Google 的正交增强残差溢出 (SOAR)版本将向量分配到多个簇，这在向量位于两个簇边界附近时特别有用。 DiskBBQ 利用批量评分向量，并尽可能多地在堆外执行操作。这意味着我们可以直接从文件中读取向量到内存中进行优化的向量操作，从而产生相当不错的性能。DiskBBQ 的两个主要场景特别有趣。
22610编辑于 2025-10-09 - 来自专栏存储公众号：王知鱼
AI向量搜索新范式：计算存储如何破局？
您是否曾困惑于，在处理海量高维向量数据时，如何在保证搜索效率和准确性的同时，有效控制高昂的硬件成本和有限的存储容量？ SanDisk 的解决方案 SanDisk的解决方案：一款专为大规模ANN向量搜索设计的、软硬件一体的计算存储（Computational Storage）加速器。 解决了纯GPU方案的成本和容量瓶颈： 它以成本低廉且容量巨大的NAND闪存作为主存储介质，而不是昂贵且容量有限的GPU显存，因此能够以极高的性价比支持超大规模（十亿级以上）的向量数据集。 其内部主要组件包括： NAND (黄色): 这是NAND闪存芯片，用于持久化存储海量的、完整的向量数据集。 Orchestrator Unit (红色): 编排/协调单元。 -【本文完】--- 阅读原文，独立站提前更新（测试中） https://files.futurememorystorage.com/proceedings/2025/01K736XZZXAK8Z82Z6PFD5CT20
25710编辑于 2025-11-20 - 来自专栏存储公众号：王知鱼
IBM计算存储：SSD如何加速十亿级向量搜索？
他们将标准SSD重构为专用的向量搜索加速卡——Vector Search Module (VSM)，通过“计算型存储”理念，直接在存储层并行执行向量搜索。 架构演进： 为了解决扩展性问题，未来的趋势是利用近数据计算（或存储内计算） 技术，直接在存储层并行执行向量搜索，以实现高吞吐和低延迟的大规模检索。 最近邻搜索 Exhaustive Search (暴力/穷举搜索) 全量扫描：将搜索向量与库中所有向量逐一比对。 存储密集/IO密集：需要读取全部数据。 6. 分层搜索 Hierarchical (HNSW, SPANN等) 多层导航：类似跳表结构。上层稀疏图用于快速定位，下层稠密图用于精细查找。 这种设计不惜牺牲存储密度，只为换取极致的向量检索速度和低延迟。
18410编辑于 2026-03-09 - 来自专栏iSharkFly
Confluence 6 附件存储选项 原
在早期的 Confluence 版本中，我们允许存储附件到 WebDav 或者 Confluence 数据库中。针对新的 Confluence 安装，我们不再支持这 2 种存储了。 数据库（已弃用） 在 Confluence 5.4 及其早期的版本，我们给了系统管理员存储附件到数据库中的选项，系统管理员可以在这些版本中配置附件的存储。 存储附件到数据库中可以带来一些好处（例如，可以更加容易的进行备份，避免文件系统中出现的字符集不支持的错误），但是请注意这种存储方式将会大大加大数据库空间的使用，随着时间的推移，你的数据库可能需要更多的存储空间 WebDav（已弃用） WebDav 在现在的存储中已经不是一个存储选项了，已经完全启用了。 https://www.cwiki.us/display/CONF6ZH/Attachment+Storage+Configuration
54230发布于 2019-01-31 - 来自专栏机器学习算法与Python学习
支持向量机之最小二乘(LS)-------6
上次了解了核函数与损失函数之后，支持向量机的理论已经基本完成，今天将谈论一种数学优化技术------最小二乘法（Least Squares, LS）。 说了这么多，貌似跟本文的主题支持向量机没啥关系呀，别急，请让我继续阐述。本质上说，最小二乘法即是一种参数估计方法，说到参数估计，咱们得从一元线性模型说起。 什么是一元线性模型呢？ 先来梳理下几个基本概念： (1) 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。 上面仅仅给出了SMO算法的最终求解公式，并未给出具体的求解过程，这个内容将在明天给出，也是关于支持向量机基本理论的最后一点内容~~~~
3.5K90发布于 2018-04-04 - 来自专栏机器学习与统计学
【R语言经典实例6】对整个向量执行计算
解决方案 基本的数学运算符可以对向量中的元素进行逐个计算。许多其他的函数也能对向量元素逐个进行运算，并以向量的形式输出结果。 讨论 向量计算是R软件的一大特色。所有的基本数学运算符都能应用于向量对中。 原因是结果向量中的每个元素都是由原向量对中对应的两个元素计算得来。 若使一个向量与一个常数进行运算，则会将该向量的每个元素与常数进行运算： > w [1] 1 2 3 4 5 > w + 2 [1] 3 4 5 6 7 > w - 2 [1] -1 0 1 2 3 > w * 2 [1] 2 4 6 8 10 > w / 2 [1] 0.5 1.0 1.5 2.0 2.5 > w ^ 2 [1] 1 4 9 16 25 > 2 ^ w [1] 还有许多函数对整个向量进行运算。
1.4K30发布于 2019-04-10 - 来自专栏人工智能与演化计算成长与进阶
12支持向量机6SVM总结
直接使用 SVM 软件包 里面都内置了多类分类的功能 或使用一对多的方法，如果有 K 个类，就需要 K 个二分类模型，把每一类从其他类中分出来，即每个模型都把原始样本分为两类 目标类-其他类 逻辑回归和支持向量机 从逻辑回归模型，我们得到了支持向量机模型，在两者之间，我们应该如何选择？ 如果 n 较小，而且 m 大小中等，例如 n 在 1-1000 之间，而 m 在 10-10000 之间，使用高斯核函数的支持向量机。 如果 n 较小，而 m 较大，例如 n 在 1-1000 之间，而 m 大于 50000，则使用支持向量机会非常慢，解决方案是创造、增加更多的特征，然后使用逻辑回归或不带核函数的支持向量机。 神经网络和支持向量机 值得一提的是，神经网络在以上三种情况下都可能会有较好的表现，但是训练神经网络可能 非常慢(这是 2014 年的教程，所以现在 NG 当然不会这么说) ，而且容易陷入局部最优解，选择支持向量机的原因主要在于它的代价函数是凸函数
47710发布于 2020-08-14 - 来自专栏码农知识点
zookeeper源码分析(6)-数据和存储
在Zookeeper中，数据存储分为两部分：内存数据存储和磁盘数据存储。本文主要分析服务器启动时内存数据库的初始化过程和主从服务器数据同步的过程。在此之前介绍一些数据存储涉及的基本类。 DataTree Zookeeper的数据模型是一棵树，DataTree是内存数据存储的核心，代表了内存中一份完整的数据(最新)，包括所有的节点路径，节点数据和ACL信息，对应watches等。 commitLogBuffer = 700; //todo protected LinkedList<Proposal> committedLog = new LinkedList<Proposal>(); 文件存储主要包括事务日志文件的存储和快照文件的存储 存储内容包括DataTree信息和会话信息。FileSnap提供了快照相应的接口，，主要包括存储、序列化、反序列化、访问相应快照文件。 5.应用事务 在循环过程中处理事务日志processTransaction,也就是根据事务日志类型不断的更新sessions 和DataTree中的数据内容 6.回调事务 回调listener.onTxnLoaded
2.1K10发布于 2020-06-22 - 来自专栏存储公众号：王知鱼
AI大模型时代：向量数据库如何挑战存储极限？
本文将深入探讨向量数据库如何成为一个对存储性能高度敏感的关键AI工作负载，并揭示其对底层存储I/O的极致要求，以及我们应如何应对这些挑战。 划线高亮 观点批注 什么是向量数据库？ PPT旨在从概念、功能、应用和行业趋势四个方面介绍向量数据库。 定义与功能： 向量数据库是一种专门用于存储和查询高维向量（Embeddings）的数据库。 这张PPT阐述了这一行动的三个主要驱动因素： 行业趋势（存储敏感性）： 随着向量数据集的爆炸性增长，向量数据库的性能瓶颈正从内存和计算转向存储I/O。 通过实测数据证明，基于DiskANN（存储型）的向量数据库在处理大规模数据集（1亿向量）时，其性能具有良好的可扩展性，但同时也暴露了它对存储带宽的极高依赖性，并伴随着延迟的显著增加。 这有力地证明了向量数据库在高并发下是一个“存储敏感型”或“存储I/O密集型”工作负载。
47810编辑于 2025-12-21 - 来自专栏DeepHub IMBA
向量存储vs知识图谱：LLM记忆系统技术选型
第二个想法可能是存储每条消息加上摘要，然后用语义搜索（RAG里的检索部分）在查询时获取相关信息。 这就是标准的naive retrieval系统的做法。 它们大概率用了一个分类器判断某条消息是否包含需要存储的事实。 然后把事实归到预设的类别里（比如个人资料、偏好、项目），相似的就更新现有记忆，不同的就新建一条。 架构方案的选择 目前主流架构就两条路：向量方案和知识图谱方案。 前面提到的检索方法是大部分人入门时的选择。检索依赖向量存储（常配合稀疏搜索），能同时支持语义和关键词检索。 之前提到向量方案在时间推理和多跳推理上有短板。而知识图谱里信息本身就是结构化的，LLM更容易利用全部上下文。 向量方案随着信息增长，噪音会越来越强，系统可能连不起各个点。 或者搞混合方案，比如自己写个分类器筛选值得存的事实消息来控制成本，其他消息扔自己的向量存储定期压缩和总结。 最后总结 虽然有记忆系统支持，但是也别指望完美。这些系统还是会出现幻觉或者漏掉答案。
34510编辑于 2025-11-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号