- 综合排序
- 最热优先
- 最新优先
- 来自专栏Python与算法之美
10分钟入门faiss相似向量检索
一，faiss简介 faiss全称 Facebook AI Similarity Search，是FaceBook的AI团队针对大规模向量 进行 TopK 相似向量 检索 的一个工具，使用C++编写 ，有python接口，对10亿量级的索引可以做到毫秒级检索的性能。 faiss的主要原理是构建base vectors向量数据的index索引，然后利用索引对search vectors 实现 TopK 相似向量检索。 # index向量库的向量 faiss.normalize_L2(xb) print('xb.shape = ',xb.shape,'\n') # 二，准备查询向量 # 待检索的query向量 faiss.normalize_L2(xq) print('xq.shape = ',xq.shape,'\n') # 三，构建向量库索引
5.1K30编辑于 2023-09-05 - 来自专栏资讯分享
腾讯云向量数据库正式上线公测！提供10亿级向量检索能力
8月1日，腾讯云向量数据库（Tencent Cloud Vector DB）正式上线公测，点击本文末尾的“阅读原文”，即可申请体验。 腾讯云向量数据库是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库。 作为一款全托管的自研企业级分布式数据库服务，腾讯云向量数据库专用于存储、检索、分析多维向量数据。 该数据库支持多种索引类型和相似度计算方法，单索引支持 10 亿级向量规模，可支持百万级 QPS 及毫秒级查询延迟。 向量数据库通过把数据向量化然后进行存储和查询，可以极大地提升效率和降低成本。 统计显示，将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗相比传统方式可以实现10倍效率的提升，如果将向量数据库作为外部知识库用于模型推理，则可以将成本降低2-4个数量级。 此前，腾讯云向量数据库的向量化能力（embedding）曾多次获得权威机构认可，2021年曾登顶MS MARCO榜单第一、相关成果已发表于NLP顶会EMNLP。
46320编辑于 2023-08-03 艾体宝产品丨Redis 8 向量搜索实测：轻松扩展至 10 亿向量
面对生成式 AI 带来的超大规模向量需求，Redis 8 向量搜索实测轻松支持 10 亿向量，依旧保持低延迟与高吞吐表现。 我们发现了一些需要 10 亿个或更多向量的使用场景，很高兴能分享我们在这一规模上的基准测试结果。 将向量搜索扩展到 10 亿个向量并非易事，但 Redis 8 的发布让这一过程显得轻松。 今天，我们将通过展示 Redis 在实时搜索 10 亿个 768 维向量时的处理能力，来说明它如何应对大规模应用程序。 测试配置详解我们使用了一个与 Intel® 合作准备的向量数据集，该数据集包含 10 亿个 768 维向量，采用 FLOAT16 精度和 10K 查询，每个查询有 100 个真实值（精确邻居，exact
64910编辑于 2025-05-22- 来自专栏腾讯云数据库(TencentDB)
腾讯云向量数据库正式上线公测！提供10亿级向量检索能力
今日，腾讯云向量数据库（Tencent Cloud Vector DB）正式上线公测，点击本文末尾的“阅读原文”，即可申请体验。 腾讯云向量数据库是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库。 作为一款全托管的自研企业级分布式数据库服务，腾讯云向量数据库专用于存储、检索、分析多维向量数据。 该数据库支持多种索引类型和相似度计算方法，单索引支持 10 亿级向量规模，可支持百万级 QPS 及毫秒级查询延迟。 向量数据库通过把数据向量化然后进行存储和查询，可以极大地提升效率和降低成本。 统计显示，将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗相比传统方式可以实现10倍效率的提升，如果将向量数据库作为外部知识库用于模型推理，则可以将成本降低2-4个数量级。 此前，腾讯云向量数据库的向量化能力（embedding）曾多次获得权威机构认可，2021年曾登顶MS MARCO榜单第一、相关成果已发表于NLP顶会EMNLP。
64430编辑于 2023-08-03 - 来自专栏LCHub低代码社区
《向量数据库指南》——腾讯云向量数据库Tencent Cloud Vector DB正式上线公测！提供10亿级向量检索能力
8月1日，腾讯云向量数据库（Tencent Cloud Vector DB）已正式上线公测。在腾讯云官网上搜索“向量数据库”，就可以正式体验该产品。 腾讯云向量数据库是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库。 图片 作为一款全托管的自研企业级分布式数据库服务，腾讯云向量数据库专用于存储、检索、分析多维向量数据。 该数据库支持多种索引类型和相似度计算方法，单索引支持 10 亿级向量规模，可支持百万级 QPS 及毫秒级查询延迟。 图片 点击进入腾讯云向量数据库Tencent Cloud Vector DB 向量数据库通过把数据向量化然后进行存储和查询，可以极大地提升效率和降低成本。 图片 统计显示，将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗相比传统方式可以实现10倍效率的提升，如果将向量数据库作为外部知识库用于模型推理，则可以将成本降低2-4个数量级。
1.4K310编辑于 2023-08-01 - 来自专栏DeepHub IMBA
支持向量机核技巧：10个常用的核函数总结
想想典型的机器学习流程:我们获取图像，计算特征，将每张图像的特征串成一个向量，然后将这些“特征向量”和标签输入到学习算法中。 核函数提供了另一种选择。 标准的支持向量机/逻辑回归/感知机公式不适用于核:它们适用于特征向量。那么如何使用核函数呢? 为什么使用核而不是特征向量？ 一个很大的原因是，在很多情况下，计算核很容易，但是计算核对应的特征向量很困难。 扩展解释 我们将进一步解释，以澄清一些关于核的一些容易混淆的概念，这些混淆往往会给数据专业人员带来麻烦： 将一个特征向量转换为更高维特征向量的函数不是核函数。 公式 10、一维线性样条核 Linear Splines Kernel in One-Dimension 它在处理大型稀疏数据向量时很有用。它常用于文本分类。样条核在回归问题中也有很好的表现。
3.5K30编辑于 2023-02-01 - 来自专栏一直在跳坑然后爬坑
向量空间相关概念总结-向量
n维向量： ? n维列向量 ? n维行向量 两个向量相等：大小相等，方向相同 ? 向量相等 向量的长度：就是起点与终点的距离，记作： ? 向量长度 向量的方向： 用向量和它坐标轴的夹角来表示，比如： ? 向量方向 向量平行：两个向量方向相同或相反就算平行 零向量：起点和终点是同一个点，零向量长度是0，注意，零向量与任何一个向量平行，他虽然长度为0，但是他却有无穷多的方向 基础运算 向量加法 当然，如果两个边共线了，那第三个边等于前两个边之和 向量数乘：就是一个向量乘以一个数。比如一个向量乘以k，几何意义就是这个向量放大了k倍，k如果是负数那方向就反过来了。 k如果是0的话那这个向量就变成零向量了。其实根据字面意思也好理解，就是k倍的某向量嘛，所以向量的各个维度都应该放大k倍，这样就好理解向量的代数表示了。
1.4K20发布于 2018-10-10 - 来自专栏用户画像
中断向量 中断向量表
2、中断向量：早期的微机系统中将由硬件产生的中断标识码（中断源的识别标志，可用来形成相应的中断服务程序的入口地址或存放中断服务程序的首地址）称为中断向量。 在某些计算机中，中断向量的位置存放一条跳转到中断服务程序入口地址的跳转指令。 3、中断向量地址：存储中断向量的存储单元地址。 存放：存放中断服务程序的入口地址，来存放中断向量（共256个），称这一片内存区为中断向量表。 当响应中断时，硬件自动执行相应中断向量处的跳转代码，然后跳转到具体的中断服务程序的入口地址。 综上所述：中断向量的地址一定是 中断服务程序的入口地址的地址，但中断向量不一定就是中断服务程序的入口地址。
3.2K40发布于 2018-08-27 - 来自专栏AI机器学习与深度学习算法
简单理解向量对向量的求导
全文字数：1127字 阅读时间：8分钟 前言 本文引入向量对向量求导的问题，向量对向量求导的关键是最终求导向量的排列问题。 提出了向量对向量求导的具体流程，最后以本文开头的向量求导为例具体展示向量对向量求导的具体流程。 image.png image.png 不过为了方便我们在实践中应用，通常情况下即使y向量是列向量也按照行向量来进行求导。
3.7K10发布于 2020-05-22 - 来自专栏小小程序员——DATA
支持向量机 支持向量机概述
支持向量机概述 支持向量机 Support Vector MachineSVM ) 是一类按监督学习 ( supervisedlearning)方式对数据进行二元分类的广义线性分类器 (generalized linear classifier) ，其决策边界是对学习样本求解的最大边距超亚面 (maximum-margin hyperplane)与逻辑回归和神经网终相比，支持向量机，在学习复杂的非线性方程时提供了一种更为清晰 ，更加强大的方式 硬间隔、软间隔和非线性 SVM 假如数据是完全的线性可分的，那么学习到的模型可以称为硬间隔支持向量机。 算法思想 找到集合边缘上的若工数据 (称为支持向量 (Support Vector) )用这些点找出一个平面(称为决策面)，使得支持向量到该平面的距离最大 超平面方程： \mathbf{w} ，支持向量到超平面的距离为 d，其他点到超平面的距离大于 d 至此可以得到最大间隔超平面的上下两个超平面: d=|\mathbf{w} \cdot \mathbf{x} + b | /||w||
75311编辑于 2023-12-20 - 来自专栏PaddlePaddle
【词向量】Hsigmoid加速词向量训练
本周推文目录如下： 周三：【词向量】Hsigmoid加速词向量训练 周四：【词向量】 噪声对比估计加速词向量训练 周五：【RNN语言模型】使用RNN语言模型生成文本 词向量用一个实向量表示词语，向量的每个维都表示文本的某种潜在语法或语义特征 这种表示方式比较简洁，但是当词表很大时，容易产生维度爆炸问题；而且任意两个词的向量是正交的，向量包含的信息有限。 为了避免或减轻one-hot表示的缺点，目前通常使用词向量来取代one-hot表示，词向量也就是word embedding，即使用一个低维稠密的实向量取代高维稀疏的one-hot向量。 网络输入为词在字典中的id，然后查询词向量词表获取词向量，接着拼接4个词的词向量，然后接入一个全连接隐层，最后是Hsigmoid层。详细网络结构见图2： ? 图2. 预测时输出一个宽度为[batch_size x 类别数目 - 1] 维度的矩阵（batch_size = 1时退化为一个向量）。矩阵行向量的每一维计算了一个输入向量属于一个内部结点的右孩子的概率。
1.4K80发布于 2018-03-15 - 来自专栏一直在跳坑然后爬坑
向量空间相关概念总结-向量空间
什么是向量空间 特点： ① 包含向量 比如向量组，而且向量组内部的向量维数相同 ② 包含向量的运动 向量的加法->生成新的向量 向量的数乘->向量伸缩 ③ 向量的运动依然在空间中 向量相加生成的新向量也在这个空间中 向量数乘伸缩完之后也在这个空间中 定义： 如果一个向量组，它对向量的加法和数乘两种运算封闭，那么就称它为向量空间。 是指在这个向量空间中的向量进行数乘和加减，结果依然在这个向量空间内，即： ? 特殊的东西： ① 仅包含零向量的向量空间称为0维向量空间 ② 向量空间必须包含0向量 ③ 最高次数大于等于零的多项式的全体也是一个向量空间，比如： ? 如何判断某个向量空间A是不是另一个向量空间B的子空间 ① 是不是包含原点，不包含原点的连向量空间都不是 ② A向量空间里的向量进行加法变换生成的新向量是否一定在B向量空间中 ③ A向量空间里的向量进行数乘变换后是否一定在
2.3K20发布于 2018-10-10 - 来自专栏DeepHub IMBA
10个内置在 Pandas 中却常被忽略的向量化操作
本文整理了10个这样的写法，每个都附带常见的冗长版本作为对照。 1、 用 np.select() 替代嵌套的 if/else来创建多条件列 创建条件列最常见的写法是 apply() 加自定义函数。 80, df['score'] >=70] df['grade'] =np.select(conditions, ['A', 'B', 'C'], default='F') np.select() 是向量化操作 10、 用向量化字符串方法替代字符串 apply() 字符串操作是 Pandas 中最容易踩的性能坑。 遇到字符串处理就条件反射地写 apply()，但 .str 下有一整套向量化方法，执行速度快得多。 百万行数据集上全面弃用 apply() 可以换来5到10倍的速度差距。 总结 以上10个写法的共同点在于：放弃逐行处理的思路，转向列级别的向量化操作。
13810编辑于 2026-04-15 - 来自专栏生信喵实验柴
认识向量
Excel 中数据类型 数值类型 类型 说明 字符(charactor) 常常被引号包围 数值(numeric) 实数向量 复数(complex) 复数向量 逻辑(logical) 二元逻辑向量 向量其实是用于存储数值型、字符型或逻辑型数据的一维数组。R 中的向量与解析几何或者物理学中有数值和方向的量不同，R 中的向量是一个集合，即可以是数值的集合也可以是字符串或者逻辑值的集合。 其余数据结构都由向量构成。 4.1 创建向量 用函数c来创建向量。c代表concatenate连接，也可以理解为收集collect，或者合并combine。 ,times = 1:10) class(a) typeof(a) is.vector(a) y <- mtcars is.vector(y) methods(is) c <- c('TRUE',' #数值索引 rivers[c(1)] rivers[c(1,10,100)] #R索引从1开始，其他语言一般从0开始 rivers[1:10] rivers[c(1,2,2,2,2)] rivers[
86010编辑于 2022-10-25 - 来自专栏老齐教室
向量空间
假设平面直角坐标系中两个向量： 如图所示，如果要将这两个向量相加，可以按照中学物理所学习的“平行四边形”法则，得到了向量，其端点坐标如图中所标示。 ? 显然，对于集合，所有的向量都遵循上述加法运算法则。 此外，如果用一个数值乘以某个向量，例如，则得到图1-2-3所示： ? 1-2-3 所得到的向量与原来的向量方向相同，但长度是原来的倍。 根据向量空间的加法和数量乘法运算法则，可以得到如下8条推论，它们都是某个向量空间中向量所遵循的运算法则。 以上表示向量的时候，写成了一列，这种称为列向量。此外，也可以写成一行，如，那样，称为行向量。有时为了书写方便，会把列向量写成，T表示转置。 在机器学习中，向量无处不在，可以说只要有计算，就离不开向量。为何？这是因为向量能够让提升运算速度。
1.6K10发布于 2020-05-14 - 来自专栏hotarugaliの技术分享
向量空间
向量空间（线性空间） 1.1 定义 1.1.1 向量空间 对于以向量为元素的集合 ，若对于向量集合 中的向量 和标量域 中的标量 ，以下两个闭合性和关于加法及乘法的 个定律均满足时 存在零向量 ，使得 ，恒有 ，称为零向量的存在性。 ，使得 ，称为负向量的存在性。 满足以上三个性质的实向量空间和复向量空间分别称为实内积向量空间和复内积向量空间。 2.2 性质 。（共轭对称性） 。（第一变元的线性性） 3. 内，则称向量空间 为完备向量空间。 内，则称赋范向量空间 为完备赋范向量空间。
1.6K20编辑于 2022-03-13 - 来自专栏人人都是极客
Peter教你谈情说AI | 10支持向量机(1)—SVM原型
其实线性可分支持向量机就是：以找出线性可分的样本在特征空间中的最大间隔超平面为学习目的的分类模型。 下面我们看看如何找到最大间隔超平面。 故这个超平面由其法向量 w 和截距 b 确定，可用 (w, b) 表示。 ? 这些样本在特征空间是线性可分的，因此我们可以找到两个将正负两类样本分离到距离尽可能大的超平面，它们分别是： ? 和 ? 这就是支持向量机的学习目标，其中 ? 是目标函数，我们要对它进行最优化。 对这样一个最优化问题，需要通过优化算法来求解。关于优化算法，我们之前学习过梯度下降法，简单直接，是不是可以应用到这里呢？
64620发布于 2018-12-18 - 来自专栏产品经理的人工智能学习库
向量（vector）
百度百科版本 在数学中，向量（也称为欧几里得向量、几何向量、矢量），指具有大小（magnitude）和方向的量。它可以形象化地表示为带箭头的线段。箭头所指：代表向量的方向；线段长度：代表向量的大小。 如果给定向量的起点（A）和终点（B），可将向量记作AB（并于顶上加→）。在空间直角坐标系中，也能把向量以数对形式表示，例如xOy平面中(2,3)是一向量。 标量通常被认为是实数，但是也存在标量乘以复数，有理数或通常任何字段的向量空间。向量加法和标量乘法的运算必须满足下面列出的某些要求，称为公理。 欧几里德向量是向量空间的一个例子。 向量空间中的向量不一定必须是箭头状对象，因为它们出现在上述示例中：向量被视为具有特定属性的抽象数学对象，在某些情况下可以将其视为箭头。 向量空间是线性代数的主题，并且通过它们的维度很好地表征，粗略地说，它指定了空间中独立方向的数量。无限维向量空间在数学分析中自然出现，作为函数空间，其向量是函数。
1.9K10发布于 2019-12-18 - 来自专栏技术研究和应用
【向量检索研究系列】本地向量检索（上）
1 背景当广告推荐业务峰值QPS已经达到10万以上，向量检索QPS峰值就会就会达到30万以上，召回服务的向量检索P99时延和平均时延已经超出了能接受的正常范围，导致召回服务整体时延达到上限，很多请求超时以至于没有广告返回给上游服务 但是在业务服务本身做向量检索会消耗比较多的CPU资源和内存资源，CPU资源是比较稀缺的，而且普通的向量检索效率比较低，时延比较长，如何减少资源消耗和加快向量检索效率成为了优化目标。 $0x00 // mov eax, 264 WORD $0xc931 // xor ecx, ecxLBB2_1: QUAD $0x0000000f8c10fcc5 xmm0, xmm0 LONG $0xc07cfbc5 // vhaddps xmm0, xmm0, xmm0 LONG $0x4211f8c5; BYTE $0x10 但实际上向量检索的流程还有前置的向量过滤（可选流程）和后置的检索结果排序，这两个方面也有进一步优化的空间，以及整体优化后的效果将在下一篇文章《向量检索研究系列：本地向量检索（下）》中进行详细介绍。
1.7K31编辑于 2022-09-13 - 来自专栏全栈程序员必看
向量内积_向量的内积和外积公式
向量内积 一般指点积； 在数学中，数量积（dot product; scalar product，也称为点积）是接受在实数R上的两个 向量并返回一个实数值 标量的 二元运算。 [1] 两个向量a = [a1, a2,…, an]和b = [b1, b2,…, bn]的点积定义为： a·b=a1b1+a2b2+……+anbn。 使用 矩阵乘法并把（纵列）向量当作n×1 矩阵，点积还可以写为： a·b=a^T*b，这里的a^T指示 矩阵a的 转置。 点乘的几何意义是可以用来表征或计算两个向量之间的夹角，以及在b向量在a向量方向上的投影，有公式： 推导过程如下，首先看一下向量组成： 定义向量： 根据三角形余弦定理有： 根据关系c=a-b （a、b、c均为向量）有： 即： 向量a，b的长度都是可以计算的已知量，从而有a和b间的夹角θ： 根据这个公式就可以计算向量a和向量b之间的夹角。
1.9K20编辑于 2022-11-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号