- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习算法与Python学习
支持向量机（SVM）--(4)
回忆：在上一篇文章中我们谈到为了使支持向量机能够处理非线性问题，进而引进核函数，将输入空间的输入数据集通过一个满足Mercer核条件的核函数映射到更高维或者无线维的希尔伯特再生核空间，将线性不可分转化成 但是数据看似的非线性并非完全是有于数据本身的非线性导致的，例如可能并不是因为数据本身是非线性结构的，而只是因为数据有噪音。 对于这种偏离正常位置很远的数据点，我们称之为离群点Outlier ，在我们原来的支持向量机模型里，离群点的存在有可能造成很大的影响，因为超平面本身就是只有少数几个支持向量组成的，如果这些支持向量里又存在离群点的话 当然，更严重的情况是，如果这个离群点再往右上移动一些距离的话，我们将无法构造出能将数据分开的超平面来。 为了处理这种情况，支持向量机允许数据点在一定程度上偏离一下超平面。 到这儿未知，支持向量机的基本理论已经基本说完了，但是学习svm也是为了应用，所以建议大家去斯坦福大学的UCI数据库下载一些分类数据做一些尝试。
1.1K60发布于 2018-04-04 - 来自专栏LCHub低代码社区
《向量数据库》向量数据库概念
向量数据库定义向量数据库就是用来存储，检索，分析向量的数据库。 图片向量数据库特征提供标准的sql访问接口，降低用户的使用门槛提供高效的数据组织，检索和分析的能力。一般用户在存储和检索向量的同时，还需要管理结构化的数据，即支持传统数据库对结构化数据的管理能力。 向量数据库关键技术构建在大数据和分布式数据库技术基础上必定是shared-nothing架构高可用支持线性扩展向量索引技术向量索引发展，和各种技术的局限性(LSH,k-d tree, PQ， PQ Fast Scan)向量与结构化数据的结合硬件加速各种加速硬件的原理，特点FPGA/GPU/AI芯片加速图片向量数据库的应用从技术角度来讲，向量数据库主要解决2个问题，一个是高效的检索，另一个是高效的分析。 向量数据库与传统数据库的区别数据规模超过传统的关系型数据库传统的关系型数据库管理1亿条数据已经是拥有很大的业务流量，而在向量数据库需求中，一张表千亿数据是底线，并且原始的向量通常比较大，例如512个float
1.6K30编辑于 2023-06-19 - 来自专栏光城(guangcity)
向量数据库原理之向量索引
向量索引 在前面的文章中讲解了milvus的源码安装——向量数据库milvus源码剖析之开篇，向量数据库通常具备以下特点： 向量索引：用来支持高效的搜索，快速定位与查询向量相关的数据集。 本节将会着重讲向量索引。众所周知，向量数据库的主要目的是提供一种快速有效的方法来存储和高效查询数据，使向量数据类型成为一等公民。两个向量之间的相似性可以通过距离度量来衡量，例如余弦距离或点积。 通常来说，向量索引方法可以按照数据结构与压缩级别来划分。 1.4 基于图的索引 基于图的索引其核心思想是：向量空间中的数据点形成一个图，其中节点表示数据值，连接节点的边表示数据点之间的相似性。 指以未修改的形式存储向量的索引。当一个query请求到来时，使用暴力的方法与数据库中所有向量进行距离计算，返回最近距离。适合于在小规模，百万级数据集上寻求完全准确和精确的搜索结果的场景。
1.5K10编辑于 2024-06-27 - 来自专栏xiaosen
Chroma 向量数据入门
Chroma 是 AI 原生的开源矢量数据库。Chroma 使知识、事实和技能可插入 LLM，从而可以轻松构建 LLM 应用程序。Chroma 是 AI 原生的开源矢量数据库。 Chroma是一个文档检索系统，它存储了一组文档以及它们相应的嵌入向量。当接收到嵌入向量后，Chroma会根据其内部的索引结构快速查找最相关的文档。 这意味着即使你关闭了应用程序并重新启动，之前添加的数据仍然会被保留。 ，其中键值对表示文档的附加信息 使用 query 方法来查找与给定查询向量最相似的文档，并且可以附加一些过滤条件： collection.query( query_embeddings=[[11.1 此外，还可以提供可选的过滤词典，以便根据文档的内容进行过滤 从集合中删除数据 删除特定 ID 且元数据中 chapter 为 "20" 的文档 collection.delete( ids=[
90410编辑于 2024-09-27 - 来自专栏AI技术探索和应用
向量检索（RAG）之向量数据库研究
功能：将文档生成向量，存储向量及其元数据，检索向量。即将推出：多种数据类型，包括图像、音频、视频等。 通过 Web 浏览器与您的数据集进行可视化交互。 对您的数据集运行语义搜索和向量操作。 协同清理、标记和标注您的数据集。 可视化 Weaviate 和 Pinecone 向量数据库。 功能：将文档生成向量，存储向量及其元数据，检索向量。即将推出：多种数据类型，包括图像、音频、视频等。 KEY, embedding vector(3)); # 插入向量 INSERT INTO items (embedding) VALUES ('[1,2,3]'), ('[4,5,6]'); # 3、Points：点是 Qdrant 操作的中心实体，它们由一个向量和一个可选的 id 和有效负载组成（有效载荷是一个 JSON 对象，其中包含可以添加到向量的附加数据） 4、Storage：Qdrant
3.3K42编辑于 2025-03-05 - 来自专栏AI机器学习与深度学习算法
机器学习入门 5-4 向量化
本小节主要介绍使用向量化的方式提升性能。 简单线性回归 先来回归一下简单线性回归优化目标以及通过最小二乘的方式求得的参数a，b的解析解。 ? ，得益于numpy模块性能就会大大的提升，这就是向量化运算含义。 其实上面的w和v可以看成是一个向量，而将两个向量进行点乘之后正好是上面对应元素相乘后相加的结果，因此我们可以通过numpy中的点乘操作进行求解。 ? 上面我们将对应元素相乘然后相加的操作看成是向量之间的点乘，这也是为什么在最小二乘求解a的解析解的时候要把式子写成相乘累加的形式，这样就可以将其转换成向量之间的运算，进行向量化运算提升性能。 实现向量化的代码只需将for循环部分改成向量点乘即可： ? ? ? ? 为了比较两者的性能，将两种方式导入jupyter中，通过魔法命令来验证性能。 ? ? ? ?
89420发布于 2019-11-13 - 来自专栏马超的博客
向量数据库：使用Elasticsearch实现向量数据存储与搜索
向量数据库：使用Elasticsearch实现向量数据存储与搜索 一、简介 Elasticsearch在7.x的版本中支持 向量检索[2] 。 "dims": 3 }, "my_text" : { "type" : "keyword" } } } } 2.2 写入数据 为了更好的利用DSL优化器，可以使用参数的方式提供一个查询向量。 4. 检查缺失值：如果文档中没有用于执行向量函数的向量字段的值，会抛出错误。 6 ], "queryVectorMag": 5.25357 } } } } } 引用链接 [1] TOC: 向量数据库 ：使用Elasticsearch实现向量数据存储与搜索 [2] 向量检索: https://github.com/elastic/elasticsearch/blob/e8c382f89553e3a7aaafa88a5934288c1192acdc
5.5K20编辑于 2023-09-02 - 来自专栏IT技术订阅
向量数据库技术原理及常见向量数据库介绍
向量数据库是一种专为高效存储和检索高维向量数据而设计的数据库系统。这些向量通常来源于机器学习和深度学习模型对非结构化数据（如文本、图像、音频、视频）的编码处理。 大规模数据管理：设计用于处理数以亿计的高维向量，能够在有限的计算资源下保持高效查询性能。 3. 灵活性：支持动态添加、删除向量，并能适应不同类型的向量数据和应用场景的需求。 4. 随着AI技术的普及和对非结构化数据分析需求的增长，向量数据库正成为现代数据基础设施中的一个重要组成部分。 向量数据库技术原理 向量数据库的技术原理主要包括以下几个核心部分： 1. 相似度计算：向量数据库的核心功能之一是快速计算向量间的相似度。常用的距离度量方法包括欧氏距离、余弦相似度等，这些度量方法帮助评估两个向量的接近程度，从而找到最相似的向量。 4. Pinecone - 商业服务，提供托管的向量数据库服务，专注于高性能的向量搜索，便于开发者快速构建搜索和推荐系统。 4.
2.5K12编辑于 2024-06-04 PostgreSQL 向量数据存储指南
本文将详细介绍如何使用 Java 和 PostgreSQL 数据库来存储向量数据，探索其应用场景、优势以及具体实现步骤。向量数据及其应用场景什么是向量数据？向量是一种数学对象，可以表示为一个有序数列。 向量数据通常用于表示特征向量、坐标、图像数据、音频数据等。在机器学习、图像处理、自然语言处理等领域，向量数据被广泛应用。 自然语言处理：将文本表示为向量（如词嵌入），可以进行文本分类、情感分析等任务。异常检测：通过分析向量数据的分布，可以检测出异常数据点。 PostgreSQL 的向量数据存储支持PostgreSQL 通过扩展和插件提供了对向量数据的支持。常见的向量数据存储方式包括：数组类型：PostgreSQL 内置数组数据类型，可以存储向量数据。 通过结合实际案例，展示了向量数据在图像相似度搜索中的应用。希望本文能够帮助读者理解并掌握向量数据的存储和管理技术，提升数据处理能力和应用水平。
1.1K00编辑于 2024-07-31- 来自专栏生信基础
数据类型与向量
添加：error里的unexpected是代码错误的意思数据类型分为三类：1.数值型：2,4，72.字符型：书写代码需要加“”或‘’。 非数据类型的判断与转换is族函数，判断，返回值为TRUE或FALSEis.numeric()#判断是否数值型数据is.logical()#是否逻辑性数据is.character()#是否字符型数据任何符号放进 ...............字符型> as.numeric("jinny")#能转换的才能转换[1] NAWarning message:强制改变过程中产生了NA 数据结构数据结构分为向量，数据框（两者最关键 ），矩阵，列表（数据框约等于“表格”）数据框不是文件，只在r语言中存在，可导出为表格数据框单独拿出来一列是向量，视为一个整体。 每一向量（列）只能有一种数据类型，可以有重复值图片应用脚本打开若是乱码，解决办法图片图片
37720编辑于 2023-05-10 - 来自专栏机器学习
向量数据库简介
特别是在处理高维向量数据（如图像、文本的嵌入向量）时，传统的数据库在搜索、存储和索引方面的效率存在明显不足。 向量数据库正是在这样的背景下应运而生，为相似性搜索、推荐系统、自然语言处理等领域提供了更优的解决方案。什么是向量数据库？向量数据库是一种专门用于存储、索引和查询高维向量数据的数据库系统。 与传统的关系型数据库不同，向量数据库关注的是数据之间的相似性而非精确匹配。在很多应用中，例如图片搜索、文本搜索、推荐系统等，核心任务是找到与某个输入数据最相似的结果，这些数据通常以高维向量的形式存在。 常见的向量数据库产品目前，市场上有许多优秀的向量数据库产品，各自针对不同的应用场景和需求进行了优化。以下是几款主流向量数据库的详细对比。1. 缺点：向量搜索性能相比专门的向量数据库有所欠缺。对大规模向量数据的支持有限，尤其在高维场景下性能不佳。4.
74210编辑于 2024-08-19 - 来自专栏叮当猫学生信
三、数据结构：向量
生信技能树学习之数据结构：向量 数据结构包括：向量 数据框 矩阵 列表 一、向量定义。 数据框中单独拿出来的一列就是向量，视为一个整体。一串同一类型的数据。 一个向量只能有一种数据类型，可以有重复值。 6 8 10 12 14 #2.1生成向量，内容为："student2" "student4" "student6" "student8" "student10" "student12" "student14 10 12 > x[-(2:4)] [1] 8 12 按照逻辑值取向量时：中括号里是与x等长且一一对应的逻辑值向量； 按照位置取向量时：中括号里是由x的下标组成的向量。 将这些元素筛选出来 # 提示：%in% table(g%in%s) g[g%in%s] # 4.生成10个随机数: rnorm(n=10,mean=0,sd=18)，用向量取子集的方法，取出其中小于
1.2K30编辑于 2023-02-25 - 来自专栏喔家ArchiSelf
解读向量数据库
不论是RAG，还是Agent，几乎每个LLM 驱动的应用程序都可能会用到向量数据库。那么，向量数据库是什么？与传统数据库有何不同？ 又如何选择向量数据库呢？ 本文是老码农关于向量数据库的学习笔记。 区别于传统数据库，向量数据库主要有三点不同：数据向量化，向量检索和相似度计算。 向量数据库的分类 根据向量数据库的的实现方式， 我们可以将向量数据库大致分为4类：原生的向量数据库、支持向量的全文检索数据库、支持向量的NoSQL数据库和支持向量的关系型数据库。 4. 向量数据库的一些对比 4.1 编程语言支持 Chroma是一个Python/TypeScript包装器，基于C++编程语言的有OLAP数据库Clickhouse以及开源向量索引HNSWLib。 使用embeding 技术创建向量 2. 将这些向量存储到向量数据库 3. 应用索引策略来组织管理向量 4. 使用查询向量执行相似性搜索 5.
4K21编辑于 2023-11-27 - 来自专栏xiaosen
Faiss向量数据库
k = 4 # we want to see 4 nearest neighbors D, I = index.search(xb[:5], k) # 100000个64维数据 index.add(xb) # 将向量数据添加到索引中 # 优化索引(跳过) 结果： 后两个为实际的搜索输出(前五和后五)。 为了加快搜索速度，可以将数据集分割成块。我们在 d 维空间中定义 Voronoi 单元，每个数据库向量都位于其中一个单元中。 在搜索时，仅将查询 x 所在的单元中包含的数据库向量 y 和一些相邻的向量与查询向量进行比较。 这是通过IndexIVFFlat索引完成的。 每创建一个索引，就相当于在向量搜索的上下文中创建了一个独立的、用于存储和查询向量的数据结构。
1.8K10编辑于 2024-09-05 - 来自专栏大模型应用开发
向量数据库-Milvus
概述Milvus 是一种高性能、高扩展性的向量数据库，可在从笔记本电脑到大规模分布式系统等各种环境中高效运行。它既可以开源软件的形式提供，也可以云服务的形式提供。 文本、图像和音频等非结构化数据格式各异，并带有丰富的底层语义，因此分析起来极具挑战性。为了处理这种复杂性，Embeddings 被用来将非结构化数据转换成能够捕捉其基本特征的数字向量。 然后将这些向量存储在向量数据库中，从而实现快速、可扩展的搜索和分析。Milvus 提供强大的数据建模功能，使您能够将非结构化或多模式数据组织成结构化的 Collections。 它支持多种数据类型，适用于不同的属性模型，包括常见的数字和字符类型、各种向量类型、数组、集合和 JSON，为您节省了维护多个数据库系统的精力。 实时获取用户操作、浏览数据2、削峰填谷。kafka接收所有操作log3、ELT。数据监测，不合法数据清洗、校验、过滤4、相似搜索。Milvus近邻近似搜索5、业务数据加载。数据库返回相似数据信息。
56910编辑于 2025-03-21 - 来自专栏繁依Fanyi 的专栏
PostgreSQL 向量数据存储指南
本文将详细介绍如何使用 Java 和 PostgreSQL 数据库来存储向量数据，探索其应用场景、优势以及具体实现步骤。 向量数据及其应用场景 什么是向量数据？ 向量是一种数学对象，可以表示为一个有序数列。向量数据通常用于表示特征向量、坐标、图像数据、音频数据等。在机器学习、图像处理、自然语言处理等领域，向量数据被广泛应用。 PostgreSQL 的向量数据存储支持 PostgreSQL 通过扩展和插件提供了对向量数据的支持。 常见的向量数据存储方式包括： 数组类型：PostgreSQL 内置数组数据类型，可以存储向量数据。 PostGIS：一个地理空间数据库扩展，支持地理坐标向量的存储和查询。 通过结合实际案例，展示了向量数据在图像相似度搜索中的应用。希望本文能够帮助读者理解并掌握向量数据的存储和管理技术，提升数据处理能力和应用水平。
1.1K11编辑于 2024-09-20 - 来自专栏paddle深度学习
paddle深度学习4 向量的索引与切片
通过索引，可以选取向量中的指定元素【一维Tensor的索引】对于一维Tensor，可以仿照python的列表，使用从0开始整数顺序索引import paddlea=paddle.arange(1,7)print 切片操作可以选取Tensor的部分元素下面以二维向量为例【选取整行整列】如果某个维度的索引为一个冒号:则表示选取这个维度的所有元素，我们可以使用这个特性选中整行元素import paddlea=paddle.reshape =paddle.reshape(paddle.arange(1,13),(3,4))print(a)print(a[:,0])print(a[:,1])【指定范围】与numpy数组类似，Tensor类型数据也可以使用 start:end:step的格式进行切片import paddlea=paddle.reshape(paddle.arange(1,13),(3,4))print(a)print(a[0,1:4])a [0,1:4]就表示选取向量a的第0行中的第1~第3元素((1,4)，左闭右开)与numpy同理，在这里a[0,:2]表示a[0,0:2]a[0,2:]表示a[0,2:4]大家可以自行尝试
42200编辑于 2024-05-19 用LangChain重构客服系统：腾讯云向量数据库+GPT-4o实战
本文以某金融客户真实场景为例，分享如何通过 LangChain框架 + 腾讯云向量数据库(Tencent Cloud VectorDB) + GPT-4o 重构客服系统，实现响应速度压至500ms内，综合成本下降 腾讯云VectorDB：毫秒级检索10亿级向量（对比Milvus硬件成本↓60%）原生Embedding API支持非结构化数据自动向量化3. GPT-4o+LangChain Agent支持动态工具调用链意图识别F1=0.93向量数据库腾讯云VectorDB内置Embedding减少ETL成本检索延迟<50ms记忆管理Redis+BufferMemory " # 使用腾讯云托管Embedding ) print(f"知识库实时更新：{event.src_path}")腾讯云VectorDB的Embedding类实现非结构化数据自动向量化 （腾讯云混元Turbo兼容接口）llm = ChatOpenAI( model_name="gpt-4o", base_url="https://api.tencent.com/v1/chat
42700编辑于 2025-07-24- 来自专栏Debug日志
用LangChain重构客服系统：腾讯云向量数据库+GPT-4o实战
本文以某金融客户真实场景为例，分享如何通过 LangChain框架 + 腾讯云向量数据库(Tencent Cloud VectorDB) + GPT-4o 重构客服系统，实现响应速度压至500ms内，综合成本下降 腾讯云VectorDB： 毫秒级检索10亿级向量（对比Milvus硬件成本↓60%） 原生Embedding API支持非结构化数据自动向量化 3. GPT-4o 推理效率提升100%，成本降低50% 支持Function Calling精准触发工具链 二、系统架构设计：三层解耦与组件协同 2.1 整体架构图 2.2 核心组件选型对比 组件 选型方案 优势说明 性能指标 对话引擎 GPT-4o+LangChain Agent 支持动态工具调用链 意图识别F1=0.93 向量数据库 腾讯云VectorDB 内置Embedding减少ETL成本 检索延迟 使用腾讯云托管Embedding ) print(f"知识库实时更新：{event.src_path}") 腾讯云VectorDB的Embedding类实现非结构化数据自动向量化
43010编辑于 2025-10-13 - 来自专栏Pou光明
4_机械臂运动学基础向量空间
1、向量空间 1.1向量空间 设V是非空的n维向量的集合(n=1, 2, 3,...) ，如果V中的向量对加法和数乘两种运算封闭，即 若a,b∈V，则a+b∈V； a∈V，则ka∈V，k为任意实数， 则V称为向量空间。 1.2 基、坐标的几何意义 对于向量空间V中一个有序向量组{a1, a2, a3, ... an}，若满足： a1, a2, ... an线性无关； V中任意一个向量a都可由a1, a2, a3, .. +xnan,则称向量组{a1, a2, a3, ... an}为向量空间V的一个基；称有序数组{x1, x2, ... xn}为向量a在基{a1, a2, a3, ... an}上的坐标，即坐标是相对基而言的 1.3向量内积 在线性空间如何定义两个向量的长度和夹角？
33710编辑于 2024-01-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号