首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何处理混合数据类型向量上的相似搜索?

问如何处理混合数据类型向量上的相似搜索?
EN

Data Science用户
提问于 2023-04-14 09:57:08
回答 2查看 120关注 0票数 4

我认为这个问题是许多初学者遇到的,我找不到合适的通用指南。

我的问题如下。我想评估具有混合数据类型特征的向量的相似性。

  1. 数值值
  2. 文本
  3. 序数
  4. GPS坐标

因此,我正在寻找一套工具,这将使我能够混合不同的距离测量,以便能够计算我自己的综合距离。文本的Levenshtein距离,坐标的一些地理哈希距离,序数(可能是OHE-ed)值的经典距离。

我正在研究DB + SDK的米尔弗斯-type功能。

像这样的东西存在于一个包裹里吗?如果没有,你会推荐什么?

EN

回答 2

Data Science用户

回答已采纳

发布于 2023-04-19 05:03:01

处理混合数据类型向量上的相似性搜索可能具有挑战性,因为对于不同类型的数据需要不同的距离度量。一种方法是将混合数据类型向量转换为同构的特征空间,其中所有的特征都是相同的数据类型。您可以使用一些方法将文本特性转换为数字表示,例如单词袋、TF-以色列国防军或单词嵌入。你也可以把GPS坐标转换成一个数值表示方法,比如地理哈希法或者把它们投影到2D平面上。一旦所有特征都是相同的数据类型,您就可以使用标准距离度量,如欧几里德距离或余弦相似度。

例如,

  • 数值的欧氏距离。
  • Levenshtein距离或文本的Jaccard距离。
  • GPS坐标的Haversine距离或Vincenty距离。
  • 序数的Hamming距离

要组合不同的距离度量,可以使用诸如特征加权或特征选择等技术,根据其重要性为不同的特征分配不同的权重。您也可以使用集成技术,如打包或提升,以结合不同的距离测量的结果。

专用图书馆

  1. 使用一个专门的工具,用于对混合数据类型向量(如米尔弗斯 )进行相似性搜索。Milvus是一个开放源码的矢量数据库,它支持对各种数据类型的向量(包括数值、文本和图像)进行相似搜索。它使用各种索引技术来实现大规模数据集上的快速、准确的相似性搜索。Milvus是一个专门为相似搜索设计的库,它支持各种距离度量,包括欧氏距离、Jaccard距离和Hamming距离。Milvus还为包括Python和C++在内的几种编程语言提供SDK,它支持CPU和GPU加速。
  2. 烦人(近似近邻哦,是的)是一个带有C++绑定的C++库,用于搜索空间中接近给定查询点的点。Annoy与费斯相似,因为它支持不同的距离度量,并且可以处理混合数据类型。your的一个优点是它可以通过烦躁包装器从Python中使用,这使得集成到您的工作流中更加容易。特性摘要:
    • 欧氏距离,曼哈顿距离,余弦距离,Hamming距离或点(内)积距离
    • 余弦距离等价于归一化向量的欧氏距离= sqrt(2-2*cos(u,v))
    • 如果你没有太多的维度(比如<100),但表现得令人惊讶的是,即使达到1000个维度,效果也会更好。
    • 小内存使用量
    • 允许您在多个进程之间共享内存。
    • 索引创建与查找是分开的(特别是一旦创建了树,就不能添加更多的项)

  3. 费斯是一个高效的相似搜索和密集向量聚类库。Faiss附带了Python中的Anaconda预编译库,请参阅faiss-cpu和法斯-gpu。库主要是在C++中实现的,唯一的依赖项是布拉斯实现。它支持不同的距离度量,如L2、内积和Hamming距离,以及自定义距离。Faiss还允许您混合不同的距离度量来创建您自己的组合距离。例如,您可以将L2距离用于数值数据,Levenshtein距离用于文本,地理哈希距离用于GPS坐标。
  4. 在scikit学习中,您可以使用pairwise_distances函数来使用各种度量(包括自定义度量)来计算样本对之间的距离。
票数 0
EN

Data Science用户

发布于 2023-04-17 15:16:29

至少有两种不同的办法:

  1. 创建一个单独的嵌入空间,然后对连续测量的向量使用距离度量。嵌入空间可以预先训练、微调或从头开始训练。一个例子是星空封装。
  2. 使用一种结合不同尺度上测量的特征的距离度量。一个例子是高尔距离,它使用曼哈顿距离(连续测量特征)、等级顺序(序数测量特征)和S rensen-Dice系数(分类测量特征)的组合。
票数 2
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/120911

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档