如何在Weaviate上下文中对分类法进行编码

Question

在向量化Weaviate (https://github.com/semi-technologies/weaviate)中的实际数据之前，我想为我的数据创建一个语义上下文。假设我们有一个分类法，其中我们有一组特定于领域的概念及其相关概念的链接。你能告诉我最好的方法是什么，不仅编码这些概念，而且编码它们之间的关系使用上下文？

Answer 1

根据您的用例，有几个可能的答案。

1. 您可以在Weaviate架构中创建“语义上下文”，并使用矢量化模块根据此架构对数据进行矢量化。
2. 您的数据中具有开箱即用的矢量化模块不知道的特定于域的概念(例如，特定的
3. 希望在将图形添加到Weaviate之前捕获图形本身的语义上下文(即，对其进行矢量化)。

第一个是最简单和直接的，最后一个是最深奥的。

创建方案并对数据使用矢量器

在您的例子中，您将基于您的分类法创建一个模式，并使用开箱即用的矢量器加载数据(this configurator帮助您构建Docker-compose文件)。

无论如何，我建议从这个开始，因为它将决定您的数据模型以及如何搜索和/或分类数据。甚至可能的情况是，对于您的用例，此步骤已经解决了问题，因为开箱即用的向量化器(偏差警报)相当不错。

领域特定的概念

在撰写本文时，Weaviate有两个向量化器，contextionary和transformers模块。

如果你想用自定义上下文扩展Weaviate，你可以使用extend the contextionary或fine tune and distribute custom transformers。

如果你这样做了，我强烈建议你仍然迈出第一步。因为它只会改善结果。

捕获图形的语义上下文

我不认为这是你想要的，但这是可能的，而且相当深奥。原则上，您可以在Weaviate中存储矢量化的图形，但您需要自己生成矢量。例如，在撰写本文的时候，我们正在研究RDF2Vec。

PS：

因为人们经常询问本体和分类法在Weaviate中的作用，所以我编写了this blog post。