我们能用句子转换器嵌入没有标签的句子吗？

Question

我试着用这个项目：

https://github.com/UKPLab/sentence-transformers

为了嵌入非英语句子，语言不是人类语言，而是机器语言(x86)。

但问题是，我找不到一个简单的例子，它展示了如何在没有任何标签或句子相似性值的情况下使用自定义数据集嵌入句子。

基本上，我有一组句子列表，没有句子的标签，也没有它们的相似值，我想把它们嵌入到向量中，以一种尽可能最好的方式保持句子的语义，到目前为止，我已经使用了使用gensim库的word2vec和doc2vec，所以我想试试这个方法，看看它是否更好？

Answer 1

您提供的Siamese Bert的链接是Bert或Roberta在STS或NLI数据上的一个实例。其中sentence 1的格式与sentence 2 (STS)相似，五分之三。因此，被监督，它不符合你的目的。

尽管如此，不要绝望，有些人不需要训练，尽管他们的表现可能不如受监督的人。下面使用可以在数据语料库上训练的单词嵌入来生成句子嵌入：

• 字毛尔距离
• 语句嵌入S3E

或者用一行一行的方式给出句子：

• DeCLUTR
• Sent2Vec

我没有尝试过所有的解决方案，据我所知，我建议这些方案，因为它们要么是众所周知的，要么是最近的。