如何基于训练数据识别文本相似度？

Question

我有一套文件(1至11)，为其贴上标签。

让我们假设：

Doc No: 1,3,5,7 - Belongs to Type A
Doc No: 2,4,9 - Belongs to Type B
Doc No: 8,10 - Belongs to Type C
Doc No, 6,11 - Belongs to No one

现在，让我们假设我有新来的文件- 11,12,13 ..依此类推，我想知道它们属于哪种类型(A、B、C或无)，这是基于该类型中现有文档的文本相似性。有人能建议我如何做到这一点吗？

我是否应该创建自己的数据集，并将其视为一个受监督的问题？

Answer 1

是的，这是一个监督问题。我建议遵循在本文中。的例子

Answer 2

我会考虑一些不受监督的技术，然后是有监督的标签。基本上，将传入的文档表示为密集的向量，并计算已经标记的文档之间的相似性。然后，用最相似的文档标记它们。

关于如何解决

问题的思考

• 对所有文档运行潜在的Dirichlet分配(LDA)。
• 每个标有标签的文档都是主题上的概率分布。
• 它看起来像文件1：0.1 0.3 0.0 ..。，文档2：0.8 0.3 0.1，.
• 最后，对于所有传入的文档，计算与所有已标记文档的相似性。
• 用大多数类似文档的标签标记传入的文档，该文档已经被标记。

另一个想法

• 用基于Word2Vec的模型替换LDA。