快速量化无监督模型

Question

我试图用这个命令来量化快速文本中的无监督模型。

model.quantize(input=train_data, qnorm=True, retrain=True, cutoff=200000)

它抛出了一个错误，它只支持受监督的模型。

​

​

有没有其他方法来量化无监督的模型？

Answer 1

介绍了FastText团队的量化策略。只对分类模型进行了评估，并且使用了一些剪枝步骤，这些步骤可能只对标记的培训文档有意义。(不过，我不认为-quantize的参数包含原始的培训文档，因此不确定本文中描述的剪枝技术是否完全实现了。)

虽然有些压缩步骤可以应用于无监督的密集向量，但我还没有看到一个提供该功能的库，但是实现/添加它可能是一件很棒的事情。

然而，FastText工作所做的这类分类可能是这些技术的“亮点”，并应用于其他文字向量，它们对下游的使用会产生更大的负面影响。因此，在推广该技术的同时，还应进行一些实验，以证实其价值。

Answer 2

虽然Facebook最初的fastText包不支持非监督模型的压缩，但我编写了压缩-快速文本包，将剪枝和量化应用于无监督的fastText模型( gensim格式)，将它们的大小减少10至100倍。

这篇文章是关于媒体的提供了我的方法背后的一些例子和解释。