不完全字嵌入模型的可塑性转换

Question

我希望将单词嵌入模型编号19.08转换为可塑性/量级中使用的.magnitude格式。由于我希望能够使用近似最近邻算法，所以我运行以下命令

python -m pymagnitude.converter -i numberbatch.txt -o numberbatch.magnitude -a

未打包的numberbatch.txt的大小约为20 is。我正在使用Windows10。

一开始，转换似乎运行良好(几个小时)，显示进展情况如下

书写向量..。(这可能需要一些时间) 1%完成. 99%完成

然后

提交书面向量..。(这可能需要一些时间)

最后

创建搜索索引..。(这可能需要一些时间) 为维2创建空间搜索索引(它具有较高的熵)。(这可能需要一些时间) 创建近似近邻索引..。(这可能需要一些时间)

然而，我从来没有得到一个最后的消息，即转换已经完成。相反，程序停止，没有任何进一步的消息。

在这个阶段，我在目标文件夹中留下了以下三个文件：

    15.891.668.992 numberbatch.magnitude.tmp
           557.056 numberbatch.magnitude.tmp-shm
       281.227.112 numberbatch.magnitude.tmp-wal

预期的最终结果numberbatch.magnitude丢失了。

任何关于可能出错的暗示都将是非常感谢的。是否有任何方法可以使用这三个tmp文件来完成转换？

Answer 1

我想我在塑性/人工智能项目的封闭式发行中找到了我自己问题的部分答案：

当与产生近似近邻索引的pymagnitude.converter标志一起使用时，-a似乎无法处理多GB范围内的向量文件大小。据推测，这是底层烦扰库的一个问题，尽管其确切原因从未完全解决。

在这一阶段，临时补救办法是避免使用-a标志。