低RAM环境下Fasttex的OOV (词汇表外)词嵌入

Question

有没有一种方法可以使用快速文本而不将所有嵌入内容加载到内存中，来获得OOV (Out Of way )单词的向量？

我通常在低RAM环境(<10 7GB的RAM)中工作，因此将7 7GB的模型加载到内存中是不可能的。要在不使用那么多内存的情况下使用字嵌入，可以逐行读取.vec (通常是纯文本)文件，并将其存储到数据库中(您稍后可以访问该数据库以请求字向量)。然而，要获得带有快速文本的OOV矢量，您需要使用.bin文件，然后将其加载到内存中。有没有办法避免加载整个.bin文件？

Answer 1

对我来说起作用的是设置了一个巨大的交换分区来允许模型加载，然后我将向量的大小从300减少到100，以使模型完全适合内存。