谷歌新闻Word2Vec模型会在你每次运行它时占用存储空间吗？

Question

这可能看起来是一个奇怪的问题，但我是个新手，所以我还是想问一下。

我想在我的笔记本电脑上使用这个Google News模型来处理各种不同的文件。这意味着我将在不同的Jupyter笔记本上一遍又一遍地运行这行代码：

model=word2vec.KeyedVectors.load_word2vec_format("GoogleNews-vectors-negative300.bin"，binary=True)

这会占用1)存储空间(我注意到我的存储空间无缘无故地呈指数级增长) 2)比我在运行下一个笔记本之前关闭上一个笔记本时占用的内存要少吗？

我的存储空间在一天内减少了50 do，我在这台计算机上做的唯一一件事就是运行谷歌新闻模型(我没有运行most_similar())。重新启动和关闭笔记本电脑没有任何帮助，笔记本电脑上也没有任何大文件。有什么想法吗？

谢谢。

Answer 1

仅仅加载一个模型通常不会使用更多的磁盘存储。(例外:如果load或use需要RAM以外的可寻址内存，您可以开始使用虚拟内存，这可能会显示为磁盘空间较少，具体取决于您的操作系统。但是，对于这些类型的模型，您希望避免依赖任何虚拟内存，因为基本的most_similar()操作在整个模型中循环，如果它们每次都从磁盘读取，则速度将非常慢。)

加载模型将使用内存，然后在第一次执行most_similar()时使用更多内存。(这需要单位归一化向量，第一次需要计算这些向量，然后进行缓存。)

但是终止一台笔记本电脑应该会释放内存。(请注意，关闭选项卡可能不会完全终止Jupyter笔记本。如果笔记本仍在笔记本服务器上运行，即使没有浏览器查看，它仍将使用/保留内存。)