在神经网络推理过程中，你在内存的哪一部分存储模型权重和中间值？

Question

在tensorflow微观模型的推理过程中，我有一个关于记忆的问题。在开始时，您定义了一个tensor_arena全局变量。在这个预留空间中究竟存储了什么？您是存储模型权重，还是在模型推理期间存储中间值，或者两者都存储？输入的数据呢？也就是说，当您将一些值输入到网络输入时，这些值是否也存储在张量领域？提前感谢您的帮助

Answer 1

张量竞技场用于在推理过程中存储输入、输出和中间值。模型权重和偏差通常存储在模型本身中。模型和可执行代码存储在二进制文件的只读部分，竞技场占据可写数据部分。

默认情况下，竞技场中的内存在任何可能的情况下都是计划和重复使用，因为中间值可以在其生命周期之外被覆盖。因此，竞技场通常比中间缓冲区的总和小得多。