我使用DCGAN ( Deep Convolution GAN )生成图像。但是,我想在嵌入式设备上运行它,比如Intel Movidius或Jetson。但是,在浏览了几篇互联网文章时,我知道嵌入式设备只用于深入学习的情况下进行推理。GAN基本上是一个生成网络。怎么能有推论呢?对于GAN来说,推理和训练是否是一回事?它(GAN)能在嵌入式设备上运行吗?内存是一个真正的问题吗?
我想使用TF 2.0在我的GPU集群上运行分布式预测。我用MirroredStrategy训练了一个用凯拉斯制作的CNN,并保存了下来。我可以加载模型并对其使用.predict(),但我想知道这是否会自动使用可用的GPU进行分布式预测。如果不是,我如何运行分布式预测来加速推理并使用所有可用的GPU内存?目前,当运行许多大型预测时,我超过了其中一个GPU(12 it )的内存(需要17 it),推理失败,因为它耗尽了内存: Allocator (GPU_0_bfc) ran out of memory