无图形处理器的tf.data、tf.distribute

Question

我的机器上没有GPU，因为tensorflow上的大多数性能推荐只提到了GPU，有人能证实吗？

tf.data.prefetch
tf.distribute.mirroredstrategy
tf.distribute.multiworkerstrategy

只能与多个GPU一起工作？我在我的PC上试过了，大多数功能都会减慢进程，而不是增加进程。因此，多CPU在这里没有好处吗？

Answer 1

我不明白你到底在问什么，但让我给你一个10000英尺的解释。它可能会帮助你理解你应该使用它的内容/时间。

1. tf.data.prefetch：让我们假设你在训练模型时有2个步骤。a)读取数据，b)对数据进行处理。在处理数据时，您可以读取更多的数据，以确保在对当前批数据进行“训练”后可以使用这些数据。只需考虑生产者/消费者模型。你不想让你的消费者在生产更多数据时处于闲置状态。

1. tf.distribute.mirroredstrategy：如果您有一台带有多个GPU的机器，这个选项会很有帮助。它允许在同一台机器上“并行”训练一个模型。

1. tf.distribute.multiworkerstrategy：现在假设您有一个包含5台机器的集群。您可以使用所有这些组件以分布式方式训练模型。

这只是你在这里提到的3个项目的简单解释。

Answer 2

如果你还没有解决你的问题，你可以使用Google Colab (https://colab.research.google.com)获得一个图形处理器--在那里你可以将运行时改为图形处理器或TPU。