同时使用GPU作为显卡和GPGPU

Question

在我工作的地方，我们做了大量的数值计算，我们正在考虑购买带有NVIDIA显卡的工作站，因为使用了CUDA (与TensorFlow和Theano一起工作)。

我的问题是:这些计算机是否应该配备另一种视频卡来处理显示器，并为GPGPU释放NVIDIA？

如果有人知道同时使用显卡和GPGPU的硬数据，我将不胜感激。

Answer 1

根据我的经验，在数值计算任务和驱动视频监视器之间共享GPU卡是很尴尬的。例如，在任何GPU上都有有限的内存可用，这通常是您可以训练的模型大小的限制因素。除非你在玩游戏，否则一个相当小的GPU可能就足够驱动视频了。但是对于严重的ML工作，您可能需要一张高性能卡。在我工作的地方(Google)，我们通常会把两个GPU放在办公桌边的机器上，而其中一个将用于数值计算。

Answer 2

经历过这件事后，我再加两分钱。

有一个专门的计算卡是有帮助的，但它绝对没有必要。

我使用了一个带有单个高端GPU的开发工作站来显示和计算.我还使用了带有多个GPU的工作站，以及无头计算服务器。

我的经验是，在显示GPU上做计算是很好的，只要对显示的需求是典型的软件工程。在一个带有多个监视器、web浏览器、文本编辑器等的Linux安装程序中，我使用大约200 web的内存来显示出6GB的卡--所以只有大约3%的开销。在网页刷新或诸如此类的过程中，您可能会看到显示有点口吃，但是显示的吞吐量要求非常小。

一个值得注意的技术问题是，NVIDIA驱动程序、GPU固件或操作系统在显示GPU上可能有内核完成的超时(运行NVIDIA的'deviceQueryDrv‘以查看驱动程序的“内核上的运行时间限制”设置)。根据我的经验(在Linux上)，对于机器学习，这从来都不是一个问题，因为超时时间是几秒钟，而且即使使用自定义内核，多处理器之间的同步也会限制您在单个内核启动中填充多少内容。我预计在TensorFlow中预焙操作的典型运行将比这个限制低两个或多个数量级。

也就是说，在工作站中拥有多个具有计算能力的卡(不管是否用于显示)有一些很大的优势。当然，有更大的吞吐量潜力(如果您的软件可以使用它)。然而，在我的经验中，主要的优点是能够在同时开发新实验的同时运行长时间的实验。

当然，这是可行的，从一张卡，然后添加一晚，但确保你的主板有很大的空间，你的电源可以承受负载。如果您决定有两张卡，其中一张是专用于显示的低端卡，我特别建议您不要让低端卡成为一张具有数据自动化能力的卡，以免被选择为默认计算卡。

希望这能有所帮助。