现在的硬件产品不可能有一个深度学习+高性能工作站吗？(2018年末)

Question

我想要一台桌面电脑，它对普通的“超级用户”工作流程来说是快速和快捷的(例如。编写IDE、20+ Chrome选项卡、Blender、音频编辑、Web/File、备份服务器)，并具有在其上运行深度学习算法的能力(一台nVidia RTX2080ti可启动，另一台可继续运行)。问题是，在我看来，英特尔并没有提供任何高性能CPU (>= 5 5GHz超频)，超过16 PCIe通道。我已经看到了关于NVMe驱动器是否耗尽这些PCIe车道的不同报告，或者它们是否是通过一组不同的platorm车道路由的，但是如果它们确实使用了其中的一些车道，那么我就会立即下降到显卡上性能的8倍。即使不是，这意味着下降到8倍的性能，一旦我有2个显卡。

请记住，这样的设置将合理地结束与2个NVMe驱动器和2个显卡，我是更好地使用更低的时钟速度Xeon或AMD线程，以便我得到PCIe车道？

根据目前的硬件选择，我得到的印象是，我可以拥有一个快速桌面PC或一个有能力的服务器/深度学习平台，但不能两者兼而有之。

Answer 1

这真的取决于你在深造项目中想要的深度，以及你愿意等待多长时间，这可能是一个很长的时间--取决于你的项目以及输出定性结果所需的计算量。

我的主要工作站是双E5-2697 v2、128 GB内存、双TITAN GPU和8x1TB SSD RAID 0阵列。这是一项工作；使用Passmark的CPU速度为22000，并且是第99百分位数。第92百分位数的2X GPU率.

尽管如此，这是一个很重的系统(最初的版本大约是2万美元--尽管现在可以用同样的组件建造，而且所用的成本要低得多)--但对于像视频/图像/音频项目这样的工作量很大的深度学习设备来说，它甚至并不是一个“伟大”的系统。

你最好的选择是买一个好的系统，我会说不要买“最好的”，但是发布后的6个月--这样的话要便宜得多。去单处理器，最高的OC你负担得起，和一个体面的GPU。

然后使用节省下来的钱在或Amazon的AWS上运行实际的深度学习项目。

您可以在Google的Compute平台上构建您的VM实例，不要使用它，这只会对IP和系统映像产生最低的费用；然后使用运行NVIDIA V100 GPU的1、2、4甚至多个VM供电。

V100s确实会给你提供你想要的能量，虽然2080年的卡在基准图上看起来几乎一样快，但它根本不能像V100那样，比如FP64，它可以承载32 of的内存，这极大地提高了它处理大数据集的能力，而不需要输入或输出较小的子集，而且你可以以大约每小时0.80美元的抢占价格租用它们。(仅限GPU)

2080年可能被吹捧为"80%的速度“的V100，但如果你的项目将受益于FP64和更大的内存分配，它将超过你的2080年所能做的-这就是为什么这张卡的价格是单一的2080年价格的8倍。

另外，您可以立即启动一个2倍的V100，或4倍的V100 VM实例，突然之间，机器学习速度达到了20倍、30倍或更高，甚至远远超过了系统所能做到的。

<#>Ultimately，它将归结为:我可以在我的系统上运行这个机器学习项目，并在9天内获得我想要的结果，或者，我可以启动一个VM，每小时支付8.00美元，并在7小时内得到我的结果。

使用这种方法，您可以在您的系统上构建您的项目，然后当您准备好让机器开始工作并完成工作时，您可以将VM放到网上，转移您的项目和资产，并让V100s工作几个小时或几天。

但谷歌平台上的高端深度学习系统--使用先发制人的价格；每小时可能要花4美元；12小时内能做什么--将远远超过你在几天、甚至几周的运行时间内所能做的。

一台V100的成本超过8000美元。把钱存起来，在你需要的时候按分钟租卡。随着新卡的出现，成本也会下降。