OpenCL / AMD:深度学习

Question

虽然“googl‘’ing”和做一些研究，我无法找到任何严肃/流行的框架/sdk的科学GPGPU计算和OpenCL的硬件。我漏掉了什么文献和/或软件吗？

特别是我对深造感兴趣。

据我所知，deeplearning.net推荐NVIDIA硬件和CUDA框架。此外，我所知道的所有大型深度学习框架，如咖啡，西亚诺，火炬，DL4J，.专注于CUDA，不打算支持OpenCL/AMD。

此外，我们可以找到大量的科学论文以及相应的文献，以CUDA为基础的深度学习任务，但几乎没有基于OpenCL/AMD的解决方案。

在2015/16年度，基于OpenCL/AMD的解决方案是否有可能出现新的或现有的科学框架？

什么是深入学习OpenCL/AMD的良好开端？有文学作品吗？教程？各种各样的来源？

Answer 1

编辑1见米克尔·鲁森氏答案-亚马逊现在是前进的道路，因为你可以“租”他们的计算能力。

编辑2我已经创建了一个关于如何用theano为深度学习设置亚马逊EC2实例的系列指南。它比在个人机器上运行要方便得多。

编辑3现在看来TensorFlow比theano被广泛接受了，所以我已经相应地更新了指南。

我一直在和你一样的情况，因为我有一个MacBook Pro与英特尔虹膜图形。我花了一周的大部分时间研究所有可能的解决办法，我非常欢迎我提供的替代方案。

我目前拥有的最佳解决方案是：

1. 安装python库tensorflow并使用GPU支持的内容，并继续更新到最新的开发版本。
2. 使用theano -并使用类似于tensorflow的现有GPU支持
3. 购买NVIDIA显卡并在PC上使用
4. 如果您绝对需要OpenCL中的解决方案，并且愿意从高度理解(没有教程)的角度对所有内容进行编码，那么请查看DeepCL，可能还有pyOpenCl。

我已经发现，使用OpenCL的任何解决方案，例如pyOpenCl，还没有为深度学习提供友好的用户界面，也就是说，用另一种方法对其进行编码要花费更长的时间，而不是只编写快速代码并在CPU上运行。尽管如此，下面是最好的可供深入学习的OpenCL库：

• Python - DeepCL
• 乔纳森的Torch7实用程序库- C++

在发展中

• tensorflow是添加 OpenCL支持，一旦对Eigen和其他依赖项的改进成为完成
• theano是通过clBLAS从加支到OpenCL的
• Caffe正在添加OpenCL支持的发展阶段，但似乎落后于theano的进度。

Answer 2

--2017年8月更新AMD方面发生的酷酷新事物--

现在，可以在大多数AMD硬件检查这里上运行任何库了。

截至2015年10月25日

看来，AMD和其他公司已经扩展了他们的手，开发了几个OpenCL加速的深层学习框架。因此，现在有了对深度学习的OpenCL支持:)

这是一个已经开发的OpenCL加速框架或工具的列表，主要考虑到深入学习。我希望它们能在未来的几年里得到更新。

我们现在知道(2015年10月25日)有三个深层次学习框架非常受研究人员的欢迎，并且已经看到了一些商业产品。

1. 西亚诺
2. 卡菲
3. 手电筒

caffe有相当好的OpenCL支持，因为amd开发了一个完整版本的caffe，它几乎支持caffe的所有特性，并且正在积极地开发它。它的名字叫OpenCL咖啡豆。这是存储库

OpenCL咖啡豆

如果你考虑的是性能，然后根据该网站(我本人也没有标牌)，它每秒提供261张图像，或者每天在AMD R9 Fury硬件(培训)中提供2250万张图像。与nvidia K40相比，nvidia每天可以处理4000万张图像。因此，根据该网站的说法，它可以用六分之一的钱提供一半的性能。(考虑到k40是3000美元卡，而r9愤怒是600美元左右)。然而，使用任何消费卡都会给您带来内存(Vram)方面的问题，这在深入学习中非常重要。

最近几天，Torch似乎也有不错的OpenCL支持。然而，它是由一个人维持的。它声称完全支持火炬的所有功能。然而，它并没有给出一个关于性能的概念。这是存储库。它是积极维持的。

手电筒

目前，似乎没有一个像样的opencl后端的theano框架，但工作正在进行中。简单的程序可以用当前的版本来完成。

还有其他一些用于深度学习的opencl框架。需要一段时间才能把它们分类，看看它们是否正常工作。

Answer 3

另一种选择是在上使用GPU实例。您可以找到已经安装了常用深度学习包的AMIs。例如：

• 火炬：https://github.com/torch/torch7/wiki/Cheatsheet#ec2-public-ami
• Theano+Caffe：https://www.kaggle.com/forums/f/208/getting-started/t/11505/an-aws-ami-mainly-for-deep-learning

提示:使用spot实例可以获得更便宜的价格(g2.2xsize的价格约为10美分/小时)。