Python中的自动CudaMat转换

Question

我正在研究如何加快我的python代码，这都是矩阵数学，使用某种形式的CUDA。目前，我的代码正在使用Python和Numpy，因此使用类似于PyCUDA或CudaMat的方法重写它似乎并不太困难。

然而，在我第一次尝试使用CudaMat时，我意识到我不得不重新排列许多方程，以便将所有的操作都放在GPU上。这包括创建许多临时变量，以便存储操作的结果。

我理解为什么这是必要的，但它使曾经容易阅读的方程变得有些混乱，难以检验是否正确。另外，我希望以后能够很容易地修改这些方程，这不是它们转换的形式。

Theano软件包成功地做到了这一点:首先创建操作的符号表示，然后将它们编译到CUDA。然而，在尝试了一下西亚诺之后，我对一切都是如此的不透明而感到沮丧。例如，仅仅获得myvar.shape的实际值是很困难的，因为树要到很久以后才会得到评估。我也倾向于少使用这样一个框架，在这个框架中，我的代码非常符合一个不可见的代码库，而不是Numpy。

因此，我真正想要的是简单得多的东西。我不想要自动区分(如果我需要的话，还有其他的包，比如OpenOpt )，或者优化树，而只是从标准的Numpy符号转换到CudaMat/PyCUDA/某样东西--PyCUDA。事实上，我希望它能够被评估为Numpy，而没有任何CUDA代码进行测试。

我目前正在考虑自己写这篇文章，但在考虑这样的项目之前，我想看看是否有其他人知道类似的项目或一个好的起点。我所知道的唯一接近这个目标的项目是SymPy，但我不知道适应这个目的有多容易。

我目前的想法是创建一个看起来像Numpy.array类的数组类。它的唯一功能就是建一棵树。在任何时候，该符号数组类都可以转换为Numpy数组类并进行计算(也会有一对一的奇偶校验)。或者，可以遍历数组类并生成CudaMat命令。如果需要优化，则可以在这一阶段进行优化(例如重新排序操作、创建临时变量等)。而不妨碍我们检查发生的事情。

如对此有任何想法/评论/等，将不胜感激！

更新

用例看起来可能类似于(其中sym是理论模块)，其中我们可能正在做一些事情，比如计算梯度：

W = sym.array(np.rand(size=(numVisible, numHidden)))
delta_o = -(x - z)
delta_h = sym.dot(delta_o, W)*h*(1.0-h)
grad_W = sym.dot(X.T, delta_h)

在这种情况下，grad_W实际上只是一棵包含需要执行的操作的树。如果您想正常地(即通过Numpy)计算表达式，您可以这样做：

npGrad_W = grad_W.asNumpy()

它只执行树所代表的Numpy命令。另一方面，如果你想使用数据自动化系统，你可以：

cudaGrad_W = grad_W.asCUDA()

这将把树转换成可以通过CUDA执行的表达式(这可能以几种不同的方式发生)。

这样做应该很简单：(1)测试grad_W.asNumpy() == grad_W.asCUDA()，(2)将已有的代码转换为使用CUDA。

Answer 1

你看过PyCUDA的GPUArray部分了吗？

http://documen.tician.de/pycuda/array.html

虽然我自己没有用过它，但它似乎是你要找的东西。特别是，请查看页面底部附近的“单通自定义表达式计算”部分。