火种上的PyMC3/Edward/Pyro？

Question

有没有人尝试过在Spark中使用python概率编程库？或者有没有人知道这需要什么？

我感觉Edward是最简单的，因为已经有工具连接Tensorflow和Spark，但仍然不清楚需要进行哪些低级代码更改。

我知道分布式MCMC仍然是一个活跃的研究领域(参见MC-Stan on Spark?)，那么实现这一点是否合理？谢谢!

Answer 1

你可以和Edward一起使用Tensorflow连接器，因为它是基于Tensorflow的，MCMC的主要缺点之一是计算非常密集，你可以尝试对你的贝叶斯模型进行变分推断，它近似于目标分布。(我相信这也适用于Pyro和PyMC3 )，您也可以使用Tensorflow分布式tensorflow distributed

我还建议你使用/尝试一个名为"Dask "https://dask.pydata.org/en/latest/Dask的库，你可以将你的模型从你的工作站扩展到一个集群，它也有Tensorflow连接器。

希望这能有所帮助

Answer 2

我见过人们在PySpark中运行Pyro+PyTorch，但用例仅限于CPU，不涉及分布式训练。