使用Pycharm调试EMR上的Pyspark

Question

是否有人有使用Pycharm调试在AWS EMR上运行的Pyspark的经验？

我找不到任何好的指南或现有的线程重新评级这一点。

我知道如何在EMR上使用Intellij调试Scala-Spark，但我没有使用Python进行调试的经验。

我知道能够连接到远程服务器使用ssh (EMR Master)，也许与专业版我可以使用远程部署功能来运行我的spark作业使用Pycharm，但我不确定它是否会工作，我想知道是否有人已经尝试过，然后我将与Pycharm Pro。

Answer 1

我如愿在EMR上调试了Pyspark。请看这篇描述如何做到这一点的中型博客文章：

https://medium.com/explorium-ai/debugging-pyspark-with-pycharm-and-aws-emr-d50f90077c92

它描述了如何使用Pycharm Pro - remote部署功能来调试您的pyspark程序。