Scala Spark IntelliJ Idea开发流程

Question

我目前正在使用spark编写我的维度数据模型，我们目前正在将jar上传到AWS EMR集群进行测试。但是，这对于测试和构建表来说是乏味和耗时的。

我想知道其他人在做什么来加速他们的发展。我在研究中遇到的可能性是使用Intellij Idea直接从IDE运行spark作业，我想知道在开发速度更快的地方正在使用的其他开发过程。

Answer 1

到目前为止，我尝试过的方法是：

在两台或三台商用PC上安装spark和hdfs并测试代码，然后在cluster.

• Running上提交之前，在单个节点上测试代码，以避免虚拟错误。

1. 在两台或三台商用PC上安装spark和hdfs，并在提交之前测试代码。在群集上提交jar文件的
2. 。

第一种和第三种方法中类似的部分是制作jar文件，这可能需要很多时间。第二种方法不适合发现和修复分布式运行环境中的bug和问题。