我已经读过斯派克提供的https://spark.apache.org/developer-tools.html了。但是,它没有提到如何开发一些不能在本地模式下完成的事情。
例如,我正在尝试开发ExecutorAllocationManager.scala,这个类指的是动态执行器分配。我现在使用的方法是在本地编译Spark源代码并将其部署到集群(几台机器)进行测试,但这太麻烦了,严重影响了开发效率。
难道没有一种方便或自动化的方法来开发这样的功能吗?
发布于 2020-09-11 06:01:43
如何继续集成,添加Jenkins并根据需要进行部署。
https://stackoverflow.com/questions/63841502
复制相似问题