在我的组织中,我的任务是做一些Spark开发,我正在尝试使用Scala,但其他大部分代码都是Java。我正在管理Maven的依赖关系。我的代码最终将在Hadoop集群(Cloudera)的边缘节点上工作和运行。
这个边缘节点只能通过jumpserver通过SSH访问,我很难找到一个有效的工作流。这个团队中的其他成员已经通过包括打印语句、在本地构建.jars、通过WinSCP将它们复制到边缘节点、然后通过Putty会话上的命令行(SSHed到jumpserver,然后在该会话中使用SSH命令连接到edge节点)进行调试。
me -> jumpserver ->边缘节点
我想知道是什么解决方案,可以快速构建jar并将其放在此服务器上,并在此环境中运行,同时连接用于远程调试。
Eclipse和IntelliJ都有远程调试的功能,但是这可以通过jumpserver工作吗?当我们只能通过SSH进行调试时?
它会以某种方式将边缘节点上的目录映射到本地文件系统并让IDE将.jar放在那里并在那里进行调试吗?
--要记住,.jar确实需要在边缘节点的服务器上下文/环境中(对于Spark/Hadoop ),所以如果.jar尝试使用本地.jar环境,这是行不通的。
对此有什么解决办法?谢谢!
可选的其他信息:
我们让Jenkins在每次签入代码更改时运行到代码自动生成的位置,我们内部有一个构建/部署管理服务,可以配置成实际输出.jar并可选择地将其部署到服务器上。但是,对于运行代码来检查更改来说,这太慢了,也解决不了调试问题。
发布于 2018-06-21 16:40:35
您能否检查jsch java库,通过它可以连接到unix服务器并传递所需的命令。在您的情况下,您需要连接到跳线,然后传递命令,比如边缘节点、主机和所需的命令。
https://stackoverflow.com/questions/50971732
复制相似问题