远程使用Hadoop集群

Question

我有一个web应用程序和一个远程集群(可以是一个或多个)。这些集群可以在不同的机器上。我想从我的web应用程序中执行以下操作：

1项人类发展行动:-

• 创建新目录
• 从HDFS(Hadoop分布式文件系统)中删除文件
• 列出HDFS上的文件
• 将文件加载到HDFS
• 卸载文件

2与工作有关的行动：-

• 提交地图减少作业
• 查看他们的状态，即完成了多少工作
• 完成工作所需的时间

我需要一个工具来帮助我完成web应用程序中的这些任务--通过API，通过REST调用等等。我假设该工具将运行在同一台机器上(作为web应用程序)，并且可以指向特定的远程集群。

虽然作为最后一种选择(因为可以有多个不同的集群，很难确保每个集群都安装了插件、库等)，但我想知道是否会有一些Hadoop库，插件位于集群上，允许从远程机器访问并执行上述任务。

Answer 1

允许您在这里列出的所有内容的最佳框架是Spring数据-。它有基于Java脚本API的实现来执行以下操作

1 HDFS Actions :-

Create New Directory
Remove files from HDFS(Hadoop Distributed File System)
List Files present on HDFS
Load File onto the HDFS
Unload File

同样，基于spring调度的实现可以执行以下操作

2 Job Related Actions:-

Submit Map Reduce Jobs
View their status i.e. how much job has comleted
Time taken by the job to finish