没有Hadoop如何运行Apache Crunch应用程序？

Question

我听说Apache Crunch是一个外观，它可以在没有Hadoop的情况下运行应用程序。这是真的吗？

如果是，那该怎么做呢？

在Apache Crunch Getting Started中，第一个示例包括hadoop命令：

$ hadoop jar target/crunch-demo-1.0-SNAPSHOT-job.jar <in> <out>

是否可以省略hadoop

Answer 1

也许您误解了您不需要Hadoophadoop集群。Hive、Pig、Spark都可以在本地运行，也可以在HDFS以外的文件系统上运行。

根据我对该库的了解，您确实需要Hadoop API (这是hadoop jar将为您加载的)。

换句话说，您可以将输入和输出目录设置为本地file://路径，以避免需要HDFS。

您可以通过export CLASSPATH包含Hadoop库，然后运行java jar来运行JAR