将文件指向hadoop集群

Question

我在服务器上存储了一个文件。我希望在运行spark时将文件指向Hadoop集群。我所拥有的是，我可以将星火上下文指向hadoop集群，但是由于它指向集群，所以不能在spark中访问数据。我将数据存储在本地，所以为了访问数据，我必须在本地指向它。但是，这会导致大量内存错误。我希望做的是在集群上指出星火，但同时访问本地存储的数据。请给我一些方法，我可以做这件事。

Answer 1

Spark (在Hadoop上)无法读取本地存储的文件。记住spark是一个运行在多台机器上的分布式系统，因此它不能直接读取某个节点(本地主机除外)上的数据。

您应该将该文件放在HDFS上，并让spark从那里读取它。

要在本地访问它，应该使用hadoop fs -get <hdfs filepath>或hadoop fs -cat <hdfs filepath>命令。