在HDFS或S3以外的分布式文件系统上运行Spark或Flink

Question

有没有一种方法可以在分布式文件系统上运行Spark或Flink，比如lustre，或者除了HDFS或者S3之外的任何东西。

因此，我们可以使用Unix集群创建分布式文件系统框架，我们是否可以在集群模式下运行spark/flink，而不是独立运行。

Answer 1

如果每个节点都可以访问公共路径，并且*您的应用程序已配置为使用这些公共路径来共享源库、源数据、中间数据和最终数据，则您可以使用file:///作为DFS

像lustre这样的东西往往会做到这一点，并且/或者有一个特定的hadoop文件系统客户端库来包装/扩展它。