问是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
EN

Stack Overflow用户

提问于 2021-03-25 15:16:23

回答 1查看 33关注 0票数 0

是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？

Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式文件存储？

发布于 2021-03-25 21:01:04

是分布式文件存储(HDFS/Cassandra/s3等)是否强制spark在群集模式下运行？

差不多吧

如果是，为什么？

因为spark工作者从共享表中获取输入，在它们之间分配计算，然后由spark驱动程序编排，将它们的数据写回另一个共享表。

但是，如果spark查询中的任何file://)或stage尝试使用共享文件系统作为提交工作的一种方式，输出将不会从工作程序(将写入其本地文件系统)和spark驱动程序(只能读取其本地文件系统)中传播。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/66794768

复制

相似问题

问是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？EN