pyspark数据写入结果

Question

我正在做一个项目，我需要阅读12个文件，平均文件大小是3GB。我用RDD读取它们，并使用spark.createDataFrame创建数据帧。现在，我需要在dataframe上处理30个Sql查询，大多数查询都需要上一个Sql查询的输出，就像相互依赖一样，所以我将所有中间状态保存在dataframe中，并为该dataframe创建临时视图。

程序执行部分只需2分钟，但问题是，当将它们写入csv文件或显示结果或调用count()函数时，需要花费太多时间。我尝试过重新划分，但还是要花很多时间。

1.解决方案是什么？

2.为什么要花太多的时间来编写甚至所有的处理都要花费很少的时间？

Answer 1

我解决了上面的问题，在persist和缓存中的电火花。

星星之火是一种懒惰的编程语言。两种类型的Spark操作是-转换和操作。转换是一个函数，它从现有的RDD中生成新的RDD，但是当我们想使用实际的数据集时，就会执行操作。当操作在结果之后触发时，新的RDD就不会像转换那样形成。

每次我执行某些操作时，它只是在进行转换，所以如果我调用特定的dataframe，它将每次调用它的父查询，因为spark很懒，所以添加persist停止多次调用父查询。它节省了大量的处理时间。