从postgresql提取数据到pyspark dataframe时，我是否应该使用模式

Question

我有一个从postgresql数据库中获取数据的pyspark任务。在读取数据时，我是否应该使用Schema来优化数据并加快提取速度？(据我所知，在读取数据时正常创建模式会使读取速度更快)

然后将数据转换为pandas数据帧，在此转换中，我应该指定模式还是已经优化？

Answer 1

您不需要在每次使用spark阅读内容时都使用模式。

• 您需要(或推断)用于CSV、JSON、
• 的方案您不需要用于镶嵌、AVRO、ORC、DB

的方案

查看reader官方文档，看看是否可以添加schema选项。如果不是，则不需要提供模式。

当您从pyspark dataframe转换为pandas dataframe时，该模式将被保留。不需要添加任何内容。只需确保内存中有足够的空间即可。