在Spark中读取Apache Arrow文件

Question

我正在使用Pyspark，我想读取Apache类型的文件，这些文件的扩展名是".arrow“。不幸的是，我找不到任何办法来做这件事，我会感激你的帮助。

Answer 1

要在PySpark中读取Apache文件，可以使用spark.read.parquet()方法，它支持读取Apache文件。.parquet()方法以Arrow文件的路径作为参数，并返回一个DataFrame。例如，要读取位于/path/ to /file.箭头的Apache Arrow文件，可以使用以下代码：

df = spark.read.parquet("/path/to/file.arrow")

如果您想读取以.arrow结尾的所有文件，则可以使用“*”

df = spark.read.parquet("/path/to/*.arrow")