Pandas和FastParquet读取单个分区

Question

我有一个运行时间非常长的作业要读入一个在US State上有一个自然的逻辑分区的数据集。我已经将它保存为pandas的一个分区拼图数据集，使用的是have parquet (使用pd.write_parquet)。

我希望我的伙伴能够从创建的parquet文件夹中只读入一个分区(状态)。read_parquet没有过滤功能。有什么想法吗？

Answer 1

尝试使用dask或parquet阅读器。通过pandas进行过滤对我来说很有效。

How to read parquet file with a condition using pyarrow in Python

RUN pip install pyarrow
RUN pip install "dask[complete]"

import pyarrow.parquet as pq
import dask.dataframe as dd
import pandas as pd

path = ""
dask_df = dd.read_parquet(path, columns=["col1", "col2"], engine="pyarrow")

dask_filter_df = dask_df[dask_df.col1 == "filter here"]

path = ""
parquet_pandas_df = pq.ParquetDataset(path).read_pandas().to_pandas()

pandas_filter_df = parquet_pandas_df[parquet_pandas_df.col1 == "filter here"]