Python3mac: snappy.compress AttributeError:模块'snappy‘没有属性'compress’

Question

在阅读python中的拼图时，是否有人解决了错误: message：compressions['SNAPPY'] = snappy.compress AttributeError: module 'snappy' has no attribute 'compress'？顺便说一句，有什么办法能读懂整部电影吗？

我正在使用python 3通过conda在mac上安装snappy和thrift，并按https://pypi.python.org/pypi/parquet安装。

守则如下：

import parquet
import json
import fastparquet

with open(data_in_path + "file.parquet/part-01snappy.parquet", 'rb') as fo:
for row in parquet.DictReader(fo, columns=['id', 'title']):
    print(json.dumps(row))

或

 df2 = fastparquet.ParquetFile(path).to_pandas()

Answer 1

无法找到snappy解决方案，所以我用snappy读取spark中的数据，并在每次发现python中没有问题后用gzip将其写回：

df.coalesce(1).write.option("overwrite","true").option("compression","gzip").parquet(dfWithGzip.parquet")

Answer 2

我也有过同样的问题。

原因是我安装了错误的python包。您应该安装python-snappy而不是snappy

在我的例子(os x)中，这是一个简单的两步过程：

brew install snappy
pip install python-snappy