回答情况：
提问时间：
问题标签：
我有一个运行时间非常长的作业要读入一个在US State上有一个自然的逻辑分区的数据集。我已经将它保存为pandas的一个分区拼图数据集，使用的是have parquet (使用pd.write_parquet)。
浏览 5提问于2019-10-11得票数 2
1回答
尝试在Docker镜像中使用pip3 install fastparquet包(在这里我首先使用sudo apt install python3并将pip.conf设置为使用公司内部包存储库)可以得到以下结果/api/pypi/ext-pypi/simple, https://anon.artifactory.internal.net/api/pypi/gr-pypi/simple
Collecting fastparquet/pypi/e
浏览 173修改于2021-02-10得票数 1
我在我的PyCharm to中使用Python3.6解释器，并试图将CSV转换为Parquet。df = pd.read_csv('/parquet/drivers.csv')错误-1 ImportError:无法找到可用的引擎；尝试使用：‘py箭头’，‘扣板’。皮箭或紧固件是支撑拼花的必要条件。Error-2文件“/User/python第131行，在compress_data (算法，排序(压缩)) Run
浏览 0修改于2020-01-17得票数 4
display.max_rows', None, 'display.max_columns', None):显示错误：AttributeError: module 'fastparquet</
浏览 8修改于2022-04-04得票数 1
回答已采纳
dd "/Users/alekseybilogur/Desktop/2019-taxi-trips/*/data.parquet", "secret": "..." engine="fastparquet") 这会引发IndexError: list index out
浏览 21提问于2020-10-08得票数 1
回答已采纳
我已经安装了pyarrow和fastparquet，但仍然收到相同的错误消息df_test = pd.DataFrame({'Test_Name
浏览 16修改于2020-04-22得票数 0
我有一个数百万条记录SQL表，我计划使用py箭头库将它写入文件夹中的许多拼板文件。数据内容似乎太大，无法存储在一个单一的拼花文件。file_scheme="hive"下面是我的示例代码：import pandas as pdimport pyarrow.parquet as pq
conn_str = 'UID=username;PWD=password
浏览 1提问于2017-11-25得票数 4
回答已采纳
_64-3.7/fastparquet copying fastparquet/schema.py -> build/lib.linux-x86_64-3.7/fastparquet
copyi
浏览 3提问于2019-11-22得票数 1
(base) C:\Users\murta>pip install fastparquet Downloading fastparquet-0.4.1.copying fastparquet\api.py -> build\lib.win-amd64-3.7\fastparquet copying <
浏览 3修改于2020-11-10得票数 0
"foo": [1, 2, 3],})
import fastparquetfastparquet.write('/my/parquet/location/toy-fastparquet.par
浏览 8修改于2020-02-18得票数 4
回答已采纳
1回答
Unable to find a usable engine; tried using: 'pyarrow', 'fastparquet'.A suitable version of pyarrow or fastparquet is required for parquet support.- Missing optional dependency 'fastparquet'. fastparquet is required for parquet suppor
浏览 7修改于2022-04-25得票数 -2
postgresql14:37:19/fastparquethomebrew.mxcl.postgresql)
14:37:39/fastparquet14:37:55/fastparquet<
浏览 0修改于2017-06-22得票数 4
回答已采纳
在依赖项列表中包括：...前者取决于后者。为了让fastparquet使用我们想要的numpy版本，我认为pip install --no-deps --no-build-isolation -r requirements.txt可以工作。--no-deps将确保列出的包的依赖关系不会被pip删除，而--no-build-isolation将确保我们不会因为而使用更新版本的numpy构建fastparquet。通过fastparquet==0.4.1重新
浏览 1修改于2022-10-18得票数 1
例如：import pyarrow as paimport fastparquet as fp
# write parquet file using fastparquetfp.write('fastparquet.parquet&#x
浏览 0提问于2018-03-08得票数 3
回答已采纳
__version__) print(fastparquet.')df = dd.read_parquet('large2.parquet', engine='fastparquet').compute() # Wall time: 503 ms
df = pd.read_parquet('large2.parquet',engi
浏览 2提问于2019-11-12得票数 1
回答已采纳
例如：pfile = fastparquet.ParquetFile(['data/data1.parq', 'data/data2.parq'])pfile = fastparquet.ParquetFile(['data/data1.parq', 'data2/data2.parq'](['
浏览 3提问于2017-09-22得票数 6
回答已采纳
import pandas as pdimport pyarrow.parquet as pqimport boto3from fastparquet import ParquetFile
df = pd.read_parquet('<my_s3_path.parquet>', engine='fastparquet</em
浏览 66提问于2019-09-04得票数 2
import fastparquet File "<stdin>", line 1, in <module>File "/home/username/anaconda3/lib/python3.6/site-packages/fastparquet/__init__.py", line 15, in <modulefrom
浏览 2修改于2017-06-01得票数 8
回答已采纳
除日期时间值外，所有操作都很好:取决于我是使用fastparquet还是pyarrow在本地保存拼花文件，日期时间值是否正确(数据类型为雪花中的TIMESTAMP_NTZ(9) )：在这一点上，我可以想到三种方法来处理这个问题：
确保使用fastparquet保存了拼花文件。尽管我不能马上控制这一点，但我总是可以用pd.read_parquet()打开每个拼花文件，然后用pd.to_parquet(fname, engine='fastparquet'
浏览 5修改于2020-02-12得票数 3
回答已采纳
我知道Pandas可以使用不同的后端：pyarrow和fastparquet来读写拼图文件。但是，我没有安装pyarrow，所以我猜是使用了fastparquet (我也找不到它)。
有没有办法确定使用的是哪个后端？
浏览 0提问于2018-06-08得票数 17
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号