从.zst读取S3文件

Question

我正在尝试以编程的方式从S3解压缩和读取一个S3文件(即不下载它并在其上运行命令行反编译)。

下面是我正在运行的代码：

import boto3
import zstandard
import os
import io

AWS_S3_BUCKET = os.getenv("AWS_S3_BUCKET")
AWS_ACCESS_KEY_ID = os.getenv("AWS_ACCESS_KEY_ID")
AWS_SECRET_ACCESS_KEY = os.getenv("AWS_SECRET_ACCESS_KEY")

zstd = zstandard.ZstdDecompressor()

s3_client = boto3.client(
    "s3",
    aws_access_key_id=AWS_ACCESS_KEY_ID,
    aws_secret_access_key=AWS_SECRET_ACCESS_KEY,
)

response = s3_client.get_object(Bucket='AWS_S3_BUCKET', Key="folder/example_file_name.zst")

status = response.get("ResponseMetadata", {}).get("HTTPStatusCode")

# decompressed = decomp.decompress(response.get("Body").read())
## OR
# with zstd.stream_reader(io.BytesIO(response.get("Body").read())) as r:
#    decompressed = r.read()

所以我试着用"##或“分隔结尾的两行中的任何一行。第一种方法告诉我，它没有任何关于数据长度的信息，所以我尝试将其放入"max_output_size=number_from_file_metadata“中，但它提供了相同的错误：

ZstdError:从帧头确定内容大小的错误

然后用“.”语句，则会给出以下错误：

ZstdError: zstd解压缩错误:未知帧描述符

据我所知，第二个错误意味着要么文件不是使用.zstd进行真正压缩，要么是使用“无魔法”压缩进行压缩，而解压缩没有识别该属性。我是从这里得到的：https://github.com/indygreg/python-zstandard/issues/79

但这还不清楚，而且似乎没有多少人对此有过异议。任何帮助都非常感谢。

Answer 1

在解压缩文件之后，还不清楚您想要做什么。如果这有帮助的话，我就是这样读到熊猫的zstd文件的：

    resp = boto3.client('s3').get_object(Bucket=bucket, Key=key)
    data = io.BytesIO(resp['Body'].read())
    pd.read_feather(data)

我在阅读zstd文件时遇到了很多问题，因为我对该文件的实际编写是错误的。它非常独特的日期格式和正确的索引时，编写从一个数据。

尽管如此，这对您的情况可能没有任何意义，b/c .不清楚您的文件是什么样子的，也不清楚您的最终目标是什么。