首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >是否可以从S3下载包含数百万行的大文件的前100行?

问是否可以从S3下载包含数百万行的大文件的前100行?
EN

Stack Overflow用户
提问于 2022-05-12 17:42:36
回答 2查看 277关注 0票数 0

我有多个100 in的原始文件与一系列的用户活动的CSV格式。我只想下载文件的前100行。

问题是每个文件可能有不同的CSV头列和数据值,因为它们是使用不同活动跟踪提供程序的多个子域的用户活动。这意味着每一行可以是50个字符长或500个字符长,这是未知的,直到我阅读他们全部。

S3支持带有Range参数的Range API,您可以使用该参数下载文件的XX字节的特定范围。

RequestSyntax

如果我使用这个API解析第一个1Mb文件,迭代每个字节直到我看到100个新行字符\n,这在技术上可行吗?有什么需要我小心的方法吗?(例如多字节字符?)

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2022-05-14 08:05:56

没有内置的方式, 字节范围取 是最好的前进之道。

由于在每种情况下都不确定头或行的长度,所以在有100行之前下载1MB块是一种安全有效的方法。

多字节字符等并不重要,因为在这个级别上,您只是希望在100个\n字符之后停止读取。但是,根据文件的来源,我也会意识到\r\n和\r是有效的行尾。

我为获取最后一个n字节编写了下面的Java代码,您可以使用它作为获取第一个n字节的起点:

代码语言:javascript
复制
public String getLastBytesOfObjectAsString(String bucket, String key, long lastBytesCount) {
    try {
        final ObjectMetadata objectMetadata = client.getObjectMetadata(bucket, key);
        final long fileSizeInBytes = objectMetadata.getContentLength();

        long rangeStart = fileSizeInBytes - lastBytesCount;
        if (rangeStart < 0) {
            rangeStart = 0;
        }

        final GetObjectRequest getObjectRequest =
                    new GetObjectRequest(bucket, key).withRange(rangeStart);

        try (S3Object s3Object = client.getObject(getObjectRequest);
             InputStream inputStream = s3Object.getObjectContent()) {
            return new String(inputStream.readAllBytes());
        }
    } catch (Exception ex) {
        ...
    }
}
票数 1
EN

Stack Overflow用户

发布于 2022-05-12 17:53:40

您可以这样使用smart_open:

代码语言:javascript
复制
from smart_open import open

with open('s3://bucket/path/file.csv', 'r') as f:
    csv_reader = csv.DictReader(f, delimiter=',')
    data = ''
    for i, row in enumerate(csv_reader):
        data += row +'\n'
        if i > 100:
            store(data)

您需要在本地机器中打开另一个具有写权限的文件,以存储100行或任意数量的行。如果需要多个文件中的第一行,则可以使用boto3函数列出文件,并使用smart_open向函数发送路径/文件名。

代码语言:javascript
复制
s3client = boto3.client('s3')

listObj = s3client.list_objects_v2(Bucket=bucket, Prefix=prefix)
for obj in listObj['Contents']:
    smart_function(obj['Key'])

obj‘’Key‘包含Bucket+Path中每个文件的路径和文件名(前缀)

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72220023

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档