我有多个100 in的原始文件与一系列的用户活动的CSV格式。我只想下载文件的前100行。
问题是每个文件可能有不同的CSV头列和数据值,因为它们是使用不同活动跟踪提供程序的多个子域的用户活动。这意味着每一行可以是50个字符长或500个字符长,这是未知的,直到我阅读他们全部。
S3支持带有Range参数的Range API,您可以使用该参数下载文件的XX字节的特定范围。
如果我使用这个API解析第一个1Mb文件,迭代每个字节直到我看到100个新行字符\n,这在技术上可行吗?有什么需要我小心的方法吗?(例如多字节字符?)
发布于 2022-05-14 08:05:56
没有内置的方式, 字节范围取 是最好的前进之道。
由于在每种情况下都不确定头或行的长度,所以在有100行之前下载1MB块是一种安全有效的方法。
多字节字符等并不重要,因为在这个级别上,您只是希望在100个\n字符之后停止读取。但是,根据文件的来源,我也会意识到\r\n和\r是有效的行尾。
我为获取最后一个n字节编写了下面的Java代码,您可以使用它作为获取第一个n字节的起点:
public String getLastBytesOfObjectAsString(String bucket, String key, long lastBytesCount) {
try {
final ObjectMetadata objectMetadata = client.getObjectMetadata(bucket, key);
final long fileSizeInBytes = objectMetadata.getContentLength();
long rangeStart = fileSizeInBytes - lastBytesCount;
if (rangeStart < 0) {
rangeStart = 0;
}
final GetObjectRequest getObjectRequest =
new GetObjectRequest(bucket, key).withRange(rangeStart);
try (S3Object s3Object = client.getObject(getObjectRequest);
InputStream inputStream = s3Object.getObjectContent()) {
return new String(inputStream.readAllBytes());
}
} catch (Exception ex) {
...
}
}发布于 2022-05-12 17:53:40
您可以这样使用smart_open:
from smart_open import open
with open('s3://bucket/path/file.csv', 'r') as f:
csv_reader = csv.DictReader(f, delimiter=',')
data = ''
for i, row in enumerate(csv_reader):
data += row +'\n'
if i > 100:
store(data)您需要在本地机器中打开另一个具有写权限的文件,以存储100行或任意数量的行。如果需要多个文件中的第一行,则可以使用boto3函数列出文件,并使用smart_open向函数发送路径/文件名。
s3client = boto3.client('s3')
listObj = s3client.list_objects_v2(Bucket=bucket, Prefix=prefix)
for obj in listObj['Contents']:
smart_function(obj['Key'])obj‘’Key‘包含Bucket+Path中每个文件的路径和文件名(前缀)
https://stackoverflow.com/questions/72220023
复制相似问题