首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何将数以百万计的文件保存在S3中,以便将来可以快速对键/路径值进行任意搜索

问如何将数以百万计的文件保存在S3中,以便将来可以快速对键/路径值进行任意搜索
EN

Stack Overflow用户
提问于 2020-05-28 03:59:41
回答 2查看 54关注 0票数 1

我的公司在一个S3存储桶中有数百万个文件,我必须经常搜索其键/路径包含一些文本的文件。这是一个非常慢的过程,因为我必须遍历所有文件。

我不能使用前缀,因为感兴趣的文本并不总是在开头。我看到其他帖子(here和here)说这是S3API的一个众所周知的限制。这些帖子是3年前的,所以我的第一个问题是:这个限制还存在吗?

假设答案是肯定的,我的下一个问题是,鉴于我预计将对数百万个S3文件进行任意的类似正则表达式的搜索,是否有既定的解决方法的最佳实践?我见过一些人说,您可以将键名称存储在关系数据库、Elasticsearch或平面文件中。这些方法中有没有比其他方法更常见的地方?

另外,出于好奇,为什么S3不支持这样一个基本的服务用例(S3),它是整个亚马逊网络服务平台的核心产品?我注意到Google Cloud上的GCS也有类似的限制。在大规模的关键字名称字符串上进行搜索真的很难吗?

EN

回答 2

Stack Overflow用户

发布于 2020-05-28 04:44:46

S3是一个对象存储,在概念上类似于文件系统。我从来不会尝试在文件系统中创建一个基于文件名的类似数据库的环境,在S3中也不会。

然而,如果这就是您所拥有的,那么我将从运行代码开始,将所有当前文件名放入某种类型的数据库。DynamoDB不能按正则表达式查询,但PostgreSQL、MySQL、Aurora和ElasticSearch中的任何一个都可以。因此,首先列出每个文件,并将文件名和S3位置放入一个类似数据库的结构中。然后,创建一个Lambda,当添加或删除文件时,它会收到任何更改的通知(有关更多信息,请参阅this link ),它将对您的后备存储执行适当的操作。

根据您的需要,ElasticSearch可以非常灵活地处理查询,并且可能更适合这些类型的查询。但是传统的关系型数据库也可以正常工作。

最后,您需要一个到后备存储的接口来进行查询。这可能需要某种类型的服务器。这可以是一个简单的API网关到一个Lambda或复杂得多的东西。

票数 1
EN

Stack Overflow用户

发布于 2020-05-28 09:35:23

您可以考虑使用Amazon S3 Inventory,它可以提供每日或每周的CSV文件,其中包含存储桶中所有对象的列表。

然后,您可以将此文件加载到数据库中,甚至可以编写脚本来解析它。或者甚至可能只是在Excel中使用它。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62051848

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档