首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >对1500万个文件使用文件系统作为数据库--它有效吗?

问对1500万个文件使用文件系统作为数据库--它有效吗?
EN

Stack Overflow用户
提问于 2014-05-01 19:15:40
回答 2查看 553关注 0票数 1

我有1500万个简单的密钥/值记录。键大小都是单字,它们包含的值大小从几个字节到每个10 to不等。

随机密钥将需要经常访问。

我认为,将这些文件存储在目录中而不是数据库中会更有效。因此,我所需要的不是拥有包含所有这些条目的大型表,而是以文件名作为键和文件中的值的目录。

这意味着,如果我想要键azpdk的值,我只需要在file_get_contents('/my/directory/azpdk')中使用file_get_contents('/my/directory/azpdk'),而不是用这样的请求困扰MySQL。

在我看来,这是有意义的,我希望更有效地使用文件系统,而不是数据库。我这个假设是正确的吗?对于一个目录中的1500万个文件来说,这仍然是快速有效的吗?

FYI文件系统是xfs。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2014-05-01 19:42:19

您可能希望查看数据库(不一定是MySQL)而不是文件系统的原因有几个:

一个目录中的更多文件使慢下来

虽然XFS在分配资源方面应该非常聪明,但大多数文件系统在单个目录中拥有的文件越多,性能就越差。在命令行中处理它们也是一个令人头痛的问题。看看这个(http://oss.sgi.com/projects/xfs/datasheet.pdf),那里有一个关于ups的图表,每个目录只有50k,而且它正在下降。

开销

每个文件都有一定数量的文件系统开销。如果您有许多小文件,您可能会发现,最终商店膨胀的结果。

键清洗

把你所有的话都写进文件名安全吗?真的吗?一到两下就会毁了你的一天。

NoSQL可能是一个很好的选择

像MongoDB/Redis这样的东西可能是一个很好的选择。MongoDB可以存储高达16 on的单个文档,在文件系统中使用它并不难。如果您正在存储15 on的文档,您可能会在这个限制下变得过于接近,但还有其他的选择。

这样做的好处是,查找性能可能会非常好,如果你后来发现它不是,你可以通过创建一个集群等来扩展性能。任何这样的系统都能很好地智能地管理磁盘上的文件,以获得良好的性能。

如果要使用磁盘,则为

考虑使用要存储的单词的MD5散列,并将您的文件名建立在此基础上。例如,MD5 of azpdk是:

代码语言:javascript
复制
1c58fb66d5a4d6a1ebe5ec9e217fbbf9

您可以使用它创建一个文件名,例如:

代码语言:javascript
复制
my_directory/1c5/8fb/66d5a4d6a1ebe5ec9e217fbbf9

它有几个很好的特性:

  • 哈希处理可怕的字符。
  • 目录分散数据,因此没有一个目录有超过4096个条目。
  • 这意味着查找性能应该比较好。

希望这能有所帮助。

票数 4
EN

Stack Overflow用户

发布于 2014-05-14 12:59:13

我在一个基因组研究中心工作,那里的生物信息素不是特别有经验的程序员。

与其使用数据库,它们中的几个将生成数百万个小文件,直到文件系统停止运行。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/23414847

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档