我有1500万个简单的密钥/值记录。键大小都是单字,它们包含的值大小从几个字节到每个10 to不等。
随机密钥将需要经常访问。
我认为,将这些文件存储在目录中而不是数据库中会更有效。因此,我所需要的不是拥有包含所有这些条目的大型表,而是以文件名作为键和文件中的值的目录。
这意味着,如果我想要键azpdk的值,我只需要在file_get_contents('/my/directory/azpdk')中使用file_get_contents('/my/directory/azpdk'),而不是用这样的请求困扰MySQL。
在我看来,这是有意义的,我希望更有效地使用文件系统,而不是数据库。我这个假设是正确的吗?对于一个目录中的1500万个文件来说,这仍然是快速有效的吗?
FYI文件系统是xfs。
发布于 2014-05-01 19:42:19
您可能希望查看数据库(不一定是MySQL)而不是文件系统的原因有几个:
一个目录中的更多文件使慢下来
虽然XFS在分配资源方面应该非常聪明,但大多数文件系统在单个目录中拥有的文件越多,性能就越差。在命令行中处理它们也是一个令人头痛的问题。看看这个(http://oss.sgi.com/projects/xfs/datasheet.pdf),那里有一个关于ups的图表,每个目录只有50k,而且它正在下降。
开销
每个文件都有一定数量的文件系统开销。如果您有许多小文件,您可能会发现,最终商店膨胀的结果。
键清洗
把你所有的话都写进文件名安全吗?真的吗?一到两下就会毁了你的一天。
NoSQL可能是一个很好的选择
像MongoDB/Redis这样的东西可能是一个很好的选择。MongoDB可以存储高达16 on的单个文档,在文件系统中使用它并不难。如果您正在存储15 on的文档,您可能会在这个限制下变得过于接近,但还有其他的选择。
这样做的好处是,查找性能可能会非常好,如果你后来发现它不是,你可以通过创建一个集群等来扩展性能。任何这样的系统都能很好地智能地管理磁盘上的文件,以获得良好的性能。
如果要使用磁盘,则为
考虑使用要存储的单词的MD5散列,并将您的文件名建立在此基础上。例如,MD5 of azpdk是:
1c58fb66d5a4d6a1ebe5ec9e217fbbf9您可以使用它创建一个文件名,例如:
my_directory/1c5/8fb/66d5a4d6a1ebe5ec9e217fbbf9它有几个很好的特性:
希望这能有所帮助。
发布于 2014-05-14 12:59:13
我在一个基因组研究中心工作,那里的生物信息素不是特别有经验的程序员。
与其使用数据库,它们中的几个将生成数百万个小文件,直到文件系统停止运行。
https://stackoverflow.com/questions/23414847
复制相似问题