支持小文件高并发访问的分布式文件系统

Question

对于1,000,000个文件的高并发访问(例如通过本地1 gbs网络上的10000个远程线程)，有哪些DFS技术可供选择，这些文件的大小仅在MB范围内，但DSF应该为用户提供高并发流？

Answer 1

常见的HPC文件系统，如Lustre或GPFS，通常不能很好地支持您所描述的场景，而是针对大型文件访问的高带宽进行了优化。在高性能计算环境中，您应该考虑使用IO中间件或高级IO库，而不是直接与文件系统交互。这些库可能隐藏了从应用程序优化对特定文件系统的访问的复杂性，具体哪个库适合取决于应用程序场景的结构。

另一方面，对于高并发和非结构化的小型访问，您可能希望研究与云相关的技术，例如Google文件系统、分布式键值存储、Cassandra，只是为了给出一些进一步研究的建议。

一般的“文件”抽象和访问方法(POSIX接口)不是为高并发访问而设计的，这使得它很难符合接口并同时提供高并发。

如果您需要更具体的技术提示，请提供一些关于您的用例的更具体的信息。