光泽，谷氨酸还是MogileFS?？用于视频存储、编码和流

Question

这么多的选择和很少的时间来测试它们..。我想知道是否有人有过用于视频流和存储/编码的分布式文件系统的经验。

我有很多巨大的视频文件(50 to到250 to )，我需要存储在某个地方，能够将它们编码到mp4中，并从多个Adobe服务器上进行流。处理所有这些问题的唯一方法是使用分布式文件系统，但现在的问题是哪一个？

到目前为止我的研究告诉我：

• Lustre：成熟的经过验证的解决方案，被许多大公司使用，最好使用>10G文件，这是一个内核驱动程序。
• Gluster：新的、不太成熟的、基于保险丝的，这意味着安装起来很容易，但是由于熔断器开销的原因，速度可能会变慢。更好地处理大量较小的文件~1GB的
• MogileFS：似乎只对小文件~MB，使用HTTP进行访问？未来可能的熔断器绑定。

到目前为止，光泽似乎是赢家，但我希望听到的具体应用，我有真正的经验。

此外，Hadoop，Redhat GFS，Coda和Windows声音作为选项，所以欢迎任何经验。如果有人有基准，请分享。

经过一些实际的经验，这是我学到的：

• Performance:惊人的快！我可以断言，Lustre可以服务于许多流，编码速度不受通过Lustre.
• POXIS兼容性访问文件的影响:非常好！不需要修改应用程序来使用luster.
• Replication，负载平衡和故障转移:非常糟糕！为了实现复制负载平衡，我们需要依赖其他软件，如虚拟IP和最糟糕的DRDB.
• Installation：！仅仅靠凡人是不可能安装的。需要一个非常具体的组合内核，光泽补丁和调整，以使其工作。目前的光泽修补程序通常与与新硬件/软件不兼容的旧内核一起工作。

​

• Performance:适用于小文件，但不适用于中到大型文件。这主要是由于HTTP开销，因为所有文件都是通过HTTP请求发送/接收的，HTTP请求对base64中的所有数据进行编码，为每个文件增加33%的开销。
• POXIX兼容性是不存在的。所有应用程序都需要进行修改，以使用使流/编码变得毫无用处的功能，因为大多数流式服务器和编码工具都不了解protocol.
• Replication和mogilefs，而且负载平衡可以通过一次访问多个跟踪器在应用程序中实现。
• Installation相对简单，可以使用大多数发行版中存在的包。我发现的唯一困难是设置数据库主从，以消除单个故障点。
  • Gluster:

​

- Performance: Very bad for streaming. I cannot reach more than a few Mbps in a 10Gbps  network. Clients and Server CPU skyrockets on heavy writes. For encoding works because the CPU is saturated before the network and I/O.
- POXIS: Almost compatible. The tools I use can access gluster mounts as normal folders in disk but in some edge cases things start causing problems. Check gluster mailing lists and you will see there are a lot of problems.
- Replication, Failover and Load balancing: The best! if they actually worked. Gluster is very new and it has a lot of bugs and performance problems.
- Installation is too easy. The management command line is amazing and setting replicated, striped and distributed volumes among several servers can not be any easier.

​

最后结论：

不幸的是，结论是“没有单一的银弹”。

目前，我们已经将Gluster3.2中的媒体文件复制成一个存储和转码的卷。只要你没有很多服务器，避免地理复制和条形卷，一切正常。

当我们要流媒体文件时，我们将它们复制到一个光泽卷中，该卷通过DR:DB复制到第二个光泽卷。然后，wowza服务器从lustre卷读取媒体文件。

最后，我们使用MogileFS为我们的web应用服务器提供缩略图。

Answer 1

到目前为止，GlusterFS对自己做了很多改进。它们现在为大型文件提供“细粒度锁定”。看这里：http://www.gluster.org/community/documentation/index.php/WhatsNew3.3也是相当依赖的视频帧率，你也应该为之工作。如果你不会上升到4K的速率，Gluster可以解决存储问题。如果有一个巨大的速度需求，因此无限乐队可以进来发挥。

Answer 2

查看Hadoop文件系统(HDFS)。它的重点是非常大的文件和并行任务计算(使用map/reduce)，它具有很高的延迟，但吞吐量非常高。它目前在Facebook和amazon.com等大型安装上使用。

Answer 3

MogileFS在这类事情上是很棒的。客户端库的质量略有不同，但如果没有使用任何语言来访问它的大规模生产站点，我会感到惊讶。

实际上，HTTP是一个很好的协议。谁没有一个功能丰富、高效的HTTP客户端呢？