我想使用Apache same作为集群和资源管理器来运行一个框架,在这个框架中,资源将在同一框架的不同任务之间共享。我想使用我自己的分布式堆外文件系统。
发布于 2017-03-02 11:35:14
这里有一些不同的问题
你能用纱线来部署像S3这样的应用程序来传播二进制文件吗?
是的:这是LinkedIn在过去使用http://下载部署Samza的方式。Samza不需要集群文件系统,所以集群中没有运行hdfs,只有本地文件://文件系统,每个主机一个。
需要集群文件系统的应用程序不会在这样的集群中工作。
你能用另一个文件系统来打开一个纱线集群吗?
是。
对于什么是“文件系统”,请查看文件系统规范。您需要一个跨文件集的一致视图:新创建的文件列表(),未找到已删除的文件,更新立即可见。文件和目录的重命名()必须是原子操作,理想情况下是O(1)。它用于原子工作,检查点,.哦,对于HBase,还需要追加()。
MapR是这样做的,GlusterFS和EMC是他们的红帽子。请记住,几乎所有的东西都是在HDFS上测试的;您最好希望其他集群FS已经完成了测试(或者有人为它们做了测试,比如Hortonworks或Cloudera)。
可以使用对象存储作为基础FS来打开纱线集群吗?
这取决于FS是否提供一致的文件系统视图,而不是某些最终的一致性世界视图。HBase是这里真正的考验。
您正在编写的新的分布式文件系统可以用作HDFS的替代吗?
你当然可以试试!
首先,让所有文件系统契约测试都能正常工作,这可以衡量基本的API遵从性。然后查看所有Apache测试,这些测试完成系统集成。我建议您一开始就避免使用HBase & Accumulo,重点是: Mapreduce、Hive、spark、Flink。
不要害怕进入Hadoop公共开发和大型列表,并提出问题。
发布于 2017-03-02 11:04:43
下面是您必须实现的接口,注意你必须支持的保证。有一个实用程序来测试合同。 --如果需要一个例子,在Hadoop中有大量不同文件系统的实现,例如对于S3/AzureBlobs/FTP,这是一个很好的起点。
您可以按类配置您的文件系统实现,所有组件都应该遵守fs.defaultFS 作为配置键。
发布于 2017-03-02 11:10:10
是的,您可以提供一个支持HDFS的文件存储实现。
例如,您可以使用AWS S3 (s3n:/或s3a://)代替HDFS。几乎没有其他文件系统支持HDFS。
https://stackoverflow.com/questions/42549872
复制相似问题