首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如果没有HDFS,Apache纱线可以使用吗?

问如果没有HDFS,Apache纱线可以使用吗?
EN

Stack Overflow用户
提问于 2017-03-02 08:06:28
回答 5查看 4.8K关注 0票数 9

我想使用Apache same作为集群和资源管理器来运行一个框架,在这个框架中,资源将在同一框架的不同任务之间共享。我想使用我自己的分布式堆外文件系统。

  1. 是否可以使用除HDFS以外的任何其他分布式文件系统?
  2. 如果是,则需要实现哪些HDFS?
  3. 运行纱线需要哪些Hadoop组件?
EN

回答 5

Stack Overflow用户

回答已采纳

发布于 2017-03-02 11:35:14

这里有一些不同的问题

你能用纱线来部署像S3这样的应用程序来传播二进制文件吗?

是的:这是LinkedIn在过去使用http://下载部署Samza的方式。Samza不需要集群文件系统,所以集群中没有运行hdfs,只有本地文件://文件系统,每个主机一个。

需要集群文件系统的应用程序不会在这样的集群中工作。

你能用另一个文件系统来打开一个纱线集群吗?

是。

对于什么是“文件系统”,请查看文件系统规范。您需要一个跨文件集的一致视图:新创建的文件列表(),未找到已删除的文件,更新立即可见。文件和目录的重命名()必须是原子操作,理想情况下是O(1)。它用于原子工作,检查点,.哦,对于HBase,还需要追加()。

MapR是这样做的,GlusterFS和EMC是他们的红帽子。请记住,几乎所有的东西都是在HDFS上测试的;您最好希望其他集群FS已经完成了测试(或者有人为它们做了测试,比如Hortonworks或Cloudera)。

可以使用对象存储作为基础FS来打开纱线集群吗?

这取决于FS是否提供一致的文件系统视图,而不是某些最终的一致性世界视图。HBase是这里真正的考验。

  1. Microsoft Azure Storage是一致的,它可以获得对FS和rename()的唯一访问权限。在Azure中,它完全取代了HDFS。
  2. 谷歌云存储公司于2017年3月1日宣布,GCS提供了一致性。也许现在可以用它来代替了,没有经验。
  3. Amazon确实提供了s3作为替代,使用(a) dynamo来实现一致的元数据,(b)做一些可怕的事情来使HBase工作。
  4. ASF自己的S3客户端S3a不能用作替代。我们团队一直致力于读取和写入perf作为数据的源和最终目标;在s3guard中添加dynamo层和s3guard提交器,以便能够将其用作高性能的工作目标(在避免重命名()的同时抵御失败)。

您正在编写的新的分布式文件系统可以用作HDFS的替代吗?

你当然可以试试!

首先,让所有文件系统契约测试都能正常工作,这可以衡量基本的API遵从性。然后查看所有Apache测试,这些测试完成系统集成。我建议您一开始就避免使用HBase & Accumulo,重点是: Mapreduce、Hive、spark、Flink。

不要害怕进入Hadoop公共开发和大型列表,并提出问题。

票数 16
EN

Stack Overflow用户

发布于 2017-03-02 11:04:43

下面是您必须实现的接口,注意你必须支持的保证。有一个实用程序来测试合同。 --如果需要一个例子,在Hadoop中有大量不同文件系统的实现,例如对于S3/AzureBlobs/FTP,这是一个很好的起点。

您可以按类配置您的文件系统实现,所有组件都应该遵守fs.defaultFS 作为配置键。

票数 2
EN

Stack Overflow用户

发布于 2017-03-02 11:10:10

是的,您可以提供一个支持HDFS的文件存储实现。

例如,您可以使用AWS S3 (s3n:/或s3a://)代替HDFS。几乎没有其他文件系统支持HDFS。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/42549872

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档