首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >对象存储和文件存储之间的区别

问对象存储和文件存储之间的区别
EN

Stack Overflow用户
提问于 2013-02-18 04:37:29
回答 10查看 33.8K关注 0票数 33

有人能解释一下对象存储和文件存储之间的区别吗?

我在wiki上读过关于对象存储的文章,我也读过http://www.dell.com/downloads/global/products/pvaul/en/object-storage-overview.pdf,我还读过amazons docs(S3),openstack swift等等,但是有人能给我举个例子更好地理解吗?

所有的区别只是对于“对象存储”对象,我们添加了更多的元数据?

例如,如何使用某种编程语言(例如python)来存储类似对象的图像?

谢谢。

EN

回答 10

Stack Overflow用户

回答已采纳

发布于 2013-06-22 21:51:18

对象存储与规模无关,因为有人可以构建能够存储大量文件的文件系统,即使是在单个目录中也是如此。

它也不是关于访问方法的。HTTP访问文件系统中的数据在许多众所周知的NAS系统中都是可用的。

按OID存储/访问是一种处理数据的方式,而不必为命名而烦恼。它也可以在文件上完成。我相信有一个NFS协议扩展可以实现这一点。

我认为:对象存储是一种(新的/不同的)“以对象为中心”的思考数据、访问和管理的方式。

考虑以下几点:

今天的快照是什么?它们是卷的时间点副本。拍摄快照时,卷中的所有文件也会被拍摄快照。不管他们是否都喜欢,无论他们是否都需要它。大量的空间可以被使用(浪费?)对于完整的卷快照,而只需要对几个文件进行快照。

在对象存储系统中,您很少看到卷的快照,对象将被快照,可能是自动创建的。这就是对象版本控制。并不是所有的对象都需要版本化,每个单独的对象都可以知道它是否已经版本化。

如何保护文件/卷免受灾难的影响?通常,在灾难恢复( DR )设置中,会设置整个卷/卷集以复制到灾难恢复站点。同样,这并不会影响是否要复制单个文件。容灾单位是卷。文件是小菜一碟。

在对象存储系统中,DR不是以卷为中心的。对象元数据可以决定应该存在多少副本以及在哪里(地理位置/故障域)。

对于其他功能也是如此:

  1. 分层-基于其元数据独立于其他不相关对象放置在存储层/类中的对象。
  2. 生命周期-对象在层之间移动、单独更改副本数量等,而不是作为group.
  3. Authentication -如果需要,可以从不同的验证域对单个对象进行身份验证。

正如您所看到的,思维上的变化是,在对象存储中,一切都与对象有关。

这与传统的思考、管理和访问大型容器的方式形成了鲜明对比,例如卷(包含文件)不是对象存储。

上述特性及其以对象为中心的特性很好地满足了非结构化数据的需求,因此也符合人们的兴趣。

如果存储系统是以对象(或文件)为中心的,而不是以卷为中心的(无论访问协议或规模如何),那么它就是对象存储系统。

票数 18
EN

Stack Overflow用户

发布于 2013-03-27 09:40:44

文件存储和对象存储之间有一些非常根本的区别。

文件存储将其自身呈现为具有目录、子目录和文件的文件系统分层结构。当文件数量不是很大时,它是很棒的,并且工作得很漂亮。当您确切地知道文件的存储位置时,它也能很好地工作。

另一方面,对象存储通常通过。一个RESTful接口。没有文件系统的概念。相反,应用程序将通过将对象(文件+其他元数据)保存到对象存储区。PUT API和对象存储将对象保存在系统中的某个位置。对象存储平台将为应用程序提供该对象的唯一密钥(类似于代客票据),应用程序将该密钥存储在应用程序数据库中。如果应用程序想要获取该对象,它们所需做的就是将键作为GET API的一部分提供,对象将由对象存储获取。

希望这一点现在已经清楚了。

票数 13
EN

Stack Overflow用户

发布于 2017-11-28 12:53:44

披露-我为一家开发和销售大型文件系统和对象存储平台的供应商(NetApp)工作,我将尽可能保持实现中立,但我的认知偏差可能会不知不觉地影响我的回答。

从访问、可编程性和实现的角度来看,都有许多不同之处,然而,考虑到这可能主要是由程序员而不是基础设施或存储人员阅读的,我将在这里重点介绍这一方面。

从外部/编程的角度来看,主要区别在于对象存储中的对象是作为一个完整的单元创建、删除或更新的,您不能将数据附加到对象,也不能“就地”更新对象的一部分,但是您可以在保持相同对象ID的情况下替换它。创建、读取、更新和删除对象通常是通过相对简单的API完成的,这些API几乎总是REST-ful或基于REST的,并鼓励一种心态,即存储是可编程资源,或者可能是多租户远程服务。虽然我知道大多数对象存储都支持对象内的字节范围读取,但一般来说,对象存储最初是为处理整个对象而设计的。对象存储API的一个很好的例子是由Amazon (对象存储访问的默认标准)、OpenStack Swift和Azure Blob Service REST API使用的API。描述这些API背后的后端实现本身就是一本书。

另一方面,文件系统中的文件具有可应用于它们的更广泛的功能集,包括附加数据和就地更新数据。编程模型比对象存储更复杂,现在几乎总是通过"POSIX“风格的接口以编程方式访问,通常试图最有效地使用CPU和内存,并鼓励一种思维方式,即文件系统是私有的本地资源。NFS和SMB确实允许将文件系统作为多租户资源提供,但是,尽管它们完全支持POSIX语义,但它们有时在反应方式上与“本地”文件系统相比存在细微差异,因此经常受到程序员的怀疑。要更新本地文件系统中的文件,您可能会使用诸如https://www.classes.cs.uchicago.edu/archive/2017/winter/51081-1/LabFAQ/lab2/fileio.html或https://msdn.microsoft.com/en-us/library/mt794711(v=vs.85).aspx之类的API。谈到文件系统实现的相对优点,例如NTFS、BTRFS、XFS、WAFL和ZFS,往往会导致一场宗教战争,这几乎不值得任何人花时间,不过如果你请我喝杯啤酒,我会很乐意与你分享我的观点。

从用例的角度来看,如果您想保留大量的照片或视频,或者二进制构建工件,那么对象存储通常是一个很好的选择。另一方面,如果您想持久地将数据存储在二叉树中,并在存储介质上的适当位置更新该数据,那么对象存储根本不起作用,您最好使用文件系统(您也可以使用原始块设备来实现这一点,但我从90年代初以来就没有见过任何人这样做)

另一个较大的区别是文件系统被设计为高度一致,通常通过低到中等延迟(50微秒- 50毫秒)的网络访问,而对象存储通常最终是一致的,并且分布在通过低带宽高延迟广域网连接在一起的无共享基础架构上,它们到达第一个字节的时间有时可以用整秒的倍数来衡量。从对象存储执行大量小的(4K - 16K)随机读取可能会导致沮丧和性能问题。

对象存储与文件系统相比的另一个主要好处是,您可以合理地确定,您放在对象存储中的任何内容都将保留在那里,直到您再次请求它,并且只要您继续支付月费,它就永远不会用完空间。这些资源通常是通过内置的复制、版本控制、自动恢复等大规模运行的,除了飓风哈维式的灾难之外,没有任何东西会使数据消失(即使到那时,您也可以轻松地选择在另一个位置制作另一个副本)。对于文件系统,尤其是您希望自己或本地运营人员管理的文件系统,您必须希望所有内容都得到了备份,并且当您不能再更新数据时,它不会意外地填满并导致所有内容融化。

我试着简明扼要,但更令人困惑的是,“文件系统”和“对象存储”这两个词被应用到与我上面使用的描述完全不同的东西上,例如NFS网络文件系统实际上不是一个文件系统,它是通过远程过程调用实现posix存储API的一种方式,VMware的VSAN将其数据存储在他们称为“对象存储”的东西中,该存储允许虚拟机映像的高速就地更新。

票数 11
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/14925791

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档