如何备份数据的20+TB？

Question

在我工作的公司，我们有一个NAS服务器，用于存储摄影会话。每个会话大约是100 is。在过去的几年里，这个服务器已经积累了10+ TB的数据，并且我们正在成倍地增加照片的数量。我估计到明年年底，我们将在这个NAS上存储20+ TB。我们目前正在使用使用赛门铁克BackupExec的LTO-5磁带将此服务器备份到磁带。由于此服务器的大小已经增长，因此该服务器的完整备份不会在一夜之间完成。是否有人对如何备份此数量的数据有任何建议？我们应该把它备份到录音带上吗？还有其他更好的选择吗？

Answer 1

你需要后退一步，不要再想“我有20 to的NAS，我需要备份！”并制定一种考虑到数据性质的存储策略：

• 它从哪里来，你得到了多少新的数据？(你的问题中有这个)
• 一旦你有了它，数据是如何使用的？有人在编辑照片吗？您是否保留原件并生成编辑版本？
• 你需要把所有的数据保存多久？人们还在修改两年前的照片吗？

根据最后两个问题的答案，您可能需要更多的存档系统，而不是完全不同的备份系统。

数据是静态的(例如你保留的2年前的图片，“以防万一”)不需要每晚备份，甚至每周都需要存档。你实际上所做的事情可能更复杂，但从概念上讲，所有的旧图片都可以写成磁带(多份拷贝！)不再备份了。

根据你的评论，还有一些其他的想法：

• 因为你把每一张照片的原件保持不变，并制作一份副本，并且假设至少有一些原始照片是假的，那么你可能可以将需要备份的数据量减少一半。
• 如果您仍然无法在任何时间窗口内完成完整的备份，那么加快速度的一个常见方法是先进行磁盘到磁盘的备份，然后再将备份复制到磁带上。

Answer 2

你有两个选择：

选项1:

1. 再买一个NAS
2. 授予用户RO访问new_NAS的权限
3. 将所有2年以上的文件移动到new_NAS
4. 一如既往地备份old_NAS
5. 每6个月将2年以上的文件移动到new_NAS

备选方案2:

1. 再买一个NAS
2. 每小时运行一次rsync：old_NAS -> new_NAS，或者更好地使用像rdiff-备份这样的方法，它可以使用rsync +保存文件更改的增量(您可以恢复文件的旧版本)rdiff-备份user2 1@old_NAS：：/source-dir user2 2@new_NAS：：/ every
3. 每6个月清理运行以下内容的旧文件: rdiff-backup --删除--超过2Yold_NAS：：/ Every

Answer 3

为什么你的备份必须在一夜之间完成？档案表演？您可能会限制备份软件的带宽，以限制白天的影响。或者在NAS上指定一个接口来与磁带驱动器对话，以限制对其他流量的影响。

你能否在周末运行满转储，并且只在一周内进行增量处理？如果问题是在周末没有人在场的情况下更换磁带，那么一个便宜的磁带库/自动更换机的成本要比付钱给别人换磁带要便宜得多。

你能把你的数据分割成多个小到可以在备份窗口内完成的组吗？

我们的NAS上有大约50 to的数据，使用2台磁带驱动器需要一个多星期的时间才能获得完整的数据转储(一个卷本身需要将近一个星期，因为它包含了许多微小的文件)。我们所做的就是将我们的数据复制到第二个NAS。我们的辅助NAS是在现场(但在一个与主数据中心不同的数据中心)，所以我们仍然将数据脱机到磁带上，以便进行场外备份。我们从二级NAS运行备份，这样备份不会减慢任何人的速度。

如果你可以把你的二级NAS放到足够远的地方，那么它可以是你的备份，不需要磁带。