具有用户帐户的更改跟踪可搜索备份服务器

Question

需求：

我正在为一家研发初创公司寻找软件(和云平台)，以便定期备份安全云。备份应该跟踪更改(如博格)，以避免数据重复和丢失，并将备份数据与可信的时间戳相关联。它(和/或云平台)必须支持对特定备份文件夹的读/写访问(理想情况下是独立跟踪更改)的用户帐户。看起来最具挑战性的需求是，该平台必须支持对备份数据的自定义搜索，并使用用户身份验证。例如，该平台允许自定义脚本运行，在外部触发，使用API进行平台用户身份验证，并在web上回发数据。

云平台应该只允许上传/下载到指定的PC和/或网络。也就是说，防止员工将数据下载到他们的私人计算机。

为什么：

该公司在实验室进行实验，使用的硬件连接到个人电脑上，由木星笔记本电脑控制。所有有关单个实验的信息都存储在一个包含明文、图像和数据库文件的文件夹中，该文件夹由QCoDeS组织。该文件夹还将包含一个包含有关实验的元信息/可搜索标记的文件。这些文件夹的大小可以是几GB，在未来几年内最多可能有几百个。有几十个雇员/实验者。

实验室PC通过网络文件系统连接，每个员工都有自己的专用Windows用户帐户。每个(例如)夜间，指定PC上的根帐户将自动备份一天中云的所有变化。这些可能是新的文件夹/实验，或者是对现有实验的代码/分析/数据添加。

除非获得许可，否则员工只能在云备份中看到对自己的实验/文件夹的更改。他们应该能够浏览他们支持的实验，例如浏览器，并下载最新(或以前)版本的实验到实验室的PC机。此外，他们应该有一些有效的方式搜索他们的可访问的实验，例如通过日期执行，或其他实验标签，然后下载。理想情况下，这种搜索可以在python中执行，直接从木星笔记本(我会编码接口)。

云平台应该为管理acc提供一种可用的方式(例如浏览器中)来注册新用户，或者更改他们的数据访问权限。最坏的情况下，CLI会这么做。

灵活性：

云/备份服务将由技术熟练的人员维护，他们可以编写脚本(例如，python或bash，用于Linux)来链接服务。例如，如果云平台是一个可以运行自定义代码的服务器，那么我们可以编写搜索实用程序和web。但是，我们不能自己安全地管理用户帐户和身份验证。因此，理想情况下，云平台将提供一些API，用于对用户进行身份验证，并查询他们对哪些文件夹具有读取访问权限，并将其安全地POSTing给用户。

有云服务和备份系统提供所有这些功能吗？由于这是一个商业应用程序，该软件不需要免费或开源.

Answer 1

通过将AWS生态圈中的工具组合在一起，这是可能的。

从实验室PC机到亚马逊S3桶的备份是通过AWS存储(文件)网关完成的。这还提供了对桶的文件级访问。一个硬件设备甚至可以安装在实验室中的字节的缓存。

S3桶的版本控制是通过定期备份到Amazon完成的。

通过将客户端BOTO3脚本与服务器端AWS脚本(例如，都是用Python编写的)结合起来，可以在没有先验下载的情况下查询桶内容。查询也可以用AWS雅典娜，如果数据变得令人望而却步。

所有这些AWS服务都可以限制在安全组中使用IP限制的实验室PC。员工对数据的访问可以使用AWS IAMs进行控制。

下面是一个解释图：

希望这能帮到其他人！