用于搜索/发现和访问配置的非结构化数据的数据目录(为非数据工程师/科学用户)？

Question

是否有用于非结构化数据的数据目录(例如。松散的CSV、PDF、.log、.sas和其他文本文件)，用于搜索/发现和访问配置(针对非数据工程师/科学用户)？

已经见过许多数据目录，如阿尔法、Erwin、Collibra、阿蒙森 (如果有DEs正在寻找内部目录的话，这是开源的)，但所有这些似乎都更适合于数据工程师/科学家，并且只关注于处理关系/表数据。

在我们的情况下我们有..。

• 非数据科学用户小组(如。医学研究人员/生物统计学家，从事项目工作的PhD学生等(我们的组织是一个教学医院)
• 使用自己的私有数据集在单独的团队中工作(其他团队甚至可能没有权限知道是否存在，例如。只授予团队内某些个人的外部组织的敏感数据)
• 但确实有其他数据资产，他们可以共享(例如。他们自己编制的未经识别的数据)
• (如果其他团队愿意，我们希望其他团队能够找到/搜索并请求访问)
• 所有这些都由我们的组织管理，因此我们需要了解我们所支持的所有数据。
• • 有哪些数据资产(包括系统中的大小和“位置”等元数据)

• • 以及谁有权访问(或请求访问)这些数据资产？

• 而且这些数据中的大部分(除了在SQL表中)可能以非结构化数据的形式存储在我们系统中的文件服务器中。

Answer 1

你可以看看光谱发现。https://www.ibm.com/products/spectrum-discover。它已经被一些大学使用过。