数据仓库中的数据质量算法

Question

我正在寻找一个好的算法/方法来检查数据仓库中的数据质量。因此，我希望有一些算法“知道”这些值的可能结构，然后检查这些值是否是这个结构的成员，然后决定它们是否正确。

我考虑过定义一个regexp并检查每个值是否适合。

这是一种好方法吗？有没有什么好的替代方案？(有研究论文吗？)

Answer 1

我看到一些authors建议添加一个称为数据质量维度的特殊维度来进一步描述每个事实表记录。

数据质量维度中的典型值可以是“正常值”、“越界值”、“不太可能值”、“验证值”、“未验证值”和“不确定值”。

Answer 2

我建议使用专用的数据质量工具，比如DataCleaner (http://datacleaner.eobjects.org)，我在这方面已经做了很多工作。

您需要一个工具，它不仅可以检查严格的规则，比如约束，还需要一个工具，它可以为您提供数据的概况，使您能够轻松地探索和识别不一致之处。例如，尝试“模式查找器”，它将告诉您字符串值的模式-通常会显示异常值和错误值。您还可以使用该工具来实际清理数据，方法是转换值、从中提取信息或使用第三方服务进行丰富。祝你好运，提高数据质量！