数据仓库自动化工具:利与弊？

Question

今天，在研究ETL和数据仓库解决方案(如水壶 )时，我遇到了一个名为数据仓库自动化工具的新概念(对我来说)。

我还查看了白皮书在这里，它表明在这个空间中很少有供应商。

我对这些工具的一个反应是:哇，任何购买这些工具的人都在进行巨大的投资。同时，许多数据仓库项目似乎都失败了，尽管它们需要大量的开发人员时间来实现。

所以，如果有谁在现实世界的项目中有过数据仓库自动化工具的经验，你能回答这些问题吗？

1. DWA工具是大大减少了建立和运行数据仓库的时间，还是学习该工具所花费的时间占用了本来可以获得的时间？
2. 如果DWA工具导致数据仓库项目失败，原因是什么？
3. 如果您过去在没有DWA工具的情况下做过数据仓库，而且最近也使用过DWA工具，那么您会在下一个数据仓库项目中再次使用DWA工具吗？
4. 你什么时候会认为DWA工具太过分了？
5. 你最喜欢使用DWA工具的什么？你最不喜欢什么？

Answer 1

我将从用户的角度进行权衡。

我在Server后端使用了一个自动化工具(大约15个项目)，结果好坏参半。

1. DWA工具是大大减少了建立和运行数据仓库的时间，还是学习该工具所花费的时间占用了本来可以获得的时间？

答案是一个很大的“视情况而定”。我发现它在很大程度上取决于您正在构建的datawarehouse的复杂性，以及您使用本机工具的技能。

我们可以很容易地使用这个工具来让客户设计他们自己的数据仓库和olap解决方案，只要需求简单，培训和底层技术知识就很少。

对于在本地底层工具中有经验的datawarehouse和OLAP开发人员来说，收益要小得多，而且我还没有看到支持SSIS和SSAS的每个特性的自动化工具。大多数都提供了钩子，您可以在其中插入SQL或XMLA脚本，但是随着项目复杂性的增加，最终编写脚本的次数超过了使用自动化工具。

此外，由于datawarehouse自动化工具支持底层技术的多个版本，我看到SQL中的新特性出现在后面，或者在自动化工具中根本没有出现。

1. 如果DWA工具导致数据仓库项目失败，原因是什么？

在大型复杂项目中:性能和自动化工具缺乏灵活性。如果您手工完成所有操作--您可以按照您喜欢的方式完美地配置并行处理，那么您可以在查询中使用技巧使它们更快，您可以考虑哪些操作符在SSIS中阻塞，数据流的沿袭是什么等等。

1. 如果您过去在没有DWA工具的情况下做过数据仓库，而且最近也使用过DWA工具，那么您会在下一个数据仓库项目中再次使用DWA工具吗？

同样的“视情况而定”也适用于这里。这取决于这个项目。如果我期望获得大量的数据或大量的复杂性，我不会这样做，但我可能会查看BIML来生成SSIS包，以避免重复任务。

如果这是一个简单的项目，一个小的源系统，或者我需要在客户的关键用户在项目上工作，并在我离开后接管支持，也许是。

1. 你什么时候会认为DWA工具太过分了？

当价格明显超过收益时，过度杀戮就会发生。如果它适合该项目，特别是如果一个经验较少的用户或高级用户可以接管该项目而不是支付咨询费，那么成本并不一定会令人望而却步。

1. 你最喜欢使用DWA工具的什么？你最不喜欢什么？

我最喜欢的也是有时不喜欢它的原因。在您的位置上所做的僵化和决策确保项目是“干净的”，并且遵循一定的方法。特别是与多个开发人员一起工作，每个人都被迫以某种方式工作，这可能是一个好处，您只需打开一个项目，并知道您会发现什么。

如果您遇到了工具没有预见到的问题，那么强迫您以某种方式工作这一事实可能会很麻烦。

还有几点我想说

1. 对底层技术的支持更好。如果你对如何在SSIS或SSAS中做某事有疑问，你可以在这里搜索或询问。由于DWA工具抽象了该层，您需要转向供应商支持(这可能不是免费的)。
2. 每个软件都有错误。Server的错误在网上有更好的记录。我记得有一种情况，在与我们的供应商的支持进行了长时间的讨论后，我最终对DWA工具进行了反编译，以了解他们的代码中发生了什么，以及它为什么会这样做。
3. 每个DWA工具都缺乏灵活性，社区SQL Server也有这种灵活性，您迟早会遇到该工具必然具有的限制。以版本控制为例。DWA工具可能正在滚动它们自己的工具，这可能或多或少地起作用，但是如果您有一个简单的visual studio项目，您可以将其添加到其他代码所在的TFS中，使用BIDShelper来获得可读性差异等等。如果您需要SSAS中的存储过程，您可能也会倒霉。

Answer 2

埃克森的名单没有得到很好的研究。在我们的网站http://ajilius.com/competitors上有一个更全面的数据仓库自动化工具目录。

我会从供应商的角度回答你的问题。

1. 我们的客户报告说，大量节省了项目时间。大多数DWA产品是由数据仓库人员编写的，他们首先希望节省自己的时间，然后将产品商业化。与任何ETL工具相比，我想不出任何DWA工具实际上需要更长的时间来构建给定的场景。
2. 我们在第一年的运营中有两次失败。其中一位客户试图将我们的产品用于一种非设计的方法，在我们的销售谈话中，我们现在强调了方法(Kimball)。另一个是我们产品的缺点，(当时)我们没有正确处理桥接表。两个客户都得到了全额退款，我们现在把30天的完整产品试用作为我们的销售特点，然后付款。
3. 我曾经为一个全球数据库供应商出售数据仓库工作负载，包括供应商的ETL工具。我还在一些仓库项目上使用了独立的ETL工具。我再也不会回到使用ETL而不是DWA工具，即使我们自己的产品不存在，我被迫使用竞争对手的工具。
4. 绝不可能。好吧..。如果您正在构建一个数据仓库，我希望这个工具能够被端到端地使用。我们有几个用例，其中工具只用于提取和加载，但是客户编写了自己的转换代码。这可能是过分了，但我们的价格点(见下文)是如此合理的成本。
5. 我最喜欢的特性是能够向客户展示他们所要求的内容，然后在他们改变主意时迅速改变解决方案；以及在任何时候生成完整的文档。

你提到了巨额投资。这只适用于市场上的遗留产品。我们的产品(Ajilius)拥有每年5000美元的网站许可证，拥有无限的用户、无限的服务器和无限的数据库。其他产品，如Leapfrog，可能还有Dimodelo (最近价格也发生了变化)也是低成本的好产品。像Quipu这样的产品有一个免费版本，最优ODE (正在开发中)也是免费的，我认为Varigence也可能有一个freemium模型。

我希望这看起来不太像一个广告，但这是一个诚实的回答，从一个人谁曾与许多数据仓库自动化产品的经验。