可以自己构建数据仓库吗？

Question

我在保险公司工作一年多一点，我的SQL经验大约2-3年，包括SSIS，SSRS。我们大约有1TB的数据。

可以自己构建数据仓库吗？我应该用我的经验去做吗？

有很多材料和SQL组我可以得到帮助。但是，这是不是太复杂了？

谢谢

Answer 1

这就像在问，“我能自己建栋房子吗？”

这在很大程度上取决于你对“房子”的定义。与您的内部用户交谈，首先构建一组需求--不管是谁构建的，都需要这样做。

当您完成构建需求时，您就可以开始勾画出为满足这些需求而需要构建的内容。

然后，您可以开始为需要构建的内容构建时间估计。

当你在这个过程中工作时，你会更好地理解房子的样子，以及你是否可以用你现有的工具箱和技能来建造它。

Answer 2

与@Brent的声明一样，“这在很大程度上取决于您对'house‘的定义是什么”，您需要了解“数据仓库”对请求者意味着什么。“数据仓库”一词有时在不应该使用的时候使用。他们想要一个系统将数据聚合回时间的开始，并且每晚加载并且缺少当前的事务性数据吗？他们是否希望实时报告，包括当前事务数据的时间延迟不超过1-5分钟？

根据(不太愉快的)经验，我可以告诉你：

1. 真正的数据仓库是看待世界以及数据存储和查询方式的另一种方式。不要误以为你只是在处理更大的表格。几年在事务方面的工作经验，即使是使用SSIS和SSRS，也无法神奇地创建真正的数据仓库。(相反，擅长数据仓库并不能神奇地转化为事务方面的任何好处！)
2. 您应该开始阅读数据仓库的概念，以了解您所看到的内容，因为它将有助于获得对“数据仓库是什么意思”的正确答案。如果你不知道这个词是什么意思，那么询问那些要求你这么做的人就不会有多大的效率。
3. 与多年来一直在数据仓库工作的人交谈，以获得比我在这里给出的更好的指导，从哪里开始您的教育过程。特别是尝试获取数据仓库是数据仓库的东西。
4. 向您提出这一要求的人要清楚，在设计一个适当的数据仓库时，需要进行权衡，因此以后更改需求(例如，采用历史报告系统，然后在一年后引入接近实时的数据)，要么需要很长时间来修改系统以满足新的需求，要么迫使系统执行冲突的特性，从而使系统变得不稳定，直到整个项目由于每一次都需要几周的简单请求和/或破坏现有功能而变得更难维护。

Answer 3

另一个途径是使用数据仓库作为服务产品。现在许多供应商都在提供这种服务，包括甲骨文、雪花、微软和亚马逊。这些产品通常具有指导您构建数据仓库的功能。Redshift是这一领域的一个重要参与者，现在有了亚马逊雅典娜，这是一种无服务器的选项，似乎是为了满足较小的数据需求。这可能是另一种方式。

第一个问题是，有什么区别？企业为什么要选择一个而不是另一个呢？首先，他们都有以下特点：

·基于云的

·某种程度的行政/管理接口

*视需要扩大和缩小规模的能力

*前提下没有硬件

有限或没有软件可供购买(IMO，这在很大程度上取决于您想要或需要的工具来分析您的数据)。

其他考虑因素对每一项业务都是独特的：

数据集的大小和估计的增长。

数据复杂性。

·署长的资源和能力。

现有技术资源/信息技术工作人员。

·用户人数和人口统计。是的，这些都是基于云的解决方案，但要想在那里获取数据，需要适当的大小和稳定的互联网连接。

·数据集成的长期目标。你的数据仓库的目的是什么？你的主要用户是谁？您预期未来的数据需求是什么？例如，如果收购的可能性很大，则应考虑纳入不同的数据集。

然后看看你选择的供应商/产品，看看它们是如何匹配的。确保你的交易破裂者被识别出来了。是否有任何折衷方案有利于一种解决方案而不是另一种方案？这应该会让你进入决赛名单，仔细复习一下。做好你的尽职调查，你就能找到一个在技术上、财务上和业务上都有效的解决方案。

今天有很多选择，你的研究也是如此。http://searchdatamanagement.techtarget.com/definition/data-warehouse-as-a-service-DWaaS