新的数据仓库/企业资源规划系统

Question

我工作的组织非常丰富的应用程序，即有大量的SQL和Oracle数据库。我们正在考虑建立一个数据仓库。

我相信企业资源规划系统和数据仓库是有区别的。企业资源规划将涉及将所有系统集成在一起，并为每件事建立一个数据库模式。由于分析原因，数据仓库将涉及创建副本数据库(或复制数据库)。数据仓库可以从原始仓库或ERP系统中提取信息。

我理解得对吗？

是否有数据仓库产品可供使用，但或必须使用Microsoft工具/Oracle工具(如SSIS、SSAS等)来编写自己的产品？

Answer 1

ERP ->采购分类账，订货+库存控制

数据WareHouse --特设报告

换句话说，ERP通常是指公司中许多人使用的在线系统。通常会有一个工作流组件，如Foo部门的订单小部件，这些部件需要帐户的批准，订单实际上是通过购买进行的，物理安装是由建筑服务处理的。

数据仓库是公司其他系统中各种重要数据项的累积副本。管理人员使用它来跟踪过去两年中每月在小部件上的花费。

Answer 2

扩展James所说的内容，您的实时应用程序数据库将倾向于建立速度和严格的业务规则，以确保数据的完整性。在任何特定时间(例如，持续2天的客户活动)，您可能只保留这些数据库中的少量数据，重点是快速响应和业务完整性。

数据仓库通常是为大小而构建的，对速度和/或数据完整性的关注要少得多。通常，你试着存储所有的东西，想法是当你存储它时，你不知道你会需要什么。这些系统不是为了速度而建立的，因为在一个不投入数百万内存和固态驱动器的系统上，如果没有投入数百万的内存和固态驱动器，那么这样的系统的速度是不切实际的。因此，它们永远不会被面向客户的实时应用程序访问(因为它们太大了，所以会减慢这些应用程序的速度)。

相反，它们是为需要访问大量数据以获得正确答案的查询而构建的。数据仓库上的查询可能需要几秒钟到几天，这取决于复杂程度。当我在一家银行工作时，我们对那些长期规划人员进行了大量的查询，以确定客户的储蓄促销目标，或者找出新的自动取款机的理想地点。数据仓库上的一个例子是，给我每个拥有活期账户的客户的家庭地址，这些客户在2000年至2004年期间每周访问这10台自动取款机中的一台超过3次，取款超过10美元。该查询将超过数十亿条记录(数百万客户，数十亿ATM交互等)，可能需要数小时才能运行。

如何构建数据库和使用什么软件将在很大程度上取决于所收集的数据类型。

例如，如果您从应用程序中收集日志，那么就会有专门的软件来收集大量日志，例如扣篮和ElasticSearch。

如果您收集了大量不同的数据，但这些数据并不是以一种很好的、整洁的方式匹配的，比如Hadoop簇。Hadoop通过将文件拆分到许多机器上，然后在文本文件上运行小程序来收集您想要的信息，从而处理纯文本文件。Hadoop是开源的，但是有很多公司围绕Hadoop构建了商业支持的产品。

当然，数据仓库可以是一个大型数据库，例如MySQL、PostgreSQL或Oracle。如果您已经将所有数据格式化为关系表，则这可能是理想的。在这种情况下，您只需将数据复制到数据仓库。MySQL、甲骨文和PostgreSQL都有专门的特性，可以将数据库作为数据仓库运行，重点放在速度上。一个专门从事数据仓库的商业数据库是特拉塔。

Answer 3

ERP可能是一个单一的产品线，如SAP、Oracle (有许多子模块)，但它可以是单独的应用程序(按制造商和技术栈)，但是集成的。数据可以从一个数据库架构传输到另一个数据库架构。例如，将使用SalesForce.com处理新业务的收购，但会计应用程序用于管理帐户的记帐/结账。

数据仓库更多地用于报告(非规范化)，而不是管理事务(更规范化)。此外，还可以为趋势分析和其他实时分析提供不同时期的快照。许多BI工具在这些环境中工作得更好。

您可能会发现一些ERP系统有一个数据仓库组件。可能有一些特定于行业的数据仓库，但是仍然需要大量的设置和可能的定制。另一个好处是，这些公司将拥有技术和行业的内部专业知识。

我意识到术语可以帮助沟通，但我会决定你的需求是什么，然后找到解决方案。这些都是非常笼统的术语，含义很多。就我个人而言，我宁愿称它为Project X，也不愿让一群人在有大型数据仓库组件时称它为ERP。