OLAP、OLTP、数据仓库、分析、分析和数据挖掘是如何相关的？

Question

我试图理解OLAP，OLTP，数据挖掘，分析等等，我觉得我对这些概念的理解还有点模糊。关于这些主题的信息往往在互联网上以非常复杂的方式得到解释。

我觉得像这样的问题可能会结束，因为它是一个非常广泛的问题，所以我会尝试把它缩小为两个问题：

问题1:

在做了研究之后，我理解了以下关于这些概念的知识，对吗？

• 分析是分解一些复杂的东西，以更好地理解内部运作。
• 分析是对需要大量数学和统计知识的信息的预测分析。
• 有很多类型的数据库，但它们要么是OLTP (事务性的)，要么是OLAP (分析型的)。
• OLTP数据库使用ER图，因此更容易更新，因为它们是规范化的。
• 相反，OLAP使用非规范化星型模式，因此更容易查询
• OLAP用于预测分析，而OLTP通常用于更实际的情况，因为没有冗余。
• 数据仓库是OLAP数据库的一种类型，通常由多个其他数据库组成。
• 数据挖掘是一种用于分析的工具，您可以使用计算机软件来找出数据之间的关系，以便您可以预测事物(例如，客户行为)。

问题2:

我对分析和分析之间的区别特别困惑。他们说分析是多维分析，但这意味着什么呢？

Answer 1

我试着从金字塔顶端向你解释：

Business Intelligence (您没有提到)是IT中的术语，它代表着一个复杂的系统，并从数据中提供关于公司的有用信息。

因此，BI系统具有目标：清洁、准确和有意义的信息。清洁意味着没有技术问题(缺少钥匙，数据不完整等)。精确手段- BI系统也被用作生产数据库的故障检查器(逻辑错误-即发票账单太高，或者使用不活动的合作伙伴等等)。这是有章可循的。有意义是很难解释的，但在简单的英语中，这是你所有的数据(即使是上次会议的excel表格)，都是你想要的。

因此，BI系统有后端：它是数据仓库， DWH只不过是一个数据库(例如，不是软件)。它可以存储在关系数据库管理系统、分析数据库(列型或文档存储类型)或NoSQL数据库中。

数据仓库通常用于我前面解释的整个数据库。可能有更多的数据-marts(如果使用Kimball模型)-或者以第三种规范化形式的关系系统(Inmon模型)称为企业数据仓库。

数据集市是DWH中的相关表(星型模式、雪花模式)。事实表(非规范化形式的业务流程)和维度表。

每个数据集市代表一个业务流程。示例: DWH有3个数据集市。一是零售，二是出口，三是进口。在零售业，你可以看到总销售额，数量销售，进口价格，利润(衡量)的SKU，日期，商店，城市等(尺寸)。

在DWH中加载数据称为ETL(extract，变换( transform，load)。

1. 从多个来源提取数据(ERP db、CRM db、excel文件、web服务.)
2. 转换数据(清洁数据，连接来自不同数据源的数据，匹配键，矿山数据)
3. 加载数据(在特定数据集市中加载转换的数据)

编辑是因为注释： ETL过程通常是使用ETL工具创建的，或者是使用某些编程语言(python、c#等)和API手动创建的。

ETL过程是一组SQL、过程、脚本和规则，由元数据控制，分为3部分(见上文)。它要么是预定的(每晚，每隔几个小时)，要么是实时的(更改数据捕获、触发器、事务)。

OLTP和OLAP是数据处理的类型。OLTP用于数据库和软件之间的事务处理(通常只有一种输入/输出数据的方式)。OLAP是用于分析的，这意味着有多个来源，历史数据，高选择的查询性能，挖掘的数据。

编辑是因为注释：数据处理是从数据库存储和访问数据的方式。因此，根据您的需要，数据库以不同的方式设置。

来自http://datawarehouse4u.info/的图像

​

​

数据挖掘是在大数据集中发现模式的计算过程。挖掘的数据可以让您更深入地了解业务流程，甚至是预测。

Analysis是一个动词，在BI世界中，它意味着从数据中获取询问信息的简单性。多维分析实际上说明了系统是如何分割数据的(在多维数据集中)。维基百科说，对数据的分析是一个检查数据的过程，目的是发现有用的信息。

Analytics是一个名词，它代表着分析过程的结果。

这两个字别大惊小怪了。

Answer 2

我可以告诉你关于数据挖掘的事情，就像我有关于数据挖掘的项目一样。数据挖掘不是一种工具，它是一种数据挖掘方法，用于数据挖掘的工具有WEKA、快速挖掘器等。数据挖掘遵循Weka、RAPID等工具内嵌的许多算法。聚类算法、assosiation算法等算法。我可以给您一个简单的数据挖掘示例。教师在课堂上通过使用黑板、演示、实用等不同的教学方法来教授科学学科。因此，我们现在的目标是找出哪种方法适合学生。然后对40名喜欢粉笔板、30名喜欢演示、20名喜欢实用方法的学生进行了调查和调查。因此，借助这些数据，我们可以制定规则，例如，科学科目应该用粉笔板法教授。要了解不同的算法，可以使用google :D。