- 综合排序
- 最热优先
- 最新优先
- 来自专栏韩锋频道
数据建模1,2,3
1.何为建模？ 数据几乎总是用于两种目的：操作型记录的保存和分析型决策的制定。简单来说，操作型系统保存数据，分型型系统使用数据。 由于采用预计算、索引策略和其他优化方法，多维数据库可实现高性能查询。 在这三种方式中，星型模型使用较多，下面也着重对这种方式进行说明。 2. 维度建模 1).基本概念 在建模过程中，涉及到很多概念。 【业务过程】：下订单 【粒度】：每笔订单（拆分为单个物品） 【维度】：地域、年龄、渠道等（可供分析的角度） 【事实/度量】：订单金额等（可用于分析的数据） 2).建模步骤 收集业务需求与数据实现 在开始维度建模工作之前 既可以选择星型模型，部署在关系数据库上，通过事实表及通过主外键关联的维度表；也可以选择多维模型，落地于多维数据库中。 3).建模规范 以维度建模为理论基础，定义一系列术语来描述建模对象。 2).事实表设计 事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。
1.6K51发布于 2019-06-06 - 来自专栏Spark学习技巧
第2篇：数据库关系建模
第二篇：数据库关系建模 前言 ER建模环节完成后，需求就被描述成了ER图。之后，便可根据这个ER图设计相应的关系表了。 但从ER图到具体关系表的建立还需要经过两个步骤：1. 逻辑模型设计 2. 2. 列(column) 列就是字面意义上表的列。但是它也有时被称作属性，或者域。 3. 行(row) 行就是字面意义上表的行。但是它也有时被称作元祖，或者记录。 4. 2. 将具有复合属性的实体映射为关系 这类映射中，复合属性的各子属性会映射到的新的关系中，但是复合属性名本身不会。 如下实体： ? 将映射为关系： ? 我们首先可以认为概念模型建模和ER建模，需求可视化表达的是一个意思。在这个环节中，数据开发人员绘制ER图，并和项目各方人员协同需求，达成一致。 逻辑模型设计好后，就可以开始着手数据库的物理实现了。数据库的物理实现也被称为物理模型建模，这个阶段不但需要参照逻辑模型，还应当参照ER图。
2.2K61发布于 2018-03-20 - 来自专栏好好学习
【UML建模】（2） UML建模之用例图
用例图主要用来描述软件的使用者是谁，软件提供哪些功能，它用来表示一个系统中用例与参与者及其关系的图，主要用于需求分析阶段
1.5K11编辑于 2022-03-31 - 来自专栏全栈程序员必看
数仓建模与分析建模_数据仓库建模与数据挖掘建模
星形 / 雪花模型，面向主题 操作 读 / 写 大多为读 数据规模 GB ~ TB >= TB 2. [外链图片转存中…(img-uQis5F2c-1645262440294)] 范式 第一范式：属性不可分割 第二范式：消除不分函数依赖 第三范式：消除传递依赖 关系建模与维度建模 关系建模：将复杂的数据抽象为两个概念 维度建模：模型相对清晰、简洁。维度模型以数据分析作为出发点，不遵循三范式，故数据存在一定的冗余。维度模型面向业务，将业务用事实表和维度表呈现出来。 4. 数仓建模方法 ODS： 数据类型：用户行为数据、业务数据 规划处理 保持数据源不做修改，起到备份数据的作用 数据采用压缩，减少磁盘存储空间 创建分区表，防止后续的全表扫描 DWD： DWD层需构建维度模型 维度建模一般按照以下四个步骤：选择业务过程→声明粒度→确认维度→确认事实。
2.1K20编辑于 2022-11-09 - 来自专栏大数据学习与分享
数据建模-维度建模-维度设计
作为维度建模的核心，我们在企业级的数据仓库中必须保证维度的唯一性。以淘宝商品维度为例，我们有且只允许有一个维度定义。 第二步：确定主维度表。 二、第二部分 在Kimball维度建模中，通常将度量称为“事实”，将环境描述为“维度”，维度是用于分析事实所需要的多样环境。 （3）同一类数据基于范式建模，拆分成同一类型数据库中多张的物理表，比如商品，有商品主表和商品扩展表，商品主表存商品基本信息；商品扩展表存储商品特殊信息，如不同产品线定制化的信息等；比如会员，有会员主表和会员扩展表 02 快照维表 维度的基本概念中介绍了自然键和代理键的定义，在Kimball的维度建模中，必须使用代理键作为每个维度表的主键，用于处理缓慢变化维度。 但在阿里巴巴数据仓库建设的实践过程中，虽然我们使用的是Kimball的维度建模的理论，但实际并未使用代理键。我们是如何处理缓慢变化维度，如何记录变化历史的呢？为什么不使用代理键呢？
1.9K31编辑于 2023-09-06 - 来自专栏全栈程序员必看
大数据数据建模
今天给大家分享一下 数据开发工作中数据建模的步骤， 第一步：选择模型或者自定义模型 这第一步需要我们基于业务问题 如果没有现成的模型可用，就需要我们自定义模型了，自定义模型不是一件容易的事情，需要非常nb的数学基础和科研精神，当前绝大多数人所谓的建模，都只是选择一个已有的数学模型来工作而已。 比如，数值预测模型中，评价模型质量的常用指标有：平均误差率、判定系数R2，等等；评估分类预测模型质量的常用指标（如下图所示）有：正确率、查全率、查准率、ROC曲线和AUC值等等。 构建模型的目的，就是要用于解决工作中的业务问题的，比如预测客户行为，比如划分客户群，等等。 所谓的模型优化，可以有以下几种情况： 1）重新选择一个新的模型； 2）模型中增加新的考虑因素； 3）尝试调整模型中的阈值到最优； 4）尝试对原始数据进行更多的预处理，比如派生新变量。
1.5K20编辑于 2022-08-18 - 来自专栏波波烤鸭
PowerDesigner数据建模
PowerDesigner安装 云盘地址:https://pan.baidu.com/s/1MZnQhPZ6ityza9N9nAD3bw 提取码：8qpi 傻瓜式安装 E-R图 E-R图(实体关系图) 1.创建模型 2.创建E-R图 2.1创建 ? 2.2编辑 双击Entity_1 ? ? ? ? 2.3解决主键问题 问题提示 ? 解决方式 ? ? ? 2.4配置关联关系 1对多 ? ? ? 2.生成物理模型图 ? ? ? 3.修改不恰当的描述 ? ? 生成数据库脚本 ? ? ? ? ?
89741发布于 2019-04-02 - 来自专栏全栈程序员必看
领域建模与数据库建模
本文重点主要是比较OO建模和数据表建模两者特点，这两者我们已经发现属于两个不同方向，也就是说，属于两个完全不同的领域，在J道其他文章里我们 其实已经把这两个领域上升为不同的学科，数据表建模属于数学范畴思维 在运行性能方面：围绕数据库分析设计容易导致软件运行时负载集中在数据库端，系统性能难于扩展（走上集中式、昂贵的、高风险的大型机模式）， 闲置了中间件J2EE服务器分布式集群处理能力，就是使用了集群，也分担不了负载 以EJB2为例子，在EJB2过去大部分系统中，我们常常以数据库为中心，实体Bean因为特殊技术原因，僵硬一块，变成数据库 的代名词，我们围绕实体Bean编制出大量的值对象Vale Obejct，或称为DTO 现在，要彻底改变过来，OO就是以对象为主，数据库是从属对象设计的，如果说EJB2的实体bean技术让你不得不走上传统过程化编程歧路，那么 EJB3已经更正了实体Bean设计缺陷，从EJB发展可以看到一个侧面 基本三层：表现层、业务层和持久层 ;J2EE中表现层和持久层有成熟框架支持，应用重点在业务层。
1.1K30编辑于 2022-07-31 - 来自专栏全栈程序员必看
数据建模与数仓建模_数仓建模的几种方式
数据模型 所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。 在开始介绍数据模型之前，我们先看一个东西，那就是算法与数据结构，我们知道算法是解决特定问题的策略，数据结构处理问题的数学模型，数据结构 有三大要素，逻辑结构、存储结构、数据操作、这里的数据操作其实就是算法 ，例如我们定义的图的数据结构，然后在这个基础上对图进行操作形成特定的算法，例如深度遍历和广度遍历；我们的数据结构其实是针对特定的数据问题而抽象和设计的，也就是说一种数据结构针对的是一类特定的问题。 数据模型也一样，只不过数据结构是针对特定问题的，而数据模型是针对特定业务的，然后多业务进行抽象，形成了行业特征，在银行业，IBM 有自己的 BDWM(Banking data warehouse model 数据仓库的设计始于数据模型，企业的数据模型适用于操作型环境，而修改后的模型适用于数仓，其实就是业务模型—> 概念模型—>逻辑模型—>物理模型的这一过程 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人
92040编辑于 2022-11-15 - 来自专栏斑斓
MongoDB的数据建模
MongoDB是一种面向Document的NoSQL数据库，如果我们还是按照RDB的方式来思考MongoDB的数据建模，则不能有效地利用MongoDB的优势；然而，我们也不能因为Document的灵活性 适度的建模是非常有必要的，尤其对于相对复杂的关联关系。因为在MongoDB中，处理这种关联关系既可以使用Link，也可以使用Embedded。 这种建模方式还带来另一种可能，就是原本Person->Tasks的one-to-N关系就可以变为N-to-N关系，因为一个Task可以被多个Person所拥有。 如果采用Embedded方式，则会导致Task数据的冗余。 one-to-few one-to-many one-to-squillions 但我认为该怎么实现关联，应该从Entity之间的领域关系来判断，我们可以引入DDD的Aggregation设计概念作为建模的依据
1.3K60发布于 2018-03-07 - 来自专栏大数据与微服务架构
数据挖掘与建模
数据挖掘是基于统计学原理，利用机器学习中的算法工具实现价值信息的发现。机器学习是一种实现人工智能的方法，深度学习是实现机器学习的一种技术。 ? 非线性分类经典算法包括K近邻（KNN）、支持向量机（SVM）、决策树（D Tree）、朴素贝叶斯（NB） 2、回归分析：反映事务数据属性在时间上的特征，预测数据间的相关关系，与分类区别在于，分类是预测目标的离散变量 二、无监督学习（事先没有任何训练数据样本，需要直接对数据进行建模，即不提供经验和训练样本，完全靠自己摸索） 1、关联分析：描述数据库中数据之间存在关系的规则。 2、聚类分析：训练样本标签信息未知，通过学习揭示数据内在性质及规律。 典型算法：K均值算法（K-means）、DBSCAN（具有噪声的基于密度的聚类方法）。 三、沃尔玛经典营销案例：啤酒与尿布 ? 模型发现：20世纪90年代的美国沃尔玛超市中，管理人员分析销售数据时发现了一个令人难于理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中。
1.1K30发布于 2020-04-11 - 来自专栏全栈程序员必看
数据库建模
1）定义：在设计数据库时，对现实世界进行分析、抽象、并从中找出内在联系，进而确定数据库的结构，这一过程就称为数据库建模。 2）作用： 1. 模型能准确表达设计意图，更易于进行技术交流。 2. 3）数据库建模步骤： 1.需求分析阶段 2.概念结构设计阶段：CMD 概念结构设计是整个数据库设计的关键。 所以在数据库开发当中，先进行概念建模，然后进行逻辑建模，再而才进行物理模型的建模。 2. 2NF（第二范式） 首先是 1NF，另外包含两部分内容，一是表必须有一个主键；二是没有包含在主键中的列必须完全依赖于主键，而不能只依赖于主键的一部分。 3. 3NF（第三范式） 必须先满足第二范式（2NF）。在满足2NF情况下，消除表中的传递依赖。第三范式是为了消除数据库中字段之间的依赖关系。
98910编辑于 2022-07-23 - 来自专栏大数据解决方案
ETL和数据建模
一、什么是ETL ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中 二、数据仓库的架构 数据仓库（Data Warehouse \ DW）是基于OLTP系统的数据源，为了便于多维分析和 多角度展现将其数据按特定的模式进行存储而建立的关系型数据库，它不同于多维数据库，数据仓库中的数据是细节的 2、缓慢变化维度第二种类型：历史数据保留，新增数据也要保留。这时要将原数据更新，将新数据插入，需要使用UPDATE / INSERT，比如某一员工2005年在A部门，2006年时他调到了B部门。 2. ETL是DW系统的基础： DW系统以事实发生数据为基础，自产数据较少。 一个企业往往包含多个业务系统，均可能成为DW数据源。 业务系统数据质量良莠不齐，必须学会去伪存真。 增量数据文件：数据文件的内容为数据表的增量信息，包含表内新增及修改的记录。 全量数据文件：数据文件的内容为数据表的全量信息，包含表内的所有数据。
1.9K20发布于 2021-11-19 - 来自专栏喵叔's 专栏
RavenDB数据建模--总结
只需将数据存储进去并通过键访问数据即可。同时我们还学习了使用过期功能来存储与时间相关的数据。 从键/值存储的简单模型开始，我们开始考虑真实的文档模型，学习了如何构建嵌入值来存储本质上是文档一部分的数据，还研学习了如何对关系和集合、多对一和多对多关联进行建模。 然后，我们介绍了更高级的建模技术，例如如何处理引用和配置数据，以及如何处理时态信息和分层结构。 接下来，我们讨论了建模时必须考虑的一些约束，例如如何处理文档的增长以及RavenDB中文档的良好大小。 我们学习了并发控制以及变化向量如何用于乐观并发和缓存，并且学习了为什么我们应该避免在模型中缓存聚合数据。 然后我们学习了如何处理带有附件的二进制数据，以及使用修订功能进行审计和更改跟踪，并且了解了我们可以在 RavenDB 中如何让文档数据过期。简要介绍了索引和查询时的引用处理。
74230编辑于 2022-05-25 - 来自专栏文渊之博
数据仓库建模
三、两种经典的数据仓库建模方法 前面的分层设计中你会发现有两种设计方法，关系建模和维度建模，下面分别简单介绍其特点和适用场景。 （2）建模方法 通常需要选择某个业务过程，然后围绕该过程建立模型，其一般采用自底向上的方法，从明确关键业务过程开始，再到明确粒度，再到明确维度，最后明确事实，非常简单易懂。 （3）优缺点 优点：技术要求不高，快速上手，敏捷迭代，快速交付；更快速完成分析需求，较好的大规模复杂查询的响应性能 缺点：维度表的冗余会较多，视野狭窄 2、关系建模 （1）定义 是数据仓库之父Inmon （2）建模方法 关系建模常常需要全局考虑，要对上游业务系统的进行信息调研，以做到对其业务和数据的基本了解，要做到主题划分，让模型有清晰合理的实体关系体系，以下是方法的示意： 以下是中国移动的概念模型的一种示例 2、数据及关系的理解：各个域的系统建设的时候没有统一文档和规范，要梳理出逻辑模型不容易，比如运营商的事件主题下的逻辑模型就非常复杂。
1.9K31发布于 2020-06-19 - 来自专栏飞鸟的专栏
MongoDB的数据建模
MongoDB是一个基于文档模型的NoSQL数据库，它的数据建模与传统的关系型数据库有很大的不同。在MongoDB中，数据是以文档的形式存储的，文档是一种类似于JSON的数据格式，非常灵活和扩展。 以下是一个简单的文档示例：{ "_id": ObjectId("60a8e03c8f61b9423fe2a303"), "name": "John", "age": 30, "email // 用户集合{ "_id": ObjectId("60a8e03c8f61b9423fe2a303"), "name": "John", "age": 30, "email": "john product": "Macbook Pro", "quantity": 1 } ]}// 订单集合{ "_id": ObjectId("60a8e03c8f61b9423fe2a304 "), "user_id": ObjectId("60a8e03c8f61b9423fe2a303"), "product": "iPhone", "quantity": 1}在这个示例中，
1.4K40编辑于 2023-05-09 - 来自专栏全栈程序员必看
浅谈大数据建模的主要技术：维度建模
文章目录 前言 维度建模关键概念 度量和环境 事实和维度 事实表 维度表 星形架构和雪花架构 维度建模一般过程 1. 选取业务过程 2. 定义粒度 3. 确定维度 4. 怎么组织才能使得数据的使用最为方便和便捷？ 怎么组织才能使得数据仓库具有良好的可扩展性和可维护性？ Ralph Kimball 维度建模理论很好地回答和解决了上述问题。 维度建模理论和技术也是目前在数据仓库领域中使用最为广泛的、也最得到认可和接纳的一项技术。 今天我们就来深入探讨 Ralph Kimball 维度建模的各项技术，涵盖其基本理论、一般过程、维度表设计和事实表设计等各个方面，也为我们后面讲Hadoop 数据仓库实战打下基础。 因此，确保数据一致性的最佳办法是从企业和公司全局与整体角度，对于某一个业务过程建立单一的、一致的维度模型。 2.
1.8K10编辑于 2022-08-11 - 来自专栏数据库
论道数据仓库维度建模和关系建模
为什么要数据仓库建模呢？ Inmon的ER建模优点体现在规范性较好，冗余小，数据集成和数据一致性方面得到重视，适用于较为大型的企业级、战略级的规划，但缺点是需要全面了解企业业务、数据和关系，对于建模人员要求很高，实施周期非常长， 但Inmon和kimball关于关系建模和维度建模的争论其实也没什么值得探讨的，没有谁更好，在企业内，这两种建模方式往往同时存在，底层用关系建模合适一点，技术的优雅换来了数据的精简，往上维度建模更合适一些 在数据建模上，很多人纠结于如何建模，用关系建模、维度建模亦或其它？ 很多企业花了巨大的代价建设了一套数据模型，周期长达1-2年，几年后却推倒重来，问题的根子不在于当初的项目完成的情况如何，包括建模方式是否合理，而在于项目完成了成鸟兽散，缺乏持续的运营。
2.5K80发布于 2018-02-24 - 来自专栏学习成长指南
数学建模Python必知必会（2）
我们一般选择自己熟悉的这个方法就可以了，不然如果一个方法在不同的模块里面的这个名字是一样的，这个时候你有同时导入多个模块，这个时候就会冲突；关于第三方库的说明：内置模块直接导入，第三方库，需要使用这个pip包管理器进行这个库的安装；2. 面向对象编程基础面向对象这个思想在编程里面是常见的：java,C++都是这种思想；但是这个思想很难理解他的精髓，对于非科班同学，你如果只是使用这个python去解决这个国赛的数据题目，其实也不需要过于去理解这个思想 我们进行这个对象的实例化，传参数，三个参数（进一步证明构造方法里面的self不是参数，参数是我么自己加的）；3.面向对象---继承我觉得这个部分的内容不是很常用，但是可以了解一下，可能会遇到，因为我认为国赛考察我们的是这个数据的分析处理
21310编辑于 2025-03-22 - 来自专栏数据饕餮
数据仓库专题（2）-Kimball维度建模四步骤
一、前言 四步过程维度建模由Kimball提出，可以做为业务梳理、数据梳理后进行多维数据模型设计的指导流程，但是不能作为数据仓库系统建设的指导流程。本文就相关流程及核心问题进行解读。 二、数据仓库建设流程 以下流程是根据业务系统、组织结构、团队结构现状设定的数据仓库系统建设流程，适合系统结构复杂，团队协作复杂，人员结构复杂的情况，并且数据仓库建设团队和业务系统建设团队不同的情况。 图1 数据仓库系统建设流程 三、四步维度建模 Kimball四步建模流程适合上述数据仓库系统建设流程中模型设计环节，重点解决数据粒度、维度设计和事实表设计问题。四步建模流程如下图所示： ? 3.1 如何标识维度 标识维度解决的是业务人员如何描述来自业务过程的数据，维度用来表示“谁、什么、何时、何处、为何、如何”的问题。 四、未完待续 数据仓库专题作为项目笔记，持续更新中，敬请关注。
1.9K40发布于 2019-01-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号