- 综合排序
- 最热优先
- 最新优先
- 来自专栏好好学习
【UML建模】（4） UML建模之时序图
>0 时执行accept()方法，否则执行 reject()方法 Option fragment (denoted “opt”) 标示Switch， 表示一种单条件分支 当参数校验正确时则调用 保存数据的接口
3.1K20编辑于 2022-03-31 - 来自专栏全栈程序员必看
最流行的三大数据建模工具
只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。数据建模是通过定义和分析数据需求，以支持信息系统内的业务流程。 以上看来，数据建模至关重要。 数据建模过程需要专业的建模人员，业务人员以及潜在信息系统的用户紧密工作在一起。 数据建模是认识数据的过程，数据模型是数据建模的输出模型有很多种，例如企业数据模型，物理模型，逻辑模型，业务模型，数据使用模型等等。 本文列出的工具都是精挑细选的数据建模工具。 PowerDesigner PowerDesigner是目前数据建模业界的领头羊。 创始人兼CEO王琤：曾任职erwin全球研发总监，拥有超过十年以上数据建模和数据管理的从业经验。
10.8K21编辑于 2022-09-05 - 来自专栏全栈程序员必看
数仓建模与分析建模_数据仓库建模与数据挖掘建模
；设计一个时间非常大的分区，如 9999-12-31，存放截至当前未结束的数据 已结束的数据存放到相应的分区，存放未结束数据分区，数据量不会太大，ETL 性能好 无存储浪费，数据全局唯一 业务系统可能无法标识业务实体的结束时间 [外链图片转存中…(img-uQis5F2c-1645262440294)] 范式 第一范式：属性不可分割 第二范式：消除不分函数依赖 第三范式：消除传递依赖 关系建模与维度建模 关系建模：将复杂的数据抽象为两个概念 维度建模：模型相对清晰、简洁。维度模型以数据分析作为出发点，不遵循三范式，故数据存在一定的冗余。维度模型面向业务，将业务用事实表和维度表呈现出来。 4. 数仓建模方法 ODS： 数据类型：用户行为数据、业务数据 规划处理 保持数据源不做修改，起到备份数据的作用 数据采用压缩，减少磁盘存储空间 创建分区表，防止后续的全表扫描 DWD： DWD层需构建维度模型 维度建模一般按照以下四个步骤：选择业务过程→声明粒度→确认维度→确认事实。
1.9K20编辑于 2022-11-09 - 来自专栏大数据学习与分享
数据建模-维度建模-维度设计
作为维度建模的核心，我们在企业级的数据仓库中必须保证维度的唯一性。以淘宝商品维度为例，我们有且只允许有一个维度定义。 第二步：确定主维度表。 （3）同一类数据基于范式建模，拆分成同一类型数据库中多张的物理表，比如商品，有商品主表和商品扩展表，商品主表存商品基本信息；商品扩展表存储商品特殊信息，如不同产品线定制化的信息等；比如会员，有会员主表和会员扩展表 业务含义相同的表的统一：相同含义的业务表进行聚合统一； 主要依据高内聚、低耦合的理念，在物理实现中，将业务关系大、源系统影响差异小的进行整合；业务关系小、源系统影响差异大的进行分而置之。 表4：变化前商品表和订单表 商品 Key 商品 ID 商品标题 所属新类目 所属旧类目 其它属性 1000 item1 title1 类目 1 类目 1 ... 但在阿里巴巴数据仓库建设的实践过程中，虽然我们使用的是Kimball的维度建模的理论，但实际并未使用代理键。我们是如何处理缓慢变化维度，如何记录变化历史的呢？为什么不使用代理键呢？
1.6K31编辑于 2023-09-06 - 来自专栏木东居士的专栏
闲聊4年大数据经历
0x00 前言 周末闲来无事，想到从13年接触大数据这个名词，到现在也有4年的时间了，随便聊一聊自己和大数据接触的那些经历。 0x01 大数据 “什么是大数据？” 先随便聊一下数据仓库，概念就不聊了，只谈一下大致的理解，数据仓库代表的是一种对数据的管理和使用的方式，它是一整套包括了etl、调度、建模在内的完整的理论体系。 比如元数据管理、维度建模、OLAP分析、ETL。 我们所谓的大数据更多的是一种数据量级的增大和工具的上的更新，因此很多的开源大数据组件可以划分到数据仓库的ETL中。 我们换一个角度理解，数据量的爆发，其实也更新了数据仓库的概念，数据仓库建模和管理数据的理论可能变化不大，但是其使用的技术，会从原来的技术架构更多地转向现有的开源体系。 然后数据量一下暴增了，一天要处理的数据增到了百亿的级别，很多任务的数据量都超过了千亿，。下子问题就大了，遇到了很多的挑战，比如数据倾斜、数据丢失、数据读写影响这些问题。
85230发布于 2018-05-25 - 来自专栏全栈程序员必看
大数据数据建模
今天给大家分享一下 数据开发工作中数据建模的步骤， 第一步：选择模型或者自定义模型 这第一步需要我们基于业务问题 如果没有现成的模型可用，就需要我们自定义模型了，自定义模型不是一件容易的事情，需要非常nb的数学基础和科研精神，当前绝大多数人所谓的建模，都只是选择一个已有的数学模型来工作而已。 这一步，就需要将可用的模型开发出来，并部署在数据分析系统中，然后可以形成数据分析的模板和可视化的分析结果，以便实现自动化的数据分析报告。 应用模型，就是将模型应用于真实的业务场景。 构建模型的目的，就是要用于解决工作中的业务问题的，比如预测客户行为，比如划分客户群，等等。 所谓的模型优化，可以有以下几种情况： 1）重新选择一个新的模型； 2）模型中增加新的考虑因素； 3）尝试调整模型中的阈值到最优； 4）尝试对原始数据进行更多的预处理，比如派生新变量。
1.4K20编辑于 2022-08-18 - 来自专栏MIKE笔记 技术教程
数学建模【三大模型+十大算法】
文章目录 前言 一、三大模型 1️⃣预测模型 2️⃣优化模型 3️⃣评价模型 二、十大算法 1️⃣蒙特卡罗算法 2️⃣数据拟合、参数估计、插值等数据处理算法 3️⃣线性规划、整数规划、多元规划、二次规划等规划类问题 4️⃣图论算法 5️⃣动态规划、回溯搜索、分治算法、分支定界 6️⃣最优化理论的三大非经典算法 7️⃣网格算法和穷举法 8️⃣一些连续离散化方法 9️⃣数值分析算法 图象处理算法 ---- 前言 提示 二、十大算法 1️⃣蒙特卡罗算法 该算法又称随机性模拟算法，是通过计算 机仿真来解决问题的算法，同时可以通过模拟可以来检验自己 模型的正确性，是比赛时必用的方法 2️⃣数据拟合、参数估计、插值等数据处理算法 比赛中通常 会遇到大量的数据需要处理，而处理数据的关键就在于这些算 法，通常使用 Matlab 作为工具 3️⃣线性规划、整数规划、多元规划、二次规划等规划类问题 建模竞赛大多数问题属于最优化问题 ,很多时候这些问题可 以用数学规划算法来描述，通常使用 Lindo、Lingo 软件实现 4️⃣图论算法 这类算法可以分为很多种，包括最短路、网络 流、二分图等算法，涉及到图论的问题可以用这些方法解决
1.1K10编辑于 2023-03-22 - 来自专栏波波烤鸭
PowerDesigner数据建模
PowerDesigner安装 云盘地址:https://pan.baidu.com/s/1MZnQhPZ6ityza9N9nAD3bw 提取码：8qpi 傻瓜式安装 E-R图 E-R图(实体关系图) 1.创建模型 生成数据库脚本 ? ? ? ? ?
82841发布于 2019-04-02 - 来自专栏CDA数据分析师
数据挖掘与数据建模的9大定律（深度长文 收藏细读！）
以及它们是如何相关的； 数据预处理就是利用业务知识来塑造数据，使得业务问题可以被提出和解答（更详尽的第三条—准备律）； 建模是使用数据挖掘算法创建预测模型，同时解释模型和业务目标的特点，也就是说理解它们之间的业务相关性 最简单的解释可以概括为“数据是困难的”，经常采用自动化减轻这个“问题”的数据获取、数据清理、数据转换等数据预处理各部分的工作量。 这是数据预处理重要的原因，并且在数据挖掘过程中占有如此大的工作量，这样数据挖掘者可以从容地操纵问题空间，使得容易找到适合分析他们的方法。 有两种方法“塑造”这个问题空间。 4 试验律（NFL律：NoFreeLunch） 对于数据挖掘者来说，天下没有免费的午餐，一个正确的模型只有通过试验（experiment）才能被发现。 准确性是指正确的预测结果所占的比例；稳定性是指当创建模型的数据改变时，用于同一口径的预测数据，其预测结果变化有多大（或多小）。
1.8K50发布于 2018-02-11 数据同步最全避坑指南！4大痛点+4大场景技术方案
在数据湖仓一体、流批一体的背景下，数据同步作为数据流动越来越重要的一环。然而，数据同步听起来简单，做起来却处处是坑：业务急着要数据做决策，报表却迟迟出不来？ 系统A和系统B的数据对不上，流程卡住，用户投诉？想搞实时同步提升体验，结果把核心数据库拖慢了？尤其在企业内部数据分析和业务流程流转等关键时刻，如果数据同步跟不上，问题就大了。 （2）技术实现：全周期一致性方案通过将存量数据校验与增量同步并行处理，缩短数据切换时间，降低业务中断风险。4.资源消耗与扩展不足（1）痛点：流式同步技术在提升实时性的同时，对计算资源的需求大大增加。 误区 4：安全防护的合规性缺失敏感数据同步需满足分类分级要求，山东大数据局明确要求传输加密、脱敏处理与最小权限管控。工具应该内置敏感数据规则，并支持操作日志审计留存，确保符合监管要求。 3.流处理平台：实时化场景方案企业可以根据场景选择单一工具或组合方案：4.新一代统一架构：流批一体与湖仓融合理想的数据同步架构应该整合流批一体引擎（Flink）、湖仓存储层（Iceberg）与智能管控面
59310编辑于 2025-09-22- 来自专栏全栈程序员必看
领域建模与数据库建模
本文重点主要是比较OO建模和数据表建模两者特点，这两者我们已经发现属于两个不同方向，也就是说，属于两个完全不同的领域，在J道其他文章里我们 其实已经把这两个领域上升为不同的学科，数据表建模属于数学范畴思维 别小看这样一个小小包装，却决定了以后代码的维护性和扩展性， 打个比喻，日常生活中我们经常用各种盒子和袋子包装一些东西，这样做就是为了方便这些东西的携带或储藏，小到生活， 大到客观世界每个地方，都是包装分类的影子 因为方法的不同，软件路线也就存在下面几个路线：完全面向对象类建模路线(J道网站和笔者一直致力于这种路线的推介)； 一种是对象和关系数据库混合型，还有一种就是过去的完全关系数据库类型软件（如Foxpro/ Evans DDD可以说是近期与SOA相提并论的两大重要技术思想，SOA是着重于软件集成方面；而EvansDDD才是着重我们软件开发上， 在大部分情况下，软件开发重要程度不亚于软件集成，但是因为软件开发方面开源力量冲击 领域建模属于与具体.NET或Java技术无关的设计思想，有人总是说：.NET比Java简单，其实这又是一个大误区，如果都达到同样设计水准，无论使用.NET或Java，都需要付出同样的努力；那为什么有人觉得
96230编辑于 2022-07-31 - 来自专栏云计算D1net
大数据时代 云安全4大策略
云计算与大数据的结合可以说是天作之合。大数据需要灵活的计算环境，而后者可以快速、自动地进行扩展以支持海量数据，基础设施。 4、对数据安全永不妥协 虽然云安全通常十分复杂，但是用户在大数据部署当中还是会发现一些“安全捷径”。这些“安全捷径”通常貌似能够回避一些复杂设置，同时保持大数据结构“不受伤害”。 并不是所有的大数据基础设施是安全的，如果处于风险当中的数据非常敏感或是属于管制数据，那么用户可能需要寻找替代方案。 多备份在给用户备份数据时自动把数据压缩加密并传到多个云端平台，采用3层加密安全保护体系使得数据安全达到最高。 总结 只有为数据建立了最为严格的安全标准，大数据才能够不断地享受着由云计算提供的可扩展性、灵活性和自动化。加密被认为是保护云(大)数据的首要步骤。
1.3K70发布于 2018-03-21 - 来自专栏IT大咖说
大咖谈Kubernetes的建模应用
说起建模，很多小伙伴都不陌生，就是为了理解某一事物而对该事物做出的某一种抽象，是对这个事物没有歧义的一种描述，也叫建立模型。 当然，建模也分系统建模，数据建模等好多种类，那么今天，我们就来简单了解一下在Kubernetes环境下建模。 ? 既然谈到Kubernetes的建模，我们就需要简单了解Kubernetes架构，就像大多数小伙伴知道的那样，Kubernetes集群是具有双重角色的：Kubernetes代理和Kubernetes服务。 可是，每当我们操作的时候，可能都会想到一个问题，Kubernetes 能够大规模地为数据中心建模并通过控制器操作数据中心吗？
63720发布于 2018-10-23 - 来自专栏全栈程序员必看
数据建模与数仓建模_数仓建模的几种方式
数据模型 所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。 在开始介绍数据模型之前，我们先看一个东西，那就是算法与数据结构，我们知道算法是解决特定问题的策略，数据结构处理问题的数学模型，数据结构 有三大要素，逻辑结构、存储结构、数据操作、这里的数据操作其实就是算法 ，例如我们定义的图的数据结构，然后在这个基础上对图进行操作形成特定的算法，例如深度遍历和广度遍历；我们的数据结构其实是针对特定的数据问题而抽象和设计的，也就是说一种数据结构针对的是一类特定的问题。 数据模型也一样，只不过数据结构是针对特定问题的，而数据模型是针对特定业务的，然后多业务进行抽象，形成了行业特征，在银行业，IBM 有自己的 BDWM(Banking data warehouse model 数据仓库的设计始于数据模型，企业的数据模型适用于操作型环境，而修改后的模型适用于数仓，其实就是业务模型—> 概念模型—>逻辑模型—>物理模型的这一过程 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人
81140编辑于 2022-11-15 - 来自专栏用户8950297的专栏
Power Pivot数据建模基础：数据表间的4种基本关系类型
大海：其实2个表之间的关系类型也很简单，莫非就4种。 小勤：4种？ 大海：嗯。我们接下来通过数据的方式来看各种关系具体是什么样子的。 1. 其次，就是多对多关系，比如你的订单明细表里因为只有产品名称，而产品表里的产品名称不是唯一的，两个表间通过产品名称来看的话，订单明细表里一条数据，可能在产品表里找到多条数据，而在产品表里的一条数据，也可能在订单明细表里找到多条数据 比如下面2个产品表： 4. 最后，也是最简单的，但可能是最麻烦的，就是两个表间的关系是没有关系。比如订单表和产品表之间，就完全找不到关系。 小勤：知道了。 大海：一般日常看到的数据通常数据量不大，都可以放到一个表里，那样数据也好处理，但是，随着数据量越来越大，有很多时候一张表可能很复杂，可能有几百上千列，如果都放在一张表里的话，可能会极大地影响数据的计算效率 里你只要对订单表和订单明细表、订单明细表和产品表分别建立表间关系，那么就可以在订单表里通过一定的方法得到产品表的相关信息，或在产品表里通过一定方法获得订单表里的信息，不过这方面的内容比较复杂一些，在后续的数据建模中咱们再一起看
4.3K31发布于 2021-08-30 - 来自专栏大数据与微服务架构
数据挖掘与建模
数据挖掘是基于统计学原理，利用机器学习中的算法工具实现价值信息的发现。机器学习是一种实现人工智能的方法，深度学习是实现机器学习的一种技术。 ? 四大经典算法：分类、关联、聚类、回归 一、监督学习（通俗来说就是已知样本类别，即知道当前的样本是哪一类的样本。） 非线性分类经典算法包括K近邻（KNN）、支持向量机（SVM）、决策树（D Tree）、朴素贝叶斯（NB） 2、回归分析：反映事务数据属性在时间上的特征，预测数据间的相关关系，与分类区别在于，分类是预测目标的离散变量 二、无监督学习（事先没有任何训练数据样本，需要直接对数据进行建模，即不提供经验和训练样本，完全靠自己摸索） 1、关联分析：描述数据库中数据之间存在关系的规则。 关联规则挖掘中有4个指标：置信度、支持度、期望置信度、提升度。 典型算法：Apriori算法、FP-Tree算法、PrefixSpan算法。
1K30发布于 2020-04-11 - 来自专栏斑斓
MongoDB的数据建模
MongoDB是一种面向Document的NoSQL数据库，如果我们还是按照RDB的方式来思考MongoDB的数据建模，则不能有效地利用MongoDB的优势；然而，我们也不能因为Document的灵活性 适度的建模是非常有必要的，尤其对于相对复杂的关联关系。因为在MongoDB中，处理这种关联关系既可以使用Link，也可以使用Embedded。 这种建模方式还带来另一种可能，就是原本Person->Tasks的one-to-N关系就可以变为N-to-N关系，因为一个Task可以被多个Person所拥有。 如果采用Embedded方式，则会导致Task数据的冗余。 one-to-few one-to-many one-to-squillions 但我认为该怎么实现关联，应该从Entity之间的领域关系来判断，我们可以引入DDD的Aggregation设计概念作为建模的依据
1.2K60发布于 2018-03-07 - 来自专栏全栈程序员必看
数据库建模
1）定义：在设计数据库时，对现实世界进行分析、抽象、并从中找出内在联系，进而确定数据库的结构，这一过程就称为数据库建模。 2）作用： 1. 模型能准确表达设计意图，更易于进行技术交流。 2. 4.模型驱动的开发更能快速地应对需求的变动。 3）数据库建模步骤： 1.需求分析阶段 2.概念结构设计阶段：CMD 概念结构设计是整个数据库设计的关键。 3.逻辑数据模型：LDM 需要考虑数据的存储结构，是关系的还是面向对象的。对数据进行符合数据库设计范式的规范，但不关心物理数据库。 4.物理数据模型 需要考虑实际具体数据库对应的功能以及在必要时，需要规范化的设计（针对对应的数据库）如创建视图 索引等。 所以在数据库开发当中，先进行概念建模，然后进行逻辑建模，再而才进行物理模型的建模。
86210编辑于 2022-07-23 - 来自专栏大数据解决方案
ETL和数据建模
一、什么是ETL ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中 二、数据仓库的架构 数据仓库（Data Warehouse \ DW）是基于OLTP系统的数据源，为了便于多维分析和 多角度展现将其数据按特定的模式进行存储而建立的关系型数据库，它不同于多维数据库，数据仓库中的数据是细节的 这里我们首先要确定维度的层次（Hierarchy）和级别（Level）（图 四：pic4.jpg），维度的层次是指该维度的所有级别，包括各级别的属性；维度的级别是指该维度下的成员，例如当建立地区维度时我们将地区维度作为一 常用的ETL工具：主要有三大主流工具，分别是Ascential公司的Datastage、Informatica公司的Powercenter、NCR Teradata公司的ETL Automation.还有其他开源工具 如客户信息表; 代码参数表：此类源表用于记录源系统中使用到的数据代码和参数; 4. 数据文件的类型： 数据文件大多数以1天为固定的周期从源系统加载到数据仓库。数据文件包含增量，全量以及待删除的增量。
1.7K20发布于 2021-11-19 - 来自专栏喵叔's 专栏
RavenDB数据建模--总结
只需将数据存储进去并通过键访问数据即可。同时我们还学习了使用过期功能来存储与时间相关的数据。 从键/值存储的简单模型开始，我们开始考虑真实的文档模型，学习了如何构建嵌入值来存储本质上是文档一部分的数据，还研学习了如何对关系和集合、多对一和多对多关联进行建模。 然后，我们介绍了更高级的建模技术，例如如何处理引用和配置数据，以及如何处理时态信息和分层结构。 接下来，我们讨论了建模时必须考虑的一些约束，例如如何处理文档的增长以及RavenDB中文档的良好大小。 我们学习了并发控制以及变化向量如何用于乐观并发和缓存，并且学习了为什么我们应该避免在模型中缓存聚合数据。 然后我们学习了如何处理带有附件的二进制数据，以及使用修订功能进行审计和更改跟踪，并且了解了我们可以在 RavenDB 中如何让文档数据过期。简要介绍了索引和查询时的引用处理。
63830编辑于 2022-05-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号