- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据饕餮
数据仓库专题（7）-维度建模11大基本原则
遵循这些原则进行维度建模可以保证数据粒度合理，模型灵活，能够适应未来的信息资源，违反这些原则你将会把用户弄糊涂，并且会遇到数据仓库障碍。本文适用于多维建模，不使用于3NF建模。 二、正文 原则1、载入详细的原子数据到维度结构中 维度建模应该使用最基础的原子数据进行填充，以支持不可预知的来自用户查询的过滤和分组请求，用户通常不希望每次只看到一个单一的记录，但是你无法预测 当然，原子数 据也可以通过概要维度建模进行补充，但企业用户无法只在汇总数据上工作，他们需要原始数据回答不断变化的问题。 原则7、存储报告标记和过滤维度表中的范围值 更重要的是，编码和关联的解码及用于标记和查询过滤的描述符应该被捕获到维度表中，避免在事实表中存储神秘的编码字段或庞大的描述符字段，同样，不要只 在维度表中存储编码 原则10、不断平衡需求和现实，提供用户可接受的并能够支持他们决策的DW/BI解决方案 维度建模需要不断在用户需求和数据源事实之间进行平衡，才能够提交可执行性好的设计，更重要的是，要符合业务的需要，
2.2K30发布于 2019-01-14 一文掌握数据仓库建模的7大核心方法
业务系统里的数据库是为了让每一笔订单、每一次操作都能被快速、准确地记下来，而不是为了方便我们事后做分析、写汇报。今天，就给你分享7大数据仓库建模的核心方法，帮你把数据理顺，让查询和分析变得又快又简单。 这里最关键的、也是最体现水平的一步，就是重新整理存放的方法，也就是数据建模。好的建模，要让数据既能被高效地分析，又能灵活地适应业务变化。 二、7种数据仓库建模方法1.第三范式（3NF）第三范式是关系数据库的经典建模方式，目的是最大程度减少数据冗余。 缺点：数据冗余高，存储占用大。对于缓慢变化的维度处理起来比较麻烦，比如一个客户换了地址，历史记录和最新记录如何并存，需要额外的设计。3.雪花模式你可以把它理解为星型模式和3NF的折中产物。 7.以实体为中心的建模这种方法围绕核心实体建模，比如客户、产品、门店。每个实体一张表，用JSON列或者其他格式存储实体的各种指标。优点：模型非常灵活，可以随时往JSON里加新属性，不需要改表结构。
22200编辑于 2026-03-19- 来自专栏数据饕餮
数据仓库专题（7）-维度建模10大基本原则
遵循这些原则进行维度建模可以保证数据粒度合理，模型灵活，能够适应未来的信息资源，违反这些原则你将会把用户弄糊涂，并且会遇到数据仓库障碍。 二、正文 原则1、载入详细的原子数据到维度结构中 维度建模应该使用最基础的原子数据进行填充，以支持不可预知的来自用户查询的过滤和分组请求，用户通常不希望每次只看到一个单一的记录，但是你无法预测 当然，原子数 据也可以通过概要维度建模进行补充，但企业用户无法只在汇总数据上工作，他们需要原始数据回答不断变化的问题。 原则7、存储报告标记和过滤维度表中的范围值 更重要的是，编码和关联的解码及用于标记和查询过滤的描述符应该被捕获到维度表中，避免在事实表中存储神秘的编码字段或庞大的描述符字段，同样，不要只 在维度表中存储编码 原则10、不断平衡需求和现实，提供用户可接受的并能够支持他们决策的DW/BI解决方案 维度建模需要不断在用户需求和数据源事实之间进行平衡，才能够提交可执行性好的设计，更重要的是，要符合业务的需要，
1.6K50发布于 2019-01-14 - 来自专栏全栈程序员必看
最流行的三大数据建模工具
只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。数据建模是通过定义和分析数据需求，以支持信息系统内的业务流程。 以上看来，数据建模至关重要。 数据建模过程需要专业的建模人员，业务人员以及潜在信息系统的用户紧密工作在一起。 数据建模是认识数据的过程，数据模型是数据建模的输出模型有很多种，例如企业数据模型，物理模型，逻辑模型，业务模型，数据使用模型等等。 本文列出的工具都是精挑细选的数据建模工具。 PowerDesigner PowerDesigner是目前数据建模业界的领头羊。 创始人兼CEO王琤：曾任职erwin全球研发总监，拥有超过十年以上数据建模和数据管理的从业经验。
10.8K21编辑于 2022-09-05 - 来自专栏大数据文摘
2016大数据发展7大趋势
因此，高级管理人员正在寻找其人力资源的确切数据，所以，2016年我们会看到人力资源分析将迈出一大步。 人力资源分析虽然是人事部门新的业务领域，但为了更好地提高人力资源的投资回报率，该业务增长极为迅速。 对于那些大的商业组织而言，大数据已经成为通用语言。在适应新趋势方面，政府是缓慢的，但是在2016年，我们会看到更多的国家、地区和地方政府会采用大数据技术来提高社会和公民的体验。 7.智能机器带来的雾分析（Fog Analytic s)起步 ? 雾计算正在迅速地获得大量动力。雾计算是指推进连接到物联网的终端设备和存储数据的云计算之间的存储、传输和计算。 原文链接：https://datafloq.com/read/7-big-data-trends-for-2016/1699? utm_source=Datafloq%20newsletter&utm_campaign=41776c079a-Datafloq_newsletter_12_7_2015&utm_medium=email
1.2K60发布于 2018-05-22 - 来自专栏Mac资源随时更新
建模神器：Rhino 7 3D建模工具「winmac」
Rhino 7是一款强大的建模神器，提供精准的曲面工具用于渲染表现、动画、工程图、分析评估以及生产用的模型并兼容3dmax、Softimage模型。 Rhino 7建模神器 MacRhino 7建模神器 Win图片特点1、可以创建，编辑，分析，记录，渲染，动画和翻译NURBS曲线，曲面和实体，点云和多边形网格。 对硬件的复杂程度，程度或大小没有任何限制2、不受限制的自由形式的3D建模工具，只有在产品成本高出20到50倍的产品中才能使用。 分析和制造任何东西所需的精度4、与所有其他设计，绘图，CAM，工程，分析，渲染，动画和插图软件兼容5、读取和修复网格和极具挑战性的IGES文件6、无障碍，所以易于学习和使用，您可以专注于设计和可视化，而不会被软件分心7、 不需要特殊的硬件8、数百种专业建模产品的开发平台9、与您所有其他设计、绘图、CAM、工程、分析、渲染、动画和插图软件的兼容性
1.1K20编辑于 2022-08-27 - 来自专栏全栈程序员必看
数仓建模与分析建模_数据仓库建模与数据挖掘建模
；设计一个时间非常大的分区，如 9999-12-31，存放截至当前未结束的数据 已结束的数据存放到相应的分区，存放未结束数据分区，数据量不会太大，ETL 性能好 无存储浪费，数据全局唯一 业务系统可能无法标识业务实体的结束时间 [外链图片转存中…(img-uQis5F2c-1645262440294)] 范式 第一范式：属性不可分割 第二范式：消除不分函数依赖 第三范式：消除传递依赖 关系建模与维度建模 关系建模：将复杂的数据抽象为两个概念 维度建模：模型相对清晰、简洁。维度模型以数据分析作为出发点，不遵循三范式，故数据存在一定的冗余。维度模型面向业务，将业务用事实表和维度表呈现出来。 4. 数仓建模方法 ODS： 数据类型：用户行为数据、业务数据 规划处理 保持数据源不做修改，起到备份数据的作用 数据采用压缩，减少磁盘存储空间 创建分区表，防止后续的全表扫描 DWD： DWD层需构建维度模型 维度建模一般按照以下四个步骤：选择业务过程→声明粒度→确认维度→确认事实。
1.9K20编辑于 2022-11-09 - 来自专栏华章科技
大数据7大最奇特应用
在客户体验与库存管理流程方面，大数据通常会发挥重要作用。下面盘点了7个最有趣、最独特的大数据应用，以及它们可能对我们的生活产生的影响。 1.大数据广告牌 户外营销公司Route正使用大数据在广告牌、长椅以及公交车两侧的广告空间上设定定价模式。 5.大数据天气预报 从手机到交通地图，很多应用长期以来就需要数据支持。名为WeatherSignal的应用可以利用Android手机中的传感器，提供实时的天气数据。 7.大数据胸罩 True&Co网站正利用大数据帮助女性寻找号码更合适的胸罩。统计数据显示，大多数女性都戴错了胸罩的号码，为此这家网站试图帮助解决这个问 题。 该公司的内部品牌甚至会基于用户的反馈和公司收集到的数据 开发和设计新式胸罩。 利用大数据的可能性是无穷无尽的，我们可能需要时间去寻找大数据的更多应用方式。你最近看到有趣或不同寻常的大数据项目吗?
94410发布于 2018-08-13 - 来自专栏大数据学习与分享
数据建模-维度建模-维度设计
作为维度建模的核心，我们在企业级的数据仓库中必须保证维度的唯一性。以淘宝商品维度为例，我们有且只允许有一个维度定义。 第二步：确定主维度表。 （3）同一类数据基于范式建模，拆分成同一类型数据库中多张的物理表，比如商品，有商品主表和商品扩展表，商品主表存商品基本信息；商品扩展表存储商品特殊信息，如不同产品线定制化的信息等；比如会员，有会员主表和会员扩展表 相同和相似字段的字段类型的统一； （3）公共字段及枚举值的统一：公共字段及枚举值的类型、命名方式等统一； （4）业务含义相同的表的统一：相同含义的业务表进行聚合统一； 主要依据高内聚、低耦合的理念，在物理实现中，将业务关系大、 源系统影响差异小的进行整合；业务关系小、源系统影响差异大的进行分而置之。 但在阿里巴巴数据仓库建设的实践过程中，虽然我们使用的是Kimball的维度建模的理论，但实际并未使用代理键。我们是如何处理缓慢变化维度，如何记录变化历史的呢？为什么不使用代理键呢？
1.6K31编辑于 2023-09-06 - 来自专栏数据分析师小熊
数据分析7大能力：梳理数据需求
顾名思义，数据需求，就是业务部门对数据分析产出的需求。有小伙会说：这还有需求呀，我们公司都是一通电话：“歪！给我个XX数据，快！”就完事了，根本不存在啥需求。 确实有这种无脑公司。 不过，这么无脑催数据的结果，就是返工。最常见的局面，就是你辛辛苦苦跑出来数，对面的一通质疑：“数据不对吧！”“为啥和我知道的不一样！”“你再给我个XX数据看看？”“加个字段吧！” Who：数据使用者 When：数据使用时间 Where：数据使用场合 Why：使用数据原因 What：具体数据格式 三、who：谁使用数据 包括： 申请人：部门，姓名 审批人：领导签名、邮件回复 加上审批人 ，可以在一大堆需求塞车的时候，按领导等级高低排序给数。 不主动问数据用在哪里，结果业务拿着数据乱捅一波，捅完了就说：“诶呀，我们又不懂，都是数据提供的你去问他”……数据自然百口莫辩，死无全尸……所以不要吝啬语言，问清楚！ 六、why：为什么需要数据。
1.3K21编辑于 2022-04-22 - 来自专栏全栈程序员必看
大数据数据建模
今天给大家分享一下 数据开发工作中数据建模的步骤， 第一步：选择模型或者自定义模型 这第一步需要我们基于业务问题 如果没有现成的模型可用，就需要我们自定义模型了，自定义模型不是一件容易的事情，需要非常nb的数学基础和科研精神，当前绝大多数人所谓的建模，都只是选择一个已有的数学模型来工作而已。 这一步，就需要将可用的模型开发出来，并部署在数据分析系统中，然后可以形成数据分析的模板和可视化的分析结果，以便实现自动化的数据分析报告。 应用模型，就是将模型应用于真实的业务场景。 构建模型的目的，就是要用于解决工作中的业务问题的，比如预测客户行为，比如划分客户群，等等。 实际上，模型优化不仅仅包含了对模型本身的优化，还包含了对原始数据的处理优化，如果数据能够得到有效的预处理，可以在某种程度上降低对模型的要求。
1.4K20编辑于 2022-08-18 - 来自专栏MIKE笔记 技术教程
数学建模【三大模型+十大算法】
文章目录 前言 一、三大模型 1️⃣预测模型 2️⃣优化模型 3️⃣评价模型 二、十大算法 1️⃣蒙特卡罗算法 2️⃣数据拟合、参数估计、插值等数据处理算法 3️⃣线性规划、整数规划、多元规划、二次规划等规划类问题 4️⃣图论算法 5️⃣动态规划、回溯搜索、分治算法、分支定界 6️⃣最优化理论的三大非经典算法 7️⃣网格算法和穷举法 8️⃣一些连续离散化方法 9️⃣数值分析算法 图象处理算法 ---- 前言 提示 二、十大算法 1️⃣蒙特卡罗算法 该算法又称随机性模拟算法，是通过计算 机仿真来解决问题的算法，同时可以通过模拟可以来检验自己 模型的正确性，是比赛时必用的方法 2️⃣数据拟合、参数估计、插值等数据处理算法 比赛中通常 会遇到大量的数据需要处理，而处理数据的关键就在于这些算 法，通常使用 Matlab 作为工具 3️⃣线性规划、整数规划、多元规划、二次规划等规划类问题 建模竞赛大多数问题属于最优化问题 模拟退火法、神经网络、遗传算法 (这些问题是用来解决一些较困难的最优化问题的算法,对于 有些问题非常有帮助,但是算法的实现比较困难,需慎重使用) 7️⃣网格算法和穷举法 网格算法和穷举法都是暴力搜索最优
1.1K10编辑于 2023-03-22 - 来自专栏波波烤鸭
PowerDesigner数据建模
PowerDesigner安装 云盘地址:https://pan.baidu.com/s/1MZnQhPZ6ityza9N9nAD3bw 提取码：8qpi 傻瓜式安装 E-R图 E-R图(实体关系图) 1.创建模型 生成数据库脚本 ? ? ? ? ?
82841发布于 2019-04-02 - 来自专栏云计算D1net
7大云计算数据仓库
云计算数据仓库通常包括一个或多个指向数据库集合的指针，在这些集合中收集生产数据。云计算数据仓库的第二个核心元素是某种形式的集成查询引擎，使用户能够搜索和分析数据。这有助于数据挖掘。 •BigQuery中的逻辑数据仓库功能使用户可以与其他数据源(包括数据库甚至电子表格)连接以分析数据。 关键价值/差异： •微软公司在2019年7月发布了Azure SQL数据仓库的主要更新，其中包括Gen2更新，提供了更多的SQL Server功能和高级安全选项。 •对于现有的SAP用户，与其他SAP应用程序的集成意味着可以更轻松地访问本地以及云计算数据集。 (7)Snowflake 对潜在买家的价值主张。 7个顶级云计算数据仓库对比图表 ? （来源：企业网D1Net）
7.5K30发布于 2019-09-26 - 来自专栏CDA数据分析师
数据挖掘与数据建模的9大定律（深度长文 收藏细读！）
以及它们是如何相关的； 数据预处理就是利用业务知识来塑造数据，使得业务问题可以被提出和解答（更详尽的第三条—准备律）； 建模是使用数据挖掘算法创建预测模型，同时解释模型和业务目标的特点，也就是说理解它们之间的业务相关性 最简单的解释可以概括为“数据是困难的”，经常采用自动化减轻这个“问题”的数据获取、数据清理、数据转换等数据预处理各部分的工作量。 这是数据预处理重要的原因，并且在数据挖掘过程中占有如此大的工作量，这样数据挖掘者可以从容地操纵问题空间，使得容易找到适合分析他们的方法。 有两种方法“塑造”这个问题空间。 总之，数据挖掘算法提供一种超越人类以正常方式探索模式的能力，数据挖掘过程允许数据挖掘者和业务专家将这种能力融合在他们的各自的问题的中和业务过程中。 7 预测律：预测提高了信息泛化能力。 准确性是指正确的预测结果所占的比例；稳定性是指当创建模型的数据改变时，用于同一口径的预测数据，其预测结果变化有多大（或多小）。
1.8K50发布于 2018-02-11 - 来自专栏PPV课数据科学社区
大数据专家：大数据7大最奇特应用
在客户体验与库存管理流程方面，大数据通常会发挥重要作用。近来，我盘点了7个最有趣、最独特的大数据应用，以及它们可能对我们的生活产生的影响。 1.大数据广告牌 户外营销公司Route正使用大数据在广告牌、长椅以及公交车两侧的广告空间上设定定价模式。 7.大数据胸罩 True&Co 网站正利用大数据帮助女性寻找号码更合适的胸罩。统计数据显示，大多数女性都戴错了胸罩的号码，为此这家网站试图帮助解决这个问题。 该公司的内部品牌甚至会基于用户的反馈和公司收集到的数据开发和设计新式胸罩。 利用大数据的可能性是无穷无尽的，我们可能需要时间去寻找大数据的更多应用方式。你最近看到有趣或不同寻常的大数据项目吗? 知识无极限 6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布 7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载 8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募 9、
1.2K50发布于 2018-04-20 - 来自专栏数据科学与人工智能
【数据】金融领域7大数据科学案例
笔者邀请您，先思考： 1 金融领域有哪些典型数据问题？ 2 金融领域应用那些数据科学方法？ ? 近年来，数据科学和机器学习应对一系列主要金融任务的能力已成为一个特别重要的问题。 管理客户数据 对于金融公司来说，数据是最重要的资源。因此，高效的数据管理是企业成功的关键。今天，在结构和数量上存在大量的金融数据：从社交媒体活动和移动互动到市场数据和交易细节。 人工智能工具，特别是自然语言处理，数据挖掘和文本分析有助于将数据转化为智能数据治理和更好的业务解决方案，从而提高盈利能力。 我们认为，我们主要关注金融领域的7大数据科学用例，但还有很多其他值得一提的。 如果您有任何进一步的想法，请在评论部分分享您的想法。 原文链接： https://medium.com/activewizards-machine-learning-company/top-7-data-science-use-cases-in-finance
1.7K00发布于 2018-07-30 - 来自专栏全栈程序员必看
领域建模与数据库建模
本文重点主要是比较OO建模和数据表建模两者特点，这两者我们已经发现属于两个不同方向，也就是说，属于两个完全不同的领域，在J道其他文章里我们 其实已经把这两个领域上升为不同的学科，数据表建模属于数学范畴思维 别小看这样一个小小包装，却决定了以后代码的维护性和扩展性， 打个比喻，日常生活中我们经常用各种盒子和袋子包装一些东西，这样做就是为了方便这些东西的携带或储藏，小到生活， 大到客观世界每个地方，都是包装分类的影子 因为方法的不同，软件路线也就存在下面几个路线：完全面向对象类建模路线(J道网站和笔者一直致力于这种路线的推介)； 一种是对象和关系数据库混合型，还有一种就是过去的完全关系数据库类型软件（如Foxpro/ Evans DDD可以说是近期与SOA相提并论的两大重要技术思想，SOA是着重于软件集成方面；而EvansDDD才是着重我们软件开发上， 在大部分情况下，软件开发重要程度不亚于软件集成，但是因为软件开发方面开源力量冲击 领域建模属于与具体.NET或Java技术无关的设计思想，有人总是说：.NET比Java简单，其实这又是一个大误区，如果都达到同样设计水准，无论使用.NET或Java，都需要付出同样的努力；那为什么有人觉得
96230编辑于 2022-07-31 - 来自专栏全栈程序员必看
数学建模（7）动态规划以及matlab实现
数学建模（7）动态规划以及matlab实现 概念 运筹学分支，求解多阶段决策过程最优化问题的数学方法 思路将复杂的多阶段决策问题分解为一系列的简单，离散的单阶段决策问题，顺序求解法 在考虑本阶段最优的情况下兼顾整体最优的解决方法 描述决策变化的量），允许决策集合（决策变量的一定允许取值范围，由约束条件决定） 5.策略和允许策略集合（决策序列）全过程策略，k部子策略 6.状态转移方式，从一个状态转移到另一个状态的转移的方式 7. 在个人看来动态规划实际就是编程解决大量数据的决策问题的一种重要编程理念和编程思路。 分厂分配1台设备，3分厂分配3个设备，得到最优解为18万元 Matlab代码： a = zeros(1,5); %建立一个1*5的空矩阵用于储存f1(x)+g2(4-x)的结果 f1=[0 3 5 6 7 6 5] f2=[0 4 6 7 8 9 10] f3=[0 2 5 9 8 8 7] %输入 s1 = zeros(1,5); s2 = zeros(1,5);
1.2K20编辑于 2022-11-15 - 来自专栏IT大咖说
大咖谈Kubernetes的建模应用
说起建模，很多小伙伴都不陌生，就是为了理解某一事物而对该事物做出的某一种抽象，是对这个事物没有歧义的一种描述，也叫建立模型。 当然，建模也分系统建模，数据建模等好多种类，那么今天，我们就来简单了解一下在Kubernetes环境下建模。 ? 既然谈到Kubernetes的建模，我们就需要简单了解Kubernetes架构，就像大多数小伙伴知道的那样，Kubernetes集群是具有双重角色的：Kubernetes代理和Kubernetes服务。 可是，每当我们操作的时候，可能都会想到一个问题，Kubernetes 能够大规模地为数据中心建模并通过控制器操作数据中心吗？
63720发布于 2018-10-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号