首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏腾讯大讲堂的专栏

    维度建模和指标体系构建

    01 数仓建模综述 数据建模是数据开发工作中的核心与基石,好的模型体系好处很多: 降低成本:优秀的模型设计能够提升数据复用性,减少计算/存储资源浪费 提升开发效率:优秀的模型设计能够降低数据使用门槛,减少工作量 一个典型的维度建模一般需要经过如下几个步骤: 业务调研:调研需要建模的业务形态,划分基本的业务线/数据域 层次设计:定义数仓层级,保证各层级之间职责明确,划分清晰 规范设计:定义数仓中表/字段的命名规范 在阿里的数据体系中的每个指标都可以通过如下的规则描述。 ? ,构建总线矩阵 根据数据需求整理指标体系,规范指标定义和命名 ? 因此在数仓建模的时候应该考虑将两者维护在同一个数据仓库之下,减少重复开发。

    4.6K41发布于 2020-11-23
  • 来自专栏人力资源数据分析

    TD人才发展体系化构建模型分享

    到了年底很多的HR同学开始要做第二年的培训计划,,今天和大家分享一个TD人才发展的体系化模型构建的分享,希望能帮助到大家完善自己公司内部的培训体系,构建起体系化的人才发展。 首先我们把整个TD的体系 用了一个图来做呈现 在这个图里包含了公司内部各个部门,各个岗位,各个阶段的人才发展的计划,通过学习发展项目,学习地图等串联起了整个公司的人才发展,我们一一和大家解读下这个 各个部门的人才发展计划,首先需要对部门的岗位进行分级,这个可以在胜任力模型里先构建,根据不同职级的岗位设计不同的学习课程,所以在部门的人才发展上就会引入学习地图这个项目,通过学习地图构建起完善的人才发展体系 同时以胜任力模型,ERP管理系统和E-LEARNING学习平台,TTT内训师体系的辅助来完成整个TD的人才发展。 TD人才发展是一个综合的模块,并不单单是培训这个板块,其实会和薪酬,绩效等都有关联,作为TD专家一定要了解人力资源的各个模块,以人才发展为目的进行体系的构建。

    1.9K20编辑于 2022-12-28
  • 个人思维体系元模型-完整建模文档输出

    大家好,我是人月聊IT 今天继续分析个人思维体系的元模型建模提示词和最终构建的元模型文档。这套方法经过多次迭代和调整后,相对已经比较成熟。 如果你本身也有大量的个人原创自媒体文章,或者说有个人的本地笔记本,大家都可以参考该思路对于你某一个核心主题的文章进行逆向建模输出。 3-5个):最抽象、最核心的思维框架 二级概念(支撑领域,8-15个):一级概念的展开 三级概念(具体方法,20-30个):可操作的方法、工具、模式 示例层级: 一级:思维体系 ├─ 二级:认知方法 │ 概念数量:一级3-5个,二级8-15个,三级20-30个 请开始分析。 阶段三:关系网络构建 提示词 3-1 基于已构建的概念体系,现在构建概念间的关系网络。 8️⃣ 引用索引 高价值文章Top10 《构建思维能力知识体系和框架逻辑的闭环体系》(2021-06-16):涵盖思维双主线、闭环体系、动静融合、双循环结构 《我是如此思考的-思维整体框架和逻辑》(2021

    18110编辑于 2026-02-28
  • 来自专栏往期博文

    数学建模番外篇8:画图配色

    前面已经总结了各类画图类型/套路/技巧,此篇来总结一下配色。 之前有提到,通常在白底背景下,颜色以淡色为主会显得比较美观。

    51310编辑于 2022-06-14
  • 来自专栏大数据成神之路

    数据仓库体系建模&实施&注意事项小总结

    数据仓库其实是一套体系,他不是一门什么技术,而是整合了很多已有的技术,来更好地组织和管理数据。 就目前互联网数仓这一岗位,感觉更加偏重业务+建模思想,面试不太好考察这些内容的,去年招聘的时候,就是问些基本问题,聊聊以往主要的工作内容,还会问问SQL题,真的想了解下建模的话,还是找本书借鉴性的看看, 说到数仓建模,就得提下经典的2套理论: 范式建模 Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。 维度建模 Kimball提出的总线式的自下而上(DM-DW)的数据仓库架构。 维度建模,一般都会提到星型模型、雪花模型,星型模型做OLAP分析很方便。 指标字典 前面我们说过,数仓是一套体系,一个建设过程,它整合了很多的方法论,并不是一门新的技术。这里我们说说数仓中的指标体系,指标也不是数仓或者数据平台中特有的, 很多场景都会有指标这个概念。

    1.2K21发布于 2021-07-12
  • 来自专栏linux驱动个人学习

    ARMV8体系结构简介

    1.前言 本文的主要内容来源于ARMV8白皮书v5,对ARMV8做一个概述。 包含如下的内容: 首先从背景谈起,讲述ARM的发展历程; 之后介绍ARMV8体系结构的基本特征; 介绍A64指令集 介绍异常级别 介绍内存管理单元 介绍编程寄存器 介绍DEBUG相关 ARMV8生态系统的演化 从1995年,ARMV4(主要对应ARM7 family)开始到现在ARM RISC体系结构到现在已经演化了20多年。 (1)考虑到ARMV7被市场广泛接受,以及形成的成熟的生态,因此后续的体系结构升级需要做到向后兼容; (2)另外要让厂商能够愿意将软件系统迁移到新的体系结构,新的体系结构一定要有原体系结构不具有的优势 ARMV8目前只定义了Application profile ARMV8定义了48bit符号虚拟地址和达到48bit物理地址 ARMV8采用了新的指令集A64 ARMV8兼容ARMV7的指令 A32和A64

    1.6K10发布于 2019-05-25
  • 来自专栏肉眼品世界

    数据体系:规范、建模、标签、设计、融合、建设....(82页PPT)

    82520编辑于 2022-01-21
  • 来自专栏往期博文

    数学建模暑期集训8:熵权法

    在本专栏第三篇博文中列举了熵权法的公式数学建模学习笔记(三)熵权法Excel实现,但用Excel实现的讲解视频已经无法观看,这篇博文就来用matlab实现熵权法,比excel手动操作更加方便。

    94620编辑于 2022-06-14
  • 来自专栏Spark学习技巧

    数据仓库体系建模实施及注意事项小总结

    数据仓库其实是一套体系,他不是一门什么技术,而是整合了很多已有的技术,来更好地组织和管理数据。 就目前互联网数仓这一岗位,感觉更加偏重业务+建模思想,面试不太好考察这些内容的,去年招聘的时候,就是问些基本问题,聊聊以往主要的工作内容,还会问问SQL题,真的想了解下建模的话,还是找本书借鉴性的看看, 说到数仓建模,就得提下经典的2套理论: 范式建模 Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。 维度建模 Kimball提出的总线式的自下而上(DM-DW)的数据仓库架构。 维度建模,一般都会提到星型模型、雪花模型,星型模型做OLAP分析很方便。 指标字典 前面我们说过,数仓是一套体系,一个建设过程,它整合了很多的方法论,并不是一门新的技术。这里我们说说数仓中的指标体系,指标也不是数仓或者数据平台中特有的, 很多场景都会有指标这个概念。

    71811编辑于 2022-01-13
  • 来自专栏ThoughtWorks

    数据仓库项目中的数据建模和ETL日志体系

    数据仓库项目跨功能需求开发不够完善,导致的各种问题,就我个人经验来说,主要体现在数据建模不够标准和ETL日志体系不够完善两个方面,本文会详细介绍一下,如何从跨功能需求的角度,构建标准的数据建模和完善的ETL 日志体系。 ETL日志体系不够完善两个方面,下面详细的介绍一下,如何从跨功能需求的角度,构建标准的数据建模和完善的ETL日志体系。 因此,个人建议在数据仓库建模的不同阶段,不同类型的数据仓库,采用不同的方法,因地制宜,从而保证整个数据仓库建模的质量。 ---- ETL日志体系 说到日志,相信大家都不陌生。 我在这里只是抛砖引玉,数仓类的跨功能需求不仅仅是数据建模和ETL日志体系,还有其他跨功能需求没有在本文中体现。例如,性能、安全、可用性等等,也都同样重要。

    94910发布于 2021-01-12
  • 来自专栏技术汇总专栏

    多智能体系统中的环境建模与自适应控制策略【基于深度学习的动态环境建模

    多智能体系统中的环境建模与自适应控制策略【基于深度学习的动态环境建模】引言随着人工智能技术的进步,尤其是在强化学习和多智能体系统中的应用,智能体环境的建模和优化显得尤为重要。 本文将探讨如何利用物理引擎和实时渲染优化技术来提高智能体环境建模工具的性能,并通过一个简单的代码实战来展示这一过程。物理引擎的作用物理引擎在智能体环境中充当着“现实世界”的模拟器。

    36620编辑于 2025-11-19
  • 来自专栏做数据的二号姬

    从零搭建微信公众号数据分析体系建模

    12 2023-09 从零搭建微信公众号数据分析体系建模篇 数据整理完了,接下来就是建模了~接着上周的进度继续给大家同步进展,终于开始做建模和数据入库啦~ LEARN MORE 搭建微信公众号数据分析体系 按照约定,又到了周二给大家同步一下作(zhe)死(teng)进展的时刻: 第一周,在从零搭建微信公众号数据分析体系:准备篇 (qq.com)中,做了一个初步的需求设计和基本的软件确定。 在从零搭建微信公众号数据分析体系:调研篇 (qq.com)中,设计了一个简单的逻辑模型。 在建模之前,我又想作死搞点别的。 工欲善其事必先利其器 虽然上周只是一个简单的逻辑模型出来,但实际上整个数据库中怎么建表,建几张表,字段怎么命名,怎么入库的答案已经在我脑子里了。 除了报表中有的信息,我又单独加了一些我觉得有必要的信息到其中: 最终的模型是这个样子的: ​ 这个建模工具用起来非常简单,我都不知道怎么描述才好,直接把做模型用的语句放在这里,如果有类似需求的朋友们

    66130编辑于 2023-09-19
  • 来自专栏博文视点Broadview

    8种最差的预测建模技术,你认同吗?

    以下罗列了8种最差的预测建模技术以及仍被使用的原因。 以下技术大多数已经发展了较长时间(在过去10年中),其中大部分缺点已经得到弥补,因此更新后的技术已经远不同于其原始版本,性能也大为提高。 8.朴素贝叶斯 用于如欺诈检测、垃圾邮件检测和评分。它们假定变量是独立的,但如果不是,就会惨遭失败。在进行欺诈检测和垃圾邮件检测时,变量(有时被称为规则)是高度相关的。

    53030发布于 2020-06-11
  • 来自专栏圆圆的算法笔记

    8篇论文详解用户历史行为序列建模方法

    本文汇总了8篇推荐系统中对用户历史行为序列建模的方法,包括DIN、DIEN等经典模型。 其次,DIN中提出序列建模(如RNN建模历史行为序列)效果不好,这其实是因为历史行为序列的随机性较大,消费者在电商平台看到的东西同时属于多种类型,序列中不同类型的节点跳变随机性强。 DSIN相比DIN的改进主要是对用户历史行为部分的建模更加精细化了,分session建模,得到的每个兴趣的表示更加丰富,而不像DIN只使用商品的ID embedding。 5 总结 本文我们介绍了8篇推荐系统或广告系统中的用户历史行为建模方法。 除了使用用户本身的行为序列进行建模外,使用一些相似用户的行为序列辅助学习,也会进一步取得不错的效果。 END

    4.3K20编辑于 2022-09-22
  • 来自专栏音视频技术

    WebRTC安全体系架构的8个组件

    本文主要研究WebRTC的安全体系结构以及如何设置它。 此外,无论使用那种托管服务提供商,都将复制相同的WebRTC安全体系结构。支持跨云解决方案的能力提高了灵活性。由于WebRTC安全实施是标准的,因此它还可以在不同区域中建立相同的安全功能特性。

    2.3K20发布于 2020-11-11
  • 来自专栏全栈程序员必看

    8 款免费的 MySQL 数据库建模工具

    数据库建模和设计是软件开发过程中必不可少的步骤,一个良好的建模工具可以帮助我们简单快速地完成数据库设计,提高工作的效率。 因此,今天给大家推荐几款免费的 MySQL 数据库建模工具,首先给出它们的功能比较: 建模工具 支持平台 ERD 正向工程 逆向工程 模式同步 MySQL Workbench Windows、Linux ✔️ ✔️ ✔️ ❌ DB Designer 在线建模 ✔️ ✔️ ✔️ ❌ dbdiagram.io 在线建模 ✔️ ✔️ ✔️ ❌ Freedgo 在线建模 ✔️ ✔️ ✔️ ❌ ERD 是指实体关系图 GenMyModel GenMyModel 是一个基于浏览器的在线建模平台,支持 Archimate、BPMN、Flowchart、RDS(关系型数据库建模)、UML 等模型,个人可以免费使用。 总结 本文介绍了 8 款免费的 MySQL 数据库常用建模工具,包括客户端软件和在线工具。客户端软件提供了强大完善的建模功能;在线建模工具无需安装即可使用,功能相对简单一些。

    18.6K64编辑于 2022-07-23
  • 来自专栏软件方法

    UML建模工具2021年8-11月更新(1)

    UMLChina整理的UML建模工具列表请见http://www.umlchina.com/tools/search.aspx 最近一段时间更新: 工具最新版本:Modelio 5.1.0 更新时间:2021 年10月26日 工具简介 UML和BPMN建模,强调协作建模,提供模型网络存储。 https://www.omnigroup.com/omnigraffle 工具最新版本:Astah Professional 8.4.1 更新时间:2021年9月29日 工具简介 日本老牌UML建模工具

    72420编辑于 2021-12-14
  • 来自专栏全栈测试

    8张思维导图,梳理Python知识体系

    Python 3 基础系列文章: Python 3 基本语法,总结分享(一) Python 3 基本语法,总结分享(二) Python 3 基本语法,总结分享(三) 主要介绍Python基本语法,今天用8张思维导图继续回顾 Python知识体系,点击图片放大查看。

    1.5K20发布于 2021-11-25
  • 来自专栏大数据成神之路

    DAMA数据管理知识体系指南之数据架构和建模

    六、数据建模和设计语境关系图 数据建模是发现、分析和确定数据需求的过程,用一种称为数据模型的精确形式表示和传递这些数据需求。 物理数据建模通常是第一步,以了解现有系统的技术设计;逻辑数据建模是第二步,以记录现有系统满足业务的解决方案;概念数据建模是第三步,用于记录现有系统中的范围和关键术语。 2、常用数据建模方法 2.1、关系建模 关系建模是一种能够清晰表达含义的组织数据的系统方法,在减少数据存储冗余方面卓有成效,特别适合设计操作型的系统。 最常见的就是信息工程法,用三叉线表示基数 2.2、维度建模。 维度建模的理念是,数据组织的方式是为了优化海量数据的查询和分析。 维度建模主要包括下面概念: 事实表:特定的数值型度量值。 8)如何使用数据建模工具的指南。 9)准备和领导设计评审的指南。 10)数据模型版本控制指南。 11)禁止或需要避免的事项列表。

    3.4K40编辑于 2023-04-07
  • 来自专栏全栈程序员必看

    数仓建模与分析建模_范式建模和维度建模

    建模方法论 今天我们主要介绍常见的建模方法,这也就是我们今天文章的名称——建模方法论 20年前兴起的数据仓库简单的可分为两大流派,Inmon方法和Kimball方法,分别由 Ralph Kimbal和Bill 区别的关键在于如何在数据仓库中建模、加载和存储数据的方式。而由此出发的不同架构影响到了数据仓库的建设成本和到适应用户不断变化的ETL逻辑的能力。 建模的目的 数仓的建模或者分层,其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话,所有的划分都是为了更好的管理。

    73610编辑于 2022-11-09
领券