首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏腾讯大讲堂的专栏

    维度建模和指标体系构建

    01 数仓建模综述 数据建模是数据开发工作中的核心与基石,好的模型体系好处很多: 降低成本:优秀的模型设计能够提升数据复用性,减少计算/存储资源浪费 提升开发效率:优秀的模型设计能够降低数据使用门槛,减少工作量 一个典型的维度建模一般需要经过如下几个步骤: 业务调研:调研需要建模的业务形态,划分基本的业务线/数据域 层次设计:定义数仓层级,保证各层级之间职责明确,划分清晰 规范设计:定义数仓中表/字段的命名规范 在阿里的数据体系中的每个指标都可以通过如下的规则描述。 ? ,构建总线矩阵 根据数据需求整理指标体系,规范指标定义和命名 ? 因此在数仓建模的时候应该考虑将两者维护在同一个数据仓库之下,减少重复开发。

    4.6K41发布于 2020-11-23
  • 来自专栏人力资源数据分析

    TD人才发展体系化构建模型分享

    到了年底很多的HR同学开始要做第二年的培训计划,,今天和大家分享一个TD人才发展的体系化模型构建的分享,希望能帮助到大家完善自己公司内部的培训体系,构建起体系化的人才发展。 首先我们把整个TD的体系 用了一个图来做呈现 在这个图里包含了公司内部各个部门,各个岗位,各个阶段的人才发展的计划,通过学习发展项目,学习地图等串联起了整个公司的人才发展,我们一一和大家解读下这个 各个部门的人才发展计划,首先需要对部门的岗位进行分级,这个可以在胜任力模型里先构建,根据不同职级的岗位设计不同的学习课程,所以在部门的人才发展上就会引入学习地图这个项目,通过学习地图构建起完善的人才发展体系 同时以胜任力模型,ERP管理系统和E-LEARNING学习平台,TTT内训师体系的辅助来完成整个TD的人才发展。 TD人才发展是一个综合的模块,并不单单是培训这个板块,其实会和薪酬,绩效等都有关联,作为TD专家一定要了解人力资源的各个模块,以人才发展为目的进行体系的构建。

    1.9K20编辑于 2022-12-28
  • 个人思维体系元模型-完整建模文档输出

    大家好,我是人月聊IT 今天继续分析个人思维体系的元模型建模提示词和最终构建的元模型文档。这套方法经过多次迭代和调整后,相对已经比较成熟。 如果你本身也有大量的个人原创自媒体文章,或者说有个人的本地笔记本,大家都可以参考该思路对于你某一个核心主题的文章进行逆向建模输出。 ->|支撑| C 统计摘要 一级核心概念:4个(思维双主线+学习实践+知识经验) 二级概念:12个 三级具体方法:25个 核心原则:15条 方法模式:10个 关键路径:4条 核心循环:3个 1️⃣ 概念体系 体现文章:《构建思维能力知识体系》《思维框架和模型-全面提升》 应用场景:避免空谈理论,确保思维产出转化为行动 原则10:群体进化原则 "个体的进化本质是来源于群体,将你放入到一个群体、一个环境中,你不断的学习实践 8️⃣ 引用索引 高价值文章Top10 《构建思维能力知识体系和框架逻辑的闭环体系》(2021-06-16):涵盖思维双主线、闭环体系、动静融合、双循环结构 《我是如此思考的-思维整体框架和逻辑》(2021

    18110编辑于 2026-02-28
  • 来自专栏大数据成神之路

    数据仓库体系建模&实施&注意事项小总结

    数据仓库其实是一套体系,他不是一门什么技术,而是整合了很多已有的技术,来更好地组织和管理数据。 说到数仓建模,就得提下经典的2套理论: 范式建模 Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。 维度建模 Kimball提出的总线式的自下而上(DM-DW)的数据仓库架构。 指标字典 前面我们说过,数仓是一套体系,一个建设过程,它整合了很多的方法论,并不是一门新的技术。这里我们说说数仓中的指标体系,指标也不是数仓或者数据平台中特有的, 很多场景都会有指标这个概念。 规范:dwd _ 业务域manual xxx 手工表,增加特殊的主题域,manual,表示手工维护表 指标 指标的命名也参考词根,避免出现同一个指标,10个人有10个命名方法。 我们公司的同步机制 我们呢,一创业公司,数据量不算多,使用的都是阿里云的工具,一开始为了方便,所有的数据,都是全量来的,刚看了眼数据量又10几T吧,其中很多是历史数据。

    1.2K21发布于 2021-07-12
  • 来自专栏肉眼品世界

    数据体系:规范、建模、标签、设计、融合、建设....(82页PPT)

    82520编辑于 2022-01-21
  • 来自专栏软件方法

    建模答题赛第2赛季第10轮(纠正某些书上的建模错误)

    [改错题]很多书中的建模示例都存在问题。请根据《软件方法(上)》第2版的知识,指出以下材料存在的问题。 ?

    50220发布于 2019-10-08
  • 来自专栏Spark学习技巧

    数据仓库体系建模实施及注意事项小总结

    数据仓库其实是一套体系,他不是一门什么技术,而是整合了很多已有的技术,来更好地组织和管理数据。 说到数仓建模,就得提下经典的2套理论: 范式建模 Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。 维度建模 Kimball提出的总线式的自下而上(DM-DW)的数据仓库架构。 指标字典 前面我们说过,数仓是一套体系,一个建设过程,它整合了很多的方法论,并不是一门新的技术。这里我们说说数仓中的指标体系,指标也不是数仓或者数据平台中特有的, 很多场景都会有指标这个概念。 规范:dwd _ 业务域manual xxx 手工表,增加特殊的主题域,manual,表示手工维护表 指标 指标的命名也参考词根,避免出现同一个指标,10个人有10个命名方法。 我们公司的同步机制 我们呢,一创业公司,数据量不算多,使用的都是阿里云的工具,一开始为了方便,所有的数据,都是全量来的,刚看了眼数据量又10几T吧,其中很多是历史数据。

    71811编辑于 2022-01-13
  • 来自专栏ThoughtWorks

    数据仓库项目中的数据建模和ETL日志体系

    数据仓库项目跨功能需求开发不够完善,导致的各种问题,就我个人经验来说,主要体现在数据建模不够标准和ETL日志体系不够完善两个方面,本文会详细介绍一下,如何从跨功能需求的角度,构建标准的数据建模和完善的ETL 日志体系。 ETL日志体系不够完善两个方面,下面详细的介绍一下,如何从跨功能需求的角度,构建标准的数据建模和完善的ETL日志体系。 因此,个人建议在数据仓库建模的不同阶段,不同类型的数据仓库,采用不同的方法,因地制宜,从而保证整个数据仓库建模的质量。 ---- ETL日志体系 说到日志,相信大家都不陌生。 我在这里只是抛砖引玉,数仓类的跨功能需求不仅仅是数据建模和ETL日志体系,还有其他跨功能需求没有在本文中体现。例如,性能、安全、可用性等等,也都同样重要。

    94910发布于 2021-01-12
  • 来自专栏技术汇总专栏

    多智能体系统中的环境建模与自适应控制策略【基于深度学习的动态环境建模

    多智能体系统中的环境建模与自适应控制策略【基于深度学习的动态环境建模】引言随着人工智能技术的进步,尤其是在强化学习和多智能体系统中的应用,智能体环境的建模和优化显得尤为重要。 本文将探讨如何利用物理引擎和实时渲染优化技术来提高智能体环境建模工具的性能,并通过一个简单的代码实战来展示这一过程。物理引擎的作用物理引擎在智能体环境中充当着“现实世界”的模拟器。 1000):p.stepSimulation()#更新物理引擎#控制物体:让其从空中掉落并反弹p.applyExternalForce(box_id,linkIndex=-1,forceObj=[0,0,-10 p.loadURDF("plane.urdf")box_id=p.loadURDF("r2d2.urdf",basePosition=[0,0,1])#设置时间步长time_step=0.01#时间步长为10 PythonAI代码解释importpybulletaspimporttime#启用GPU加速(如果支持)p.setPhysicsEngineParameter(numSolverIterations=10

    36620编辑于 2025-11-19
  • 来自专栏做数据的二号姬

    从零搭建微信公众号数据分析体系建模

    12 2023-09 从零搭建微信公众号数据分析体系建模篇 数据整理完了,接下来就是建模了~接着上周的进度继续给大家同步进展,终于开始做建模和数据入库啦~ LEARN MORE 搭建微信公众号数据分析体系 按照约定,又到了周二给大家同步一下作(zhe)死(teng)进展的时刻: 第一周,在从零搭建微信公众号数据分析体系:准备篇 (qq.com)中,做了一个初步的需求设计和基本的软件确定。 在从零搭建微信公众号数据分析体系:调研篇 (qq.com)中,设计了一个简单的逻辑模型。 在建模之前,我又想作死搞点别的。 工欲善其事必先利其器 虽然上周只是一个简单的逻辑模型出来,但实际上整个数据库中怎么建表,建几张表,字段怎么命名,怎么入库的答案已经在我脑子里了。 除了报表中有的信息,我又单独加了一些我觉得有必要的信息到其中: 最终的模型是这个样子的: ​ 这个建模工具用起来非常简单,我都不知道怎么描述才好,直接把做模型用的语句放在这里,如果有类似需求的朋友们

    66130编辑于 2023-09-19
  • 来自专栏有关SQL

    10分钟了解Oracle体系结构

      对于一门技术的学习,尤其是像Oracle database这种知识体系极其庞杂的技术来讲,从宏观上了解其体系结构是至关重要的。 下面是从网上找的一张图,描述了单实例体系结构大致的交互流程     ? LGWR是Oracle体系结构中最大的瓶颈之一。DML的速度不可能超过LGWR将变更向量写入磁盘的速度。    Oracle从10g开始,创建一个数据库至少需要两个数据文件,一个用于SYSTEM表空间,该表空间用来存储数据字典;一个用于SYSAUX表空间,这个表空间用来存储一些数据字典的辅助数据。    本文博主对Oracle的体系结构做了相对全面的介绍,包括内存结构,进程结构,存储结构等等,相信大家对其全貌也有了基本的了解。

    70810发布于 2019-12-25
  • 来自专栏算法工程师的学习日志

    Simulink建模与仿真(10)-Simulink混合系统模型及表示

    分享一个系列,关于Simulink建模与仿真,尽量整理成体系 一、混合系统的数学描述 混合系统是由不同类型的系统共同构成的,因此混合系统的数学描述可以由不同类型系统描述共同构成。

    80510编辑于 2023-11-15
  • 来自专栏程序你好

    微服务体系架构的10个最佳实践

    切换到微服务体系结构将解决所有软件体系结构问题,对吧?好吧,它不会。但微服务的实施确实也有很大的价值。 Huseyin Babal最近指出,基于微服务的体系结构不能解决所有问题。 以最佳实践的基础实现微服务体系结构可以极大地改善您的软件体系结构。 Huseyin是Aurea的首席软件架构师,也是Kloia的顾问。 他最近的演讲《微服务架构的终极指南》涵盖了他每天工作的大部分经验,并展示了实现微服务体系结构的最佳实践。 他介绍了涵盖每一种方法,包括大量的代码示例,以及10种最佳实践。 最佳实践#1 -努力达到the Glory of REST ? 实现REST api的好处(Glory)。 最佳实践#10 -事件源和CQRS(命令和查询职责分离) 命令改变对象的状态,但不返回数据。查询返回数据,但不改变对象的状态。

    1.2K30发布于 2018-07-23
  • 来自专栏软件方法

    UMLChina建模竞赛第3赛季第10轮:汽车、EA

     C) 当有其他公司想研发一款建模工具(代号X)来和EA竞争时,Sparx Systems公司就会成为X的目标组织。 ---- UMLChina建模答题赛第3赛季当前排行榜(至第9轮) 龙龙 5 城市:深圳,单位:GXT yuyjx 4.8 城市:沈阳,单位:DR Alan 4.2 城市:深圳,单位:WFT 深圳,单位:CY 小群 3 城市:广州,单位:LBT 第五元素 1.8 城市:昆明,单位:CH 索路 1 左耳东 1 城市:深圳,单位:JT -------------------- UMLChina建模答题赛第 城市:济南,单位:LXB 巧克力趣多多 1 城市:南宁,单位:IBM xieh 1 城市:北京,单位:TT -------------------- UMLChina建模答题赛第 1 城市:墨尔本 8月18-21晚网课:软件需求设计方法学全程实例剖析 8月11-14晚剔除“伪创新”的领域驱动设计-网络公开课 [新增EA027智慧公寓系统]25套UML+EA和StarUML的建模示范视频

    42910编辑于 2022-10-31
  • 来自专栏大数据成神之路

    DAMA数据管理知识体系指南之数据架构和建模

    六、数据建模和设计语境关系图 数据建模是发现、分析和确定数据需求的过程,用一种称为数据模型的精确形式表示和传递这些数据需求。 物理数据建模通常是第一步,以了解现有系统的技术设计;逻辑数据建模是第二步,以记录现有系统满足业务的解决方案;概念数据建模是第三步,用于记录现有系统中的范围和关键术语。 2、常用数据建模方法 2.1、关系建模 关系建模是一种能够清晰表达含义的组织数据的系统方法,在减少数据存储冗余方面卓有成效,特别适合设计操作型的系统。 最常见的就是信息工程法,用三叉线表示基数 2.2、维度建模。 维度建模的理念是,数据组织的方式是为了优化海量数据的查询和分析。 维度建模主要包括下面概念: 事实表:特定的数值型度量值。 8)如何使用数据建模工具的指南。 9)准备和领导设计评审的指南。 10)数据模型版本控制指南。 11)禁止或需要避免的事项列表。

    3.4K40编辑于 2023-04-07
  • 来自专栏全栈程序员必看

    数仓建模与分析建模_范式建模和维度建模

    建模方法论 今天我们主要介绍常见的建模方法,这也就是我们今天文章的名称——建模方法论 20年前兴起的数据仓库简单的可分为两大流派,Inmon方法和Kimball方法,分别由 Ralph Kimbal和Bill 区别的关键在于如何在数据仓库中建模、加载和存储数据的方式。而由此出发的不同架构影响到了数据仓库的建设成本和到适应用户不断变化的ETL逻辑的能力。 建模的目的 数仓的建模或者分层,其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话,所有的划分都是为了更好的管理。

    73610编辑于 2022-11-09
  • 来自专栏前端达人

    10课:Agent 体系,认识你的 AI 团队成员

    更深层能力的开发者 学完之后:你会知道 Claude Code 里有哪些"专业角色"可以调用、每种角色擅长什么、怎么调用 进阶能力篇正式开始 核心技能篇教你"怎么写好 prompt"——目标型思维、并行策略、验证体系 它有一套完整的 Agent 体系——8种专门角色,每种针对特定任务优化。你可以同时调动多个 Agent 并行工作,就像你有一个分工明确的开发团队。 }) 独有特性——thoroughness(彻底程度): Explore Agent 有三个搜索深度,你可以根据需要选择: thoroughness: quick → 10-30秒,快速定位特定文件或函数 手动翻代码:你需要一个文件一个文件打开、搜索关键字、跳转到引用、再搜索下一层……5步操作,每步10-15秒,总共1分钟以上。

    9610编辑于 2026-04-15
  • 来自专栏飞总聊IT

    10 人,2 个月 | 虾米音乐的监控体系升级之路

    致力于打造高可用、高拓展的站点稳定性工程)将工作重点放在了对监控的治理上面,经过 2 个月的研发,构建了虾米全新的监控体系

    1.1K20发布于 2019-09-02
  • 来自专栏全栈程序员必看

    数仓建模与分析建模_数据仓库建模与数据挖掘建模

    [外链图片转存中…(img-uQis5F2c-1645262440294)] 范式 第一范式:属性不可分割 第二范式:消除不分函数依赖 第三范式:消除传递依赖 关系建模与维度建模 关系建模:将复杂的数据抽象为两个概念 维度建模:模型相对清晰、简洁。维度模型以数据分析作为出发点,不遵循三范式,故数据存在一定的冗余。维度模型面向业务,将业务用事实表和维度表呈现出来。 4. 维度建模一般按照以下四个步骤:选择业务过程→声明粒度→确认维度→确认事实。 在DWD层,以业务过程为建模驱动,基于每个具体业务过程的特点,构建最细粒度的明细层事实表。事实表可做适当的宽表化处理。 DWD层是以业务过程为驱动。 DWS层、ADS层都是以需求为驱动,和维度建模已经没有关系了。 DWS层建宽表,按照主题去建表。主题相当于观察问题的角度,对应着维度表。

    1.9K20编辑于 2022-11-09
  • 来自专栏喵叔's 专栏

    RavenDB建模--常见建模方案

    在 RavenDB 中对如何在应用程序中进行数据建模没有任何要求,我们可以使用任何形式进行建模,RavenDB 只关心如何构建数据,这就是我们后续几篇文章要讲解的内容。 public Parent Mother { get; set; } public Registration Registration { get; set; } } 我们在建模时应遵循 RavenDB 建模的核心原则,要确定哪些信息可以放在一起,哪些信息是独立的,这就是我们上篇文章介绍的优秀的文档模型应具备独立、隔离和连贯性。 另一种情况是,如果需要对文档进行并发活动,由于文档是 RavenDB 中的并发单位,因此需要对文档进行建模,以便它们具有更改的单一原因。

    79110编辑于 2022-03-22
领券