首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏桥路_大数据

    实时数仓:流式数据建模

    流式数据模型 架构设计 数据模型设计是贯穿数据处理过程的,在实时流式数据处理中也一样。实时建模与离线建模类似,数据模型整体上分为5层(ODS、DWD、DWS、ADS、DIM)。 ? 但在进行指标计算时,事实数据实时进行订阅,使用到的维度表数据不会进行实时更新获取,而使用的是T-2的离线数据。且维度表数据会存储在DIM层中,在计算时进行获取。 首先是因为维度数据变化比较缓慢,其次如果维度也进行实时更新,那么当天计算出来的数据一致性就会出现问题,比如2点前的计算结果是维度未更新时的结果,2点后的计算结果是维度更新后的结果。 那为什么维度数据的延迟为T-2?虽然最好情况是使用T-1的数据,即昨天的数据进行计算。 但T-1的数据,是在0点之后通过ETL抽取到离线系统进行计算,而计算过程需要一段时间,假设凌晨2点计算完成,那2点之前的实时数据在计算时,使用的依然是T-2的旧维度数据。

    2.1K20发布于 2021-01-06
  • 来自专栏好好学习

    【UML建模】(2) UML建模之用例图

    用例图主要用来描述软件的使用者是谁,软件提供哪些功能,它用来表示一个系统中用例与参与者及其关系的图,主要用于需求分析阶段

    1.5K11编辑于 2022-03-31
  • 来自专栏韩锋频道

    数据建模1,2,3

    2. 维度建模 1).基本概念 在建模过程中,涉及到很多概念。下面通过一个场景来,来说明它们。例如:常见的电商下单环节,每个用户提交一笔订单(仅限一个物品),就对应于一条订单记录。 【业务过程】:下订单 【粒度】:每笔订单(拆分为单个物品) 【维度】:地域、年龄、渠道等(可供分析的角度) 【事实/度量】:订单金额等(可用于分析的数据) 2).建模步骤 收集业务需求与数据实现 在开始维度建模工作之前 3).建模规范 以维度建模为理论基础,定义一系列术语来描述建模对象。下图摘自于《阿里巴巴大数据实践之路》。 ? 数据域 指面向业务分析,将业务过程或者维度进行抽象的集合。 设计要点 1).维度表设计 维度是维度建模的基础和灵魂。在维度建模中,将度量称为"事实",将环境描述为"维度",维度是用于分析事实所需要的多样环境。维度所包含的表示维度的列,称为维度属性。 2).事实表设计 事实表作为数据仓库维度建模的核心,紧紧围绕着业务过程来设计,通过获取描述业务过程的度量来表达业务过程,包含了引用的维度和与业务过程有关的度量。

    1.6K51发布于 2019-06-06
  • 来自专栏《C++与 AI:个人经验分享合集》

    怎样利用 MATLAB 进行实时系统的建模与仿真?

    要利用MATLAB进行实时系统的建模与仿真,您可以按照以下步骤进行操作: 确定系统的建模方法:根据实际情况,选择适合的建模方法,如:微分方程、状态空间模型、传递函数模型等。 编写系统模型的MATLAB代码:利用MATLAB的建模工具,编写系统的模型代码。您可以使用ODE函数求解微分方程,使用tf函数创建传递函数模型,使用ss函数创建状态空间模型等。 需要注意的是,MATLAB可以进行离散时间仿真和连续时间仿真,对于实时系统的仿真,通常采用离散时间仿真。在进行离散时间仿真时,需要注意设置适当的采样时间,以保证仿真结果的准确性。

    74310编辑于 2024-12-09
  • 来自专栏了不得的专栏

    详解cn2gt(gis)和CN2 GIA的区别办法

    开头的CN2节点(CN2即中国电信下一代承载网的简称),普通CN2一般代表CN2 GT或CN2 GIS,国内传输由电信163骨干网承载,仅在出国节点介入CN2的59.43路由,一般情况下拥堵仍然在163 骨干发生,因此会导致CN2 GT(GIS)线路在骨干网拥堵时与国外的连接效果也会较差,CN2 GIA在中国大陆省级节点全程介入CN2路由,即省级-出海路由全部用CN2 GIA专用线路,负载低,质量高,速度快 下面来做个CN2GT的图文介绍: 下图是美国洛杉矶CN2 GT线路,以美国CN2 GT线路的 IP 156.238.2.1为例,襄阳电信追踪美国CN2的IP,中国大陆内:襄阳到广州的路由全部由202.97 的163骨干网承载,在省级路由中没有任何59.43的CN2节点,仅在出海时进入CN2节点,也就是在图中的第八跳才出现CN2节点59.43的路由,这就是典型的CN2 GT线路 ? 然后来看一下CN2 GIA的图文介绍: 下图是美国圣何西CN2 GIA线路,以美国CN2 GIA线路的 IP 104.233.227.31为例,襄阳电信追踪美国CN2 GIA的IP,中国大陆内的行程为:

    3K30发布于 2021-06-15
  • 来自专栏学习成长指南

    数学建模Python必知必会(2)

    我们一般选择自己熟悉的这个方法就可以了,不然如果一个方法在不同的模块里面的这个名字是一样的,这个时候你有同时导入多个模块,这个时候就会冲突;关于第三方库的说明:内置模块直接导入,第三方库,需要使用这个pip包管理器进行这个库的安装;2.

    24310编辑于 2025-03-22
  • 来自专栏OpenFPGA

    数字硬件建模SystemVerilog-组合逻辑建模(2)always和always_comb

    使用通用always程序建模 最佳实践指南7-4 使用RTL专用的always_comb程序对组合逻辑进行建模。不要在RTL模型中使用通用的always程序。 虽然不推荐always程序用于RTL建模,但本文中讨论了如何正确使用通用always程序对组合逻辑进行建模,因为这种通用程序在传统的Verilog模型中很常见。 组合逻辑敏感列表。 首先,综合编译器对组合逻辑建模施加了一些限制。使用@ * 可以推断出一个敏感度列表,但不强制执行用于组合逻辑建模的其他综合规则。@ * 的第二个问题是没有推断出完整的敏感度列表。 最常见的两种情况是: 1.决策语句分配给每个分支中的不同变量,如下面的代码段所示, 2.决策语句不会对决策表达式的每个可能值执行分支。下面的代码片段说明了这个问题。 但是,如果操作码输入的值应为2’b11,则本例不会对result变量进行任何赋值。

    3.9K10编辑于 2023-02-14
  • 来自专栏Spark学习技巧

    第2篇:数据库关系建模

    第二篇:数据库关系建模 前言 ER建模环节完成后,需求就被描述成了ER图。之后,便可根据这个ER图设计相应的关系表了。 但从ER图到具体关系表的建立还需要经过两个步骤:1. 逻辑模型设计 2. 2. 列(column) 列就是字面意义上表的列。但是它也有时被称作属性,或者域。 3. 行(row) 行就是字面意义上表的行。但是它也有时被称作元祖,或者记录。 4. 2. 将具有复合属性的实体映射为关系 这类映射中,复合属性的各子属性会映射到的新的关系中,但是复合属性名本身不会。 如下实体: ? 将映射为关系: ? 我们首先可以认为概念模型建模和ER建模,需求可视化表达的是一个意思。在这个环节中,数据开发人员绘制ER图,并和项目各方人员协同需求,达成一致。 这个映射的过程,就叫做逻辑模型建模或者关系建模。 有人会说,ER图不是可以直接映射到关系吗,而且已经有了相应的映射工具了,为什么还要绘制ER图多此一举呢?针对这个问题前文已经回答了。

    2.3K61发布于 2018-03-20
  • 来自专栏往期博文

    数学建模暑期集训2:模糊综合评价

    在上篇内容中,记录了模糊数学的一些基础知识,本篇将运用部分知识来构建模糊综合评价。 文章目录 1.隶属函数的三种确定方法 1.1模糊统计法 1.2借助已有的客观尺度 1.3指派法 2.模糊综合评价 2.1一级模糊评价模型 2.2多级模糊评价模型 3.总结 1.隶属函数的三种确定方法 1.1 1.3指派法 最常用梯形分布: 2.模糊综合评价 主要确定因素集、评语集、权重集。 本身不难理解,通过例子即可体悟。 例2:通过指派法来确定模糊综合评价矩阵 2.2多级模糊评价模型 多级模糊评价,和单级大同小异。 例子: 3.总结 模糊综合评价比较简单,不需要通过编程计算。

    1.1K30编辑于 2022-06-14
  • 来自专栏软件方法

    建模答题赛第2赛季第10轮(纠正某些书上的建模错误)

    [改错题]很多书中的建模示例都存在问题。请根据《软件方法(上)》第2版的知识,指出以下材料存在的问题。 ? 摘自 Python Projects,Laura Cassell,John Wiley & Sons,2015 要求指出 (1)错误 (2)所用参考知识在《软件方法(上)》第2版中的页码。 (2)不同的人指出相同的错误,该错误的得分者归属回答时间最早而且本题结算后为正分的人。 举例:张三先指出A、B、C、D共4个错误,其中只有A是恰当的。李四紧随其后面指出了A。 2 城市:济南,单位:LXB Mingchu 1 城市:墨尔本 yuyjx 1 城市:沈阳,单位:DR 晚安月亮 1 城市:济南,单位:LXB

    63920发布于 2019-10-08
  • 来自专栏ATYUN订阅号

    AI系统DeepRay实时处理视频,重建模糊的镜头帧

    研发公司Cambridge Consultants的研究人员表示,他们利用AI可以实时重建镜头中受损或模糊的帧。在一次关于机场的视频测试中,它能够准确地再现跑道上的飞机。 但与大多数AI不同,DeepRay能够处理实时视频。

    1.3K10发布于 2018-12-24
  • 来自专栏软件方法

    《软件方法》随想(2)业务建模之愿景

    业务建模之愿景 关于《软件方法》,愿景一章,做了以上的知识框架梳理。 这里面愿景,就是目标组织代表(老大),在引进系统之后希望带来的改进。

    37020编辑于 2022-10-31
  • 来自专栏云深之无迹

    使用Python进行数学建模(语言基础2)

    索引可以得到单个字符,而 切片 可以获取子字符串: >>> >>> word[0:2] # characters from position 0 (included) to 2 (excluded)'Py ' >>> word[2:5] # characters from position 2 (included) to 5 (excluded)'tho' 注意切片的开始总是被包括在结果中,而结束不被包括 这使得 s[:i] + s[i:] 总是等于 s >>> >>> word[:2] + word[2:]'Python' >>> word[:4] + word[4:]'Python' 切片的索引有默认值 ;省略开始索引时默认为0,省略结束索引时默认为到字符串的结束: >>> >>> word[:2] # character from the beginning to position 2 (excluded 例如, word[1:3] 的长度为2。

    1.6K40编辑于 2022-11-29
  • 来自专栏软件方法

    《软件方法》强化自测题-业务建模(2)

    按照业务建模、需求、分析、设计工作流考查。 答案不直接给出,可访问每套题后面给出的自测链接或扫二维码自测,做到全对才能知道答案。 (2) 1 [ 单选题 ]针对最近新闻报道中“大熊猫玩菜刀”的新闻,如果动物园决定引入IT系统,监控并辨别大熊猫的危险行为,一旦判断出有类似“玩菜刀”之类的行为,就向动物园熊猫馆管理员报警。 以下说法正确的是: A) 业务建模时,研究对象应该定为熊猫馆 B) 业务建模时,研究对象应该定为大熊猫 C) 业务建模时,如果大熊猫是一只,研究对象应该定为大熊猫,如果大熊猫是多只,研究对象应该定为熊猫馆管理员 D) 业务建模时,研究对象应该定为熊猫馆管理员 2 [ 单选题 ]以下可以作为“老大”的是: A) 居住在美国纽约法拉盛的中国公众人物罗玉凤 B) 世界五百强之一的零售商家乐福公司售货员 C) paperId=2TNJIV

    99420编辑于 2022-04-09
  • 来自专栏Python与算法之美

    2个范例带你读懂高阶API建模方法

    使用Keras接口有以下3种方式构建模型:使用Sequential按层顺序构建模型,使用函数式API构建任意结构模型,继承Model基类构建自定义模型。 此处分别演示使用Sequential按层顺序构建模型以及继承Model基类构建自定义模型。 = plt.subplot(122) ax2.scatter(X[:,1],Y[:,0], c = "g") plt.xlabel("x2") plt.ylabel("y",rotation = 0) =(2,))) model.summary() ? ,1].numpy(),c = "g") ax2.legend(["positive","negative"]); ax2.set_title("y_pred"); ?

    71820发布于 2020-07-20
  • FME在AEC行业能完成哪些数据集成任务?

    BIM、GIS、IoT和实时数据。 FMEPlatform更适合作为现有设计、GIS和业务系统之间的数据集成与自动化层,而不是替代BIM建模、GIS分析或资产管理软件。 SafeSoftware的AEC行业资料明确将BIM/CAD/GIS数据集成、工作流自动化、2D/3D可视化和数字孪生列为FME在建筑、工程与施工领域的主要应用方向。FME在AEC中的核心定位是什么? 任务七:数字孪生数据准备与集成数字孪生通常需要多类数据共同工作,例如:BIM+GIS+资产数据+IoT+实时数据SafeSoftware的AEC资料明确提出,可以通过集成BIM、IoT和实时数据流构建数字孪生相关数据体系 FME主要是数据集成平台,因此通常不替代以下专业软件能力:BIM建模FME不会替代Revit等BIM设计和建模工具。CAD设计不会替代专业CAD制图环境。

    9810编辑于 2026-09-17
  • 课前准备--蛋白建模AlphaFold 2与AlphaFold 3

    我们先来看看AlphaFold 2可以把 AlphaFold 2(AF2) 理解成蛋白质结构预测领域一个非常重要的分水岭。 例如:MKTIIALSYIFCLVFADYKDDDDK...AlphaFold 2希望得到:Residue 1 → x1,y1,z1Residue 2 → x2,y2,z2Residue 3 → 假设直接预测:Cα1 = (x1,y1,z1)Cα2 = (x2,y2,z2)...存在一个问题:如果把整个蛋白旋转:旋转前: protein ↓旋转后: / /蛋白质本身没有变化 三十七、AlphaFold 2和传统同源建模有什么区别? nucleotidesRNA → nucleotidesLigand → arbitrary chemical graphIon → atomAF3的一个重要思想就是:把不同类型的生物分子放到统一的结构建模框架中

    21810编辑于 2026-08-23
  • 来自专栏HT

    倾斜摄影实景三维在智慧工厂 Web 3D GIS 数字孪生应用

    实现价值 基于 HT for Web 和 GIS 技术的数字钢铁厂建设主要有以下三部曲: ? 数据获取: Ø 钢铁厂三维场景数据获取方式主要有两种:一种是通过航拍建模;一种是通过人工建模。 除了上述特点之外,航拍建模的成果数据具有地理坐标系信息,可以准确的和GIS 匹配,人工建模要和 GIS 匹配需要人工进行空间矫正配准。 2、 线路漫游 除了定点漫游外,HT 和 GIS 的集成方案中也提供了根据经纬度和海拔数据构建漫游线路,让用户以第一人称的视角按照指定线路对钢铁厂区进行巡检漫游,在制定线路的时候可以参考重点区域或智能化水平较高的区域进行制定 现今,大部分钢铁厂对厂区的环境监控都布设了相应的监控点位,通过对接设备上的实时数据,可以对厂区的环境进行全面的监测把控。 同时,针对影响环境的因素,如,车辆尾气的排放,也可以进行厂区的车辆分布及具体信息进行实时监控。 ? ?

    2.3K31发布于 2020-12-08
  • 来自专栏行业科技知识分享

    智慧城市大数据运营中心 IOC 之 Web GIS 地图应用

    智慧城市智能运营中心(IOC)案例以厦门为基点,使用 Hightopo 的 2D、 3D 和 GIS 可视化技术进行搭建。 2D 和 3D 的无缝融合等技术优势,在 GIS 系统中对海量的 POI 数据、交通流量数据、规划数据,现状数据等进行多样化的可视化展示。 HT for Web GIS 产品颠覆传统的 GIS 系统的开发,让 2D GIS 系统和 3D GIS 系统的开发变得更加便捷,数据更加直观,展现更加多样化。 新阶层.png 效果展示 IOC 智慧城市智能运营中心大屏结合 GIS 地图,以城市地图为背景,辅以左右两侧 2D 面板进行展示。 GIS 结合的可视化展现;结合 HT for Web 三维视频融合产品,实现 GIS 场景中的实时视频融合展示。

    2.1K30发布于 2021-05-07
  • 2H-TaS2 过渡金属插层超晶格相图建模

    使用抗磁离子Zn2+和Sc3+作为磁性离子的代理,揭示了√3×√3有序在远宽于传统预期的范围内占主导——即使在x=1/4处,√3×√3畴也优于2×2。Raman光谱实验证实了2×2有序的脆弱性。 2H-TaS2是最具代表性的插层主体材料之一,当1/4和1/3的八面体间隙位被占据时(对应体相组成2H-M0.25TaS2和2H-M0.33TaS2),插层离子可形成2×2和√3×√3超晶格,展现出截然不同的磁学性质 STEM显示2H-Cr0.25TaS2中存在2×2有序畴(数百纳米)与少量√3×√3区域共存,而单晶XRD仅显示2×2有序。这表明需要有限温度下的热力学相图理论来指导实验。 结构参数:(a)2H-TaS2、2H-Zn0.5TaS2和2H-Sc0.5TaS2双层结构参数;(b)三角畸变对晶体场分裂的影响;(c)Zn2+和Sc3+的预期d轨道电子排布四、插层驱动的电子效应4.1 短程排斥+构型熵→√3×√3有序的广泛存在④实验启示:为靶向特定超晶格相提供材料选择和热处理的指导局限性与未来方向①成对模型对高价态离子(Sc3+)精度有限→需团簇展开②刚性晶格近似→需考虑面外弹性效应③仅建模了抗磁代理离子

    18610编辑于 2026-07-04
领券