- 综合排序
- 最热优先
- 最新优先
- 来自专栏桥路_大数据
实时数仓：流式数据建模
流式数据模型 架构设计 数据模型设计是贯穿数据处理过程的，在实时流式数据处理中也一样。实时建模与离线建模类似，数据模型整体上分为5层（ODS、DWD、DWS、ADS、DIM）。 ? 但在进行指标计算时，事实数据实时进行订阅，使用到的维度表数据不会进行实时更新获取，而使用的是T-2的离线数据。且维度表数据会存储在DIM层中，在计算时进行获取。 首先是因为维度数据变化比较缓慢，其次如果维度也进行实时更新，那么当天计算出来的数据一致性就会出现问题，比如2点前的计算结果是维度未更新时的结果，2点后的计算结果是维度更新后的结果。 那为什么维度数据的延迟为T-2？虽然最好情况是使用T-1的数据，即昨天的数据进行计算。 但T-1的数据，是在0点之后通过ETL抽取到离线系统进行计算，而计算过程需要一段时间，假设凌晨2点计算完成，那2点之前的实时数据在计算时，使用的依然是T-2的旧维度数据。
1.9K20发布于 2021-01-06 - 来自专栏好好学习
【UML建模】（2） UML建模之用例图
用例图主要用来描述软件的使用者是谁，软件提供哪些功能，它用来表示一个系统中用例与参与者及其关系的图，主要用于需求分析阶段
1.3K11编辑于 2022-03-31 - 来自专栏韩锋频道
数据建模1,2,3
2. 维度建模 1).基本概念 在建模过程中，涉及到很多概念。下面通过一个场景来，来说明它们。例如：常见的电商下单环节，每个用户提交一笔订单（仅限一个物品），就对应于一条订单记录。 【业务过程】：下订单 【粒度】：每笔订单（拆分为单个物品） 【维度】：地域、年龄、渠道等（可供分析的角度） 【事实/度量】：订单金额等（可用于分析的数据） 2).建模步骤 收集业务需求与数据实现 在开始维度建模工作之前 3).建模规范 以维度建模为理论基础，定义一系列术语来描述建模对象。下图摘自于《阿里巴巴大数据实践之路》。 ? 数据域 指面向业务分析，将业务过程或者维度进行抽象的集合。 设计要点 1).维度表设计 维度是维度建模的基础和灵魂。在维度建模中，将度量称为"事实"，将环境描述为"维度"，维度是用于分析事实所需要的多样环境。维度所包含的表示维度的列，称为维度属性。 2).事实表设计 事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。
1.5K51发布于 2019-06-06 - 来自专栏《C++与 AI：个人经验分享合集》
怎样利用 MATLAB 进行实时系统的建模与仿真？
要利用MATLAB进行实时系统的建模与仿真，您可以按照以下步骤进行操作： 确定系统的建模方法：根据实际情况，选择适合的建模方法，如：微分方程、状态空间模型、传递函数模型等。 编写系统模型的MATLAB代码：利用MATLAB的建模工具，编写系统的模型代码。您可以使用ODE函数求解微分方程，使用tf函数创建传递函数模型，使用ss函数创建状态空间模型等。 需要注意的是，MATLAB可以进行离散时间仿真和连续时间仿真，对于实时系统的仿真，通常采用离散时间仿真。在进行离散时间仿真时，需要注意设置适当的采样时间，以保证仿真结果的准确性。
57810编辑于 2024-12-09 - 来自专栏学习成长指南
数学建模Python必知必会（2）
我们一般选择自己熟悉的这个方法就可以了，不然如果一个方法在不同的模块里面的这个名字是一样的，这个时候你有同时导入多个模块，这个时候就会冲突；关于第三方库的说明：内置模块直接导入，第三方库，需要使用这个pip包管理器进行这个库的安装；2.
13610编辑于 2025-03-22 - 来自专栏Spark学习技巧
第2篇：数据库关系建模
第二篇：数据库关系建模 前言 ER建模环节完成后，需求就被描述成了ER图。之后，便可根据这个ER图设计相应的关系表了。 但从ER图到具体关系表的建立还需要经过两个步骤：1. 逻辑模型设计 2. 2. 列(column) 列就是字面意义上表的列。但是它也有时被称作属性，或者域。 3. 行(row) 行就是字面意义上表的行。但是它也有时被称作元祖，或者记录。 4. 2. 将具有复合属性的实体映射为关系 这类映射中，复合属性的各子属性会映射到的新的关系中，但是复合属性名本身不会。 如下实体： ? 将映射为关系： ? 我们首先可以认为概念模型建模和ER建模，需求可视化表达的是一个意思。在这个环节中，数据开发人员绘制ER图，并和项目各方人员协同需求，达成一致。 这个映射的过程，就叫做逻辑模型建模或者关系建模。 有人会说，ER图不是可以直接映射到关系吗，而且已经有了相应的映射工具了，为什么还要绘制ER图多此一举呢？针对这个问题前文已经回答了。
2K61发布于 2018-03-20 - 来自专栏往期博文
数学建模暑期集训2：模糊综合评价
在上篇内容中，记录了模糊数学的一些基础知识，本篇将运用部分知识来构建模糊综合评价。 文章目录 1.隶属函数的三种确定方法 1.1模糊统计法 1.2借助已有的客观尺度 1.3指派法 2.模糊综合评价 2.1一级模糊评价模型 2.2多级模糊评价模型 3.总结 1.隶属函数的三种确定方法 1.1 1.3指派法 最常用梯形分布： 2.模糊综合评价 主要确定因素集、评语集、权重集。 本身不难理解，通过例子即可体悟。 例2：通过指派法来确定模糊综合评价矩阵 2.2多级模糊评价模型 多级模糊评价，和单级大同小异。 例子： 3.总结 模糊综合评价比较简单，不需要通过编程计算。
91030编辑于 2022-06-14 - 来自专栏OpenFPGA
数字硬件建模SystemVerilog-组合逻辑建模（2）always和always_comb
使用通用always程序建模 最佳实践指南7-4 使用RTL专用的always_comb程序对组合逻辑进行建模。不要在RTL模型中使用通用的always程序。 虽然不推荐always程序用于RTL建模，但本文中讨论了如何正确使用通用always程序对组合逻辑进行建模，因为这种通用程序在传统的Verilog模型中很常见。 组合逻辑敏感列表。 首先，综合编译器对组合逻辑建模施加了一些限制。使用@ * 可以推断出一个敏感度列表，但不强制执行用于组合逻辑建模的其他综合规则。@ * 的第二个问题是没有推断出完整的敏感度列表。 最常见的两种情况是： 1.决策语句分配给每个分支中的不同变量，如下面的代码段所示， 2.决策语句不会对决策表达式的每个可能值执行分支。下面的代码片段说明了这个问题。 但是，如果操作码输入的值应为2’b11，则本例不会对result变量进行任何赋值。
3.4K10编辑于 2023-02-14 - 来自专栏软件方法
建模答题赛第2赛季第10轮（纠正某些书上的建模错误）
[改错题]很多书中的建模示例都存在问题。请根据《软件方法（上）》第2版的知识，指出以下材料存在的问题。 ? 摘自 Python Projects，Laura Cassell，John Wiley & Sons，2015 要求指出 （1）错误 （2）所用参考知识在《软件方法（上）》第2版中的页码。 （2）不同的人指出相同的错误，该错误的得分者归属回答时间最早而且本题结算后为正分的人。 举例：张三先指出A、B、C、D共4个错误，其中只有A是恰当的。李四紧随其后面指出了A。 2 城市：济南，单位：LXB Mingchu 1 城市：墨尔本 yuyjx 1 城市：沈阳，单位：DR 晚安月亮 1 城市：济南，单位：LXB
50220发布于 2019-10-08 - 来自专栏ATYUN订阅号
AI系统DeepRay实时处理视频，重建模糊的镜头帧
研发公司Cambridge Consultants的研究人员表示，他们利用AI可以实时重建镜头中受损或模糊的帧。在一次关于机场的视频测试中，它能够准确地再现跑道上的飞机。 但与大多数AI不同，DeepRay能够处理实时视频。
1.2K10发布于 2018-12-24 - 来自专栏软件方法
《软件方法》随想（2）业务建模之愿景
业务建模之愿景 关于《软件方法》，愿景一章，做了以上的知识框架梳理。 这里面愿景，就是目标组织代表（老大），在引进系统之后希望带来的改进。
31820编辑于 2022-10-31 - 来自专栏云深之无迹
使用Python进行数学建模(语言基础2)
索引可以得到单个字符，而 切片 可以获取子字符串: >>> >>> word[0:2] # characters from position 0 (included) to 2 (excluded)'Py ' >>> word[2:5] # characters from position 2 (included) to 5 (excluded)'tho' 注意切片的开始总是被包括在结果中，而结束不被包括 这使得 s[:i] + s[i:] 总是等于 s >>> >>> word[:2] + word[2:]'Python' >>> word[:4] + word[4:]'Python' 切片的索引有默认值 ；省略开始索引时默认为0，省略结束索引时默认为到字符串的结束: >>> >>> word[:2] # character from the beginning to position 2 (excluded 例如， word[1:3] 的长度为2。
1.4K40编辑于 2022-11-29 - 来自专栏软件方法
《软件方法》强化自测题-业务建模（2）
按照业务建模、需求、分析、设计工作流考查。 答案不直接给出，可访问每套题后面给出的自测链接或扫二维码自测，做到全对才能知道答案。 （2） 1 [ 单选题 ]针对最近新闻报道中“大熊猫玩菜刀”的新闻，如果动物园决定引入IT系统，监控并辨别大熊猫的危险行为，一旦判断出有类似“玩菜刀”之类的行为，就向动物园熊猫馆管理员报警。 以下说法正确的是： A) 业务建模时，研究对象应该定为熊猫馆 B) 业务建模时，研究对象应该定为大熊猫 C) 业务建模时，如果大熊猫是一只，研究对象应该定为大熊猫，如果大熊猫是多只，研究对象应该定为熊猫馆管理员 D) 业务建模时，研究对象应该定为熊猫馆管理员 2 [ 单选题 ]以下可以作为“老大”的是： A) 居住在美国纽约法拉盛的中国公众人物罗玉凤 B) 世界五百强之一的零售商家乐福公司售货员 C) paperId=2TNJIV
83620编辑于 2022-04-09 - 来自专栏Python与算法之美
2个范例带你读懂高阶API建模方法
使用Keras接口有以下3种方式构建模型：使用Sequential按层顺序构建模型，使用函数式API构建任意结构模型，继承Model基类构建自定义模型。 此处分别演示使用Sequential按层顺序构建模型以及继承Model基类构建自定义模型。 = plt.subplot(122) ax2.scatter(X[:,1],Y[:,0], c = "g") plt.xlabel("x2") plt.ylabel("y",rotation = 0) =(2,))) model.summary() ? ,1].numpy(),c = "g") ax2.legend(["positive","negative"]); ax2.set_title("y_pred"); ?
59820发布于 2020-07-20 - 来自专栏AI科技大本营的专栏
抗击新冠肺炎，如何进行实时动态时序图谱建模与分析？
2）“静态”、“动态”及“时序”图谱的区别 假定场景：实时统计每个人之间的交易总金额。 1.静态图谱： ? 新冠肺炎数据建模 了解了图形的多种存储形式后，接下来我们使用模拟数据依次建模，并详细介绍每个实体与关系的数据映射关系。 ? 一）节点“人”数据建模 正常人数据（2维）： 1.基本信息：性别、生日、籍贯等 （数据来自身份证采集等渠道） 2.曾患病信息：疾病名称、发病时间、就诊医院等 （数据来自医院联网数据等渠道） 二） “人”-（收治于）->“医院” 实体“医院”数据（2维）： 1.基本信息：病床数、医护数、病人数等 （实时动态数据 来自医院资源管理系统等渠道） 2.病例信息：收治数、确诊数、疑似数、病亡数、治愈数等 七） “城市”-（归属于、市上报）->“省份” 关系数据（2维）： 1.市上报（按天）：确诊总数、疑似总数、严重患者总数、轻症患者总数等 （数据 来自市级数据实时自动获取） 2.归属于： （无属性信息）
1.1K10发布于 2020-02-24 - 来自专栏世荣的博客
2021兰州疫情-新型冠状病毒疫情实时爬虫-2(实时更新)
这里通过实时爬取丁香园的数据来作为数据来源 爬虫项目开始日期：2021.10.30 项目地址：Github（待整理分享） 前言：这里先整理整理爬虫需要或可能要用到的函数/方法，如果后期我没有时间去维护该项目 例如:(每个事件发生时的数据都是不同的)开发者还会区分事件的重要性，重要性也被称为 等级/严重性 2.日志级别 级别 使用条件 DEBUG 细节信息，仅当诊断时间使用 4.追踪事件的处理方式 (1)输出到控制台 (2)写入磁盘文件 import logging logging.basicConfig(filename='example.log',level=logging.DEBUG 3610593139.png 2.更改显示格式，去除ROOT import logging logging.basicConfig(format='%(levelname)s:%(message)s',
47030编辑于 2022-03-22 - 来自专栏全栈程序员必看
数仓建模与分析建模_范式建模和维度建模
建模方法论 今天我们主要介绍常见的建模方法，这也就是我们今天文章的名称——建模方法论 20年前兴起的数据仓库简单的可分为两大流派，Inmon方法和Kimball方法，分别由 Ralph Kimbal和Bill 区别的关键在于如何在数据仓库中建模、加载和存储数据的方式。而由此出发的不同架构影响到了数据仓库的建设成本和到适应用户不断变化的ETL逻辑的能力。 建模的目的 数仓的建模或者分层，其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话，所有的划分都是为了更好的管理。
73610编辑于 2022-11-09 - 来自专栏未来先知
YOLO-ELA 高效的局部注意建模，用于高性能实时缺陷检测 !
为解决这一问题，本文提出了一种基于局部注意力建模的新注意力基础架构，即YOLO-ELA。 这些模型在保持高精度的同时显著提高了检测速度，使其更适合实时应用。例如，阿杜等人（2019年）使用YOLOv3检测绝缘子并识别缺陷，实现了每秒45帧（FPS）的检测速度，满足了实时检测需求。 C2f由两个卷积模块组成，具有多个Darknet Bottleneck 。它们充当特征提取器，其中C2f模块通过分隔和连接通道维度来降低计算复杂性。 所有数据均采用8:2的随机划分，分别分配到训练和验证集，训练图像中包含超过700个缺失绝缘子实例。 这表明所提出的模型在实时部署中表现更好，既提高了速度，也提高了准确性。
1.1K10编辑于 2024-10-29 - 来自专栏算法工程师的学习日志
Simulink建模与仿真（2）-基本一些概念
分享一个系列，关于Simulink建模与仿真，尽量整理成体系 1、计算机仿真 计算机仿真是在研究系统过程中根据相似原理，利用计算机来逼真模拟研究对象。研究对象可以是实际的系统，也可以是设想中的系统。 (2) 仿真语言：仿真语言多属于面向专门问题的高级语言，它是针对仿真问题，在高级语言的基础上研制的。 (2) 项目计划、方案设计与系统定义。根据仿真目的确定相应的仿真结构(实时仿真还是非实时仿真，纯数学仿真还是半物理仿真等)，规定相应仿真系统的边界条件与约束条件。 (3) 数学建模：根据系统的先验知识、实验数据及其机理研究，按照物理原理或者采取系统辨识的方法，确定模型的类型、结构及参数。注意要确保模型的有效性和经济性。 (4) 仿真建模：根据数学模型的形式、计算机类型、采用的高级语言或其它仿真工具，将数学模型转换成能在计算机上运行的程序或其他模型，也即获得系统的仿真模型。
64430编辑于 2023-09-05 - 来自专栏Python与算法之美
2个范例带你读懂中阶API建模方法
本文全部内容及其源码公布在github项目eat_tensorflow2_in_30_days项中的"3-2, 中阶API示范"章节，在公众号后台回复关键字："tf", 获取项目github仓库链接。 = plt.subplot(122) ax2.scatter(X[:,1],Y[:,0], c = "g") plt.xlabel("x2") plt.ylabel("y",rotation = 0) = plt.subplot(122) ax2.scatter(X[:,1],Y[:,0], c = "g",label = "samples") ax2.plot(X[:,1],w[1]*X[:,1]+ b[0],"-r",linewidth = 5.0,label = "model") ax2.legend() plt.xlabel("x2") plt.ylabel("y",rotation = 0) ,1].numpy(),c = "g") ax2.legend(["positive","negative"]); ax2.set_title("y_pred"); ?
44610发布于 2020-07-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号