- 综合排序
- 最热优先
- 最新优先
- 来自专栏桥路_大数据
实时数仓：流式数据建模
流式数据模型 架构设计 数据模型设计是贯穿数据处理过程的，在实时流式数据处理中也一样。实时建模与离线建模类似，数据模型整体上分为5层（ODS、DWD、DWS、ADS、DIM）。 ? ODS层实时进入的数据，会进行去重、清洗等任务，适度做一些维度退化工作，清洗后的数据会存放到DWD层中，DWD数据明细层的数据会回流到消息队列中，从而实时同步到下游实时任务中，同时会持久化到数据库中供离线系统使用 DWS、ADS层数据会存储到实时读写的数据库系统中，供前端业务进行实时访问。 DWS、ADS的数据表类型和离线系统一样，分为事实表和维度表。 但在进行指标计算时，事实数据实时进行订阅，使用到的维度表数据不会进行实时更新获取，而使用的是T-2的离线数据。且维度表数据会存储在DIM层中，在计算时进行获取。 这里的计算流向是：Kafka作为ODS层，存储实时数据；实时流计算任务从ODS获取数据进行计算，计算结果作为DWD层数据，写入到Kafka中存储，供下游实时计算，并且为了与离线系统保持一致，也会推送到离线系统中进行存储
1.9K20发布于 2021-01-06 - 来自专栏《C++与 AI：个人经验分享合集》
怎样利用 MATLAB 进行实时系统的建模与仿真？
要利用MATLAB进行实时系统的建模与仿真，您可以按照以下步骤进行操作： 确定系统的建模方法：根据实际情况，选择适合的建模方法，如：微分方程、状态空间模型、传递函数模型等。 编写系统模型的MATLAB代码：利用MATLAB的建模工具，编写系统的模型代码。您可以使用ODE函数求解微分方程，使用tf函数创建传递函数模型，使用ss函数创建状态空间模型等。 需要注意的是，MATLAB可以进行离散时间仿真和连续时间仿真，对于实时系统的仿真，通常采用离散时间仿真。在进行离散时间仿真时，需要注意设置适当的采样时间，以保证仿真结果的准确性。
57910编辑于 2024-12-09 - 来自专栏iSharkFly
Confluence 6 使用 JMX 界面实时监控
使用 JMX 界面（Java Management Extensions API ），你可以实时的查看你 Confluence 运行实例的状态。 https://www.cwiki.us/display/CONF6ZH/Live+Monitoring+Using+the+JMX+Interface
71040发布于 2019-01-31 - 来自专栏Hadoop数据仓库
Greenplum 实时数据仓库实践（6）——实时数据装载
创建实时装载规则 6.3.4 启动实时装载 6.3.5 测试 1. 生成测试数据 2. 6. 启动MySQL复制，自动开始实时ETL。 停止MySQL复制期间的增量变化数据自动同步，并触发rule自动执行实时装载。 销售订单数据仓库模型设计 我们使用2.2.1 维度数据模型建模过程介绍的四步建模法设计星型数据仓库模型。 （1）选择业务流程。在本示例中只涉及一个销售订单的业务流程。 表6-2汇总了本示例的这些信息。 实时增量 唯一订单号 sales_order_fact 实时增量 N/A N/A N/A date_dim N/A 预装载 表6-2 销售订单实时装载类型
3.1K20编辑于 2021-12-29 - 来自专栏王的机器
信用风险建模 in Python 系列 6 - 阈值模型校正
完整代码和数据 链接：https://pan.baidu.com/s/1FVku6WefSBfhRwWILiaCrw 提取码：vx4p 本文是「信用风险建模 in Python」系列的第六篇，其实在之前的
1.3K20发布于 2020-08-20 - 来自专栏别先生
Elasticsearch 6.x版本全文检索学习之数据建模
1、什么是数据建模。 答：数据建模，英文为Data Modeling，为创建数据模型的过程。 3、Elasticsearch的数据建模，es是基于lucene以倒排索引为基础实现的存储体系，不遵循关系型数据库中的范式约定。 ? 4、Elasticsearch的数据建模中Mapping字段的相关设置。 答：a、enabled，值包含true、false。仅存储，不做搜索或者聚合分析。 6、Mapping字段属性的设定流程，是何种类型的。 答：a、字符串类型，需要分词则设定为text类型的，否则设置为keyword类型的。 一般字段过多的原因是由于没有高质量的数据建模导致的，比如dynamic设置为true。也可以考虑拆分多个索引来解决问题。
1.1K20发布于 2019-11-14 - 来自专栏ATYUN订阅号
AI系统DeepRay实时处理视频，重建模糊的镜头帧
研发公司Cambridge Consultants的研究人员表示，他们利用AI可以实时重建镜头中受损或模糊的帧。在一次关于机场的视频测试中，它能够准确地再现跑道上的飞机。 但与大多数AI不同，DeepRay能够处理实时视频。
1.2K10发布于 2018-12-24 - 来自专栏AI科技大本营的专栏
抗击新冠肺炎，如何进行实时动态时序图谱建模与分析？
我们使用AbutionGraph依据真实场景建模，由于详细数据不公开，本文中均使用模拟数据进行分析。 ? ? 新冠肺炎数据建模 了解了图形的多种存储形式后，接下来我们使用模拟数据依次建模，并详细介绍每个实体与关系的数据映射关系。 ? <<--按天分区汇总（预聚合-即图库自动计算的） select "结束时间" execute "<2020.01.24" 结果： 北京市（2020.01.20）：2例 北京市（2020.01.21）：6例 北京市（2020.01.22）：13例 北京市（2020.01.23）：8例 深圳市（2020.01.20）：4例 深圳市（2020.01.21）：6例 深圳市（2020.01.22）：18例 深圳市 场景6、找出所有超级传播者 Ps：假定传染人数超过4个即为超级传播者。 查询： use ["患新冠肺炎"] toEdge [“传染”] count >= 5 ; 结果： ?
1.1K10发布于 2020-02-24 - 来自专栏全栈程序员必看
数仓建模与分析建模_范式建模和维度建模
建模方法论 今天我们主要介绍常见的建模方法，这也就是我们今天文章的名称——建模方法论 20年前兴起的数据仓库简单的可分为两大流派，Inmon方法和Kimball方法，分别由 Ralph Kimbal和Bill 区别的关键在于如何在数据仓库中建模、加载和存储数据的方式。而由此出发的不同架构影响到了数据仓库的建设成本和到适应用户不断变化的ETL逻辑的能力。 建模的目的 数仓的建模或者分层，其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话，所有的划分都是为了更好的管理。
73610编辑于 2022-11-09 - 来自专栏未来先知
YOLO-ELA 高效的局部注意建模，用于高性能实时缺陷检测 !
为解决这一问题，本文提出了一种基于局部注意力建模的新注意力基础架构，即YOLO-ELA。 这些模型在保持高精度的同时显著提高了检测速度，使其更适合实时应用。例如，阿杜等人（2019年）使用YOLOv3检测绝缘子并识别缺陷，实现了每秒45帧（FPS）的检测速度，满足了实时检测需求。 具有更高 FPS 的模型在实时应用中更受欢迎，因为它可以更高效地处理更多的帧，确保更快的检测或处理。 这表明所提出的模型在实时部署中表现更好，既提高了速度，也提高了准确性。 如图6所示，YOLOv8+ELA在复杂背景条件下呈现了一些检测结果。图像中包括各种物体，如树木、塔检查行人、道路网络、汽车和房屋等。
1.1K10编辑于 2024-10-29 - 来自专栏全栈程序员必看
数仓建模与分析建模_数据仓库建模与数据挖掘建模
[外链图片转存中…(img-uQis5F2c-1645262440294)] 范式 第一范式：属性不可分割 第二范式：消除不分函数依赖 第三范式：消除传递依赖 关系建模与维度建模 关系建模：将复杂的数据抽象为两个概念 维度建模：模型相对清晰、简洁。维度模型以数据分析作为出发点，不遵循三范式，故数据存在一定的冗余。维度模型面向业务，将业务用事实表和维度表呈现出来。 4. 维度建模一般按照以下四个步骤：选择业务过程→声明粒度→确认维度→确认事实。 在DWD层，以业务过程为建模驱动，基于每个具体业务过程的特点，构建最细粒度的明细层事实表。事实表可做适当的宽表化处理。 DWD层是以业务过程为驱动。 DWS层、ADS层都是以需求为驱动，和维度建模已经没有关系了。 DWS层建宽表，按照主题去建表。主题相当于观察问题的角度，对应着维度表。
1.9K20编辑于 2022-11-09 - 来自专栏喵叔's 专栏
RavenDB建模--常见建模方案
在 RavenDB 中对如何在应用程序中进行数据建模没有任何要求，我们可以使用任何形式进行建模，RavenDB 只关心如何构建数据，这就是我们后续几篇文章要讲解的内容。 public Parent Mother { get; set; } public Registration Registration { get; set; } } 我们在建模时应遵循 RavenDB 建模的核心原则，要确定哪些信息可以放在一起，哪些信息是独立的，这就是我们上篇文章介绍的优秀的文档模型应具备独立、隔离和连贯性。 另一种情况是，如果需要对文档进行并发活动，由于文档是 RavenDB 中的并发单位，因此需要对文档进行建模，以便它们具有更改的单一原因。
79110编辑于 2022-03-22 - 来自专栏实时音视频TRTC从小白到熟练
实时音视频开发学习6 - 云端录制与回放
控制台操控 开通录制服务 登录实时音视频控制台，选择应用管理；然后单击正在运行的目标的功能配置；最后再功能配置中依次打开自动旁路推流和云端录制配置。如果是第一次开启会有相应安全的提示警告。 设置录制回调 如果您需要实时接收到新文件的 落地通知，可在此处填写您的服务器上用于接收录制文件的回调地址，该地址需符合 HTTP（或 HTTPS）协议。 代码见demo6—platerExample—test4.js。 代码见demo6。 注：更多内容请关注腾讯云的实时音视频
7.6K30发布于 2020-08-24 - 来自专栏软件方法
UMLChina建模竞赛第3赛季第6轮：随身老印医
[多选]A公司正在开发“新一代供应链系统”，目标组织定位为动力电池厂商B公司，以下可以算作领域专家的有： A) A公司架构师张三，曾负责公司多个供应链系统的业务流程建模、实体-关系建模。 D)可以借此机会构建一套名为“印医驱动设计的敏锐建模方法”的全新软件开发方法学。
33020编辑于 2022-05-27 - 来自专栏裸机思维
实时性迷(6)——如何进行跨任务性能分析
【说在前面的话】 ---- 在前一篇文章《实时性迷思(5)——实战RTOS多任务性能分析》中，我们介绍了如何在多任务环境下利用 perf_counter “排除多任务穿插的影响”——精确测量某一任务中指定代码片消耗 ——各种各样的原因都会促使多任务应用设计时将不同的步骤分散到不同的任务中，比如： 不同的步骤拥有不同的实时性要求 不同的步骤处于不同的模块中 不同的步骤处于不同的安全域中 考虑到未来扩展的需要，认为的需要将步骤拆散并放置到不同的任务中 // Start thread execution } while(1); } 运行结果如下： 可以看到，三个步骤的任务负载（1+2+3=6ms
1.1K30编辑于 2022-05-17 YOLOv6深度解析：实时目标检测的新突破
如何在保证检测精度的同时实现实时推理，是工业界和学术界共同关注的核心问题。 美团团队推出的YOLOv6在这一平衡点上取得了重大突破，不仅在COCO数据集上刷新了最先进的精度记录，更在推理速度上实现了显著提升，为实时应用场景提供了强有力的技术支撑。 这种性能表现使其非常适合实时性要求极高的应用场景，如自动驾驶、无人机导航等。 高精度模型的突破性表现YOLOv6-L和YOLOv6-L6代表了系列中精度最高的模型，特别是YOLOv6-L6在COCO数据集上实现了当时最先进的实时检测精度。 这些高精度模型虽然速度相对较慢，但仍然能够满足实时应用的需求，为追求极致精度的场景提供了理想的解决方案。3.
59500编辑于 2025-08-13- 来自专栏phodal
元素建模：探索建模的要素
随着我们不断深入软件架构的设计里，我们也会不断也尝试着一系列不同的方法，诸如于我的同事 @少个分号 在那篇《建模方法元模型：如何设计一个建模方法》一文里，对于不同建模方式进行了简单的介绍，并进行了相关的拆解和分析 再回到面向对象这一点来看的话，建模就变成了一件非常有意思的事。 建模“建模”：从概念到模型 回到我们所开发的软件系统里，其系统的核心组成部分是由一个个的概念所组成。 建模的方式：基于“事实”的软件建模 PS：对于事实，从语言的角度，可能使用纪实、叙实会比较合适。 基于凭证的建模：履约建模 履约建模是一个比较新的建模方法，它基于凭证的方式来设计系统。其核心要素是：作为业务凭证，只存在创建，不存在修改和删除。 建模建模 从某种意义上来说，寻找这些“事实”的过程，便是系统状态的表征过程。
58130编辑于 2021-12-04 - 来自专栏算法工程师的学习日志
Simulink建模与仿真（6）-Simulink使用基础（MATLAB的单元与结构体）
分享一个系列，关于Simulink建模与仿真，尽量整理成体系 1. 字符串数据 MATLAB作为高性能的科学计算平台，不仅提供高精度的数值计算功能，而且还提供对多种数据类型的支持。
87010编辑于 2023-09-18 - 来自专栏全栈程序员必看
dh参数建模_data vault 建模
仅供个人学习记录 前言 DH法一般用一次就丢，然后后面再需要用的时候就会忘，所以本文整理了DH建模法，方便需要使用的时候进行参考。这里不讲原理，只讲结论和方法 1. 建模方法（简述） DH法可分成以下几步： 辨认出关节和连杆（关节序号从1到n，连杆序号从0到n） 确定Z轴（n号关节上的坐标系序号为n-1） 确定每个坐标系的原点 确定XY轴 确定Tool frame（ 建模方法（详细） 需要建模的话，按照如下步骤一步步建模即可。注意tool frame那边建完了需要检查 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。
80210编辑于 2022-09-29 - 来自专栏大数据学习与分享
数据建模-维度建模-维度设计
导读： 在Kimball维度建模中，通常将度量称为“事实”，将环境描述为“维度”，维度是用于分析事实所需要的多样环境。维度和维度属性是维度的两个核心概念，如何构建维度的属性是维度设计中需要关注的。 作为维度建模的核心，我们在企业级的数据仓库中必须保证维度的唯一性。以淘宝商品维度为例，我们有且只允许有一个维度定义。 第二步：确定主维度表。 二、第二部分 在Kimball维度建模中，通常将度量称为“事实”，将环境描述为“维度”，维度是用于分析事实所需要的多样环境。 02 快照维表 维度的基本概念中介绍了自然键和代理键的定义，在Kimball的维度建模中，必须使用代理键作为每个维度表的主键，用于处理缓慢变化维度。 其中VIP等级共有8个值，-1~6；用户信用评价等级共有18个值。假设基于VIP等级和用户信用评价等级构建微型维度，则在此微型维度中共有8*18个组合，即144条记录，代理键可能是1~144。
1.6K31编辑于 2023-09-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号