- 综合排序
- 最热优先
- 最新优先
- 来自专栏桥路_大数据
实时数仓：流式数据建模
流式数据模型 架构设计 数据模型设计是贯穿数据处理过程的，在实时流式数据处理中也一样。实时建模与离线建模类似，数据模型整体上分为5层（ODS、DWD、DWS、ADS、DIM）。 ? ODS层实时进入的数据，会进行去重、清洗等任务，适度做一些维度退化工作，清洗后的数据会存放到DWD层中，DWD数据明细层的数据会回流到消息队列中，从而实时同步到下游实时任务中，同时会持久化到数据库中供离线系统使用 DWS、ADS层数据会存储到实时读写的数据库系统中，供前端业务进行实时访问。 DWS、ADS的数据表类型和离线系统一样，分为事实表和维度表。 但在进行指标计算时，事实数据实时进行订阅，使用到的维度表数据不会进行实时更新获取，而使用的是T-2的离线数据。且维度表数据会存储在DIM层中，在计算时进行获取。 这里的计算流向是：Kafka作为ODS层，存储实时数据；实时流计算任务从ODS获取数据进行计算，计算结果作为DWD层数据，写入到Kafka中存储，供下游实时计算，并且为了与离线系统保持一致，也会推送到离线系统中进行存储
2.1K20发布于 2021-01-06 - 来自专栏《C++与 AI：个人经验分享合集》
怎样利用 MATLAB 进行实时系统的建模与仿真？
要利用MATLAB进行实时系统的建模与仿真，您可以按照以下步骤进行操作： 确定系统的建模方法：根据实际情况，选择适合的建模方法，如：微分方程、状态空间模型、传递函数模型等。 编写系统模型的MATLAB代码：利用MATLAB的建模工具，编写系统的模型代码。您可以使用ODE函数求解微分方程，使用tf函数创建传递函数模型，使用ss函数创建状态空间模型等。 需要注意的是，MATLAB可以进行离散时间仿真和连续时间仿真，对于实时系统的仿真，通常采用离散时间仿真。在进行离散时间仿真时，需要注意设置适当的采样时间，以保证仿真结果的准确性。
74310编辑于 2024-12-09 - 来自专栏女程序员的日常
M41T11-RTC（实时时钟）
主要器件：STM8单片机、M41T11时钟IC、32.768kHz晶振等。 2. 外围设备：烧录工具ST-Link/v2、串口、5v供电SATA线。 3. （一）、M41T11引脚示意图及解释如下： ? ? 问题简单化了，我们只需要找到访问该时钟IC的方法，读取它的前8Byte即可解决问题。 ? （5）校验：当FT=1时，且在第7脚（FT/OUT）外加一个上拉电阻时，只要时钟IC正常工作（32.768kHz），就可以用示波器测得FT/OUT脚为512kHz左右； （6）对于只需要实现简单的读取实时时间 mode： （1）发送slave address 0xD0； （2）发送时钟IC的寄存器地址； （3）想要得到的数据已经被传送后存到I2C的数据寄存器中，因此直接拿I2C->DR中的内容即可； 想要得到实时时间 ）Read mode 8次，对寄存器地址为0x00~0x06的寄存器做读操作，将每次读到的内容存放到 uint8_t curtime[8]数组中； （4）将数组内容通过串口格式化输出到终端里，为了获取实时时间
1.4K10发布于 2017-12-25 - 来自专栏软件方法
UML建模工具2021年8-11月更新（1）
UMLChina整理的UML建模工具列表请见http://www.umlchina.com/tools/search.aspx 最近一段时间更新： 工具最新版本：Modelio 5.1.0 更新时间：2021 年10月26日 工具简介 UML和BPMN建模，强调协作建模，提供模型网络存储。 平台：Linux、MacOS、Windows 获得地址 https://www.modeliosoft.com 工具最新版本：diagrams.net 15.3.5 更新时间：2021年11月29日 平台：HTML 获得地址 https://app.diagrams.net/ 工具最新版本：OmniGraffle for iOS 3.16 更新时间：2021年11月20日 工具简介 绘图工具iOS 平台：iOS 获得地址 https://www.omnigroup.com/omnigraffle 工具最新版本：OmniGraffle for Mac 7.19.2 更新时间：2021年11月10日
82920编辑于 2021-12-14 - 来自专栏高渡号外
学会创建模拟数据的能力 | 代码找bug（11）
Python代码找bug（11） 上期的代码设计需求：互换两个变量的值。 代码如下： ? 请大家仔细阅读代码，找出其中的bug！ 正确答案： 共有2个问题。
60030发布于 2020-09-22 - 来自专栏Elasticsearch专栏
【极数系列】Flink集成KafkaSink & 实时输出数据（11）
--java_JDK版本--> <java.version>11</java.version> <!
1K10编辑于 2024-03-04 - 来自专栏后端知识开放麦
Go Web 编程快速入门 11 - WebSocket实时通信：实时消息推送和双向通信
WebSocket提供了浏览器与服务端的全双工通信能力，适合实时消息、在线协作、游戏等场景。本章延续第04.1章的风格，从最小可运行示例到工程化封装与房间管理，帮助你快速构建稳定的实时系统。
35320编辑于 2025-11-11 - 来自专栏大数据技术与应用实战
flink实战-模拟简易双11实时统计大屏
背景 在大数据的实时处理中，实时的大屏展示已经成了一个很重要的展示项，比如最有名的双十一大屏实时销售总价展示。 除了这个，还有一些其他场景的应用，比如我们在我们的后台系统实时的展示我们网站当前的pv、uv等等，其实做法都是类似的。 今天我们就做一个最简单的模拟电商统计大屏的小例子，我们抽取一下最简单的需求。 实时计算出当天零点截止到当前时间的销售总额 计算出各个分类的销售top3 每秒钟更新一次统计结果 实例讲解 构造数据 首先我们通过自定义source 模拟订单的生成，生成了一个Tuple2,第一个元素是分类 我们会把各个分类的总价加起来，就是全站的总销量金额，然后我们同时使用优先级队列计算出分类销售的Top3，打印出结果，在生产过程中我们可以把这个结果数据发到hbase或者redis等外部存储，以供前端的实时页面展示
2.5K30发布于 2020-09-15 - 来自专栏ATYUN订阅号
AI系统DeepRay实时处理视频，重建模糊的镜头帧
研发公司Cambridge Consultants的研究人员表示，他们利用AI可以实时重建镜头中受损或模糊的帧。在一次关于机场的视频测试中，它能够准确地再现跑道上的飞机。 但与大多数AI不同，DeepRay能够处理实时视频。
1.3K10发布于 2018-12-24 - 来自专栏软件方法
UML建模工具2021年8-11月更新（2）UModel 2022
13.03 更新时间：2021年11月22日 工具简介 轻量级建模工具，支持UML、BPMN、SysML。 致力于关键系统的建模。支持UML2.5、SysML 1.6，可自行添加图形，代码生成器。 强调协作建模，提供模型网络存储。 平台：Linux、MacOS、Windows 获得地址 https://www.modeliosoft.com 工具最新版本：diagrams.net 15.3.5 更新时间：2021年11月29日 平台：HTML 获得地址 https://app.diagrams.net/ 工具最新版本：OmniGraffle for iOS 3.16 更新时间：2021年11月20日 工具简介 绘图工具iOS
73220编辑于 2021-12-17 - 来自专栏软件方法
UML建模工具2021年8-11月更新（共15款）
v15 更新时间：2021年11月16日 工具简介 以前的ConceptDraw Pro，1999年创建的老牌绘图工具，兼容Visio。 Windows 获得地址 https://www.conceptdraw.com/products/drawing-tool 工具最新版本：UML Diagrammer 6.94 更新时间：2021年11 月22日 工具简介 轻量级建模工具，支持UML、BPMN、SysML。 致力于关键系统的建模。支持UML2.5、SysML 1.6，可自行添加图形，代码生成器。 强调协作建模，提供模型网络存储。
1.5K20编辑于 2021-12-17 FME在AEC行业能完成哪些数据集成任务？
BIM、GIS、IoT和实时数据。 FMEPlatform更适合作为现有设计、GIS和业务系统之间的数据集成与自动化层，而不是替代BIM建模、GIS分析或资产管理软件。 在实际AEC项目中，可以根据业务时效要求选择：定时批处理文件更新后处理API触发业务事件触发实时或流式处理并非所有AEC数据都需要实时同步。 任务七：数字孪生数据准备与集成数字孪生通常需要多类数据共同工作，例如：BIM+GIS+资产数据+IoT+实时数据SafeSoftware的AEC资料明确提出，可以通过集成BIM、IoT和实时数据流构建数字孪生相关数据体系 FME主要是数据集成平台，因此通常不替代以下专业软件能力：BIM建模FME不会替代Revit等BIM设计和建模工具。CAD设计不会替代专业CAD制图环境。
9810编辑于 2026-09-17- 来自专栏瓜农老梁
FA11# Fink实时计算平台功能点整理
引言 本文简要梳理下Flink实时计算平台提供的能力和功能点: 实时计算场景与特性 实时计算平台架构 功能点整理 一、实时计算场景与特性 1.常见实时计算场景归纳 实时推荐：千人千面个性化推送 实时监控 ：反欺诈以及触发风控的异常与预警 实时报表：促销活动实时大屏等 实时检索：实时索引的构建和检索等 实时处理：数据实时清洗和汇总的其他场景 2.Flink实时计算框架特点 低延迟：毫秒级延迟 高吞吐：千万每秒吞吐 准确性：Exactly-once 状态一致性 易用性：作业开发使用高阶的Flink SQL API&Table API 二、实时计算平台架构 1.数据流线路图 备注： 数据源：Binlog数据库数据增量订阅 、SDK的埋点数据、Agent的上报数据、以及事件总线类数据 消息队列：数据源的数据被收集到消息队列中，通常选型Kafka Fink实时平台：Flink从消息队列消费数据跑作业任务 业务场景：由Flink
1K30编辑于 2022-03-29 - 来自专栏AI科技大本营的专栏
抗击新冠肺炎，如何进行实时动态时序图谱建模与分析？
我们使用AbutionGraph依据真实场景建模，由于详细数据不公开，本文中均使用模拟数据进行分析。 ? ? 新冠肺炎数据建模 了解了图形的多种存储形式后，接下来我们使用模拟数据依次建模，并详细介绍每个实体与关系的数据映射关系。 ? 感染人群数据时间线： 2020-02-07：“赵六”（未发病）--探亲->“赵七”（健康） 2020-02-10：“赵六”（发病），确诊患新冠肺炎 2020-02-11：“赵七”（未发病），但为确诊病例 至此，数据建模介绍完毕。如上，数据统计部分已经实现自动化，即查即用。接下来基于此设定数据集进行一些更上层的分析场景演示。 ? execute ">2019.02.10" select "结束时间" execute "<2020.02.11" count "确诊总数，疑似总数" ; 结果： 广西省（2020.02.10）： 确诊总数：11
1.2K10发布于 2020-02-24 - 来自专栏数据饕餮
数据仓库专题（7）-维度建模11大基本原则
遵循这些原则进行维度建模可以保证数据粒度合理，模型灵活，能够适应未来的信息资源，违反这些原则你将会把用户弄糊涂，并且会遇到数据仓库障碍。本文适用于多维建模，不使用于3NF建模。 二、正文 原则1、载入详细的原子数据到维度结构中 维度建模应该使用最基础的原子数据进行填充，以支持不可预知的来自用户查询的过滤和分组请求，用户通常不希望每次只看到一个单一的记录，但是你无法预测 当然，原子数 据也可以通过概要维度建模进行补充，但企业用户无法只在汇总数据上工作，他们需要原始数据回答不断变化的问题。 需求和事实之间的平衡是DW/BI 从业人员必须面对的事实，无论是你集中在维度建模，还是项目策略、技术/ETL/BI架构或开发/维护规划都要面对这一事实。 原则11、基于OLAP分析各操作进行维度设计指导 从结果反思设计过程，基于OLAP钻取、上钻、下钻、切片、切块的业务需求，设计你的维度模型。 三、未完待续
2.4K30发布于 2019-01-14 - 来自专栏机器学习与统计学
TensorFlow2.0（11）：tf.keras建模三部曲
使用tf.keras提供的高层API，可以轻松得完成建模三部曲——模型构建、训练、评估等工作。下面我们分别来说说如何使用tf.keras完成这三部曲。
1.2K10发布于 2019-12-27 - 来自专栏HT
倾斜摄影实景三维在智慧工厂 Web 3D GIS 数字孪生应用
实现价值 基于 HT for Web 和 GIS 技术的数字钢铁厂建设主要有以下三部曲： ? 数据获取： Ø 钢铁厂三维场景数据获取方式主要有两种：一种是通过航拍建模；一种是通过人工建模。 航拍建模，也称倾斜摄影实景三维，是近年来快速发展的一项 GIS 技术。利用飞机或无人机搭载多台传感器，从前后左右以及垂直五个方向对地物进行拍摄采集，快速高效获取真实反映地面情况的数据信息。 除了上述特点之外，航拍建模的成果数据具有地理坐标系信息，可以准确的和GIS 匹配，人工建模要和 GIS 匹配需要人工进行空间矫正配准。 现今，大部分钢铁厂对厂区的环境监控都布设了相应的监控点位，通过对接设备上的实时数据，可以对厂区的环境进行全面的监测把控。 同时，针对影响环境的因素，如，车辆尾气的排放，也可以进行厂区的车辆分布及具体信息进行实时监控。 ? ?
2.3K31发布于 2020-12-08 - 来自专栏实时音视频TRTC从小白到熟练
实时音视频开发学习11 - 小程序端二
为实时观察推拉流状态，可以选择是否开启调试模式。
1.9K31发布于 2020-08-28 - 来自专栏未来先知
YOLO-ELA 高效的局部注意建模，用于高性能实时缺陷检测 !
为解决这一问题，本文提出了一种基于局部注意力建模的新注意力基础架构，即YOLO-ELA。 这些模型在保持高精度的同时显著提高了检测速度，使其更适合实时应用。例如，阿杜等人（2019年）使用YOLOv3检测绝缘子并识别缺陷，实现了每秒45帧（FPS）的检测速度，满足了实时检测需求。 Evaluation metrics 在本工作中，作者考虑将基于注意力的YOLOv8应用于实时绝缘子缺陷检测。 具有更高 FPS 的模型在实时应用中更受欢迎，因为它可以更高效地处理更多的帧，确保更快的检测或处理。 这表明所提出的模型在实时部署中表现更好，既提高了速度，也提高了准确性。
1.3K10编辑于 2024-10-29 - 来自专栏点点GIS
今日GIS大事件！星图地球刚刚官宣1.5小时完成100平方公里城市建模
近年来，随着我国“数字城市”向“智慧城市”的不断转型升级，以二维矢量数据为主的 GIS 应用已经难以满足当前的需求，一种所见即所得、更加直观的城市三维实景模型逐渐成为大众热衷的表达方式。 因此，如何快速构建城市三维实景模型成为当前 GIS 应用领域研究的热点问题。 在构建城市三维实景模型技术方案中，目前已有城市数据集将所有建筑物视为单一类别，但在当前城市结构布局复杂、建筑风格多样的多种环境下，相关技术难以满足大规模复杂城市的三维建模与发展规划的需求。 ▼ 在实景三维城市、数字孪生城市、新型智慧城市建设如火如荼的当下，建筑物的提取与建模对城市规划管理、城市形象展示等具有重要作用，为构建数字孪生、打造三维数字地球提供基础资源支撑。 图11 不同视角、高低错落、稀疏稠密 形状各异的建筑群重建效果 图12 大规模城市建筑群三维模型构建效果 3.2 DSM预测 基于单幅卫星影像的大规模城市建筑群DSM预测效果展示如下，匹配精准，高低分明
1.6K30编辑于 2022-09-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号