- 综合排序
- 最热优先
- 最新优先
- 来自专栏桥路_大数据
实时数仓：流式数据建模
流式数据模型 架构设计 数据模型设计是贯穿数据处理过程的，在实时流式数据处理中也一样。实时建模与离线建模类似，数据模型整体上分为5层（ODS、DWD、DWS、ADS、DIM）。 ? ODS层实时进入的数据，会进行去重、清洗等任务，适度做一些维度退化工作，清洗后的数据会存放到DWD层中，DWD数据明细层的数据会回流到消息队列中，从而实时同步到下游实时任务中，同时会持久化到数据库中供离线系统使用 DWS、ADS层数据会存储到实时读写的数据库系统中，供前端业务进行实时访问。 DWS、ADS的数据表类型和离线系统一样，分为事实表和维度表。 但在进行指标计算时，事实数据实时进行订阅，使用到的维度表数据不会进行实时更新获取，而使用的是T-2的离线数据。且维度表数据会存储在DIM层中，在计算时进行获取。 这里的计算流向是：Kafka作为ODS层，存储实时数据；实时流计算任务从ODS获取数据进行计算，计算结果作为DWD层数据，写入到Kafka中存储，供下游实时计算，并且为了与离线系统保持一致，也会推送到离线系统中进行存储
2.1K20发布于 2021-01-06 - 来自专栏好好学习
【UML建模】（5） UML建模之活动图
活动图的建模技术 对业务流程建模 选择一个将要描述的重要过程，过程中尽量涉及数量少但是关键的对象或参与者，将无关或关联很小的对象排除在外。 把局部的过于复杂的动作序列加以总结，绘制成一个活动节点；如果需要，把这个动作序列使用另外的活动图进行建模。 找出连接这些动作和活动节点的控制流，并且准确找到过程中的分支、分叉、合并与结合节点。 对用例交互建模 选择概念用例--即从系统对客户提供的各种服务中确定出一个关键业务，这个关键业务可能是在多个相同或者不同的情况下反复出现，或者是系统需要提供的一个关键服务或进行的关键操作。
4.4K20编辑于 2022-03-31 - 来自专栏Web行业观察
关联GIS：条条道路通UE5城
Part1前言 本文介绍如何使用UE5的Georeferencing插件实现UE5与GIS坐标的关联。 之后再通过DataSmith导入UE5，此时模型才能与GIS坐标正确的关联。 接下来，设置建模原点的经纬度和大地高。这里需要取消上面Origin Location in Projected CRS才可以输入。我们不采用投影坐标系的坐标。 添加到视口方法如下： 实时显示效果如下： 4坐标检查器辅助控件 有一个特殊的编辑器辅助控件位于/GeoReferencing/UtilityWidgets/EUW_CoordinatesInspector 5关于IN VETA IN VETA是一支由建模、美术、UE5组成的年轻团队。 我们致力于三维数字孪生技术分享与研发。 欢迎与各界朋友一起探讨技术与商务合作，一起推动数字孪生的发展。
2.9K30编辑于 2022-11-24 - 来自专栏JavaEdge
5-基础构建模块
2 并发容器 Java5提供了多种并发容器来改进同步容器的性能。 同步容器将所有对容器状态的访问都串行化，以实现他们的线程安全性。 在Java 5中增加了 ConcurrentHashMap，用来替代同步且基于散列的Map，增加了对一些常见符合操作的支持，例如“若没有则添加”、替换以及有条件删除等。
51720编辑于 2022-11-29 - 来自专栏气象学家
5G与GIS的未来展望（PPT+讲稿）下篇
本文是2020年ArcGIS开发者大会，6月17日上午主题大会第四场，虾神关于5G与GIS未来之路的演讲讲稿，放出的文字版。 ? 前面我们说了5G会对各行各业方方面面造成深远的影响，那么具体到了我们GIS行业，5G可能带来一些什么的影响呢？下面我带着大家一起来对5G如何对GIS发展进行一下展望。 ? 首先，5G肯定会对GIS软件的造成巨大的变革，在我们可以预见的不久的将来，这四个点势必会一一的实现。 首先就是数据不落地。 在5G时代，我们GIS的根基，地图，将要发生革命性的改变，在5G基础支持下，密度可以达每平方公里百万计的传感器，GIS的管理目标从最早的城市、街区，乃至现在需要进行平方米级别，要对他们进行部署、管理、监控的话 我们的GIS在不断的发展，5G技术一样，未来肯定还会有6G7G乃至更多的G，所以，5G，仅仅是开始。
1.6K21发布于 2020-07-16 - 来自专栏气象学家
5G与GIS的未来展望（PPT+讲稿）上篇
本文是2020年ArcGIS开发者大会，6月17日上午主题大会第四场，虾神关于5G与GIS未来之路的演讲讲稿，放出的文字版。 ? 大家好，我是今天上午最后一个，给大家分享的题目是《5G与GIS未来之路的展望》，从题目来看，给大家分享的内容并非是GIS如何来助力5G建设，也不是GIS最新技术的介绍，而是从一个务虚的角度，当然也可以认为是一个战略畅想的角度 下面进入第一个章节：5G是全球信息与智能时代的制高点 这个标题，可能很多同学都可能觉得不以为然，现在对5G技术的认知，出现了两个极端，一个是“5G无用论”，另外一个就是“5G万能论”，那么到底哪种观点才是正确的呢 的网络原理与ADSL是意义，也就是上下行速度是不一样的，4G的下行速度可以到达30-50兆波特，而上行的速度只有下行的五分之一，这样带来的问题就是，想进行高清直播一类应用的时候，现场拍下来的高清视频，无法实时推送和传输 如果我们站着生产者的角度，5G也会给我们带来巨大的红利，在任何行业，更高更快的网络都是刚需，先不说像移动联通、华为中兴这种直接获利的厂商，我们GIS企业也会在里面获得一波巨大的红利，比如基站的选址、优化
1.4K10发布于 2020-07-16 - 来自专栏《C++与 AI：个人经验分享合集》
怎样利用 MATLAB 进行实时系统的建模与仿真？
要利用MATLAB进行实时系统的建模与仿真，您可以按照以下步骤进行操作： 确定系统的建模方法：根据实际情况，选择适合的建模方法，如：微分方程、状态空间模型、传递函数模型等。 编写系统模型的MATLAB代码：利用MATLAB的建模工具，编写系统的模型代码。您可以使用ODE函数求解微分方程，使用tf函数创建传递函数模型，使用ss函数创建状态空间模型等。 需要注意的是，MATLAB可以进行离散时间仿真和连续时间仿真，对于实时系统的仿真，通常采用离散时间仿真。在进行离散时间仿真时，需要注意设置适当的采样时间，以保证仿真结果的准确性。
74310编辑于 2024-12-09 - 来自专栏hightopo
基于 HTML5 OpenLayers3 实现 GIS 电信资源管理系统
前言 通过结合 HTML5 和 OpenLayers 可以组合成非常棒的一个电信地图网络拓扑图的应用，形成的效果可以用来作为电信资源管理系统，美食定位分享软件，片区找房，绘制铁轨线路等等，各个领域都能够涉及的一款应用 虽然这个 Demo 是结合 OpenLayers3 的，其实还可推广到与 ArcGIS、百度地图以及 GoogleMap 等众多 GIS 地图引擎融合。 ? 5e1105!12m4!1e68!2m2!1sset!2sRoadmap! ，缩放的时候并不实时保持大小，而是根据地图的缩放来缩放，实时保持在电信 GIS 地图的某个位置，所以我对 Shape 类型的节点中所有的点遍历了一遍，都设置了业务属性 pointCoord，获取地图视图投影中的坐标 var imageArray = []; switch(i){ case 0: imageArray = ['symbols/5.
5K61发布于 2018-06-04 - 来自专栏机器学习AI算法工程
【LDA数学八卦-5】LDA 文本建模
5. LDA 文本建模 5.1 游戏规则 对于上述的 PLSA 模型，贝叶斯学派显然是有意见的，doc-topic 骰子θ→m和 topic-word 骰子φ→k都是模型中的参数，参数都是随机变量，怎么能没有先验分布呢 我个人很喜欢LDA ，它是在文本建模中一个非常优雅的模型，相比于很多其它的贝叶斯模型， LDA 在数学推导上简洁优美。
1.6K40发布于 2018-03-12 - 来自专栏Hadoop数据仓库
Greenplum 实时数据仓库实践（5）——实时数据同步
自动切换 5.6.5 实时CDC 5.6.6 消费延迟监控 小结 构建实时数据仓库最大的挑战在于从操作型数据源实时抽取数据，即ETL过程中的Extract部分。 例如Flume的flume-ng-sql-source插件，缺省每5秒查询一次源表的主键以捕获新增数据，“利用Flume将MySQL表数据准实时抽取到HDFS”展示了一个具体示例。 图5-10 maxwell + Kafka + bireme 架构 图中的maswell从MySQL复制的从库中级联获取binlog，这样做的原因将在5.5.4小节“实时CDC”中详细说明 图5-12 用内存阻塞队列解决多线程消费乱序问题 5.5.4 实时CDC 大多数情况下，数据同步被要求在不影响线上业务的情况下联机执行，而且还要求对线上库的影响越小越好。 全量同步 （1）在Greenplum中创建模式 模式（schema）是一个有趣的概念，不同数据库系统中的模式代表完全不同的东西。
4.9K30编辑于 2021-12-17 - 来自专栏ATYUN订阅号
AI系统DeepRay实时处理视频，重建模糊的镜头帧
研发公司Cambridge Consultants的研究人员表示，他们利用AI可以实时重建镜头中受损或模糊的帧。在一次关于机场的视频测试中，它能够准确地再现跑道上的飞机。 但与大多数AI不同，DeepRay能够处理实时视频。
1.3K10发布于 2018-12-24 - 来自专栏HT
基于 HTML5 WebGL 与 GIS 的智慧机场大数据可视化分析
前言：大数据，人工智能，工业物联网，5G 已经或者正在潜移默化地改变着我们的生活。 在信息技术快速发展的时代，谁能抓住数据的核心，利用有效的方法对数据做数据挖掘和数据分析，从数据中发现趋势，谁就能做到精准控制，实时分析，有的放矢，从而获取更快速、更平稳、更长远地发展。 在航空领域，机场、航班和航线信息是至关重要的数据，本文将介绍以 HT 为平台，应用 JavaScript、HTML5、GIS 等技术开发的全球航线实例。 3D 场景效果如下： 2D 面板部分主要包括左侧航线表格，右侧风暴实时数据表格以及底部的信息面板。 左侧航线表格展示了不同大洲的航线信息，大洲可以通过底部的左侧按钮进行切换；右测风暴信息是模拟生成，实时更新；底部信息栏包括大洲按钮及航线详细信息。
2.1K20发布于 2020-03-24 - 来自专栏hightopo
图扑数字孪生北京故宫，推进旅游业元宇宙进程
图扑软件 HT 作为基于 HTML5 标准的组件库，可以无缝结合 HTML5 各项多媒体功能，支持集成各类视频资源形成统一的视频流，可在 2D、3D 态势地图上标注摄像头对象并关联其视频信号源，通过场景交互来调取相应监控视频 ，满足运维人员对场景进行实时态势感知、历史数据回溯比对、应急处理预案等监测需求。 实际入园人次历史 渐变色三角形柱状图实现日均入园人次的同比、环比、实时数据展示。图扑运用图形化的手段清晰有效地将数据信息进行解读和传达，帮助我们发现其中的规律和特征，挖掘数据背后的价值。 GIS 开关 HT for Web 和 GIS 的结合，能让三维景区内地面物体展现更多细节。三维场景数据获取可通过航拍建模或者人工建模。航拍建模即倾斜摄影实景三维。 航拍建模的成果数据具有地理坐标系信息，可以准确的和 GIS 匹配，人工建模要和 GIS 匹配需要人工进行空间矫正配准。
1.1K20编辑于 2022-09-21 - 来自专栏圣杰的专栏
DDD理论学习系列（5）-- 统一建模语言
而领域模型是领域建模的结果，那如何建模呢？我们可以借助于UML。 我们知道UML（统一建模语言）是一种用于绘制软件概念图的图形符号。在和他人交流以及帮助解决设计问题方法，图示是最有效的。 在DDD中我们习惯用UML进行领域建模，所以为了后续章节的展开，我们需要而且必须熟悉常用UML的使用。 但是我们在建模时要本着越少越好的思想去使用它。不要过于追求图示的详细程度，且UML图不是源代码，没有必要申明所有方法、变量和关系。
3K70发布于 2018-01-11 视频孪生的前世今生：技术演进、体系架构与应用价值研究
该技术基于其在三维GIS引擎与视频融合领域的长期研发积累，将视频流实时映射至三维空间场景之中，形成统一的时空表达体系。 该阶段主要特点是： 强调物理实体的数字镜像关系 以仿真建模为核心 缺乏实时数据闭环能力 4.2 计算机视觉驱动阶段（2010–2018） 深度学习的发展推动视频理解能力显著提升： 目标检测模型（YOLO 实现像素级空间对象绑定 支持动态实体实时更新 融合AI识别与三维GIS引擎 该阶段标志着视频系统从“感知工具”向“空间计算基础设施”的跃迁。 5、视频孪生的技术体系架构 视频孪生系统通常可划分为四层架构： 5.1 感知层 多路视频接入系统 边缘计算节点 IoT辅助感知数据 5.2 空间基础层 三维GIS引擎 地理坐标统一系统 空间索引与编码机制 6.2 构建空间智能基础设施 通过统一时空映射机制，视频孪生可支撑： 城市级实时态势感知 交通流动态建模 工业过程可视化推演 6.3 补齐数字孪生实时性短板 传统数字孪生依赖低频数据更新，而视频孪生提供高频连续数据流
27310编辑于 2026-07-03- 来自专栏PowerBI入门100例
2.35 PowerBI数据建模-字段参数的5种妙用
操作步骤 STEP 1 点击菜单栏建模下的新建参数，选择字段。 举例模型度量值Sales = SUM('Fact_Sales'[SalesVolume])#Product_Sold = DISTINCTCOUNT(Fact_Sales[Product])字段参数的5种用法 用户就可以按需选择字段，非常适合按需下载明细数据，如下：5 全动态透视表/透视图如果同时使用多个维度字段参数和一个度量值参数，就能实现全动态的自定义分析了，类似于透视表/透视图。
77310编辑于 2025-02-25 - 来自专栏森林消防安全知识
基于HTML5 WebGL 与 GIS 的智慧机场大数据可视化分析
大数据，人工智能，工业物联网，5G 已经或者正在潜移默化地改变着我们的生活。 在信息技术快速发展的时代，谁能抓住数据的核心，利用有效的方法对数据做数据挖掘和数据分析，从数据中发现趋势，谁就能做到精准控制，实时分析，有的放矢，从而获取更快速、更平稳、更长远地发展。 界面预览 飞机及飞机阴影动画 场景搭建 2D 面板部分主要包括左侧航线表格，右侧风暴实时数据表格以及底部的信息面板。 左侧航线表格展示了不同大洲的航线信息，大洲可以通过底部的左侧按钮进行切换；右测风暴信息是模拟生成，实时更新；底部信息栏包括大洲按钮及航线详细信息。 航线生成 基于航空大数据，在本实例中提到的数据分析和可视化的基础上，还可以挖掘更多的应用场景，比如航班运行数据可视化，飞机数据实时展示，航班历史数据分析，应急航线调度等。
94630编辑于 2022-01-26 - 来自专栏王的机器
信用风险建模 in Python 系列 5 - 阈值模型概述
本文含 1845 字，2 图表截屏 建议阅读 10 分钟 引言 本文是「信用风险建模 in Python」系列的第五篇，其实在之前的 Cufflinks 那篇已经埋下了信用风险的伏笔， 信用组合可视化
99220发布于 2020-08-20 - 来自专栏流媒体技术
H5实时解码音频并播放
今天要展示的是从直播流中获取到的音频编码数据进行解码并使用H5的音频API进行播放的过程。 这些格式分别是 1. speex 2. aac 3. mp3 这些格式都有开源的解码库，不过都是c库，在H5中需要通过emscripten编译成js执行。 这些函数对单声道和双声道进行了处理 var resampled = samplerate < 22050; 对于频率小于22khz的数据，我们需要复制一份，模拟成22khz，因为H5只支持大于22khz
1.7K20编辑于 2022-07-28 - 来自专栏工业数字孪生
图扑数字孪生北京故宫，推进旅游业元宇宙进程
图扑软件 HT 作为基于 HTML5 标准的组件库，可以无缝结合 HTML5 各项多媒体功能，支持集成各类视频资源形成统一的视频流，可在 2D、3D 态势地图上标注摄像头对象并关联其视频信号源，通过场景交互来调取相应监控视频 ，满足运维人员对场景进行实时态势感知、历史数据回溯比对、应急处理预案等监测需求。 实际入园人次历史渐变色三角形柱状图实现日均入园人次的同比、环比、实时数据展示。图扑运用图形化的手段清晰有效地将数据信息进行解读和传达，帮助我们发现其中的规律和特征，挖掘数据背后的价值。 GIS 开关HT for Web 和 GIS 的结合，能让三维景区内地面物体展现更多细节。三维场景数据获取可通过航拍建模或者人工建模。航拍建模即倾斜摄影实景三维。 人工建模，主要是根据一定范围内的场景图或者 CAD 图纸结合实景照片进行人工建模。航拍建模的成果数据具有地理坐标系信息，可以准确的和 GIS 匹配，人工建模要和 GIS 匹配需要人工进行空间矫正配准。
1K20编辑于 2022-07-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号