首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏桥路_大数据

    实时数仓:流式数据建模

    流式数据模型 架构设计 数据模型设计是贯穿数据处理过程的,在实时流式数据处理中也一样。实时建模与离线建模类似,数据模型整体上分为5层(ODS、DWD、DWS、ADS、DIM)。 ? ODS层实时进入的数据,会进行去重、清洗等任务,适度做一些维度退化工作,清洗后的数据会存放到DWD层中,DWD数据明细层的数据会回流到消息队列中,从而实时同步到下游实时任务中,同时会持久化到数据库中供离线系统使用 DWS、ADS层数据会存储到实时读写的数据库系统中,供前端业务进行实时访问。 DWS、ADS的数据表类型和离线系统一样,分为事实表和维度表。 但在进行指标计算时,事实数据实时进行订阅,使用到的维度表数据不会进行实时更新获取,而使用的是T-2的离线数据。且维度表数据会存储在DIM层中,在计算时进行获取。 这里的计算流向是:Kafka作为ODS层,存储实时数据;实时流计算任务从ODS获取数据进行计算,计算结果作为DWD层数据,写入到Kafka中存储,供下游实时计算,并且为了与离线系统保持一致,也会推送到离线系统中进行存储

    2.2K20发布于 2021-01-06
  • 来自专栏《C++与 AI:个人经验分享合集》

    怎样利用 MATLAB 进行实时系统的建模与仿真?

    要利用MATLAB进行实时系统的建模与仿真,您可以按照以下步骤进行操作: 确定系统的建模方法:根据实际情况,选择适合的建模方法,如:微分方程、状态空间模型、传递函数模型等。 编写系统模型的MATLAB代码:利用MATLAB的建模工具,编写系统的模型代码。您可以使用ODE函数求解微分方程,使用tf函数创建传递函数模型,使用ss函数创建状态空间模型等。 需要注意的是,MATLAB可以进行离散时间仿真和连续时间仿真,对于实时系统的仿真,通常采用离散时间仿真。在进行离散时间仿真时,需要注意设置适当的采样时间,以保证仿真结果的准确性。

    77610编辑于 2024-12-09
  • 来自专栏数字孪生

    【技术篇】数字孪生项目为什么需要UE、Unity、GIS、BIM等多技术协同?

    BIM解决工程模型,GIS解决空间数据,UE/Unity解决实时三维应用,IoT负责实时数据,业务系统负责业务逻辑,数字孪生平台负责组织和承载。因此,数字孪生项目真正需要的是技术协同能力。 一、BIM、GIS、UE、Unity到底分别解决什么问题?可以用一句话理解:BIM管工程信息,GIS管空间关系,UE/Unity管实时三维表现,IoT管实时数据。 技术主要解决的问题常见项目BIM建筑和工程信息建筑、工厂、基础设施GIS地理空间关系城市、园区、水利UE高质量实时三维大型场景、工业、园区Unity交互应用开发Web/PC/移动端应用IoT实时设备数据工厂 、园区、能源倾斜摄影现实场景快速建模城市、园区、自然环境所以,项目技术路线不应该由“哪个软件最先进”决定,而应该由项目需求决定。 从三维建模到数据联动的完整流程。

    15010编辑于 2026-11-03
  • 来自专栏ATYUN订阅号

    AI系统DeepRay实时处理视频,重建模糊的镜头帧

    研发公司Cambridge Consultants的研究人员表示,他们利用AI可以实时重建镜头中受损或模糊的帧。在一次关于机场的视频测试中,它能够准确地再现跑道上的飞机。 但与大多数AI不同,DeepRay能够处理实时视频。

    1.3K10发布于 2018-12-24
  • FME在AEC行业能完成哪些数据集成任务?

    BIM、GIS、IoT和实时数据。 FMEPlatform更适合作为现有设计、GIS和业务系统之间的数据集成与自动化层,而不是替代BIM建模、GIS分析或资产管理软件。 在实际AEC项目中,可以根据业务时效要求选择:定时批处理文件更新后处理API触发业务事件触发实时或流式处理并非所有AEC数据都需要实时同步。 任务七:数字孪生数据准备与集成数字孪生通常需要多类数据共同工作,例如:BIM+GIS+资产数据+IoT+实时数据SafeSoftware的AEC资料明确提出,可以通过集成BIM、IoT和实时数据流构建数字孪生相关数据体系 FME主要是数据集成平台,因此通常不替代以下专业软件能力:BIM建模FME不会替代Revit等BIM设计和建模工具。CAD设计不会替代专业CAD制图环境。

    15410编辑于 2026-09-17
  • 来自专栏HT

    倾斜摄影实景三维在智慧工厂 Web 3D GIS 数字孪生应用

    实现价值 基于 HT for Web 和 GIS 技术的数字钢铁厂建设主要有以下三部曲: ? 数据获取: Ø 钢铁厂三维场景数据获取方式主要有两种:一种是通过航拍建模;一种是通过人工建模。 航拍建模,也称倾斜摄影实景三维,是近年来快速发展的一项 GIS 技术。利用飞机或无人机搭载多台传感器,从前后左右以及垂直五个方向对地物进行拍摄采集,快速高效获取真实反映地面情况的数据信息。 除了上述特点之外,航拍建模的成果数据具有地理坐标系信息,可以准确的和GIS 匹配,人工建模要和 GIS 匹配需要人工进行空间矫正配准。 现今,大部分钢铁厂对厂区的环境监控都布设了相应的监控点位,通过对接设备上的实时数据,可以对厂区的环境进行全面的监测把控。 同时,针对影响环境的因素,如,车辆尾气的排放,也可以进行厂区的车辆分布及具体信息进行实时监控。 ? ?

    2.3K31发布于 2020-12-08
  • 视频孪生的前世今生:技术演进、体系架构与应用价值研究

    摘要 随着数字孪生技术从概念验证走向规模化应用,面向高动态场景的实时感知与空间映射需求日益增强,视频孪生(Video Twin)作为一种融合计算机视觉、三维GIS与数字孪生体系的新型技术路径逐渐兴起。 该技术基于其在三维GIS引擎与视频融合领域的长期研发积累,将视频流实时映射至三维空间场景之中,形成统一的时空表达体系。 该阶段主要特点是: 强调物理实体的数字镜像关系 以仿真建模为核心 缺乏实时数据闭环能力 4.2 计算机视觉驱动阶段(2010–2018) 深度学习的发展推动视频理解能力显著提升: 目标检测模型(YOLO 实现像素级空间对象绑定 支持动态实体实时更新 融合AI识别与三维GIS引擎 该阶段标志着视频系统从“感知工具”向“空间计算基础设施”的跃迁。 6.2 构建空间智能基础设施 通过统一时空映射机制,视频孪生可支撑: 城市级实时态势感知 交通流动态建模 工业过程可视化推演 6.3 补齐数字孪生实时性短板 传统数字孪生依赖低频数据更新,而视频孪生提供高频连续数据流

    36310编辑于 2026-07-03
  • 来自专栏人员定位系统

    复杂多径环境下 UWB 人员定位误差建模与实时补偿技术

    关键词:UWB;多径效应;误差建模;NLOS;实时补偿;自适应EKF;CIR0引言UWB依靠纳秒窄脉冲具备天然抗多径能力,但在金属构件密集的工业场景,反射信号能量强、多径簇密集,首径容易被淹没,造成TOA 针对该问题,本文从误差机理出发,建立可在线辨识的误差模型,配套轻量化实时补偿框架,在边缘网关完成测距校正与定位解算。 1多径条件下分层误差建模将UWB测距观测统一建模:\(\hat{r}=r+\varepsilon_g+\varepsilon_s+\varepsilon_d\)r为真实距离;\(\varepsilon_g 2链路级实时补偿流程补偿分为离线标定与在线实时校正两个阶段。离线阶段采集厂区不同位置、不同遮挡状态下的样本,拟合静态偏移查找表,建立场景基础误差先验;在线阶段为逐帧链路补偿,分为三步。 该方案区别于单纯的滤波平滑:滤波只抑制误差扩散,而误差建模与补偿是从观测源头修正测距偏差,二者形成前置校正+后端鲁棒融合的双层抑制机制,对持续多径干扰的改善效果明显优于单一滤波。

    9510编辑于 2026-11-11
  • 来自专栏AI科技大本营的专栏

    抗击新冠肺炎,如何进行实时动态时序图谱建模与分析?

    我们使用AbutionGraph依据真实场景建模,由于详细数据不公开,本文中均使用模拟数据进行分析。 ? ? 与普通图存储的技术区别 在建模前,我们有必要先来理解一下多维、动态、时序这些在图谱存储中的新概念。 1)“一维”图谱和“多维”图谱的区别 一维图谱: ? 新冠肺炎数据建模 了解了图形的多种存储形式后,接下来我们使用模拟数据依次建模,并详细介绍每个实体与关系的数据映射关系。 ? 一)节点“人”数据建模 正常人数据(2维): 1.基本信息:性别、生日、籍贯等 (数据来自身份证采集等渠道) 2.曾患病信息:疾病名称、发病时间、就诊医院等 (数据来自医院联网数据等渠道) 至此,数据建模介绍完毕。如上,数据统计部分已经实现自动化,即查即用。接下来基于此设定数据集进行一些更上层的分析场景演示。 ?

    1.3K10发布于 2020-02-24
  • 来自专栏未来先知

    YOLO-ELA 高效的局部注意建模,用于高性能实时缺陷检测 !

    为解决这一问题,本文提出了一种基于局部注意力建模的新注意力基础架构,即YOLO-ELA。 这些模型在保持高精度的同时显著提高了检测速度,使其更适合实时应用。例如,阿杜等人(2019年)使用YOLOv3检测绝缘子并识别缺陷,实现了每秒45帧(FPS)的检测速度,满足了实时检测需求。 Evaluation metrics 在本工作中,作者考虑将基于注意力的YOLOv8应用于实时绝缘子缺陷检测。 具有更高 FPS 的模型在实时应用中更受欢迎,因为它可以更高效地处理更多的帧,确保更快的检测或处理。 这表明所提出的模型在实时部署中表现更好,既提高了速度,也提高了准确性。

    1.4K10编辑于 2024-10-29
  • 来自专栏行业科技知识分享

    智慧城市大数据运营中心 IOC 之 Web GIS 地图应用

    最终将分出来的每个区块都会附带一个较大的 AO 贴图,再对 AO 贴图进行烘焙,就需要对模型进行展UV,最终完成城市级建筑群建模工作。 10_副本.png 生态预警 界面还展示了台风路径图的实时动画并且提供了实时信息交互功能,HT 的 3D 引擎支持画面的动态矢量数据,客户只需要轻轻点击路径图,便可以获取实时台风动态信息。 人脸1.gif 实现价值 IOC 智慧城市智能运行中心以城市数字基础设施、通过数据汇聚和分析,结合 GIS 地图的可视化展现形式,以生态化的服务为运营模式,利用“实时、全样、精准”的城市数据建立全程在线 结合 HT for Web 强大的可视化引擎技术,实现不同的地图瓦片数据、倾斜摄影实景、三维精细化人工建模模型、POI 等数据的叠加展示;结合 HT for Web BIM 产品,实现 BIM 模型和 GIS 结合的可视化展现;结合 HT for Web 三维视频融合产品,实现 GIS 场景中的实时视频融合展示。

    2.2K30发布于 2021-05-07
  • 来自专栏HT

    智慧城市大数据运营中心 IOC 之 Web GIS 地图应用

    最终将分出来的每个区块都会附带一个较大的 AO 贴图,再对 AO 贴图进行烘焙,就需要对模型进行展UV,最终完成城市级建筑群建模工作。 ? 生态预警 界面还展示了台风路径图的实时动画并且提供了实时信息交互功能,HT 的 3D 引擎支持画面的动态矢量数据,客户只需要轻轻点击路径图,便可以获取实时台风动态信息。 实现价值 IOC 智慧城市智能运行中心以城市数字基础设施、通过数据汇聚和分析,结合 GIS 地图的可视化展现形式,以生态化的服务为运营模式,利用“实时、全样、精准”的城市数据建立全程在线、全域覆盖、实时反馈的 结合 HT for Web 强大的可视化引擎技术,实现不同的地图瓦片数据、倾斜摄影实景、三维精细化人工建模模型、POI 等数据的叠加展示;结合 HT for Web BIM 产品,实现 BIM 模型和 GIS 结合的可视化展现;结合 HT for Web 三维视频融合产品,实现 GIS 场景中的实时视频融合展示。

    1.9K20发布于 2021-04-14
  • 三维GIS平台架构:从数据到场景的四层体系

    传统二维GIS受限于平面表达,难以还原城市、园区等立体空间的真实面貌。随着智慧城市与数字孪生的发展,三维GIS平台正在成为空间信息可视化的核心底座。 三维GIS需要融合多源异构数据:遥感影像、数字高程模型(DEM)、倾斜摄影模型、BIM模型、矢量要素以及IoT实时数据。 四、架构演进趋势当前三维GIS架构正从“展示型”向“分析决策型”演进。 另一方面,BIM与GIS的深度融合推动道路、桥梁等基础设施的参数化建模,通过算法自动生成桥墩、边坡等结构,大幅降低人工建模成本。 未来,结合AI的空间语义理解与实时IoT数据接入,三维GIS平台将成为城市运行管理不可或缺的“数字底座”。

    36410编辑于 2026-08-22
  • 来自专栏hightopo

    图扑数字孪生北京故宫,推进旅游业元宇宙进程

    标准的组件库,可以无缝结合 HTML5 各项多媒体功能,支持集成各类视频资源形成统一的视频流,可在 2D、3D 态势地图上标注摄像头对象并关联其视频信号源,通过场景交互来调取相应监控视频,满足运维人员对场景进行实时态势感知 实际入园人次历史 渐变色三角形柱状图实现日均入园人次的同比、环比、实时数据展示。图扑运用图形化的手段清晰有效地将数据信息进行解读和传达,帮助我们发现其中的规律和特征,挖掘数据背后的价值。 GIS 开关 HT for Web 和 GIS 的结合,能让三维景区内地面物体展现更多细节。三维场景数据获取可通过航拍建模或者人工建模。航拍建模即倾斜摄影实景三维。 人工建模,主要是根据一定范围内的场景图或者 CAD 图纸结合实景照片进行人工建模。 航拍建模的成果数据具有地理坐标系信息,可以准确的和 GIS 匹配,人工建模要和 GIS 匹配需要人工进行空间矫正配准。

    1.1K20编辑于 2022-09-21
  • 来自专栏工业数字孪生

    图扑数字孪生北京故宫,推进旅游业元宇宙进程

    标准的组件库,可以无缝结合 HTML5 各项多媒体功能,支持集成各类视频资源形成统一的视频流,可在 2D、3D 态势地图上标注摄像头对象并关联其视频信号源,通过场景交互来调取相应监控视频,满足运维人员对场景进行实时态势感知 实际入园人次历史渐变色三角形柱状图实现日均入园人次的同比、环比、实时数据展示。图扑运用图形化的手段清晰有效地将数据信息进行解读和传达,帮助我们发现其中的规律和特征,挖掘数据背后的价值。 GIS 开关HT for Web 和 GIS 的结合,能让三维景区内地面物体展现更多细节。三维场景数据获取可通过航拍建模或者人工建模。航拍建模即倾斜摄影实景三维。 人工建模,主要是根据一定范围内的场景图或者 CAD 图纸结合实景照片进行人工建模。航拍建模的成果数据具有地理坐标系信息,可以准确的和 GIS 匹配,人工建模要和 GIS 匹配需要人工进行空间矫正配准。 航拍建模的 .osgb 模型数据具有多细节层次(LOD),系统可以根据用户浏览时和场景的距离显示不同精度的 LOD 层级模型,提高数据展示渲染的高效性。航拍建模精细度不如人工建模。

    1.1K20编辑于 2022-07-22
  • 来自专栏点点GIS

    今日GIS大事件!星图地球刚刚官宣1.5小时完成100平方公里城市建模

    近年来,随着我国“数字城市”向“智慧城市”的不断转型升级,以二维矢量数据为主的 GIS 应用已经难以满足当前的需求,一种所见即所得、更加直观的城市三维实景模型逐渐成为大众热衷的表达方式。 因此,如何快速构建城市三维实景模型成为当前 GIS 应用领域研究的热点问题。 在构建城市三维实景模型技术方案中,目前已有城市数据集将所有建筑物视为单一类别,但在当前城市结构布局复杂、建筑风格多样的多种环境下,相关技术难以满足大规模复杂城市的三维建模与发展规划的需求。 ▼ 在实景三维城市、数字孪生城市、新型智慧城市建设如火如荼的当下,建筑物的提取与建模对城市规划管理、城市形象展示等具有重要作用,为构建数字孪生、打造三维数字地球提供基础资源支撑。

    1.7K30编辑于 2022-09-27
  • 来自专栏HT

    数字孪生智慧物流之 Web GIS 地图应用

    业务数据——三维柱状图 系统支持遵循企业业务数据的实时动态变化进行三维柱状图形式的实时涨跌呈现,全面直观展现出位置空间的分布情况以及需求数据实时变化。 货轮航线查看 可运用图扑软件 HT 引擎强大的渲染功能,实时动画形式真实还原船舶停靠各港口的行驶路线,且提供实时信息交互功能与历史信息回溯对比,用户仅需点击【航线查看】,即可追踪船舶动态信息。 透明化管理 监控中心可借助于 HT GIS 根据车辆信息、位置、道路交通状况向车辆发出实时调度指令,用系统的观念运作企业业务,达到充分调度货物及车辆的目的,降低空载率,使运输全程变得透明化,对全链条订单进行保姆式追踪和整合 结合 HT 强大的可视化引擎技术,实现不同的地图瓦片数据、倾斜摄影实景、三维精细化人工建模模型、POI 等数据的叠加展示。 IoT 数据以及大数据系统平台的等数据信息,结合轻量化建模方案实现甚至手机端都可随时随地查看 3D 可视化效果,实现资源数据共享,加速智能化产业发展与升级,重塑行业形态,创造更大的商业价值。

    1.7K30编辑于 2022-05-26
  • 来自专栏万物可视

    0.5米以内的精度!青岛迎来全国首个5G大件物流园区!

    业务数据——三维柱状图系统支持遵循企业业务数据的实时动态变化进行三维柱状图形式的实时涨跌呈现,全面直观展现出位置空间的分布情况以及需求数据实时变化。 货轮航线查看可运用图扑软件 HT 引擎强大的渲染功能,实时动画形式真实还原船舶停靠各港口的行驶路线,且提供实时信息交互功能与历史信息回溯对比,用户仅需点击【航线查看】,即可追踪船舶动态信息。 透明化管理监控中心可借助于 HT GIS 根据车辆信息、位置、道路交通状况向车辆发出实时调度指令,用系统的观念运作企业业务,达到充分调度货物及车辆的目的,降低空载率,使运输全程变得透明化,对全链条订单进行保姆式追踪和整合 结合 HT 强大的可视化引擎技术,实现不同的地图瓦片数据、倾斜摄影实景、三维精细化人工建模模型、POI 等数据的叠加展示。颠覆传统的 GIS 系统的开发,让开发变得更加便捷,数据更直观,展现更多样化。 IoT 数据以及大数据系统平台的等数据信息,结合轻量化建模方案实现甚至手机端都可随时随地查看 3D 可视化效果,实现资源数据共享,加速智能化产业发展与升级,重塑行业形态,创造更大的商业价值。

    89840编辑于 2022-06-16
  • 来自专栏点点GIS

    GIS 学生如何帮助应对洪水(以2019年美国洪水为例)

    “我们使用无人机来提供实时态势感知能力。我们连续 16 天每天工作 14 小时。” 在沿河的许多小社区中,洪水经常发生,但没有达到这些事件的程度和持续时间。 美国陆军工程兵团和国家气象局使用水力预报和 GIS 进行预测建模所运行的模型,该堤坝将失败。 市民们用推土机将城镇周围农田的泥土推开,建造了自己的后备堤坝。 “交通部有一位专业的交通流量建模师正在优化疏散路线”,“我们将这些信息导入地理数据库以进行下一步,创建地图产品以提供所有人最终会在哪里结束的上下文。” 团队团队的一种观点 不同机构和 GIS 学生收集的实时数据被输入ArcGIS Dashboards并在全州共享。 “我们会收到添加一些东西的请求,比如雷达的天气覆盖,学生们会研究并找到最好的实时数据添加到仪表板” 3 难忘的体验 学生们从这些活动中获得了丰富的学习经验,沉浸在各种 GIS 工具的使用中,并且需要在危机期间快速提供答案

    82030发布于 2021-08-18
  • 来自专栏HT

    图扑智慧军工合集:打造现代化军事管理平台

    产品优势 GIS 军工可视化 在当今快速发展的科技时代,地理信息系统(GIS)和可视化技术正在潜移默化的改变着各个行业的运营模式。 实时战场监控与分析 利用 HT for Web GIS,可以对战场进行实时监控,获取精确的地理和战术信息。通过将战场实况与数字孪生结合,指挥官可以更直观地了解敌我态势,制定有效的战术决策。 无人机蜂群管理 借助 GIS 技术,指挥官可以实时监控无人机蜂群的飞行状态和位置,制定精准的战术策略。优化无人机蜂群的协同作战和资源使用。 图扑轻量化建模全方位立体式还原机场实貌,分图层对机场的区域、建筑、飞机跑道、武器装备、管理设备、停泊战机数量等进行查看、监控和跟踪。 武器系统 对武器系统中的炮塔、炮筒、坦克炮、激光测距仪主机、弹药箱等关键部件进行建模和渲染,展示出武器系统相关的可视化图表。

    1.3K10编辑于 2024-08-30
领券