- 综合排序
- 最热优先
- 最新优先
- 来自专栏桥路_大数据
实时数仓：流式数据建模
流式数据模型 架构设计 数据模型设计是贯穿数据处理过程的，在实时流式数据处理中也一样。实时建模与离线建模类似，数据模型整体上分为5层（ODS、DWD、DWS、ADS、DIM）。 ? ODS层实时进入的数据，会进行去重、清洗等任务，适度做一些维度退化工作，清洗后的数据会存放到DWD层中，DWD数据明细层的数据会回流到消息队列中，从而实时同步到下游实时任务中，同时会持久化到数据库中供离线系统使用 DWS、ADS层数据会存储到实时读写的数据库系统中，供前端业务进行实时访问。 DWS、ADS的数据表类型和离线系统一样，分为事实表和维度表。 但在进行指标计算时，事实数据实时进行订阅，使用到的维度表数据不会进行实时更新获取，而使用的是T-2的离线数据。且维度表数据会存储在DIM层中，在计算时进行获取。 这里的计算流向是：Kafka作为ODS层，存储实时数据；实时流计算任务从ODS获取数据进行计算，计算结果作为DWD层数据，写入到Kafka中存储，供下游实时计算，并且为了与离线系统保持一致，也会推送到离线系统中进行存储
2.1K20发布于 2021-01-06 - 来自专栏往期博文
数学建模番外篇8：画图配色
前面已经总结了各类画图类型/套路/技巧，此篇来总结一下配色。 之前有提到，通常在白底背景下，颜色以淡色为主会显得比较美观。
62910编辑于 2022-06-14 - 来自专栏《C++与 AI：个人经验分享合集》
怎样利用 MATLAB 进行实时系统的建模与仿真？
要利用MATLAB进行实时系统的建模与仿真，您可以按照以下步骤进行操作： 确定系统的建模方法：根据实际情况，选择适合的建模方法，如：微分方程、状态空间模型、传递函数模型等。 编写系统模型的MATLAB代码：利用MATLAB的建模工具，编写系统的模型代码。您可以使用ODE函数求解微分方程，使用tf函数创建传递函数模型，使用ss函数创建状态空间模型等。 需要注意的是，MATLAB可以进行离散时间仿真和连续时间仿真，对于实时系统的仿真，通常采用离散时间仿真。在进行离散时间仿真时，需要注意设置适当的采样时间，以保证仿真结果的准确性。
74310编辑于 2024-12-09 - 来自专栏往期博文
数学建模暑期集训8：熵权法
在本专栏第三篇博文中列举了熵权法的公式数学建模学习笔记（三）熵权法Excel实现，但用Excel实现的讲解视频已经无法观看，这篇博文就来用matlab实现熵权法，比excel手动操作更加方便。
1.2K20编辑于 2022-06-14 - 来自专栏媒矿工厂
实时 8K 服务的现状
来源：8K ASSOCIATION 演讲者：Mauricio Alvarez-Mesa 内容整理：胡经川 本文主要讨论实时 8K 服务的现状。 首先从 8K 格式标准入手介绍什么是 8K，然后从编码角度分析如何才能提供实时的 8K 服务，随后谈到目前有哪些在 8K 实时视频服务上的尝试并从中分析实时 8K 服务的未来。 目录 8K 是什么？ 8K 格式标准 为什么需要 8K 直播以及如何实现？ 谁在提供实时 8K 服务 ？ 实时 8K 服务的现在与未来？ 8K 是什么？ 所以综合考虑这些因素来看，HEVC 还是目前最适合用于 8K 实时内容的编解码标准。 表 4：不同厂商的编码器 解码器方面，它们大多已经被整合进 8K 电视或者 PC 中，而且除了 HEVC 以外，已经有一些实时的 AV1 和 VVC 解码器实现了。 谁在提供实时 8K 服务 ？
89630编辑于 2022-02-18 - 来自专栏博文视点Broadview
8种最差的预测建模技术，你认同吗？
以下罗列了8种最差的预测建模技术以及仍被使用的原因。 以下技术大多数已经发展了较长时间（在过去10年中），其中大部分缺点已经得到弥补，因此更新后的技术已经远不同于其原始版本，性能也大为提高。 8．朴素贝叶斯 用于如欺诈检测、垃圾邮件检测和评分。它们假定变量是独立的，但如果不是，就会惨遭失败。在进行欺诈检测和垃圾邮件检测时，变量（有时被称为规则）是高度相关的。
60830发布于 2020-06-11 - 来自专栏圆圆的算法笔记
8篇论文详解用户历史行为序列建模方法
本文汇总了8篇推荐系统中对用户历史行为序列建模的方法，包括DIN、DIEN等经典模型。 其次，DIN中提出序列建模（如RNN建模历史行为序列）效果不好，这其实是因为历史行为序列的随机性较大，消费者在电商平台看到的东西同时属于多种类型，序列中不同类型的节点跳变随机性强。 DSIN相比DIN的改进主要是对用户历史行为部分的建模更加精细化了，分session建模，得到的每个兴趣的表示更加丰富，而不像DIN只使用商品的ID embedding。 5 总结 本文我们介绍了8篇推荐系统或广告系统中的用户历史行为建模方法。 除了使用用户本身的行为序列进行建模外，使用一些相似用户的行为序列辅助学习，也会进一步取得不错的效果。 END
4.6K20编辑于 2022-09-22 FME在AEC行业能完成哪些数据集成任务？
BIM、GIS、IoT和实时数据。 FMEPlatform更适合作为现有设计、GIS和业务系统之间的数据集成与自动化层，而不是替代BIM建模、GIS分析或资产管理软件。 SafeSoftware披露的ArupEglintonCrosstownWestExtension轻轨项目中，FME每8小时检查更新并把CAD文件转换到GIS环境；官方资料称该自动流程消除了相关人工录入 任务七：数字孪生数据准备与集成数字孪生通常需要多类数据共同工作，例如：BIM+GIS+资产数据+IoT+实时数据SafeSoftware的AEC资料明确提出，可以通过集成BIM、IoT和实时数据流构建数字孪生相关数据体系 FME主要是数据集成平台，因此通常不替代以下专业软件能力：BIM建模FME不会替代Revit等BIM设计和建模工具。CAD设计不会替代专业CAD制图环境。
9810编辑于 2026-09-17- 来自专栏ATYUN订阅号
AI系统DeepRay实时处理视频，重建模糊的镜头帧
研发公司Cambridge Consultants的研究人员表示，他们利用AI可以实时重建镜头中受损或模糊的帧。在一次关于机场的视频测试中，它能够准确地再现跑道上的飞机。 但与大多数AI不同，DeepRay能够处理实时视频。
1.3K10发布于 2018-12-24 - 来自专栏软件方法
UML建模工具2021年8-11月更新（1）
UMLChina整理的UML建模工具列表请见http://www.umlchina.com/tools/search.aspx 最近一段时间更新： 工具最新版本：Modelio 5.1.0 更新时间：2021 年10月26日 工具简介 UML和BPMN建模，强调协作建模，提供模型网络存储。 https://www.omnigroup.com/omnigraffle 工具最新版本：Astah Professional 8.4.1 更新时间：2021年9月29日 工具简介 日本老牌UML建模工具
82920编辑于 2021-12-14 - 来自专栏AI科技大本营的专栏
抗击新冠肺炎，如何进行实时动态时序图谱建模与分析？
我们使用AbutionGraph依据真实场景建模，由于详细数据不公开，本文中均使用模拟数据进行分析。 ? ? 新冠肺炎数据建模 了解了图形的多种存储形式后，接下来我们使用模拟数据依次建模，并详细介绍每个实体与关系的数据映射关系。 ? 至此，数据建模介绍完毕。如上，数据统计部分已经实现自动化，即查即用。接下来基于此设定数据集进行一些更上层的分析场景演示。 ? execute "<2020.01.24" 结果： 北京市（2020.01.20）：2例 北京市（2020.01.21）：6例 北京市（2020.01.22）：13例 北京市（2020.01.23）：8例 "] toEdge [“院上报”] use ["院上报维度"] select [“患者年龄”] mean() ; 结果： 70~79岁：1人 60~69岁：4人 50~59岁：3人 40~49岁：8人
1.2K10发布于 2020-02-24 - 来自专栏HT
倾斜摄影实景三维在智慧工厂 Web 3D GIS 数字孪生应用
实现价值 基于 HT for Web 和 GIS 技术的数字钢铁厂建设主要有以下三部曲： ? 数据获取： Ø 钢铁厂三维场景数据获取方式主要有两种：一种是通过航拍建模；一种是通过人工建模。 航拍建模，也称倾斜摄影实景三维，是近年来快速发展的一项 GIS 技术。利用飞机或无人机搭载多台传感器，从前后左右以及垂直五个方向对地物进行拍摄采集，快速高效获取真实反映地面情况的数据信息。 除了上述特点之外，航拍建模的成果数据具有地理坐标系信息，可以准确的和GIS 匹配，人工建模要和 GIS 匹配需要人工进行空间矫正配准。 现今，大部分钢铁厂对厂区的环境监控都布设了相应的监控点位，通过对接设备上的实时数据，可以对厂区的环境进行全面的监测把控。 同时，针对影响环境的因素，如，车辆尾气的排放，也可以进行厂区的车辆分布及具体信息进行实时监控。 ? ?
2.3K31发布于 2020-12-08 - 来自专栏未来先知
YOLO-ELA 高效的局部注意建模，用于高性能实时缺陷检测 !
为解决这一问题，本文提出了一种基于局部注意力建模的新注意力基础架构，即YOLO-ELA。 这些模型在保持高精度的同时显著提高了检测速度，使其更适合实时应用。例如，阿杜等人（2019年）使用YOLOv3检测绝缘子并识别缺陷，实现了每秒45帧（FPS）的检测速度，满足了实时检测需求。 Evaluation metrics 在本工作中，作者考虑将基于注意力的YOLOv8应用于实时绝缘子缺陷检测。 具有更高 FPS 的模型在实时应用中更受欢迎，因为它可以更高效地处理更多的帧，确保更快的检测或处理。 这表明所提出的模型在实时部署中表现更好，既提高了速度，也提高了准确性。
1.3K10编辑于 2024-10-29 - 来自专栏点点GIS
今日GIS大事件！星图地球刚刚官宣1.5小时完成100平方公里城市建模
近年来，随着我国“数字城市”向“智慧城市”的不断转型升级，以二维矢量数据为主的 GIS 应用已经难以满足当前的需求，一种所见即所得、更加直观的城市三维实景模型逐渐成为大众热衷的表达方式。 因此，如何快速构建城市三维实景模型成为当前 GIS 应用领域研究的热点问题。 在构建城市三维实景模型技术方案中，目前已有城市数据集将所有建筑物视为单一类别，但在当前城市结构布局复杂、建筑风格多样的多种环境下，相关技术难以满足大规模复杂城市的三维建模与发展规划的需求。 ▼ 在实景三维城市、数字孪生城市、新型智慧城市建设如火如荼的当下，建筑物的提取与建模对城市规划管理、城市形象展示等具有重要作用，为构建数字孪生、打造三维数字地球提供基础资源支撑。 主要流程如下： 图8 技术流程 2.2 多任务学习约束下的遥感图像建筑物 提取与DSM预测网络 针对现有方法仅利用图像逐像素掩膜和DSM作为监督信息，缺乏来自于不同任务的信息互促的问题，团队提出了一种基于多任务学习的建筑物提取与
1.6K30编辑于 2022-09-27 - 来自专栏HT
智慧城市大数据运营中心 IOC 之 Web GIS 地图应用
最终将分出来的每个区块都会附带一个较大的 AO 贴图，再对 AO 贴图进行烘焙，就需要对模型进行展UV，最终完成城市级建筑群建模工作。 ? 生态预警 界面还展示了台风路径图的实时动画并且提供了实时信息交互功能，HT 的 3D 引擎支持画面的动态矢量数据，客户只需要轻轻点击路径图，便可以获取实时台风动态信息。 实现价值 IOC 智慧城市智能运行中心以城市数字基础设施、通过数据汇聚和分析，结合 GIS 地图的可视化展现形式，以生态化的服务为运营模式，利用“实时、全样、精准”的城市数据建立全程在线、全域覆盖、实时反馈的 结合 HT for Web 强大的可视化引擎技术，实现不同的地图瓦片数据、倾斜摄影实景、三维精细化人工建模模型、POI 等数据的叠加展示；结合 HT for Web BIM 产品，实现 BIM 模型和 GIS 结合的可视化展现；结合 HT for Web 三维视频融合产品，实现 GIS 场景中的实时视频融合展示。
1.9K20发布于 2021-04-14 - 来自专栏行业科技知识分享
智慧城市大数据运营中心 IOC 之 Web GIS 地图应用
最终将分出来的每个区块都会附带一个较大的 AO 贴图，再对 AO 贴图进行烘焙，就需要对模型进行展UV，最终完成城市级建筑群建模工作。 10_副本.png 生态预警 界面还展示了台风路径图的实时动画并且提供了实时信息交互功能，HT 的 3D 引擎支持画面的动态矢量数据，客户只需要轻轻点击路径图，便可以获取实时台风动态信息。 人脸1.gif 实现价值 IOC 智慧城市智能运行中心以城市数字基础设施、通过数据汇聚和分析，结合 GIS 地图的可视化展现形式，以生态化的服务为运营模式，利用“实时、全样、精准”的城市数据建立全程在线 结合 HT for Web 强大的可视化引擎技术，实现不同的地图瓦片数据、倾斜摄影实景、三维精细化人工建模模型、POI 等数据的叠加展示；结合 HT for Web BIM 产品，实现 BIM 模型和 GIS 结合的可视化展现；结合 HT for Web 三维视频融合产品，实现 GIS 场景中的实时视频融合展示。
2.1K30发布于 2021-05-07 - 来自专栏CreateAMind
ASI 8年计划 paper8 自由能原理建模生物神经形态发生
在这里，我们探讨了这些思想的一个具体应用，通过优化原则对形态发生进行建模。 每个时间步可以被认为是对迁移和分化进行建模，持续几分钟。 这被称为动态因果建模[74,75]，并且使用了上述的自由能最小化。 原则上，将动态因果建模应用于形态发生的实证测量应该提供一种通过贝叶斯模型比较来测试具体假设的方法，并且以定量和实证的方式来确立上述建模的基础。 因此，整个有机体可能表现出自我建模过程——它们本质上是在模拟自己的生长过程。
45310编辑于 2024-02-26 - 来自专栏生信菜鸟团
读书笔记 | 第 8 章 癌症标志特征的数学建模
MAPKs 有六个群组：胞外信号调节激酶（extracellular signal-regulated kinases，ERK1 和 ERK2）、ERK5、ERK3 和 ERK4、ERK7 或 ERK8、 类型 I 凋亡可在某些细胞类型中观察到，涉及早期半胱天冬酶（如半胱天冬酶-8，CASP8）和效应半胱天冬酶（如半胱天冬酶-3，CASP3）的正反馈。 在一个详细的外在凋亡模型中，CASP8 和 CASP3 的正反馈引发的开关行为以及线粒体膜通透化的作用被深入研究（Albeck 等人，2008）。 在这项工作中，一个基于常微分方程（ODE）的数学模型描述了肿瘤与免疫系统的相互作用，重点在于 NK 细胞和 CD8+ T 细胞在肿瘤监视中的作用。该模型参数化基于已发表的小鼠数据和人类研究。 这些通路导致了 8 个标志和 2 个促进特征。每个标志和特征的最常见模型类型均有提及。 本书各章讨论了癌症并非单一突变的结果，而是一系列特定顺序的复杂改变引发的表型异常。
53600编辑于 2024-12-20 - 来自专栏hightopo
图扑数字孪生北京故宫，推进旅游业元宇宙进程
标准的组件库，可以无缝结合 HTML5 各项多媒体功能，支持集成各类视频资源形成统一的视频流，可在 2D、3D 态势地图上标注摄像头对象并关联其视频信号源，通过场景交互来调取相应监控视频，满足运维人员对场景进行实时态势感知 实际入园人次历史 渐变色三角形柱状图实现日均入园人次的同比、环比、实时数据展示。图扑运用图形化的手段清晰有效地将数据信息进行解读和传达，帮助我们发现其中的规律和特征，挖掘数据背后的价值。 GIS 开关 HT for Web 和 GIS 的结合，能让三维景区内地面物体展现更多细节。三维场景数据获取可通过航拍建模或者人工建模。航拍建模即倾斜摄影实景三维。 人工建模，主要是根据一定范围内的场景图或者 CAD 图纸结合实景照片进行人工建模。 航拍建模的成果数据具有地理坐标系信息，可以准确的和 GIS 匹配，人工建模要和 GIS 匹配需要人工进行空间矫正配准。
1.1K20编辑于 2022-09-21 三维GIS平台架构：从数据到场景的四层体系
传统二维GIS受限于平面表达，难以还原城市、园区等立体空间的真实面貌。随着智慧城市与数字孪生的发展，三维GIS平台正在成为空间信息可视化的核心底座。 三维GIS需要融合多源异构数据：遥感影像、数字高程模型（DEM）、倾斜摄影模型、BIM模型、矢量要素以及IoT实时数据。 四、架构演进趋势当前三维GIS架构正从“展示型”向“分析决策型”演进。 另一方面，BIM与GIS的深度融合推动道路、桥梁等基础设施的参数化建模，通过算法自动生成桥墩、边坡等结构，大幅降低人工建模成本。 未来，结合AI的空间语义理解与实时IoT数据接入，三维GIS平台将成为城市运行管理不可或缺的“数字底座”。
23210编辑于 2026-08-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号