- 综合排序
- 最热优先
- 最新优先
- 来自专栏桥路_大数据
实时数仓：流式数据建模
流式数据模型 架构设计 数据模型设计是贯穿数据处理过程的，在实时流式数据处理中也一样。实时建模与离线建模类似，数据模型整体上分为5层（ODS、DWD、DWS、ADS、DIM）。 ? ODS层实时进入的数据，会进行去重、清洗等任务，适度做一些维度退化工作，清洗后的数据会存放到DWD层中，DWD数据明细层的数据会回流到消息队列中，从而实时同步到下游实时任务中，同时会持久化到数据库中供离线系统使用 DWS、ADS层数据会存储到实时读写的数据库系统中，供前端业务进行实时访问。 DWS、ADS的数据表类型和离线系统一样，分为事实表和维度表。 但在进行指标计算时，事实数据实时进行订阅，使用到的维度表数据不会进行实时更新获取，而使用的是T-2的离线数据。且维度表数据会存储在DIM层中，在计算时进行获取。 这里的计算流向是：Kafka作为ODS层，存储实时数据；实时流计算任务从ODS获取数据进行计算，计算结果作为DWD层数据，写入到Kafka中存储，供下游实时计算，并且为了与离线系统保持一致，也会推送到离线系统中进行存储
2.1K20发布于 2021-01-06 - 来自专栏企鹅号快讯
“BIM＋” 9大技术PM、云计算、GIS……集成应用
如，临边洞口防护不到位、部分作业人员高处作业不系安全带等安全隐患在施工现场无处不在，基于BIM的物联网应用可实时发现这些隐患并报警提示。 目前，国外已有很多企业在施工中将BIM与智能型全站仪集成应用进行测量放样，而我国尚处于探索阶段，只有深圳市城市轨道交通9号线、深圳平安金融中心和北京望京SOHO等少数项目应用。 BIM与3D扫描集成，是将BIM模型与所对应的3D扫描模型进行对比、转化和协调，达到辅助工程质量检查、快速建模、减少返工的目的，可解决很多传统方法无法解决的问题。 可以实时、任意视角查看各种信息与模型的关系，指导设计、施工，辅助监理、监测人员开展相关工作。 BIM与虚拟现实技术集成应用，可有效支持项目成本管控。 在虚拟的三维场景中，可以实时地切换不同的施工方案，在同一个观察点或同一个观察序列中感受不同的施工过程，有助于比较不同施工方案的优势与不足，以确定最佳施工方案。
4.4K50发布于 2018-01-26 - 来自专栏往期博文
数学建模暑期集训9：灰色关联分析
本专栏第23篇数学建模学习笔记（二十三）灰色关联分析记录了灰色关联分析的一些基本知识。本篇内容对数学原理不作赘述，对matlab程序进行一定的补充。 score / sum(score); % 归一化后的得分 [sorted_S,index] = sort(stand_S ,'descend') % 进行排序 里面有些相关自定义函数可参见 数学建模暑期集训
69530编辑于 2022-06-14 - 来自专栏往期博文
数学建模番外篇9：Pyecharts绘图整理
Echarts是百度开源的比较强大的绘图工具，但其是用Js来操控的，使用案例大全： https://echarts.apache.org/examples/zh/index.html#chart-type-custom 有人在此基础上进行二次开发，衍生出pycharts，本篇将记录一些pyecharts中的一些个人认为比较精彩的图表。 pyecharts中文文档：https://pyecharts.org/#/zh-cn/intro pyecharts案例大全：https://gallery.pyecharts.org/#/Bar/stack_bar_percent 下面的图表截取了左侧目录项，查阅时只需修改案例大全最后一段url。
1K10编辑于 2022-06-14 - 来自专栏paddle深度学习
paddle深度学习9 搭建模型nn.Layer
本节将介绍如何使用 Paddle 内置的 Layer 搭建模型。
48910编辑于 2025-01-15 - 来自专栏钱塘大数据
【盘点】数据挖掘与数据建模的9条定律
这种映射也基于数据知识和数据挖掘知识）； 数据理解使用业务知识理解与业务问题相关的数据，以及它们是如何相关的； 数据预处理就是利用业务知识来塑造数据，使得业务问题可以被提出和解答（更详尽的第三条—准备律）； 建模是使用数据挖掘算法创建预测模型 准确性是指正确的预测结果所占的比例；稳定性是指当创建模型的数据改变时，用于同一口径的预测数据，其预测结果变化有多大（或多小）。
62770发布于 2018-03-02 - 来自专栏《C++与 AI：个人经验分享合集》
怎样利用 MATLAB 进行实时系统的建模与仿真？
要利用MATLAB进行实时系统的建模与仿真，您可以按照以下步骤进行操作： 确定系统的建模方法：根据实际情况，选择适合的建模方法，如：微分方程、状态空间模型、传递函数模型等。 编写系统模型的MATLAB代码：利用MATLAB的建模工具，编写系统的模型代码。您可以使用ODE函数求解微分方程，使用tf函数创建传递函数模型，使用ss函数创建状态空间模型等。 需要注意的是，MATLAB可以进行离散时间仿真和连续时间仿真，对于实时系统的仿真，通常采用离散时间仿真。在进行离散时间仿真时，需要注意设置适当的采样时间，以保证仿真结果的准确性。
74310编辑于 2024-12-09 - 来自专栏软件方法
UMLChina建模竞赛第3赛季第9轮：人猪心脏
[多选]以下UML建模工具在2022年1-6月间有新版本发布的有： A) IBM Engineering Systems Design Rhapsody B) StarUML C) Software Ideas Modeler D) Astah Professional ---- UMLChina建模答题赛第3赛季当前排行榜 （第4轮答题抽奖建模结算：刘京城 2，第五元素 1.8，Alan 1.2） 龙龙 南京，单位：HJ 刘京城 3 城市：深圳，单位：CY 第五元素 1.8 城市：昆明，单位：CH 索路 1 左耳东 1 城市：深圳，单位：JT -------------------- UMLChina建模答题赛第 城市：济南，单位：LXB 巧克力趣多多 1 城市：南宁，单位：IBM xieh 1 城市：北京，单位：TT -------------------- UMLChina建模答题赛第 1 城市：深圳，单位：ZX 木子 1 城市：石家庄，单位：HY Mingchu 1 城市：墨尔本 [新增EA028高压注射器]24套UML+EA和StarUML的建模示范视频
80620编辑于 2022-10-31 - 来自专栏PPV课数据科学社区
【学习】数据挖掘与数据建模的9个经验之谈
这种映射也基于数据知识和数据挖掘知识）； · 数据理解使用业务知识理解与业务问题相关的数据，以及它们是如何相关的； · 数据预处理就是利用业务知识来塑造数据，使得业务问题可以被提出和解答（更详尽的第三条—准备律）； · 建模是使用数据挖掘算法创建预测模型 准确性是指正确的预测结果所占的比例；稳定性是指当创建模型的数据改变时，用于同一口径的预测数据，其预测结果变化有多大（或多小）。
810110发布于 2018-04-19 - 来自专栏ATYUN订阅号
AI系统DeepRay实时处理视频，重建模糊的镜头帧
研发公司Cambridge Consultants的研究人员表示，他们利用AI可以实时重建镜头中受损或模糊的帧。在一次关于机场的视频测试中，它能够准确地再现跑道上的飞机。 但与大多数AI不同，DeepRay能够处理实时视频。
1.3K10发布于 2018-12-24 YOLOv9：重构实时目标检测的技术革命
在计算机视觉领域的快速演进中，YOLOv9的问世犹如一颗重磅炸弹，为实时目标检测技术树立了全新的里程碑。 以下是YOLOv9系列模型的详细性能数据：模型输入尺寸mAP^val 50-95mAP^val 50参数量(M)FLOPs(B)YOLOv9t64038.353.12.07.7YOLOv9s64046.863.47.226.7YOLOv9m64051.468.120.176.8YOLOv9c64053.070.225.5102.8YOLOv9e64055.672.858.1192.5 边缘设备部署优势YOLOv9的轻量化特性使其特别适合在边缘设备上部署。YOLOv9t和YOLOv9s模型在保持较高精度的同时，具有极低的计算开销，可以在移动设备、嵌入式系统中实现实时目标检测。 工业应用场景YOLOv9在工业应用中展现出巨大潜力，特别是在需要高精度和实时性的场景中：智能监控系统：利用YOLOv9的高精度检测能力，可以实现更可靠的安防监控自动驾驶：强化的小目标检测能力为自动驾驶系统提供更安全的环境感知工业质检 通过PGI的梯度信息编程能力和GELAN的高效层聚合技术，YOLOv9为目标检测系统建立了新的基准，在精度、速度和参数利用率方面都超越了现有的实时检测器。
99210编辑于 2025-11-06- 来自专栏前端达人
9种日常JavaScript编程中经常使用的对象创建模式
作者 | 汤姆大叔 介绍 今天这篇文章主要是跟大家分享9种日常JavaScript编程中经常使用的对象创建模式，利用各种技巧可以极大地避免了错误或者可以编写出非常精简的代码。希望对你有所帮助。 模式9：静态成员 静态成员（Static Members）只是一个函数或对象提供的静态属性，可分为私有的和公有的，就像C#或Java里的public static和private static一样。 总结 以上就是今天介绍的9种对象创建模式，是我们在日常JavaScript编程中经常使用的对象创建模式，不同的场景起到了不同的作用，希望大家根据各自的需求选择适用的模式。
1K20发布于 2021-04-01 - 来自专栏疯狂学习GIS
分享一下我所有数学建模学习资料：历年赛题与论文、算法课程等
本文是这个系列的第一篇文章，将与数学建模相关的资源加以分享。其中，本文共有9个资源，以下是对每一个资源的具体介绍。每一个资源都控制了文件个数（小于500个），从而方便大家转存。 2 01_数学建模_02_视频课程_疯狂学习GIS 地址：公众号后台回复【数学建模2】即可 这一资源大小为13.63 GB，文件个数为192个，如下图所示。 4 01_数学建模_04_综合_疯狂学习GIS 地址：公众号后台回复【数学建模4】即可 这一资源大小为6.67 GB，文件个数为234个，如下图所示。 8 01_数学建模_08_国赛_疯狂学习GIS 地址：公众号后台回复【数学建模8】即可 这一资源大小为2.65 GB，文件个数为1个，如下图所示。 9 01_数学建模_09_美赛_疯狂学习GIS 地址：公众号后台回复【数学建模9】即可 这一资源大小为1.09 GB，文件个数为22个，如下图所示。
99511编辑于 2025-04-15 - 来自专栏小七的各种胡思乱想
Bert不完全手册9. 长文本建模 BigBird & Longformer & Reformer & Performer
这一章我们看下如何通过优化attention的计算方式，降低内存/计算复杂度，实现长文本建模。 Contextgithub：https://github.com/kimiyoung/transformer-xlTake Away: 相对位置编码 + 片段递归机制图片为了突破Transformer对固定长度建模的限制 同时**片段递归和以下4种Transformer优化方案是正交的关系**，可以在以下的四种方案中叠加使用片段递归去优化长文本建模Longformerpaper: Longformer: The Long-Document
2.6K40编辑于 2022-10-08 FME在AEC行业能完成哪些数据集成任务？
BIM、GIS、IoT和实时数据。 FMEPlatform更适合作为现有设计、GIS和业务系统之间的数据集成与自动化层，而不是替代BIM建模、GIS分析或资产管理软件。 在实际AEC项目中，可以根据业务时效要求选择：定时批处理文件更新后处理API触发业务事件触发实时或流式处理并非所有AEC数据都需要实时同步。 任务七：数字孪生数据准备与集成数字孪生通常需要多类数据共同工作，例如：BIM+GIS+资产数据+IoT+实时数据SafeSoftware的AEC资料明确提出，可以通过集成BIM、IoT和实时数据流构建数字孪生相关数据体系 FME主要是数据集成平台，因此通常不替代以下专业软件能力：BIM建模FME不会替代Revit等BIM设计和建模工具。CAD设计不会替代专业CAD制图环境。
9810编辑于 2026-09-17- 来自专栏AI科技大本营的专栏
抗击新冠肺炎，如何进行实时动态时序图谱建模与分析？
我们使用AbutionGraph依据真实场景建模，由于详细数据不公开，本文中均使用模拟数据进行分析。 ? ? 新冠肺炎数据建模 了解了图形的多种存储形式后，接下来我们使用模拟数据依次建模，并详细介绍每个实体与关系的数据映射关系。 ? 至此，数据建模介绍完毕。如上，数据统计部分已经实现自动化，即查即用。接下来基于此设定数据集进行一些更上层的分析场景演示。 ? select [“患者年龄”] mean() ; 结果： 70~79岁：1人 60~69岁：4人 50~59岁：3人 40~49岁：8人 30~39岁：5人 20~29岁：1人 10~19岁：0人 0~9岁 ：0人 Ps：如上查询为3-跳查询，如需求固定可在建模时为此逻辑创建一个动态维度，实现自动化计算。
1.2K10发布于 2020-02-24 - 来自专栏CDA数据分析师
数据挖掘与数据建模的9大定律（深度长文 收藏细读！）
这种映射也基于数据知识和数据挖掘知识）； 数据理解使用业务知识理解与业务问题相关的数据，以及它们是如何相关的； 数据预处理就是利用业务知识来塑造数据，使得业务问题可以被提出和解答（更详尽的第三条—准备律）； 建模是使用数据挖掘算法创建预测模型 准确性是指正确的预测结果所占的比例；稳定性是指当创建模型的数据改变时，用于同一口径的预测数据，其预测结果变化有多大（或多小）。 9 变化律：所有的模式因业务变化而变化。 数据挖掘发现的模式不是永远不变的。数据挖掘的许多应用是众所周知的，但是这个性质的普遍性没有得到广泛的重视。
1.9K50发布于 2018-02-11 - 来自专栏HT
倾斜摄影实景三维在智慧工厂 Web 3D GIS 数字孪生应用
实现价值 基于 HT for Web 和 GIS 技术的数字钢铁厂建设主要有以下三部曲： ? 数据获取： Ø 钢铁厂三维场景数据获取方式主要有两种：一种是通过航拍建模；一种是通过人工建模。 航拍建模，也称倾斜摄影实景三维，是近年来快速发展的一项 GIS 技术。利用飞机或无人机搭载多台传感器，从前后左右以及垂直五个方向对地物进行拍摄采集，快速高效获取真实反映地面情况的数据信息。 除了上述特点之外，航拍建模的成果数据具有地理坐标系信息，可以准确的和GIS 匹配，人工建模要和 GIS 匹配需要人工进行空间矫正配准。 现今，大部分钢铁厂对厂区的环境监控都布设了相应的监控点位，通过对接设备上的实时数据，可以对厂区的环境进行全面的监测把控。 同时，针对影响环境的因素，如，车辆尾气的排放，也可以进行厂区的车辆分布及具体信息进行实时监控。 ? ?
2.3K31发布于 2020-12-08 - 来自专栏优雅R
生信爱好者周刊（第 9 期）：统计建模之道和术
该项研究成果以scMethBank: a database for single-cell whole genome DNA methylation maps为题于2021年9月在国际学术期刊《核酸研究 使用XGBoost构建模型很容易。但是，使用XGBoost改进模型是困难的。该算法使用多个参数。为了改进模型，必须进行参数优化。很难回答一些实际问题，比如：应该调优哪一组参数？ 4、usethis包新增`pr_*`系列函数[8] 工具 1、r-script[9] 一个简单的小模块，用于将数据从NodeJS传递给R（并返回）。 r-operate-database/ [8] usethis包新增pr_*系列函数: https://www.garrickadenbuie.com/blog/pull-request-flow-usethis/ [9]
1.1K20发布于 2021-11-25 - 来自专栏小七的各种胡思乱想
Bert不完全手册9. 长文本建模 BigBird & Longformer & Reformer & Performer
这一章我们看下如何通过优化attention的计算方式，降低内存/计算复杂度，实现长文本建模。 github：https://github.com/kimiyoung/transformer-xl Take Away: 相对位置编码 + 片段递归机制 为了突破Transformer对固定长度建模的限制 同时片段递归和以下4种Transformer优化方案是正交的关系，可以在以下的四种方案中叠加使用片段递归去优化长文本建模 Longformer paper: Longformer: The Long-Document
2.4K31编辑于 2022-10-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号