- 综合排序
- 最热优先
- 最新优先
- 来自专栏桥路_大数据
实时数仓：流式数据建模
流式数据模型 架构设计 数据模型设计是贯穿数据处理过程的，在实时流式数据处理中也一样。实时建模与离线建模类似，数据模型整体上分为5层（ODS、DWD、DWS、ADS、DIM）。 ? ODS层实时进入的数据，会进行去重、清洗等任务，适度做一些维度退化工作，清洗后的数据会存放到DWD层中，DWD数据明细层的数据会回流到消息队列中，从而实时同步到下游实时任务中，同时会持久化到数据库中供离线系统使用 DWS、ADS层数据会存储到实时读写的数据库系统中，供前端业务进行实时访问。 DWS、ADS的数据表类型和离线系统一样，分为事实表和维度表。 但在进行指标计算时，事实数据实时进行订阅，使用到的维度表数据不会进行实时更新获取，而使用的是T-2的离线数据。且维度表数据会存储在DIM层中，在计算时进行获取。 这里的计算流向是：Kafka作为ODS层，存储实时数据；实时流计算任务从ODS获取数据进行计算，计算结果作为DWD层数据，写入到Kafka中存储，供下游实时计算，并且为了与离线系统保持一致，也会推送到离线系统中进行存储
1.9K20发布于 2021-01-06 - 来自专栏往期博文
数学建模番外篇8：画图配色
前面已经总结了各类画图类型/套路/技巧，此篇来总结一下配色。 之前有提到，通常在白底背景下，颜色以淡色为主会显得比较美观。
51310编辑于 2022-06-14 - 来自专栏《C++与 AI：个人经验分享合集》
怎样利用 MATLAB 进行实时系统的建模与仿真？
要利用MATLAB进行实时系统的建模与仿真，您可以按照以下步骤进行操作： 确定系统的建模方法：根据实际情况，选择适合的建模方法，如：微分方程、状态空间模型、传递函数模型等。 编写系统模型的MATLAB代码：利用MATLAB的建模工具，编写系统的模型代码。您可以使用ODE函数求解微分方程，使用tf函数创建传递函数模型，使用ss函数创建状态空间模型等。 需要注意的是，MATLAB可以进行离散时间仿真和连续时间仿真，对于实时系统的仿真，通常采用离散时间仿真。在进行离散时间仿真时，需要注意设置适当的采样时间，以保证仿真结果的准确性。
57910编辑于 2024-12-09 - 来自专栏往期博文
数学建模暑期集训8：熵权法
在本专栏第三篇博文中列举了熵权法的公式数学建模学习笔记（三）熵权法Excel实现，但用Excel实现的讲解视频已经无法观看，这篇博文就来用matlab实现熵权法，比excel手动操作更加方便。
94620编辑于 2022-06-14 - 来自专栏媒矿工厂
实时 8K 服务的现状
来源：8K ASSOCIATION 演讲者：Mauricio Alvarez-Mesa 内容整理：胡经川 本文主要讨论实时 8K 服务的现状。 首先从 8K 格式标准入手介绍什么是 8K，然后从编码角度分析如何才能提供实时的 8K 服务，随后谈到目前有哪些在 8K 实时视频服务上的尝试并从中分析实时 8K 服务的未来。 目录 8K 是什么？ 8K 格式标准 为什么需要 8K 直播以及如何实现？ 谁在提供实时 8K 服务 ？ 实时 8K 服务的现在与未来？ 8K 是什么？ 所以综合考虑这些因素来看，HEVC 还是目前最适合用于 8K 实时内容的编解码标准。 表 4：不同厂商的编码器 解码器方面，它们大多已经被整合进 8K 电视或者 PC 中，而且除了 HEVC 以外，已经有一些实时的 AV1 和 VVC 解码器实现了。 谁在提供实时 8K 服务 ？
73530编辑于 2022-02-18 - 来自专栏博文视点Broadview
8种最差的预测建模技术，你认同吗？
以下罗列了8种最差的预测建模技术以及仍被使用的原因。 以下技术大多数已经发展了较长时间（在过去10年中），其中大部分缺点已经得到弥补，因此更新后的技术已经远不同于其原始版本，性能也大为提高。 8．朴素贝叶斯 用于如欺诈检测、垃圾邮件检测和评分。它们假定变量是独立的，但如果不是，就会惨遭失败。在进行欺诈检测和垃圾邮件检测时，变量（有时被称为规则）是高度相关的。
53030发布于 2020-06-11 - 来自专栏圆圆的算法笔记
8篇论文详解用户历史行为序列建模方法
本文汇总了8篇推荐系统中对用户历史行为序列建模的方法，包括DIN、DIEN等经典模型。 其次，DIN中提出序列建模（如RNN建模历史行为序列）效果不好，这其实是因为历史行为序列的随机性较大，消费者在电商平台看到的东西同时属于多种类型，序列中不同类型的节点跳变随机性强。 DSIN相比DIN的改进主要是对用户历史行为部分的建模更加精细化了，分session建模，得到的每个兴趣的表示更加丰富，而不像DIN只使用商品的ID embedding。 5 总结 本文我们介绍了8篇推荐系统或广告系统中的用户历史行为建模方法。 除了使用用户本身的行为序列进行建模外，使用一些相似用户的行为序列辅助学习，也会进一步取得不错的效果。 END
4.3K20编辑于 2022-09-22 - 来自专栏全栈程序员必看
8 款免费的 MySQL 数据库建模工具
数据库建模和设计是软件开发过程中必不可少的步骤，一个良好的建模工具可以帮助我们简单快速地完成数据库设计，提高工作的效率。 因此，今天给大家推荐几款免费的 MySQL 数据库建模工具，首先给出它们的功能比较： 建模工具 支持平台 ERD 正向工程 逆向工程 模式同步 MySQL Workbench Windows、Linux ✔️ ✔️ ✔️ ❌ DB Designer 在线建模 ✔️ ✔️ ✔️ ❌ dbdiagram.io 在线建模 ✔️ ✔️ ✔️ ❌ Freedgo 在线建模 ✔️ ✔️ ✔️ ❌ ERD 是指实体关系图 GenMyModel GenMyModel 是一个基于浏览器的在线建模平台，支持 Archimate、BPMN、Flowchart、RDS（关系型数据库建模）、UML 等模型，个人可以免费使用。 总结 本文介绍了 8 款免费的 MySQL 数据库常用建模工具，包括客户端软件和在线工具。客户端软件提供了强大完善的建模功能；在线建模工具无需安装即可使用，功能相对简单一些。
18.6K64编辑于 2022-07-23 - 来自专栏ATYUN订阅号
AI系统DeepRay实时处理视频，重建模糊的镜头帧
研发公司Cambridge Consultants的研究人员表示，他们利用AI可以实时重建镜头中受损或模糊的帧。在一次关于机场的视频测试中，它能够准确地再现跑道上的飞机。 但与大多数AI不同，DeepRay能够处理实时视频。
1.2K10发布于 2018-12-24 - 来自专栏软件方法
UML建模工具2021年8-11月更新（1）
UMLChina整理的UML建模工具列表请见http://www.umlchina.com/tools/search.aspx 最近一段时间更新： 工具最新版本：Modelio 5.1.0 更新时间：2021 年10月26日 工具简介 UML和BPMN建模，强调协作建模，提供模型网络存储。 https://www.omnigroup.com/omnigraffle 工具最新版本：Astah Professional 8.4.1 更新时间：2021年9月29日 工具简介 日本老牌UML建模工具
72420编辑于 2021-12-14 - 来自专栏AI科技大本营的专栏
抗击新冠肺炎，如何进行实时动态时序图谱建模与分析？
我们使用AbutionGraph依据真实场景建模，由于详细数据不公开，本文中均使用模拟数据进行分析。 ? ? 新冠肺炎数据建模 了解了图形的多种存储形式后，接下来我们使用模拟数据依次建模，并详细介绍每个实体与关系的数据映射关系。 ? 至此，数据建模介绍完毕。如上，数据统计部分已经实现自动化，即查即用。接下来基于此设定数据集进行一些更上层的分析场景演示。 ? execute "<2020.01.24" 结果： 北京市（2020.01.20）：2例 北京市（2020.01.21）：6例 北京市（2020.01.22）：13例 北京市（2020.01.23）：8例 "] toEdge [“院上报”] use ["院上报维度"] select [“患者年龄”] mean() ; 结果： 70~79岁：1人 60~69岁：4人 50~59岁：3人 40~49岁：8人
1.1K10发布于 2020-02-24 - 来自专栏全栈程序员必看
数仓建模与分析建模_范式建模和维度建模
建模方法论 今天我们主要介绍常见的建模方法，这也就是我们今天文章的名称——建模方法论 20年前兴起的数据仓库简单的可分为两大流派，Inmon方法和Kimball方法，分别由 Ralph Kimbal和Bill 区别的关键在于如何在数据仓库中建模、加载和存储数据的方式。而由此出发的不同架构影响到了数据仓库的建设成本和到适应用户不断变化的ETL逻辑的能力。 建模的目的 数仓的建模或者分层，其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话，所有的划分都是为了更好的管理。
73610编辑于 2022-11-09 - 来自专栏未来先知
YOLO-ELA 高效的局部注意建模，用于高性能实时缺陷检测 !
为解决这一问题，本文提出了一种基于局部注意力建模的新注意力基础架构，即YOLO-ELA。 这些模型在保持高精度的同时显著提高了检测速度，使其更适合实时应用。例如，阿杜等人（2019年）使用YOLOv3检测绝缘子并识别缺陷，实现了每秒45帧（FPS）的检测速度，满足了实时检测需求。 Evaluation metrics 在本工作中，作者考虑将基于注意力的YOLOv8应用于实时绝缘子缺陷检测。 具有更高 FPS 的模型在实时应用中更受欢迎，因为它可以更高效地处理更多的帧，确保更快的检测或处理。 这表明所提出的模型在实时部署中表现更好，既提高了速度，也提高了准确性。
1.1K10编辑于 2024-10-29 - 来自专栏CreateAMind
ASI 8年计划 paper8 自由能原理建模生物神经形态发生
在这里，我们探讨了这些思想的一个具体应用，通过优化原则对形态发生进行建模。 每个时间步可以被认为是对迁移和分化进行建模，持续几分钟。 这被称为动态因果建模[74,75]，并且使用了上述的自由能最小化。 原则上，将动态因果建模应用于形态发生的实证测量应该提供一种通过贝叶斯模型比较来测试具体假设的方法，并且以定量和实证的方式来确立上述建模的基础。 因此，整个有机体可能表现出自我建模过程——它们本质上是在模拟自己的生长过程。
33210编辑于 2024-02-26 - 来自专栏生信菜鸟团
读书笔记 | 第 8 章 癌症标志特征的数学建模
MAPKs 有六个群组：胞外信号调节激酶（extracellular signal-regulated kinases，ERK1 和 ERK2）、ERK5、ERK3 和 ERK4、ERK7 或 ERK8、 类型 I 凋亡可在某些细胞类型中观察到，涉及早期半胱天冬酶（如半胱天冬酶-8，CASP8）和效应半胱天冬酶（如半胱天冬酶-3，CASP3）的正反馈。 在一个详细的外在凋亡模型中，CASP8 和 CASP3 的正反馈引发的开关行为以及线粒体膜通透化的作用被深入研究（Albeck 等人，2008）。 在这项工作中，一个基于常微分方程（ODE）的数学模型描述了肿瘤与免疫系统的相互作用，重点在于 NK 细胞和 CD8+ T 细胞在肿瘤监视中的作用。该模型参数化基于已发表的小鼠数据和人类研究。 这些通路导致了 8 个标志和 2 个促进特征。每个标志和特征的最常见模型类型均有提及。 本书各章讨论了癌症并非单一突变的结果，而是一系列特定顺序的复杂改变引发的表型异常。
39900编辑于 2024-12-20 - 来自专栏全栈程序员必看
数仓建模与分析建模_数据仓库建模与数据挖掘建模
[外链图片转存中…(img-uQis5F2c-1645262440294)] 范式 第一范式：属性不可分割 第二范式：消除不分函数依赖 第三范式：消除传递依赖 关系建模与维度建模 关系建模：将复杂的数据抽象为两个概念 维度建模：模型相对清晰、简洁。维度模型以数据分析作为出发点，不遵循三范式，故数据存在一定的冗余。维度模型面向业务，将业务用事实表和维度表呈现出来。 4. 维度建模一般按照以下四个步骤：选择业务过程→声明粒度→确认维度→确认事实。 在DWD层，以业务过程为建模驱动，基于每个具体业务过程的特点，构建最细粒度的明细层事实表。事实表可做适当的宽表化处理。 DWD层是以业务过程为驱动。 DWS层、ADS层都是以需求为驱动，和维度建模已经没有关系了。 DWS层建宽表，按照主题去建表。主题相当于观察问题的角度，对应着维度表。
1.9K20编辑于 2022-11-09 - 来自专栏喵叔's 专栏
RavenDB建模--常见建模方案
在 RavenDB 中对如何在应用程序中进行数据建模没有任何要求，我们可以使用任何形式进行建模，RavenDB 只关心如何构建数据，这就是我们后续几篇文章要讲解的内容。 public Parent Mother { get; set; } public Registration Registration { get; set; } } 我们在建模时应遵循 RavenDB 建模的核心原则，要确定哪些信息可以放在一起，哪些信息是独立的，这就是我们上篇文章介绍的优秀的文档模型应具备独立、隔离和连贯性。 另一种情况是，如果需要对文档进行并发活动，由于文档是 RavenDB 中的并发单位，因此需要对文档进行建模，以便它们具有更改的单一原因。
79110编辑于 2022-03-22 - 来自专栏phodal
元素建模：探索建模的要素
随着我们不断深入软件架构的设计里，我们也会不断也尝试着一系列不同的方法，诸如于我的同事 @少个分号 在那篇《建模方法元模型：如何设计一个建模方法》一文里，对于不同建模方式进行了简单的介绍，并进行了相关的拆解和分析 再回到面向对象这一点来看的话，建模就变成了一件非常有意思的事。 建模“建模”：从概念到模型 回到我们所开发的软件系统里，其系统的核心组成部分是由一个个的概念所组成。 建模的方式：基于“事实”的软件建模 PS：对于事实，从语言的角度，可能使用纪实、叙实会比较合适。 基于凭证的建模：履约建模 履约建模是一个比较新的建模方法，它基于凭证的方式来设计系统。其核心要素是：作为业务凭证，只存在创建，不存在修改和删除。 建模建模 从某种意义上来说，寻找这些“事实”的过程，便是系统状态的表征过程。
58130编辑于 2021-12-04 - 来自专栏实时音视频TRTC从小白到熟练
实时音视频开发学习8 - 云端混流转码
d.最多两列，每列最多8个小画面。最多支持1个大画面和15个小画面。 e.如果用户只发送音频，仍然会占用画面位置。
2.4K51发布于 2020-08-25 - 来自专栏软件方法
UML建模工具2021年8-11月更新（共15款）
平台：Linux、MacOS、Windows 获得地址 http://staruml.io 工具最新版本：Edraw Max 11.5.0 更新时间：2021年10月8日 工具简介 绘图软件，支持UML 平台：HTML、Windows、Linux、MacOS 获得地址 https://www.edrawsoft.com 工具最新版本：JetUML 3.3 更新时间：2021年8月20日 工具简介 从基于 先在EA、Visual Paradigm 、Cadifra、UModel、Magic Draw、ArgoUML等UML建模工具中建立状态机模型，然后导出为XMI文件。 致力于关键系统的建模。支持UML2.5、SysML 1.6，可自行添加图形，代码生成器。 强调协作建模，提供模型网络存储。
1.3K20编辑于 2021-12-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号