- 综合排序
- 最热优先
- 最新优先
- 来自专栏祝威廉
SparkES 多维分析引擎设计
设计动机 ElasticSearch 毫秒级的查询响应时间还是很惊艳的。 避免经过ES的二次分发 Spark Streaming 批处理的模式 和 Lucene(ES的底层存储引擎)的Segment对应的非常好。 架构设计 下面是架构设计图： ? spark-es-4.png 整个系统大概分成四个部分。 从而决定将查询请求是直接转发给后端的ES来完成，还是走Spark 计算引擎。也就是上图提到的 Query Optimize,根据条件决定是否需要短路掉 Spark Compute。 Spark 计算引擎层 前面我们提到了ES的三个缺陷，而Spark 可以有效的解决这个问题。
1.1K30发布于 2018-08-27 OpenGL渲染引擎-设计与实践
二、OpenGL 设计结构如果用一句话来描述 OpenGL 的话,我想应该是基于C/S结构设计的模板模式(设计模式里的那个);在 图形渲染管线 这节,主要介绍的是其模板设计,在 OpenGL 里我们称之为 OpenGL的优点包括：成为绘图引擎的标准，绘图质量高，编程相对复杂但上手简单，适合追求完美的绘图精确度。跨平台支持，可以在多个操作系统上使用，包括Windows、Linux和Mac等。 要做游戏，游戏引擎甚至需要的图形学知识很少，基础图形学完全足够，游戏引擎更着重的是全套工具链和细节性能优化，尤其是全套工具链，游戏开发需要很多各种功能，场景编辑 动画 骨骼 地形天空 基础特效光照粒子系统
1.1K10编辑于 2024-06-03- 来自专栏AlwaysBeta
工作流引擎架构设计
原文链接： 工作流引擎架构设计最近开发的安全管理平台新增了很多工单申请流程需求，比如加白申请，开通申请等等。最开始的两个需求，为了方便，也没多想，就直接开发了对应的业务代码。 虽然现在基本上能满足日常的需求，但感觉还不够智能，还有很多的优化空间，所以正好借此机会，详细了解了一些完善的工作流引擎框架，以及在架构设计上需要注意的点，形成了这篇文章，分享给大家。 工作流引擎架构设计如果选择自研，架构应该如何设计呢？有哪些比较重要的模块和需要注意的点呢？下面来详细说说。 流程设计器对于工作流引擎来说，流程设计器的选型至关重要，它提供了可视化的流程编排能力，决定了用户体验的好坏。 流程引擎最后来说说流程引擎，整个系统的核心。引擎设计的好坏决定了整个系统的稳定性，可用性，扩展性等等。
4.3K30编辑于 2023-01-12 - 来自专栏FunTester
千万级日志回放引擎设计稿
如果维护两套压测引擎会带来更多工作量。 所以为了尽可能解决这两方面问题，接到了一个活儿，调研一下Java实现日志回放功能。主要就是读了goreplay的源码以及它设计思路，用Java重现实现一遍。 思路 总体设计思路如下： 千万级日志回放设计 PS：流量递增和动态增减尚未实现，还在研究goreplay的源码。 HttpRequestBase request) { this.request = request; } } } PS：这里用到了多个group，原因在设计稿中标记了
76231编辑于 2022-02-08 - 来自专栏全栈程序员必看
商品搜索引擎—推荐系统设计
一、前言 结合目前已存在的商品推荐设计（如淘宝、京东等），推荐系统主要包含系统推荐和个性化推荐两个模块。 系统推荐： 根据大众行为的推荐引擎，对每个用户都给出同样的推荐，这些推荐可以是静态的由系统管理员人工设定的，或者基于系统所有用户的反馈统计计算出的当下比较流行的物品。 下面具体介绍系统推荐和个性化推荐的设计方案。 由于系统推荐实现相对简单，因此不作过多的文字说明，下面详细介绍个性化推荐的设计。 3.2、三种推荐模式的介绍 据推荐引擎的数据源有三种模式：基于人口统计学的推荐、基于内容的推荐、基于协同过滤的推荐。
1.8K40编辑于 2022-06-29 - 来自专栏微信公众号【Java技术江湖】
初探InnoDB存储引擎的架构设计
总结 通过更新语句执行分析之后，了解到InnoDB存储引擎中包含了 buffer pool 缓冲池、redo log buffer 缓冲区等缓存数据，undo、reod log等日志文件，同时也有MySQL
84440发布于 2021-05-17 - 来自专栏PawSQL，在线的自动化SQL优化工具！
PawSQL审核 | SQL审核引擎的设计目标
市场上到底需要什么样的SQL审核引擎？看一下SQL优化领域的领先厂商PawSQL如何设计它的SQL审核引擎。 PawSQL审核引擎的设计目标 简单来说，PawSQL审核引擎的设计目标就是：使用尽量少的审核规则，覆盖尽量全的SQL语法和结构，确保尽量高的审核正确率。 目标1. PawSQL的审核规则体系对规则进行层级化的设计，当更严格的规则被采用时，它下级的审核规则就被覆盖，而不需要参与审核了。 否 市面上很多的审核引擎对于复杂规则的误报率都很高，给用户带来了很多困扰。 常见还有如对于`避免使用OR条件`规则，很多审核引擎没有评估`AND`条件已经具有足够的过滤能力，即使条件中已经使用了主键进行过滤了，引擎仍然对此进行预警。
1.3K10编辑于 2024-08-20 - 来自专栏领域驱动设计DDD实战进阶
2.WF 4.5 流程引擎设计思路
本文主要给大家分享下基于WF 4.5框架的流程引擎设计思路 1.流程启动时的数据写入EventMsgPP对象中，ObjectAssemblyType记录流程启动时需要的类型，ObjectContent记录序列化流程启动时需要的数据
1.3K40发布于 2018-05-04 - 来自专栏小徐学爬虫
基于Go的抗封禁爬虫引擎设计
本文基于Go语言的高并发特性，设计了一个轻量级但功能完备的爬虫程序。通过标准库net/http实现高效请求，结合x/net/html进行DOM解析，程序可精准抓取网页标题与链接。 通过模块化设计，开发者可轻松扩展为分布式爬虫系统或集成反反爬策略。需要强调的是，技术开发者应始终遵守《网络安全法》和robots协议，设置合理的爬取频率。
26310编辑于 2025-08-08 - 来自专栏程序员与猫
MongoDB 存储引擎和数据模型设计
存储引擎 1.1 存储引擎是什么 存储引擎是位于持久化数据（通常是放在磁盘或者内存中）和数据库之间的一个操作接口，它负责数据的存储和读取方式。 以下是一个简单的运行图示 1.2 MongoDB中的默认存储引擎 自MongoDB 3.2 Release版本起，MongoDB默认的存储引擎就成了WiredTiger。 数据模型设计 2.1 内嵌和引用 在MongoDB中，数据的表示方式有内嵌和引用两种。 我们知道在领域驱动设计中，“用户”是一个聚合根，每个用户对应一个账户，所以是“1对1”的一种关系，在关系型数据库设计中，大部分时候都会将这两者严格区分开来。 这是一种反范式化的设计。 设计MongoDB数据模型的时候，我们需要转变以往设计关系型数据模型时的思维。即便是针对一个关系中不同集合的数量规模，我们的模型也将有很大的不同。
1.9K100发布于 2018-01-18 - 来自专栏智药邦
JCIM｜大型语言模型作为分子设计引擎
新型分子和材料的设计是推动科技进步的重要驱动力，特别是在能源存储、合金设计、二维材料以及药物发现等领域。 随着人工智能技术的快速发展，基于转换器的生成模型为分子设计带来了新的解决方案。 每种提示均被设计为简洁明了的自然语言指令，以便LLM能够准确理解并执行。 了解这些方向性变化有助于深入理解模型如何解释和响应提示，对分子设计和优化具有重要意义。 未来研究需进一步探索设计空间、提示工程作用及模型在化学空间中导航的机制，以充分发挥大型语言模型在分子设计方面的潜力。
36210编辑于 2024-09-27 大厂的风控引擎架构设计
表如何设计？API如何设计？模块之间如何通信？ 3 风控引擎设计的核心点架构会围绕核心点进行设计：3.1 高效率的规则(策略)选代风险规则可动态，自由组合的调整风险规则设计思路风险规则可由多个基础规则(因子)组成风险规则就是与(AND)或(OR)非( 将所有的事件数据进行统一管理从任意的数据源以流式传输大量的事件数据不同的业务场景，包含不同的事件类型（evenType），事件接入中心是整个风控引擎的数据流入口。 因此，得到最终的4 风控引擎的系统架构图说一大段话，不如画一张图让人更加容易理解：业务架构图应用架构图需要划分出系统的层级，各个层级的应用服务数据架构图技术架构图
82400编辑于 2024-08-01- 来自专栏嵌入式项目开发
采用QWebEngineView引擎设计web浏览器
一、介绍 QWebEngineView 是QT5.4版本加入的新浏览器引擎，用于编辑、查看web内容。 标题改变 void titleChanged(const QString &title) 8. url改变 void urlChanged(const QUrl &url) 二、设计程序、完成网页浏览 QT += webenginewidgets 2.2 设计UI界面 2.3 widget.cpp #include "widget.h" #include "ui_widget.h" Widget:
3.4K11编辑于 2022-01-12 - 来自专栏敏捷分析
腾讯灯塔融合引擎的设计与实践
丨导语丨 本文分享的主题是腾讯灯塔融合引擎的设计与实践，主要围绕以下四个方面进行介绍： 1. 背景介绍 2. 挑战与融合分析引擎的解法 3. 实践总结 4. 不同引擎都在致力于去解决这个问题。谷歌等博客中曾提到，也是我们很认可的一个观点是以卓越的性能可直接访问明细数据（ODS/DWD）成为下一代计算引擎的必然趋势。 下图展示了灯塔融合分析引擎的整体技术架构： 左侧对接应用系统，包括灯塔自己提供的分析模型、可视化方案和一些 API 请求；右侧为融合分析引擎，包括查询引擎层、计算层、物化存储层、存储层分析策略中心和产品化中心 本设计的解决方案是通过自研的WLM（Workload Management），自动化收集不同引擎的 Query Profile 并结合历史查询给出基于专家经验给出优化建议，在策略中心基于优化建议自动设置 该引擎的缓存设计借鉴了 Databrick 的内核缓存、Snowflake 的数仓缓存的缓存设计理念，研发了预计算与多级缓存的技术。
1.5K20编辑于 2023-02-17 - 来自专栏FunTester
千万级日志回放引擎设计稿视频版
dis_t=1648776723&vid=wxv_2202135972820189190&format_id=10002&support_redirect=0&mmversion=false 千万级日志回放引擎设计稿
27520编辑于 2022-04-01 - 来自专栏JAVA开发专栏
架构设计---智能引擎到物联网详解
大数据底层技术： 就是指各种大数据计算框架，存储系统、SQL引擎等等，这些技术比较常用，经过最近十几年的发展，主流的技术产品相对比较集中，主要就是MapReduce、Spark、Hive、Flink技术的产品 大数据计算也许需要几个小时甚至几天，但是用户有时候可能需要实时得到数据，比如说想要看当前的访问统计，那么就需要用到大数据流的计算处理了，来自数据源的数据实时进入大数据流计算引擎Spark Streaming
35110编辑于 2023-02-27 - 来自专栏编译器开发
正则引擎设计与实现——基于子集构造法
因此,我一般先设计文法(也称语法), 在过程中考虑需要有哪些类型的词素. 你会发现, 设计英语文法的过程, 就是一个自顶向下推导的过程. 通过这个过程, 确定了所有的 非终结符(Non Terminal) 的组成, 也即确定了产生式(Production). 设计正则文法 在实践中, 设计文法既可以自顶向下, 也可反过来自底向上. 甚至可以不用演绎法, 而用归纳法. 在手写递归下降时, 一个经验指导是, 设计文法时标清晰地标记出每个产生式的 Follow 集. 正则引擎的语义分析, 目的是要得到 AST 对应的 NFA(Non-deterministic finite automata) , 以便在下一步交给子集构造法(Subset Construction
58510编辑于 2023-05-09 - 来自专栏携程技术
干货 | 携程AI模型引擎设计与实践
二、平台构建 设计目标 作为一个综合型的平台，模型引擎致力于提供从数据处理、模型训练到模型上线的全闭环服务，为此我们制定了如下目标： 1、服务于产品经理、数据科学家、开发工程师、测试工程师团队，通过服务全景图的形式串联各环节 总体架构 针对上述设计目标，模型引擎设置了特征管理、工程管理、模型管理、产品管理四大模块，总体逻辑架构图如下： ? 1、特征管理 特征管理模块主要解决特征准备问题，对应了逻辑架构图中的特征库一层。 在模型引擎最初设计中，一个场景仅支持一个模型，根据实验版本不同上传不同的模型文件。 大批量数据缓存在本地容易产生FullGC，进而引起服务响应的暂停，因此Feature Bus采取了堆内缓存+堆外缓存的设计方式。 在模型引擎的设计中，对这部分数据处理的延迟要求是秒级。Feature Bus支持在XML中配置消息来源、Topic、格式，进而对指定的实时消息进行监听，实时更新本地缓存，有效地将延迟控制在1秒以内。
1.7K20发布于 2018-07-05 - 来自专栏JAVA开发专栏
架构设计---智能引擎到物联网详解
大数据底层技术：就是指各种大数据计算框架，存储系统、SQL引擎等等，这些技术比较常用，经过最近十几年的发展，主流的技术产品相对比较集中，主要就是MapReduce、Spark、Hive、Flink技术的产品 大数据计算也许需要几个小时甚至几天，但是用户有时候可能需要实时得到数据，比如说想要看当前的访问统计，那么就需要用到大数据流的计算处理了，来自数据源的数据实时进入大数据流计算引擎Spark Streaming
79341编辑于 2023-01-04 - 来自专栏JavaEdge
Twitter推荐引擎架构设计分析
2 推荐引擎可靠性挑战 推特推荐引擎快速迭代中暴露的问题主要是：稳定性和。 2.1 稳定性 表现为单台引擎（如前文排序引擎）工作几个小时后即会发生一次宕机、内存溢出、超时启停等问题。 此外，当时物料规模、已读存储能力等方面的设计已无法满足现在业务需求。 3 系统可靠运行的因素 质量 架构 代码质量 工具： 治理 扩缩容 人力： 运维 监控 在线系统稳定运行依赖于三个方面：系统本身架构设计和代码的质量；自动化的工具（如扩缩容、异常治理等）；运维、监控人员人力 存储原使用基于内存映射的外部存储引擎。该引擎沟通速度慢，沟通占用大，有内存性能问题（推特推荐引擎的核心问题所在），限制物料规模。 因此物料结构设计需满足： 内存需连续不可有碎片 稀疏情况下空间的节约 不可影响系统性能 实现如下图的二级索引结构： 如图将物料分成了四段： 白色为头部，保存基本信息 红色为一级索引 黄色为二级索引 绿色为实际数据段
68400编辑于 2024-05-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号