- 综合排序
- 最热优先
- 最新优先
- 来自专栏罗西的思考
PyTorch 分布式 Autograd (4) ---- 如何切入引擎
[源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎 目录 [源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎 0x00 摘要 0x02 以上两个环节分别如何进入分布式autograd引擎？ 我们接下来就围绕这些疑问进行分析，核心就是如何进入 dist.autograd 引擎。 0x02 计算图 我们首先从计算图来通过几个示例来看看。 具体对应如下图： 2.2 分布式示例 接下来看看分布式的例子，这个例子就是官方设计中图例大致对应的代码，我们把 torch.mul(t3, t4) 命名为 t5，加入了 loss。 ，图例如下： 0x03 反向传播 我们接下来要看看如何进入dist autograd 引擎，结合我们图例，就是： worker 0 如何主动发起反向传播，然后进入分布式引擎？ worker 1 如何被动接受反向传播消息，然后进入分布式引擎？ 3.1 发起反向传播 我们找一找如何发起反向传播，按照从下往上的顺序进行。
60430编辑于 2021-12-04 - 来自专栏全栈程序员必看
流程引擎概念_虚幻引擎4
目录 一、流程定义 二、查询流程定义 三、ID与版本 四、挂起流程定义 五、流程实例 六、执行 七、活动实例 八、任务与任务定义 ---- 本部分说明了流程引擎的概念 一、流程定义 流程定义定义了流程的结构 Camunda BPM使用BPMN2.0作为主要的建模语言，可以将BPMN 2.0XML格式部署到流程引擎中。 流程引擎负责创建流程实例并管理状态。 六、执行 流程引擎在流程实例内部创建两个并发执行。 部署流程后，流程引擎会为流程中的每个活动创建任务定义，这将在运行时创建任务。
1.2K10编辑于 2022-11-01 - 来自专栏阿飞的学习记录
Elasticsearch分布式搜索引擎
ElasticSearch简介 Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据 blog1/article/1 请求体： { "id":1, "title":"ElasticSearch是一个基于Lucene的搜索服务器", "content":"它提供了一个分布式多用户能力的全文搜索引擎 Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。"
63910编辑于 2022-03-24 - 来自专栏android技术
分布式--solr搜索引擎
修改启动参数 cd /usr/local/solr-8.11.2/bin/ vi solr.in.sh 找到SOLR_ULIMIT_CHECKS并修改： SOLR_ULIMIT_CHECKS=false 4. /solr start -force 在界面上使用_china_进行分词： 4. managed-schema说明 标签 属性 描述 < fieldType/> 定义属性类型 < field/> 加载data-dept.xml --> <str name="config">data-dept.xml</str> </lst> </requestHandler> 4.
1.2K20编辑于 2022-09-08 - 来自专栏罗西的思考
PyTorch 分布式 Autograd (6) ---- 引擎(下)
[源码解析] PyTtorch 分布式 Autograd (6) ---- 引擎(下) 0x00 摘要 上文我们介绍了引擎如何获得后向计算图的依赖，本文我们就接着看看引擎如何依据这些依赖进行后向传播。 (4)---- 具体算法 [源码解析] PyTorch 分布式(1)------历史和概述 [源码解析] PyTorch 分布式(2) ----- DataParallel(上) [源码解析] PyTorch 分布式(3) ----- DataParallel(下) [源码解析] PyTorch 分布式(4)------分布式应用基础概念 [源码解析] PyTorch分布式(5) ------ DistributedDataParallel 分布式 Autograd (4) ---- 如何切入引擎 [源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上) 为了更好的说明，本文代码会依据具体情况来进行相应精简。 autograd 全部分析完毕，前面说过，分布式处理有四大金刚，我们简介了 RPC，RRef，分析了分布式引擎，从下一篇开始，我们开始分析剩下的分布式优化器，此系列可能包括4~6篇。
1.2K30编辑于 2021-12-08 SageMaker分布式训练引擎技术揭秘
SageMaker 分布式训练引擎背后的科学某机构机器学习副总裁在年度 re:Invent 大会上宣布了两项新功能，旨在让用户通过 SageMaker 训练大规模、数据密集型神经网络变得更便宜、更简单。 数据并行训练数据并行训练将同一神经网络的副本发送到不同的分布式计算节点，每个节点用不同的数据批次训练其副本。然后将分别训练的结果聚合和分发，使所有节点以相同方式更新其模型。 当 CPU 在聚合和传输一批梯度时，GPU 可以开始处理下一批数据，这使得分布式训练能够更高效地扩展。为了在 CPU 之间通信梯度更新，SDP 使用了 All-Reduce 操作。 快速上手用户现在可以通过 GitHub 上的示例，或阅读更多文档来了解 SageMaker 上的分布式训练，并开始使用新的分布式库。FINISHED
13010编辑于 2026-02-20- 来自专栏罗西的思考
PyTorch 分布式 Autograd (5) ---- 引擎(上)
[源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上) 目录 [源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上) 0x00 摘要 0x01 autograd 引擎，本文和下文就看看如何分布式引擎如何运作。 分布式引擎的多线程结构仅适用于CPU任务。如果我们有CPU->GPU->CPU这样的任务顺序，分布式 autograd 就没有线程来执行最后一个CPU任务。 可以看到，与普通引擎相比较，分布式多了一个计算root边和生成边上梯度信息的过程。 self), 0); // 0表示本Edge是function的第一个输入 } } 4.2 validate_outputs 其定义在 torch/csrc/autograd/engine.cpp，原生引擎和分布式引擎都会调用
81720编辑于 2021-12-06 - 来自专栏全栈程序员必看
浅析分布式搜索引擎
WordId Word DocIds 1 谷歌 1,2,3,4,5 2 地图 1,2,3,4,5 3 之父 1,2,4,5 4 跳槽 1,4 5 Facebook 1,2,3,4,5 6 加盟 2,3,5 分布式的文档存储引擎 分布式的搜索引擎和分析引擎 分布式，支持 PB 级数据 2.1 ES 的核心概念 Near Realtime 近实时，有两层含义： 从写入数据到数据可以被搜索到有一个小延迟（大概是 ES架构原理 elasticsearch设计的理念就是分布式搜索引擎，底层其实还是基于lucene的。核心思想就是在多台机器上启动多个es进程实例，组成了一个es集群。 很简单，重新建一个有 4 个 shard 的索引，将数据导进去； 提高性能 数据分布在多个 shard，即多台服务器上，所有的操作都会在多台机器上并行分布式执行，提高了吞吐量和性能。 上述就是elasticsearch作为一个分布式搜索引擎最基本的一个架构设计。 4.
1K20编辑于 2022-08-27 - 来自专栏vivo互联网技术
探究Presto SQL引擎(4)-统计计数
系列文章：探究Presto SQL引擎(1)-巧用Antlr探究Presto SQL引擎(2)-浅析Join探究Presto SQL引擎(3)-代码生成一、背景学习Hadoop时接触的第一个样例就是word 对于Presto这种分布式SQL引擎，计数的实现原理值得深入研究，特别是基数统计。关于普通计数和基数计数，最典型的例子莫过于PV/UV。 可以方便实现分布式扩展。(这个点对算法在业务系统中落地非常关键)理解HLL算法，需要如下几个知识点的铺垫：伯努利实验、调和平均数。 例如：执行了10轮，可能的结果如下：3,1,4,1,1,2,3,4,1,1执行了100轮，可能的结果如下：1,1,2,1,1,2,1,4,2,1,3,1,1,1,1,3,1,2,1,1,2,4,2,3,2,1,1,1,3,1,2,2,6,1,2,4,1,2,2,1,1,3,1,1,1,1,1,1,1,1,1,4,2,1,1,1,1,1,3,1,2,4,4,4,1,3,2,1,5,1,1,1,1,1,1,1,5,1,1,7,1,1,4,1,3,2,1,1,5,2,1,1,5,2,1,1,4,1,1,1 五、业务建议通过上面的分析，我们可以发现高基数统计是一个非常消耗内存的操作，特别是在分布式系统背景下，不仅消耗内存，而且涉及大量网络数据传输。
1.8K20编辑于 2022-11-01 - 来自专栏我有一个梦想
浅谈UE4引擎
游戏引擎就是引擎开发者已经写好的一堆代码框架，游戏开发者可以调用这些代码框架，很容易和快速地做出游戏而不用由零开始。 为什么选用虚幻4引擎？ 首先，现在流行而且出名的商业引擎主要有cocos2dx，Unity3D，UE4，CryEngine等。 为此，《智慧产品圈》专门对Unity3D和Unreal Engine 4(以下简称UE4）这两款主流引擎进行分析比较，希望给读者带来对两款引擎进一步了解。 两者优缺点对比如下： ? 4）UE4是免费的，游戏引擎的源代码可以从Github开源社区下载，这意味着开发者对游戏引擎有着控制权，你可以修改任何东西，包括物流引擎，渲染和图像用户界面。 下图为UE4游戏引擎制作出来的官方示例宣传视频画面： ?
5.4K81发布于 2018-01-19 - 来自专栏罗西的思考
Dynomite 分布式存储引擎 之 DynoJedisClient(1)
[源码分析] Dynomite 分布式存储引擎 之 DynoJedisClient(1) 目录 [源码分析] Dynomite 分布式存储引擎 之 DynoJedisClient(1) 0x00 摘要 Amazon Dynamo 亚马逊在业务发展期间面临一些问题，主要受限于关系型数据库的可扩展性和高可用性，因此研发了一套新的、基于 KV 存储模型的数据库，将之命名为 Dynamo，其主要采取完全的分布式 1.2 NetFlix Dynomite Dynomite 是 NetFlix 对亚马逊分布式存储引擎 Dynamo 的一个开源通用实现，它不仅支持基于内存的 K/V 数据库，还支持持久化的 Mysql Dynomite 的最终目标是提供数据库存储引擎不能提供的简单、高效、跨数据中心的数据复制功能。目前，Dynomite 已经实现了对 Redis 和 Memcached 的支持。 ； Dynomite在Redis之上提供了高可用性、对等复制以及一致性等特性，用于构建分布式集群队列。
76100发布于 2021-02-05 - 来自专栏大数据文摘
UE4: 学习虚幻引擎4的16条准则
我花费了许多的时间去重构那些从零开始学习游戏引擎的方法。那些方法就是你最初需要关注什么、哪些是你现在需要避免的。 虚幻引擎4是一个完全的游戏引擎。 所以我们如何从零开始学UE4呢？ ▼ 在这个教程中 你会学习将会指导你 更轻松地学习 虚幻引擎4的16道准则 1.获取虚幻引擎4 首先，下载并且安装虚幻引擎4。它是免费的。 但是作为一个学虚幻引擎4的彻底的新手，你需要的是将这些范围缩小到一个特定的结果。这样当你熟练使用引擎后，你就可以延伸你的知识。但是在学习的早期阶段，还是专一比较好。 但是当你开始时，不要将制作游戏或个性化的游戏环境作为你在虚幻引擎4里的第一个作品。 4.UE4里游戏制作的步骤 当你学习UE4或其他游戏引擎时，你最好对游戏和游戏环境如何制作有个总体的了解。 感兴趣的可以查看这个第一个推荐的项目作为一个完整的教程指南系列“UE4基础”，它将带你通过你需要知道的所有步骤学习虚幻引擎4。
4.5K62发布于 2018-05-25 - 来自专栏罗西的思考
Dynomite 分布式存储引擎 之 DynoJedisClient(2)
[源码分析] Dynomite 分布式存储引擎 之 DynoJedisClient(2) 0x00 摘要 上文我们介绍了 NetFlix Dynomite 客户端 DynoJedisClient 的 如何监控底层机架状态； 我们接下来引出 基于 DynoJedisClient 的 分布式延迟队列 Dyno-queues ，看看它是如何实现的。
1.2K10发布于 2021-03-02 - 来自专栏秋落雨微凉Java开发栏
最强分布式搜索引擎——ElasticSearch
最强分布式搜索引擎——ElasticSearch 本篇我们将会介绍到一种特殊的类似数据库存储机制的搜索引擎工具——ES elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容 ES数据搜索 IDEA数据搜索 ES数据聚合 IDEA数据聚合 MQ数据同步 ES概述 首先我们先来简单介绍一下ElasticSearch ES概念 我们首先来简单介绍一下ES： ES是一款特殊的搜索引擎工具 /_doc/文档id { "字段1": "值1", "字段2": "值2", "字段3": { "子属性1": "值3", "子属性2": "值4" DEFAULT NULL COMMENT '酒店图片；例:/img/1.jpg', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; 发送请求，得到结果 4.
3.6K20编辑于 2023-03-24 - 来自专栏互联网技术栈
分布式分析引擎Kylin Spring DataSource封装
Kylin 概述 Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. method.invoke(obj, args); } } } 创建JdbcPoolConfiguration类，注册template bean @Slf4j BeanUtils.getPropertyDescriptors(mappedClass); PropertyDescriptor[] var3 = pds; int var4 = pds.length; for (int var5 = 0; var5 < var4; ++var5) { PropertyDescriptor pd = RowMapper.getDefault(TotalModelMetricEntity.class)); } 综上我们就完成了对Kylin JDBC的封装，同样的如Presto等其他支持JDBC的查询引擎封装方式类似
1.1K40发布于 2019-03-20 - 来自专栏美团无人配送
美团分布式自动驾驶引擎
为完成上述目标，我们就需要自动驾驶引擎能够提供运行环境的抽象与隔离，引擎为完成这一层抽象，必须解决三个关键点：分布式环境下高实时性的数据传输、高实时性的调度、关键自动驾驶数据的实时记录。 图1. 如何在仿真环境中依据任务属性调度任务 在美团，我们打造了统一的自动驾驶引擎来同时满足车端计算平台和离线仿真系统的需求，因此面向运营的分布式引擎也会遵循这一策略，使用统一的架构来满足车端分布式计算平台和离线仿真系统在大规模运营阶段的新需要 分布式自动驾驶引擎架构 自动驾驶引擎作为车载自动驾驶系统和离线仿真系统的运行调度管理中心，负责构建自动驾驶功能模块（定位、感知、预测、规划等）的运行环境，让上层功能模块的开发者专注于模块的核心功能开发。 下图是分布式通信总线的层次结构示意图。 图4. 分布式通信总线层次结构 通信总线关键组件解释： a).CallbackManager负责管理上层功能模块订阅者的回调函数及其执行。 分布式引擎地图服务管理方案示意图 结束语 美团自动驾驶引擎的演进有效支撑了上层业务在不同阶段的需求，为分布式计算平台提供了系统级的软件解决方案，也为仿真系统进一步提升资源利用率扫除了主要障碍，促进了美团无人车规模化快速落地运营的进程
1.3K20发布于 2021-10-09 - 来自专栏罗西的思考
PyTorch 分布式(4)------分布式应用基础概念
[源码解析] PyTorch 分布式(4)------分布式应用基础概念 目录 [源码解析] PyTorch 分布式(4)------分布式应用基础概念 0x00 摘要 0x01 基本概念 0x02 设计思路 在这个简短的教程中，我们将介绍 PyTorch 的分布式包。我们将看到如何设置分布式，使用不同的通信策略，并了解包的一些内部结构。 Store : 分布式包（distributed package）有一个分布式键值存储服务，这个服务在组中的进程之间共享信息以及初始化分布式包 （通过显式创建存储来作为init_method的替代）。 把if __name__ == '__main__': 替换为init_process(0, 0, run, backend='mpi') 运行 mpirun -n 4 python myscript.py dist.init_process_group( init_method='tcp://10.1.1.20:23456', rank=args.rank, world_size=4)
3.3K32发布于 2021-11-16 - 来自专栏GreenLeaves
代码生成引擎之T4模版
在学校三年、公司里呆了快一年了,作用ASP.NET开发的我,居然从来没听过T4模版,公司里也没有人使用,它就是这样不为世人所熟知，却又默默的奉献着！这...........tm还是我吗? 不过直到现在,据我所知,我们公司好像并没有人使用T4来卡发，我不禁陷入了沉思!哈哈哈，言归正传！ 可以这么说只要你学会了T4模版,并且如果你能很熟练的运用它，那么恭喜你,这就相当于玩毒奶粉(dnf)爆了一把史诗......哈哈哈，对,T4就是你程序员道路上的一把利器,能帮从我们重复的代码中解脱,这他么简直了 T4是微软官方在Visual Stdio2008中集成的一款代码生成工具,并且其内部也有很多开发环境使用到了T4模版,MVC的视图模版、Entity Framework的DbContext模版等等,下面通过具体操作来一步步了解这款神器
98760发布于 2018-01-24 - 来自专栏PawSQL，在线的自动化SQL优化工具！
PawSQL 引擎月度更新 | 2026年4月
更新概览：2026年4月是一次以性能提升和算法优化为主线的迭代，涵盖SQL解析器性能优化、智能重写规则增强、多数据库方言支持等核心领域。 一、SQL解析引擎：预热、缓存与语法容错 基于ANTLR 的SQL解析器在在进行 ATN → DFA 转换时会写入共享的 DFA 缓存，这个过程用了 synchronized 块： // ANTLR 内部源码 这个月针对 SQL解析引擎做了几项直击痛点的调整。 1.1 预热 ATN 与 DFA ANTLR 在首次触发规则时按需构建 DFA，冷启动代价明显。 2.1 OR 条件 SELECT 重写的三项改进RuleOrCond4SelectRewrite 做了三处调整，目标是提升重写优化之后的SQL的质量。 对于分布式场景下排序优化有直接影响。 最大排序列阈值：新增阈值限制索引推荐时考虑 ORDER BY 候选列的数目，超过上限直接不考虑避免排序。
16110编辑于 2026-06-17 分布式搜索引擎：底层逻辑 + 实战
一、先搞懂：分布式搜索引擎到底是什么？ 场景3：用分布式搜索引擎（如Elasticsearch） 分布式搜索引擎的核心思路是“分而治之+集群协作”： 分片存储：把1000万条图书数据，分成10个“分片”（每个分片100万条数据），分别存储在10 简单来说：分布式搜索引擎 = 多个单体搜索引擎（如Lucene）+ 分布式集群管理 + 数据分片 + 副本机制，它解决了单体搜索引擎的“存储瓶颈、性能瓶颈、高可用风险”，同时保留了全文检索的核心能力（快速匹配 二、底层核心逻辑：搞懂这5个点，才算真正入门 分布式搜索引擎的所有功能（分片、副本、查询、索引），都基于以下5个核心底层逻辑，搞懂这些，再看任何分布式搜索引擎（ES、Solr、PolarDB-X Search 2.1 倒排索引：分布式搜索引擎的“检索灵魂”（最核心） 倒排索引是分布式搜索引擎实现“快速全文检索”的核心，也是和传统数据库“正排索引”的本质区别。
24710编辑于 2026-04-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号