- 综合排序
- 最热优先
- 最新优先
- 来自专栏阿飞的学习记录
Elasticsearch分布式搜索引擎
ElasticSearch简介 Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据 blog1/article/1 请求体： { "id":1, "title":"ElasticSearch是一个基于Lucene的搜索服务器", "content":"它提供了一个分布式多用户能力的全文搜索引擎 Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。"
63910编辑于 2022-03-24 - 来自专栏罗西的思考
PyTorch 分布式 Autograd (6) ---- 引擎(下)
[源码解析] PyTtorch 分布式 Autograd (6) ---- 引擎(下) 0x00 摘要 上文我们介绍了引擎如何获得后向计算图的依赖，本文我们就接着看看引擎如何依据这些依赖进行后向传播。 分布式 Autograd (4) ---- 如何切入引擎 [源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上) 为了更好的说明，本文代码会依据具体情况来进行相应精简。 0 : total_depth + 1, /* cpu_ready_queue */ local_ready_queue); 2.5 小结 对于分布式引擎，与普通引擎在计算部分主要不同之处为： 具体结合到分布式引擎，就是当引擎发现某一个 Node 是 RecvRpcBackward，就调用其 apply 函数。 ，我们简介了 RPC，RRef，分析了分布式引擎，从下一篇开始，我们开始分析剩下的分布式优化器，此系列可能包括4~6篇。
1.2K30编辑于 2021-12-08 - 来自专栏android技术
分布式--solr搜索引擎
搜索是项目中常用的功能，对于大数据量的搜索，查询关系型数据库是非常低效的，好在有三方专门用于搜索的工具，常用的搜索解决方案为：
1.2K20编辑于 2022-09-08 SageMaker分布式训练引擎技术揭秘
SageMaker 分布式训练引擎背后的科学某机构机器学习副总裁在年度 re:Invent 大会上宣布了两项新功能，旨在让用户通过 SageMaker 训练大规模、数据密集型神经网络变得更便宜、更简单。 数据并行训练数据并行训练将同一神经网络的副本发送到不同的分布式计算节点，每个节点用不同的数据批次训练其副本。然后将分别训练的结果聚合和分发，使所有节点以相同方式更新其模型。 当 CPU 在聚合和传输一批梯度时，GPU 可以开始处理下一批数据，这使得分布式训练能够更高效地扩展。为了在 CPU 之间通信梯度更新，SDP 使用了 All-Reduce 操作。 快速上手用户现在可以通过 GitHub 上的示例，或阅读更多文档来了解 SageMaker 上的分布式训练，并开始使用新的分布式库。FINISHED
13010编辑于 2026-02-20- 来自专栏罗西的思考
PyTorch 分布式 Autograd (5) ---- 引擎(上)
[源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上) 目录 [源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上) 0x00 摘要 0x01 autograd 引擎，本文和下文就看看如何分布式引擎如何运作。 分布式引擎的多线程结构仅适用于CPU任务。如果我们有CPU->GPU->CPU这样的任务顺序，分布式 autograd 就没有线程来执行最后一个CPU任务。 可以看到，与普通引擎相比较，分布式多了一个计算root边和生成边上梯度信息的过程。 self), 0); // 0表示本Edge是function的第一个输入 } } 4.2 validate_outputs 其定义在 torch/csrc/autograd/engine.cpp，原生引擎和分布式引擎都会调用
81720编辑于 2021-12-06 - 来自专栏全栈程序员必看
浅析分布式搜索引擎
1.4 ES的核心面试题 （1）es的分布式架构原理是什么（es是如何实现分布式的）？ （2）es写入数据的工作原理是什么？es查询数据的工作原理是什么？ 分布式的文档存储引擎 分布式的搜索引擎和分析引擎 分布式，支持 PB 级数据 2.1 ES 的核心概念 Near Realtime 近实时，有两层含义： 从写入数据到数据可以被搜索到有一个小延迟（大概是 ES架构原理 elasticsearch设计的理念就是分布式搜索引擎，底层其实还是基于lucene的。核心思想就是在多台机器上启动多个es进程实例，组成了一个es集群。 上述就是elasticsearch作为一个分布式搜索引擎最基本的一个架构设计。 4. 分布式情况下，要查第 100 页的 10 条数据，不可能是从 5 个 shard，每个 shard 就查 2 条数据，最后到协调节点合并成 10 条数据。
1K20编辑于 2022-08-27 - 来自专栏罗西的思考
Dynomite 分布式存储引擎 之 DynoJedisClient(1)
[源码分析] Dynomite 分布式存储引擎 之 DynoJedisClient(1) 目录 [源码分析] Dynomite 分布式存储引擎 之 DynoJedisClient(1) 0x00 摘要 HostConnectionPool 8.4 执行 0x09 具体连接池 9.1 生成Connection 9.2 JedisConnectionFactory 9.3 获取Connection 0x10 1.2 NetFlix Dynomite Dynomite 是 NetFlix 对亚马逊分布式存储引擎 Dynamo 的一个开源通用实现，它不仅支持基于内存的 K/V 数据库，还支持持久化的 Mysql ； Dynomite在Redis之上提供了高可用性、对等复制以及一致性等特性，用于构建分布式集群队列。 = System.nanoTime() / 1000 - startTime; monitor.incConnectionBorrowed(host, delay); } 0x10
76100发布于 2021-02-05 - 来自专栏罗西的思考
Dynomite 分布式存储引擎 之 DynoJedisClient(2)
[源码分析] Dynomite 分布式存储引擎 之 DynoJedisClient(2) 0x00 摘要 上文我们介绍了 NetFlix Dynomite 客户端 DynoJedisClient 的 hostStatus.getActiveHosts(); final ExecutorService threadPool = Executors.newFixedThreadPool(Math.max(10 如何监控底层机架状态； 我们接下来引出 基于 DynoJedisClient 的 分布式延迟队列 Dyno-queues ，看看它是如何实现的。
1.2K10发布于 2021-03-02 - 来自专栏罗西的思考
PyTorch 分布式 Autograd (4) ---- 如何切入引擎
[源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎 目录 [源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎 0x00 摘要 0x02 我们知道了分布式autograd如何基于RPC进行传递，如何在节点之间交互，节点如何区分维护这些Session。本文继续分析，主要目的是看看反向传播如何切入到引擎之中。 以上两个环节分别如何进入分布式autograd引擎？ 我们接下来就围绕这些疑问进行分析，核心就是如何进入 dist.autograd 引擎。 0x02 计算图 我们首先从计算图来通过几个示例来看看。 ，图例如下： 0x03 反向传播 我们接下来要看看如何进入dist autograd 引擎，结合我们图例，就是： worker 0 如何主动发起反向传播，然后进入分布式引擎？ worker 1 如何被动接受反向传播消息，然后进入分布式引擎？ 3.1 发起反向传播 我们找一找如何发起反向传播，按照从下往上的顺序进行。
60430编辑于 2021-12-04 - 来自专栏互联网技术栈
分布式分析引擎Kylin Spring DataSource封装
Kylin 概述 Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. ; state.setInt(1, 10); ResultSet resultSet = state.executeQuery(); while (resultSet.next()) { assertEquals conn.getMetaData().getTables(null, null, "dummy", null); while (tables.next()) { for (int i = 0; i < 10 DEFAULT_DRIVER_CLASS_NAME = "org.apache.kylin.jdbc.Driver"; private static final int DEFAULT_POOL_SIZE = 10 RowMapper.getDefault(TotalModelMetricEntity.class)); } 综上我们就完成了对Kylin JDBC的封装，同样的如Presto等其他支持JDBC的查询引擎封装方式类似
1.1K40发布于 2019-03-20 - 来自专栏秋落雨微凉Java开发栏
最强分布式搜索引擎——ElasticSearch
最强分布式搜索引擎——ElasticSearch 本篇我们将会介绍到一种特殊的类似数据库存储机制的搜索引擎工具——ES elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容 ES数据搜索 IDEA数据搜索 ES数据聚合 IDEA数据聚合 MQ数据同步 ES概述 首先我们先来简单介绍一下ElasticSearch ES概念 我们首先来简单介绍一下ES： ES是一款特殊的搜索引擎工具 NOT NULL COMMENT '酒店名称；例：7天酒店', `address` varchar(255) NOT NULL COMMENT '酒店地址；例：航头路', `price` int(10 模板 GET /indexName/_search { "query": { "range": { "FIELD": { // 这里更换字段名 "gte": 10 : "asc", // 排序方式 "unit" : "km" // 排序的距离单位 } } ] } 分页 elasticsearch 默认情况下只返回top10
3.6K20编辑于 2023-03-24 - 来自专栏美团无人配送
美团分布式自动驾驶引擎
为完成上述目标，我们就需要自动驾驶引擎能够提供运行环境的抽象与隔离，引擎为完成这一层抽象，必须解决三个关键点：分布式环境下高实时性的数据传输、高实时性的调度、关键自动驾驶数据的实时记录。 图1. 如何在仿真环境中依据任务属性调度任务 在美团，我们打造了统一的自动驾驶引擎来同时满足车端计算平台和离线仿真系统的需求，因此面向运营的分布式引擎也会遵循这一策略，使用统一的架构来满足车端分布式计算平台和离线仿真系统在大规模运营阶段的新需要 分布式自动驾驶引擎架构 自动驾驶引擎作为车载自动驾驶系统和离线仿真系统的运行调度管理中心，负责构建自动驾驶功能模块（定位、感知、预测、规划等）的运行环境，让上层功能模块的开发者专注于模块的核心功能开发。 自动驾驶关键数据记录流程示例 3.3 分布式环境下地图管理的挑战 自动驾驶地图是自动驾驶系统正常运行不可或缺的一部分，并且它是上层功能模块的一个通用组件，因此分布式引擎也负责管理车端地图。 分布式引擎地图服务管理方案示意图 结束语 美团自动驾驶引擎的演进有效支撑了上层业务在不同阶段的需求，为分布式计算平台提供了系统级的软件解决方案，也为仿真系统进一步提升资源利用率扫除了主要障碍，促进了美团无人车规模化快速落地运营的进程
1.3K20发布于 2021-10-09 - 来自专栏小白晋级大师
分布式系统学习10：分布式事务
这是小卷对分布式系统架构学习的第13篇文章，今天学习面试中高频问题：分布式事务，为什么要用分布式事务，分布式事务的实现方案有哪些，方案对比优缺点 1.知识体系 1.为什么要用分布式事务 单体架构时，以本地事务为例 而随着业务的增长，系统转变为分布式系统，原有的单体架构也拆分为多个微服务。 下单场景需要在多个服务间操作，需要保证所有操作都能成功，保证整个下单流程的数据一致性，就需要用到分布式事务了 2.理论 分布式理论的CP -> 刚性事务 遵循ACID，对数据要求强一致性 分布式理论的AP Confirm需满足幂等性，保证一个分布式事务只成功一次； Cancel阶段：取消操作，释放Try阶段预留的业务资源，需要幂等性； 4.2 Saga事务 Saga可以看做一个异步的、利用队列实现的补偿事务 Seata框架 开源的分布式事务解决方案，提供了AT、TCC、SAGA、XA事务模式，不需要自己手动实现分布式事务，直接使用框架就行 有以下几个角色： TC (Transaction Coordinator
37300编辑于 2025-01-26 - 来自专栏侯哥的Python分享
MySQL高级10-InnoDB引擎存储架构
区(Extent)：表空间的单元结构，每个区的大小为1M, 默认情况下，InnoDB存储引擎页大小为16k，即一个区中一共有64个连续的页 页(Page)：页是InnoDB存储引擎磁盘管理的最小单元 ，每个页大小默认为16K,为了保证页的连续，InnoDB存储引擎每次从磁盘申请4-5个区 行(Row)：InnoDB存储引擎数据是按行进行存放的，Trx_id：每次对某条记录进行改动时，都会把对应的事务 要注意的是，在InnoDB存储引擎中，除了系统表空间（System Tablespace），还存在一个叫做表空间文件（Tablespaces）的概念。表空间文件用于存储用户创建的表和索引。 总结：File-Per-Table Tablespace是MySQL InnoDB存储引擎的一个选项，允许每个表使用单独的表空间文件存储数据和索引。 双写缓冲区文件的主要作用是用于在MySQL崩溃或意外断电的情况下，保护InnoDB存储引擎使用的数据页的完整性。
82421编辑于 2023-09-20 - 来自专栏程序员IT圈
10 分钟理解 JS 引擎的执行机制
所以只有满足 (1)3秒后 (2)主线程空闲，同时满足时，才会3秒后执行该函数 如果主线程执行内容很多，执行时间超过3秒，比如执行了10秒，那么这个函数只能10秒后执行了。 觉得本文对你有帮助？
2K91发布于 2018-03-05 - 来自专栏林欣哲
10 分钟看懂分布式事务
什么是分布式事务 问题的引出 先看一张图，一个电商平台的架构图。 对于用户来说的一个创建订单的过程，背后很可能跨越了多个应用服务。 单一数据库可以简单的使用事务来保证一致性，但是分布式的问题则需要分布式的事务来控制数据的一致性。 分布式事务的产生的原因 数据库分库分表 由于单表的数据量巨大导致的分库分表，则会涉及到多个数据库的一致性问题。 应用SOA化 业务的服务化。 多个业务中心有各自的数据库，也会涉及多个数据库的一致性问题 事务的ACID特性 分布式事务本质也是一个事务，则需要满足ACID特性。 参考资料 分布式最终一致方案梳理，Bright Moon ‘ s Blog，https://www.cnblogs.com/BrightMoon/p/5622618.html 深入理解分布式事务,高并发下分布式事务的解决方案
1.1K50发布于 2018-04-17 - 来自专栏施炯的IoT开发专栏
Windows 10 IoT Serials 10 – 如何使用OCR引擎进行文字识别
在Windows 10通用应用程序UWP示例中，包含了OCR应用程序，具体请参考（https://github.com/Microsoft/Windows-universal-samples/tree/ 但是部署到Windows 10 IoT Core设备以后，会出现如下错误：“No available OCR languages.” 、”English is not supported”，如下图所示。 解决方法 上述问题的出现，是由于Windows 10 IoT Core设备上没有OCR的相关资源，导致程序无法正常运行。 解决方法如下： 首先，将Windows 10设备的C:\\Windows\OCR目录拷贝到Windows 10 IoT Core设备的c$\Windows目录，如下图所示。 ? 调试 本次调试在MBM板子上进行，Windows 10 IoT Core设备的OS版本号为v.10.0.16299.192，采用的摄像头为微软LifeCam HD-3000。
3.2K40发布于 2018-03-27 分布式搜索引擎：底层逻辑 + 实战
一、先搞懂：分布式搜索引擎到底是什么？ 场景3：用分布式搜索引擎（如Elasticsearch） 分布式搜索引擎的核心思路是“分而治之+集群协作”： 分片存储：把1000万条图书数据，分成10个“分片”（每个分片100万条数据），分别存储在10 简单来说：分布式搜索引擎 = 多个单体搜索引擎（如Lucene）+ 分布式集群管理 + 数据分片 + 副本机制，它解决了单体搜索引擎的“存储瓶颈、性能瓶颈、高可用风险”，同时保留了全文检索的核心能力（快速匹配 二、底层核心逻辑：搞懂这5个点，才算真正入门 分布式搜索引擎的所有功能（分片、副本、查询、索引），都基于以下5个核心底层逻辑，搞懂这些，再看任何分布式搜索引擎（ES、Solr、PolarDB-X Search 2.1 倒排索引：分布式搜索引擎的“检索灵魂”（最核心） 倒排索引是分布式搜索引擎实现“快速全文检索”的核心，也是和传统数据库“正排索引”的本质区别。
24710编辑于 2026-04-16- 来自专栏EAWorld
Presto 分布式SQL查询引擎及原理分析
前言： Presto是由 Facebook 推出的一个基于Java开发的开源分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 他不像SparkSQL可以配置把溢出的数据持久化到磁盘，Presto是完完全全的内存计算； 3.高性能：低延迟高并发的内存计算引擎，相比Hive（无论MR、Tez、Spark执行引擎）、Impala 执行效率要高很多 根据Facebook和京东的测试报告，至少提升10倍以上； 4.支持ANSI SQL：这点不像Hive、SparkSQL都是以HQL为基础（方言），Presto是标准的SQL。 进行调度；然后合并结果，把结果返回给客户端（Client）； 4.Worker：主要负责与数据的读写交互以及执行查询计划； Coordinator 和 Worker 可一起启动，这样小规模的集群或伪分布式可以节省一些资源 OLAP 众多，如何选型 OLAP 引擎，耳熟能详的当前有十几种之多，令人眼花缭乱。
5.4K21发布于 2020-05-20 - 来自专栏职场亮哥
Clickhouse创建分布式表以及表引擎介绍
在读取时，引擎只需要输出所请求的列，但在某些情况下，引擎可以在响应请求时部分处理数据。 对于大多数正式的任务，应该使用MergeTree族中的引擎。 MergeTree 引擎系列的基本理念如下。 使用ReplicatedMergeTree和Distributed引擎构建我们的分布式表，先看一个常用的表结构： -- 每个机器都需要建立各自的replica table，也需要建Distributed DDL语句只会在单个服务器上执行，不会被复制 Distributed Distributed(logs, default, hits[, sharding_key]) 分布式引擎参数：服务器配置文件中的集群名 通过分布式引擎可以像使用本地服务器一样使用集群。但是，集群不是自动扩展的：必须编写集群配置到服务器配置文件中。 总结 clickhouse的分布式是一个彻底手动挡的分布式，无论是分布式集群的搭建还是还是表引擎的维护都能体现引擎的定制化感觉，相较于其他分布式比如hadoop等分布式来说，需要手动维护的内容较多。
7.9K61发布于 2020-10-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号