- 综合排序
- 最热优先
- 最新优先
- 来自专栏阿飞的学习记录
Elasticsearch分布式搜索引擎
ElasticSearch简介 Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据 blog1/article/1 请求体： { "id":1, "title":"ElasticSearch是一个基于Lucene的搜索服务器", "content":"它提供了一个分布式多用户能力的全文搜索引擎 Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。"
62510编辑于 2022-03-24 - 来自专栏罗西的思考
PyTorch 分布式 Autograd (6) ---- 引擎(下)
[源码解析] PyTtorch 分布式 Autograd (6) ---- 引擎(下) 0x00 摘要 上文我们介绍了引擎如何获得后向计算图的依赖，本文我们就接着看看引擎如何依据这些依赖进行后向传播。 分布式 Autograd (4) ---- 如何切入引擎 [源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上) 为了更好的说明，本文代码会依据具体情况来进行相应精简。 0 : total_depth + 1, /* cpu_ready_queue */ local_ready_queue); 2.5 小结 对于分布式引擎，与普通引擎在计算部分主要不同之处为： 具体结合到分布式引擎，就是当引擎发现某一个 Node 是 RecvRpcBackward，就调用其 apply 函数。 autograd 全部分析完毕，前面说过，分布式处理有四大金刚，我们简介了 RPC，RRef，分析了分布式引擎，从下一篇开始，我们开始分析剩下的分布式优化器，此系列可能包括4~6篇。
1.2K30编辑于 2021-12-08 - 来自专栏android技术
分布式--solr搜索引擎
搜索是项目中常用的功能，对于大数据量的搜索，查询关系型数据库是非常低效的，好在有三方专门用于搜索的工具，常用的搜索解决方案为：
1.2K20编辑于 2022-09-08 SageMaker分布式训练引擎技术揭秘
SageMaker 分布式训练引擎背后的科学某机构机器学习副总裁在年度 re:Invent 大会上宣布了两项新功能，旨在让用户通过 SageMaker 训练大规模、数据密集型神经网络变得更便宜、更简单。 数据并行训练数据并行训练将同一神经网络的副本发送到不同的分布式计算节点，每个节点用不同的数据批次训练其副本。然后将分别训练的结果聚合和分发，使所有节点以相同方式更新其模型。 当 CPU 在聚合和传输一批梯度时，GPU 可以开始处理下一批数据，这使得分布式训练能够更高效地扩展。为了在 CPU 之间通信梯度更新，SDP 使用了 All-Reduce 操作。 快速上手用户现在可以通过 GitHub 上的示例，或阅读更多文档来了解 SageMaker 上的分布式训练，并开始使用新的分布式库。FINISHED
12010编辑于 2026-02-20- 来自专栏罗西的思考
PyTorch 分布式 Autograd (5) ---- 引擎(上)
[源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上) 目录 [源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上) 0x00 摘要 0x01 autograd 引擎，本文和下文就看看如何分布式引擎如何运作。 分布式引擎的多线程结构仅适用于CPU任务。如果我们有CPU->GPU->CPU这样的任务顺序，分布式 autograd 就没有线程来执行最后一个CPU任务。 可以看到，与普通引擎相比较，分布式多了一个计算root边和生成边上梯度信息的过程。 self), 0); // 0表示本Edge是function的第一个输入 } } 4.2 validate_outputs 其定义在 torch/csrc/autograd/engine.cpp，原生引擎和分布式引擎都会调用
80820编辑于 2021-12-06 - 来自专栏全栈程序员必看
浅析分布式搜索引擎
Lucene官网：http://lucene.apache.org 1.2 倒排索引 在搜索引擎中，每个文档都有一个对应的文档 ID，文档内容被表示为一系列关键词的集合。 1.4 ES的核心面试题 （1）es的分布式架构原理是什么（es是如何实现分布式的）？ （2）es写入数据的工作原理是什么？es查询数据的工作原理是什么？ 分布式的文档存储引擎 分布式的搜索引擎和分析引擎 分布式，支持 PB 级数据 2.1 ES 的核心概念 Near Realtime 近实时，有两层含义： 从写入数据到数据可以被搜索到有一个小延迟（大概是 ES架构原理 elasticsearch设计的理念就是分布式搜索引擎，底层其实还是基于lucene的。核心思想就是在多台机器上启动多个es进程实例，组成了一个es集群。 上述就是elasticsearch作为一个分布式搜索引擎最基本的一个架构设计。 4.
1K20编辑于 2022-08-27 - 来自专栏罗西的思考
Dynomite 分布式存储引擎 之 DynoJedisClient(1)
[源码分析] Dynomite 分布式存储引擎 之 DynoJedisClient(1) 目录 [源码分析] Dynomite 分布式存储引擎 之 DynoJedisClient(1) 0x00 摘要 Amazon Dynamo 亚马逊在业务发展期间面临一些问题，主要受限于关系型数据库的可扩展性和高可用性，因此研发了一套新的、基于 KV 存储模型的数据库，将之命名为 Dynamo，其主要采取完全的分布式 1.2 NetFlix Dynomite Dynomite 是 NetFlix 对亚马逊分布式存储引擎 Dynamo 的一个开源通用实现，它不仅支持基于内存的 K/V 数据库，还支持持久化的 Mysql Dynomite 的最终目标是提供数据库存储引擎不能提供的简单、高效、跨数据中心的数据复制功能。目前，Dynomite 已经实现了对 Redis 和 Memcached 的支持。 ； Dynomite在Redis之上提供了高可用性、对等复制以及一致性等特性，用于构建分布式集群队列。
75000发布于 2021-02-05 - 来自专栏罗西的思考
Dynomite 分布式存储引擎 之 DynoJedisClient(2)
[源码分析] Dynomite 分布式存储引擎 之 DynoJedisClient(2) 0x00 摘要 上文我们介绍了 NetFlix Dynomite 客户端 DynoJedisClient 的 如何监控底层机架状态； 我们接下来引出 基于 DynoJedisClient 的 分布式延迟队列 Dyno-queues ，看看它是如何实现的。
1.2K10发布于 2021-03-02 - 来自专栏罗西的思考
PyTorch 分布式 Autograd (4) ---- 如何切入引擎
[源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎 目录 [源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎 0x00 摘要 0x02 我们知道了分布式autograd如何基于RPC进行传递，如何在节点之间交互，节点如何区分维护这些Session。本文继续分析，主要目的是看看反向传播如何切入到引擎之中。 以上两个环节分别如何进入分布式autograd引擎？ 我们接下来就围绕这些疑问进行分析，核心就是如何进入 dist.autograd 引擎。 0x02 计算图 我们首先从计算图来通过几个示例来看看。 ，图例如下： 0x03 反向传播 我们接下来要看看如何进入dist autograd 引擎，结合我们图例，就是： worker 0 如何主动发起反向传播，然后进入分布式引擎？ worker 1 如何被动接受反向传播消息，然后进入分布式引擎？ 3.1 发起反向传播 我们找一找如何发起反向传播，按照从下往上的顺序进行。
60030编辑于 2021-12-04 - 来自专栏互联网技术栈
分布式分析引擎Kylin Spring DataSource封装
Kylin 概述 Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. RowMapper.getDefault(TotalModelMetricEntity.class)); } 综上我们就完成了对Kylin JDBC的封装，同样的如Presto等其他支持JDBC的查询引擎封装方式类似
1.1K40发布于 2019-03-20 - 来自专栏秋落雨微凉Java开发栏
最强分布式搜索引擎——ElasticSearch
最强分布式搜索引擎——ElasticSearch 本篇我们将会介绍到一种特殊的类似数据库存储机制的搜索引擎工具——ES elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容 ES数据搜索 IDEA数据搜索 ES数据聚合 IDEA数据聚合 MQ数据同步 ES概述 首先我们先来简单介绍一下ElasticSearch ES概念 我们首先来简单介绍一下ES： ES是一款特殊的搜索引擎工具
3.5K20编辑于 2023-03-24 - 来自专栏美团无人配送
美团分布式自动驾驶引擎
为完成上述目标，我们就需要自动驾驶引擎能够提供运行环境的抽象与隔离，引擎为完成这一层抽象，必须解决三个关键点：分布式环境下高实时性的数据传输、高实时性的调度、关键自动驾驶数据的实时记录。 图1. 如何在仿真环境中依据任务属性调度任务 在美团，我们打造了统一的自动驾驶引擎来同时满足车端计算平台和离线仿真系统的需求，因此面向运营的分布式引擎也会遵循这一策略，使用统一的架构来满足车端分布式计算平台和离线仿真系统在大规模运营阶段的新需要 分布式自动驾驶引擎架构 自动驾驶引擎作为车载自动驾驶系统和离线仿真系统的运行调度管理中心，负责构建自动驾驶功能模块（定位、感知、预测、规划等）的运行环境，让上层功能模块的开发者专注于模块的核心功能开发。 自动驾驶关键数据记录流程示例 3.3 分布式环境下地图管理的挑战 自动驾驶地图是自动驾驶系统正常运行不可或缺的一部分，并且它是上层功能模块的一个通用组件，因此分布式引擎也负责管理车端地图。 分布式引擎地图服务管理方案示意图 结束语 美团自动驾驶引擎的演进有效支撑了上层业务在不同阶段的需求，为分布式计算平台提供了系统级的软件解决方案，也为仿真系统进一步提升资源利用率扫除了主要障碍，促进了美团无人车规模化快速落地运营的进程
1.3K20发布于 2021-10-09 分布式搜索引擎：底层逻辑 + 实战
一、先搞懂：分布式搜索引擎到底是什么？ 场景3：用分布式搜索引擎（如Elasticsearch） 分布式搜索引擎的核心思路是“分而治之+集群协作”： 分片存储：把1000万条图书数据，分成10个“分片”（每个分片100万条数据），分别存储在10 简单来说：分布式搜索引擎 = 多个单体搜索引擎（如Lucene）+ 分布式集群管理 + 数据分片 + 副本机制，它解决了单体搜索引擎的“存储瓶颈、性能瓶颈、高可用风险”，同时保留了全文检索的核心能力（快速匹配 二、底层核心逻辑：搞懂这5个点，才算真正入门 分布式搜索引擎的所有功能（分片、副本、查询、索引），都基于以下5个核心底层逻辑，搞懂这些，再看任何分布式搜索引擎（ES、Solr、PolarDB-X Search 2.1 倒排索引：分布式搜索引擎的“检索灵魂”（最核心） 倒排索引是分布式搜索引擎实现“快速全文检索”的核心，也是和传统数据库“正排索引”的本质区别。
22710编辑于 2026-04-16- 来自专栏罗西的思考
PyTorch 分布式之弹性训练(5)---Rendezvous 引擎
[源码解析] PyTorch 分布式之弹性训练(5)---Rendezvous 引擎 目录 [源码解析] PyTorch 分布式之弹性训练(5)---Rendezvous 引擎 0x00 摘要 0x01 前言 1.1 总体系统 1.2 Rendezvous 1.3 解耦 0x02 引擎实现 2.1 基类 2.2 分布式操作引擎 2.2.1 定义 2.2.2 调用 2.2.2.1 _RendezvousKeepAliveOp 本文主要介绍C10d 后端对应的 Rendezvous 引擎。 0x02 引擎实现 2.1 基类 _RendezvousOpExecutor 是引擎的基类，只是定义了run这个虚函数。 ) -> None: self.node = node self.state = state self.settings = settings 2.2 分布式操作引擎 0xFF 参考 [源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路 [源码解析] PyTorch 分布式之弹性训练(2)---启动&单节点流程 [源码解析] PyTorch 分布式之弹性训练
1K30编辑于 2021-12-28 - 来自专栏职场亮哥
Clickhouse创建分布式表以及表引擎介绍
在读取时，引擎只需要输出所请求的列，但在某些情况下，引擎可以在响应请求时部分处理数据。 对于大多数正式的任务，应该使用MergeTree族中的引擎。 MergeTree 引擎系列的基本理念如下。 使用ReplicatedMergeTree和Distributed引擎构建我们的分布式表，先看一个常用的表结构： -- 每个机器都需要建立各自的replica table，也需要建Distributed DDL语句只会在单个服务器上执行，不会被复制 Distributed Distributed(logs, default, hits[, sharding_key]) 分布式引擎参数：服务器配置文件中的集群名 通过分布式引擎可以像使用本地服务器一样使用集群。但是，集群不是自动扩展的：必须编写集群配置到服务器配置文件中。 总结 clickhouse的分布式是一个彻底手动挡的分布式，无论是分布式集群的搭建还是还是表引擎的维护都能体现引擎的定制化感觉，相较于其他分布式比如hadoop等分布式来说，需要手动维护的内容较多。
7.9K61发布于 2020-10-10 - 来自专栏EAWorld
Presto 分布式SQL查询引擎及原理分析
前言： Presto是由 Facebook 推出的一个基于Java开发的开源分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 为何是SQL查询引擎？而不是数据库 和Oracle、MySQL、Hive等数据库相比，他们都具有存储数据和计算分析的能力。 他不像SparkSQL可以配置把溢出的数据持久化到磁盘，Presto是完完全全的内存计算； 3.高性能：低延迟高并发的内存计算引擎，相比Hive（无论MR、Tez、Spark执行引擎）、Impala 执行效率要高很多 进行调度；然后合并结果，把结果返回给客户端（Client）； 4.Worker：主要负责与数据的读写交互以及执行查询计划； Coordinator 和 Worker 可一起启动，这样小规模的集群或伪分布式可以节省一些资源 OLAP 众多，如何选型 OLAP 引擎，耳熟能详的当前有十几种之多，令人眼花缭乱。
5.4K21发布于 2020-05-20 - 来自专栏Debian中国
Elasticsearch 7.6.0 发布，分布式搜索和分析引擎
Elasticsearch 7.6.0 发布了，Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。 ?
73520发布于 2020-02-19 - 来自专栏Albert陈凯
PRESTO-分布式大数据SQL查询引擎
Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。
1.9K50发布于 2018-04-04 - 来自专栏得物技术
搜索引擎分布式系统思考实践
1.引言 搜索引擎在数据量逐步扩大之后，分布式搜索是必经之路。搜索引擎的分布式除了要考虑数据分片之外，更重要还需要考虑数据的有状态以及各组件的状态流转。 在这里分享一下基于ZK设计分布式搜索引擎的一些经验和思考落地情况，包含了从单机版本到分布式版本的演进。 (服务发现客户端)\ Search分布式框架： 5.shard模块 Search的shard模块是整个搜索引擎的核心部分，其主要的功能包含了每个独立的检索单元，主要的框架模块包含以下部分： 5.1 9.Search分布式数据流的设计 Search是有状态的检索服务，会有一直写入的实时数据也有每天或者每小时更新的离线数据到引擎中，数据的可靠更新非常重要，对于分布式而言，各个分片的产出更新和实时数据的写入都是非常重要的一环 10.总结 本篇文章主要是对搜索引擎分布式的设计和落地做了总结，主要的几个重要部分是，如何设计一套有状态的分布式系统，其中最主要的核心部分是如何对各个节点的状态变化做处理，以及合理的对数据进行分片和处理
71150编辑于 2022-08-23 - 来自专栏博文视点Broadview
掌握WiredTiger存储引擎，帮你解决分布式事务难题！
从早期支持大吞吐量读/写操作的MMAPv1存储引擎，到引入支持高并发操作的WiredTiger存储引擎，以及对事务功能的持续演进，MongoDB不仅保留了最初的架构优势，同时又汲取了其他数据库的优点。 MongoDB从 3.0版本引入WiredTiger存储引擎之后开始支持事务，MongoDB 3.6之前的版本只能支持单文档的事务，从MongoDB 4.0版本开始支持复制集部署模式下的事务，从MongoDB 02 事务的snapshot隔离 WiredTiger存储引擎支持read-uncommitted、read-committed和snapshot3种事务隔离级别，MongoDB启动时默认选择snapshot
88510编辑于 2022-05-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号