- 综合排序
- 最热优先
- 最新优先
- 来自专栏罗西的思考
Dynomite 分布式存储引擎 之 DynoJedisClient(2)
[源码分析] Dynomite 分布式存储引擎 之 DynoJedisClient(2) 0x00 摘要 上文我们介绍了 NetFlix Dynomite 客户端 DynoJedisClient 的 4.1.1 策略分类 Java驱动程序提供了几个RetryPolicy实现： RetryNTimes：保证一个操作可以被重试最多 N times，RetryNTimes (2) 意味着在放弃之前，最多 2 + 1 = 3 重试； RunOnce：从不建议重试，始终建议重新抛出异常； 4.1.2 策略使用 具体在执行命令时，我们可以看到，驱动会透明的尝试其他节点并在后台调度重新连接死亡节点： 获取重试策略 : Pool 2]| | | | | +------------ 如何监控底层机架状态； 我们接下来引出 基于 DynoJedisClient 的 分布式延迟队列 Dyno-queues ，看看它是如何实现的。
1.2K10发布于 2021-03-02 - 来自专栏AustinDatabases
TIDB 初级课程体验 2 (分布式数据库引擎）
（而传统的表的INDEX是可以带我们的数据信息，这里TIKV没有带相关的信息，这不是缺点，个人认为这与他分布式存储的方式和LSM TREE存储的方式有关） SQL 引擎么有什么好说的，主要就是SQL 的解析器 普通的数据库的执行结果的过滤，主要通过将收集的数据库上报给上层的SERVER 层，将这些信息在过滤获得结果， 而分布式的优势就是数据分片和并行计算的能力，这里TIKV通过各个节点的预计算的模块,对数据预先在自己的节点进行计算 的数据存储层的机器的性能都应该是均衡的,而不应该是有好有差, 最终结果是导致你计算的速度按照木桶原理中最差的那个的时间来标定) 关于TIDB HASH JOIN 比MYSQL要快的很多的原因是并行,分开计算在汇总的方式,(分布式并行大法好
80270发布于 2021-08-06 - 来自专栏全栈程序员必看
Android游戏引擎_2d游戏引擎
同时继承了BOX2D物理引擎，因此能实现一些较为复杂的物理效果。 语言：java 最低运行环境：不详 2.Rokon 简介：是一款Android 2D游戏引擎，基于OpenGL ES技术开发，物理引擎为Box2D，因此能够实现一些较为复杂的物理效果，该项目最新版本为 （3）该引擎还内置有按照1:1实现的J2ME精灵类及相关组件，可以将绝大多数 J2ME游戏平移到Android或PC版中 缺点：（1）该引擎除了基本的音效、图形、物理、精灵等常用组件以外，也内置有Ioc OpenGL ES技术开发的Android游戏引擎，支持Android平台下的2D游戏开发，物理引擎采用Box2D实现。 引擎推荐排名 2D cocos2d-x>AndEngine>cocos2d-android 3D unity3d(大型的3D游戏只推荐脚本类引擎) 其他的，像roken，其作者因为考上了类似于中国的研究生的这种学位
4.4K10编辑于 2022-11-04 - 来自专栏全栈工程师修炼之路
2.ElasticStack分布式数据采集搜索引擎集群搭建配置
操作环境说明: elk1 Master 2C 4G - Ubuntu 20.04.2 LTS 5.4.0-86-generic elk2 Slave 2C 2G - Ubuntu 20.04.2 LTS 5.4.0-86-generic elk3 Slave 2C 2G - Ubuntu 20.04.2 LTS 5.4.0-86-generic 节点信息： Name Role IP HTTP 9300 es03 SLAVE 10.10.107.227 9200 9300 基础环境设置 # 系统启动配置 if [[ $(grep -c "ulimit" /etc/profile) -ne 2 问题2http://10.10.107.225:9100/? 2.将该 zip 文件的内容解压缩到 C:\Program Files。 3.将 winlogbeat-7.13.1-windows 目录重命名为 Winlogbeat。
1.5K10编辑于 2022-09-29 - 来自专栏兜兜毛毛
MySQL 存储引擎（2）原
首先我们带着下边三个问题来认识存储引擎 存储引擎在MySQL中的作用是什么？ MySQL都有哪些存储引擎 SQL又与存储引擎有什么关系？ 存储引擎在MySQL中的作用是什么？ 在MySQL中，支持多种存储引擎，他们是可以替换的，所以叫插件式的存储引擎。为什么要弄这么多存储引擎呢？一种还不够用吗？ MySQL都有哪些存储引擎？ 存储引擎的使用是以表为单位的。而且，创建表之后还可以修改存储引擎。 SQL无法独立执行，他是通过执行引擎执行的，执行引擎是通过公共的API调用存储引擎并返回结果。 ? 2(实时写，延迟刷) 每次事务提交时MySQL都会把logbuffer的数据写入logfile。但是flush操作并不会同时进行。该模式下，MySQL会每秒执行一次flush操作。
77240发布于 2020-04-23 - 来自专栏利志分享
clickhouse表引擎学习2
( id Int32 comment 'id', name String comment '名称', money AggregateFunction(sum, Decimal32(2) INSERT…SELECT语句进行数据插入 insert into table test_aggremergetree select 1,'测试',sumState(toDecimal32(10333,2) StripeLog Log TinyLog 还有一些特殊引擎 URL：用于管理远程 HTTP/HTTPS 服务器上的数据 Memory：引擎以未压缩的形式将数据存储在 RAM 中 分布式引擎：本身不存储数据 , 但可以在多个服务器上进行分布式查询。 分布式表其实就是视图，主要是分布式集群用于查询多个节点的数据的。
81240编辑于 2022-04-25 - 来自专栏阿飞的学习记录
Elasticsearch分布式搜索引擎
ElasticSearch简介 Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据 blog1/article/1 请求体： { "id":1, "title":"ElasticSearch是一个基于Lucene的搜索服务器", "content":"它提供了一个分布式多用户能力的全文搜索引擎 Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。"
63910编辑于 2022-03-24 - 来自专栏罗西的思考
PyTorch 分布式 Autograd (6) ---- 引擎(下)
[源码解析] PyTtorch 分布式 Autograd (6) ---- 引擎(下) 0x00 摘要 上文我们介绍了引擎如何获得后向计算图的依赖，本文我们就接着看看引擎如何依据这些依赖进行后向传播。 (1)---- 调用引擎 [源码解析] Pytorch 如何实现后向传播 (2)---- 引擎静态结构 [源码解析] Pytorch 如何实现后向传播 (3)---- 引擎动态逻辑 [源码解析] PyTorch 如何实现后向传播 (4)---- 具体算法 [源码解析] PyTorch 分布式(1)------历史和概述 [源码解析] PyTorch 分布式(2) ----- DataParallel(上) [ 反向传播 [源码解析] PyTorch 分布式 Autograd (1) ---- 设计 [源码解析] PyTorch 分布式 Autograd (2) ---- RPC基础 [源码解析] PyTorch 具体结合到分布式引擎，就是当引擎发现某一个 Node 是 RecvRpcBackward，就调用其 apply 函数。
1.2K30编辑于 2021-12-08 - 来自专栏android技术
分布式--solr搜索引擎
解压 下载传入服务器后，解压： tar xvf solr-8.11.2.tgz 2. 移动 移动到/usr/local目录下： mv ./solr-8.11.2 /usr/local/ 3. 复制配置文件 cd /usr/local/solr-8.11.2/server/solr mkdir test_core cp -r configsets/_default/conf/ test_core/ 2. indexed="true" stored="true"/> <field name="loc" type="text_ik" indexed="true" stored="true"/> 2. /solr -e cloud [-noprompt] -force 完成后，会创建两个node目录： 2. 重启 ./solr start -c -p 8983 -s .. /example/cloud/node2/solr/ -force
1.2K20编辑于 2022-09-08 SageMaker分布式训练引擎技术揭秘
SageMaker 分布式训练引擎背后的科学某机构机器学习副总裁在年度 re:Invent 大会上宣布了两项新功能，旨在让用户通过 SageMaker 训练大规模、数据密集型神经网络变得更便宜、更简单。 数据并行训练数据并行训练将同一神经网络的副本发送到不同的分布式计算节点，每个节点用不同的数据批次训练其副本。然后将分别训练的结果聚合和分发，使所有节点以相同方式更新其模型。 当 CPU 在聚合和传输一批梯度时，GPU 可以开始处理下一批数据，这使得分布式训练能够更高效地扩展。为了在 CPU 之间通信梯度更新，SDP 使用了 All-Reduce 操作。 实现并行的唯一途径是通过流水线：节点 1 处理一批输入并将输出发送给节点 2；当节点 2 开始工作时，节点 1 开始处理下一批输入，以此类推。 快速上手用户现在可以通过 GitHub 上的示例，或阅读更多文档来了解 SageMaker 上的分布式训练，并开始使用新的分布式库。FINISHED
13010编辑于 2026-02-20- 来自专栏PostgreSQL研究与原理解析
PG 向量化引擎--2
PG 向量化引擎--2 向量化引擎是OLAP数据库提升性能的有效技术。翻到PostgreSQL邮件列表有对向量化引擎的讨论。这里继续进行整理，以作分析。 对于Int32，此区域大小时4*BATCHSIZE，而对于Int16，大小时2*BATCHSIZE。所以使用原生数据可以只做一个memcpy来填充vtype的batch。 2、为什么VectorTupleSlot中包含元组的数据（batch）而不是向量（vtype的数组）？ 我们是否可以得出结论，对于OLAP查询使用向量化引擎，对于OLTP查询使用行引擎会更好。 5、对于不能向量化的查询捕获并抛出异常不是处理此类情况最安全和最有效的方法。
1.4K20编辑于 2022-02-09 - 来自专栏罗西的思考
PyTorch 分布式 Autograd (5) ---- 引擎(上)
[源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上) 目录 [源码解析] PyTorch 分布式 Autograd (5) ---- 引擎(上) 0x00 摘要 0x01 autograd 引擎，本文和下文就看看如何分布式引擎如何运作。 分布式引擎的多线程结构仅适用于CPU任务。如果我们有CPU->GPU->CPU这样的任务顺序，分布式 autograd 就没有线程来执行最后一个CPU任务。 可以看到，与普通引擎相比较，分布式多了一个计算root边和生成边上梯度信息的过程。 self), 0); // 0表示本Edge是function的第一个输入 } } 4.2 validate_outputs 其定义在 torch/csrc/autograd/engine.cpp，原生引擎和分布式引擎都会调用
81720编辑于 2021-12-06 - 来自专栏全栈程序员必看
浅析分布式搜索引擎
1.4 ES的核心面试题 （1）es的分布式架构原理是什么（es是如何实现分布式的）？ （2）es写入数据的工作原理是什么？es查询数据的工作原理是什么？ 分布式的文档存储引擎 分布式的搜索引擎和分析引擎 分布式，支持 PB 级数据 2.1 ES 的核心概念 Near Realtime 近实时，有两层含义： 从写入数据到数据可以被搜索到有一个小延迟（大概是 ES架构原理 elasticsearch设计的理念就是分布式搜索引擎，底层其实还是基于lucene的。核心思想就是在多台机器上启动多个es进程实例，组成了一个es集群。 上述就是elasticsearch作为一个分布式搜索引擎最基本的一个架构设计。 4. 分布式情况下，要查第 100 页的 10 条数据，不可能是从 5 个 shard，每个 shard 就查 2 条数据，最后到协调节点合并成 10 条数据。
1K20编辑于 2022-08-27 - 来自专栏前端博客
JS引擎(2)：Java平台上JavaScript引擎—RhinoNashorn概述
可以后端开发的 javascript引擎有 Chrome V8 基于C++ java的Rhino引擎(JDK6被植入)，Java8 被替换为Nashorn Rhino和Nashorn都是用Java实现的 JavaScript引擎。 ECMAScript 5.1 实现语言: Java 代码: http://hg.openjdk.java.net/nashorn/jdk8/nashorn 代码版本控制工具: Mercurial 开源许可证: GPLv2 Nashorn是一个纯编译的JavaScript引擎。 博客收集帖 https://hllvm-group.iteye.com/group/topic/37596 转载本站文章《JS引擎(2)：Java平台上JavaScript引擎—Rhino/Nashorn
4.4K10编辑于 2023-04-09 - 来自专栏罗西的思考
Dynomite 分布式存储引擎 之 DynoJedisClient(1)
[源码分析] Dynomite 分布式存储引擎 之 DynoJedisClient(1) 目录 [源码分析] Dynomite 分布式存储引擎 之 DynoJedisClient(1) 0x00 摘要 1.2 NetFlix Dynomite Dynomite 是 NetFlix 对亚马逊分布式存储引擎 Dynamo 的一个开源通用实现，它不仅支持基于内存的 K/V 数据库，还支持持久化的 Mysql ； Dynomite在Redis之上提供了高可用性、对等复制以及一致性等特性，用于构建分布式集群队列。 Token是用于标识每个分区的64位整数ID，范围是-2^63 -- 2^63-1。通过hash算法计算partition key的hash值，以此确定存放在哪个节点。 Token是用于标识每个分区的64位整数ID，范围是-2^63 -- 2^63-1。通过hash算法计算partition key的hash值，以此确定存放在哪个节点。
76100发布于 2021-02-05 - 来自专栏程序员千羽
MySQL进阶笔记-2(存储引擎)
2） 服务层 第二层架构主要完成大多数的核心服务功能，如SQL接口，并完成缓存的查询，SQL的分析和优化，部分内置函数的执行。所有跨存储引擎的功能也在这一层实现，如 过程、函数等。 3） 引擎层 存储引擎层， 存储引擎真正的负责了MySQL中数据的存储和提取，服务器通过API和存储引擎进行通信。不同的存储引擎具有不同的功能，这样我们可以根据自己的需要，来选取合适的存储引擎。 主要体现在存储引擎上，插件式的存储引擎架构，将查询处理和其他的系统任务以及数据的存储提取分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。 2. 存储引擎 2.1 存储引擎概述 和大多数的数据库不同, MySQL中有一个存储引擎的概念, 针对不同的存储需求可以选择最优的存储引擎。 MySQL提供了插件式的存储引擎架构。所以MySQL存在多种存储引擎，可以根据需要使用相应引擎，或者编写存储引擎。
76110发布于 2021-01-14 - 来自专栏罗西的思考
PyTorch 分布式 Autograd (4) ---- 如何切入引擎
[源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎 目录 [源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎 0x00 摘要 0x02 我们知道了分布式autograd如何基于RPC进行传递，如何在节点之间交互，节点如何区分维护这些Session。本文继续分析，主要目的是看看反向传播如何切入到引擎之中。 以上两个环节分别如何进入分布式autograd引擎？ 我们接下来就围绕这些疑问进行分析，核心就是如何进入 dist.autograd 引擎。 0x02 计算图 我们首先从计算图来通过几个示例来看看。 ，图例如下： 0x03 反向传播 我们接下来要看看如何进入dist autograd 引擎，结合我们图例，就是： worker 0 如何主动发起反向传播，然后进入分布式引擎？ worker 1 如何被动接受反向传播消息，然后进入分布式引擎？ 3.1 发起反向传播 我们找一找如何发起反向传播，按照从下往上的顺序进行。
60430编辑于 2021-12-04 - 来自专栏互联网技术栈
分布式分析引擎Kylin Spring DataSource封装
Kylin 概述 Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. resultSet.next()) { assertEquals("foo", resultSet.getString(1)); assertEquals("bar", resultSet.getString(2) ); assertEquals("tool", resultSet.getString(3)); } 2. return Object.class; } return Object.class; } } 具体使用 @Component @Log4j2 RowMapper.getDefault(TotalModelMetricEntity.class)); } 综上我们就完成了对Kylin JDBC的封装，同样的如Presto等其他支持JDBC的查询引擎封装方式类似
1.1K40发布于 2019-03-20 - 来自专栏秋落雨微凉Java开发栏
最强分布式搜索引擎——ElasticSearch
最强分布式搜索引擎——ElasticSearch 本篇我们将会介绍到一种特殊的类似数据库存储机制的搜索引擎工具——ES elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容 ES数据搜索 IDEA数据搜索 ES数据聚合 IDEA数据聚合 MQ数据同步 ES概述 首先我们先来简单介绍一下ElasticSearch ES概念 我们首先来简单介绍一下ES： ES是一款特殊的搜索引擎工具 : "值2", "字段3": { "子属性1": "值3", "子属性2": "值4" }, // ... } /* 举例 */ POST / : "值2", // ... 创建SearchRequest对象 2. 准备Request.source()，也就是DSL。
3.6K20编辑于 2023-03-24 - 来自专栏美团无人配送
美团分布式自动驾驶引擎
为完成上述目标，我们就需要自动驾驶引擎能够提供运行环境的抽象与隔离，引擎为完成这一层抽象，必须解决三个关键点：分布式环境下高实时性的数据传输、高实时性的调度、关键自动驾驶数据的实时记录。 图1. 引擎需要将算力向端上平滑迁移 2) 拆分调度仿真任务 仿真系统是自动驾驶研发的重要手段，在自动驾驶进入到运营阶段之后，仿真任务也迅速增长，目前美团自动驾驶仿真系统每天执行数百万仿真任务，峰值流量每小时上百万任务 图2. 如何在仿真环境中依据任务属性调度任务 在美团，我们打造了统一的自动驾驶引擎来同时满足车端计算平台和离线仿真系统的需求，因此面向运营的分布式引擎也会遵循这一策略，使用统一的架构来满足车端分布式计算平台和离线仿真系统在大规模运营阶段的新需要 分布式引擎地图服务管理方案示意图 结束语 美团自动驾驶引擎的演进有效支撑了上层业务在不同阶段的需求，为分布式计算平台提供了系统级的软件解决方案，也为仿真系统进一步提升资源利用率扫除了主要障碍，促进了美团无人车规模化快速落地运营的进程
1.3K20发布于 2021-10-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号