- 综合排序
- 最热优先
- 最新优先
- 来自专栏phodal
“分布式” 开发规范治理
从这个角度来看，只是讨论分布式系统，可能有一些单薄。但是呢，我们在写规范，针对的是系统吗？难道不是团队中的开发人员？所以，我们所想的治理的是分布式协作的规范性问题。 开发态。即结合开发过程中的工具（如 IDE、Git、CLI），将规范内置到开发流程中。典型的有 Git Hooks、IDE 插件等。 测试态。 分布式场景下的规范 现在，让我们回到先前我们定义的分布式场景，思考一下如何在这种场景下，构建规范工具化？ 当然了，它更多的是在测试态、开发态来解决问题。理想情况下，应该包含 IDE 插件，在开发时能提醒开发人员，系统架构有哪些问题。 指标模型：架构适应度函数 虽然，我们可以构建一个基于“分布式”场景的规范，但是从某种意义上来说，这些规范是一种约束。对于开发人员来说，我们需要一种更好的指导指标，而不是我们破坏了哪些规则。
97510编辑于 2022-03-08 - 来自专栏鸿蒙开发笔记
OpenHarmony 实战开发——分布式DeviceProfile
三、DeviceProfile的典型业务流程分布式 DeviceProfile 基于分布式软总线、分布式数据管理、分布式 Profile 等技术特性，构建统一的设备信息管理机制。 图 2 展示了两个设备的分布式 DeviceProfile 及其内部业务流程。图2 分布式DeviceProfile在介绍业务流程之前，先让我们来认识一下图 2 中涉及到的几个模块。 CS 负责采集本设备的设备信息；ㆍ HiChain：设备互信认证服务，管理设备的可信群组；ㆍ 分布式数据管理服务：DeviceProfile 通过分布式数据管理服务插入、更新、查询、删除及同步设备信息。 `1.OpenHarmony开发基础2.OpenHarmony北向开发环境搭建3.鸿蒙南向开发环境的搭建4.鸿蒙生态应用开发白皮书V2.0 & V3.05.鸿蒙开发面试真题（含参考答案） 6.TypeScript 入门学习手册7.OpenHarmony 经典面试题(含参考答案)8.OpenHarmony设备开发入门【最新版】9.沉浸式剖析OpenHarmony源代码10.系统定制指南11.
30220编辑于 2025-04-11 - 来自专栏小徐学爬虫
分布式爬虫数据存储开发实战
分布式爬虫的数据存储开发是保证系统高效、可靠、可扩展的核心环节。下面我将结合实战经验，深入讲解分布式爬虫数据存储的设计要点、常见方案、技术选型以及开发注意事项。 分布式协调服务 (ZooKeeper, etcd)：优势： 强一致性、Watch 机制、分布式锁、配置管理。 实战开发流程与关键点明确需求与数据模型：确定需要存储哪些数据（URL、原始页面、解析结果、日志、状态、统计信息）。定义每种数据的访问模式（读多写少？写多读少？随机读？范围查询？聚合？）。 强一致性： 对于关键状态（如分布式锁控制抓取配额），需要使用 ZooKeeper/etcd 或 Redis 的分布式锁（注意锁的续期和释放）。 然而在我们实际开发中，我个人建议还是从小规模开始，验证核心方案（特别是去重和状态同步），然后逐步扩展。不断监控性能指标并根据实际负载进行调整是保证系统长期稳定运行的关键。
39610编辑于 2025-07-01 - 来自专栏charlieroro
使用hashicorp Raft开发分布式服务
使用hashicorp Raft开发高可用服务 开发raft时用到的比较主流的两个库是Etcd Raft 和hashicorp Raft，网上也有一些关于这两个库的讨论。 在上图中可以看到，leader的FSM.Apply是在数据commit成功(仲裁成功)之后才执行的，这样就能以Raft的方式保证分布式场景下应用数据的一致性，可以将FSM.Apply理解为应用数据的写入操作 = nil { return err } } } 至此已经完成了Raft的开发介绍。需要注意的是，FSM接口都是Raft内部调用的，用户并不会直接与之交互。 在分布式环境中，外部请求可能通过LB转发到非leader节点上，此时非leader节点需要将请求转发到leader节点上进行处理，在consul中会通过ForwardRPC将请求转发给leader，再由 多图详解分布式Raft算法的一致性保证 raft-sample Discover Services with Serf
1K20编辑于 2023-07-09 - 来自专栏企鹅号快讯
分布式设计与开发-宏观概述
分布式可繁也可以简，最简单的分布式就是大家最常用的，在负载均衡服务器后加一堆web服务器，然后在上面搞一个缓存服务器来保存临时状态，后面共享一个数据库，其实很多号称分布式专家的人也就停留于此，大致结构如下图所示 有些情况下，对分布式的需求就没这么简单，在每个环节上都有分布式的需求，比如Load Balance、DB、Cache和文件等等，并且当分布式节点之间有关联时，还得考虑之间的通讯，另外，节点非常多的时候， 分布式任务处理服务：负责具体的业务逻辑处理 分布式节点注册和查询：负责管理所有分布式节点的命名和物理信息的注册与查询，是节点之间联系的桥梁 分布式DB：分布式结构化数据存取 分布式Cache：分布式缓存数据 （非持久化）存取 分布式文件：分布式文件存取 网络通信：节点之间的网络数据通信 监控管理：搜集、监控和诊断所有节点运行状态 分布式编程语言：用于分布式环境下的专有编程语言，比如Elang、Scala 分布式算法 ：为解决分布式环境下一些特有问题的算法，比如解决一致性问题的Paxos算法 因此，若要深入研究云计算和分布式，就得深入研究以上领域，而这些领域每一块的水都很深，都需要很底层的知识和技术来支撑，所以说，对于想提升技术的开发者来说
75280发布于 2018-02-06 - 来自专栏往期博文
【Ubuntu】分布式训练pycharm远程开发
pycharm远程开发 在pycharm中，连接远程服务器非常容易，在解释器中选择远程服务器环境路径，以及项目同步文件夹即可。 分布式训练 本文使用的代码主要参考自霹雳吧啦Wz-pytorch多GPU并行训练教程 仓库地址：https://github.com/WZMIAOMIAO/deep-learning-for-image-processing opt = parser.parse_args() main(opt) 终端输入： python train_single_gpu.py 程序花费时间共141.53秒 单机多卡训练 多卡分布式训练主要可分成数据并行和模型并行 DistributedDataParallel DistributedDataParallel简称DDP，分布式训练，是目前主流训练方式。 node_rank=1 \ --master_addr="master的ip" \ --master_port=xxxxx \ YourScript.py ''' 总结 单机多卡分布式训练基本使用
2.3K30编辑于 2022-10-08 - 来自专栏腾讯大讲堂的专栏
【Node开发】分布式调用限频限流的开发设计
API的限频要求下的分布式限频模块的算法和设计细节。 的高并发下的调用限制则是：每个 IP 的调用不得超过 20000 次/每分钟，而我们的业务系统中许多批量任务调用速度往往会超过这个限制，导致整个服务被企业微信官方限制服务，到这里实际也就引申楚今天的主题：如何做分布式调用限频限流的开发设计来保证服务能够稳定持续运行下去 常见的限频策略有：计数器、固定窗口、滑动窗口、漏桶算法(Leaky Bucket)、令牌桶算法(Token Bucket)、分布式限流。这里我们先从业务本身出发，按照业务本身的细节逐步介绍和分析。 在分布式的场景中首要解决的是操作的幂等行，更加具体一点则是如何保证放入和取出 token 操作的幂等性，不能出现 2 - 1 - 1 = 1 （-1 是个异步操作）的异步操作bug。 06 结语 实际在业务开发中并没有“银弹”，需要对自己的业务需求，开发背景，技术方案进行深层次的分析和规划，谋求最佳的实现方案，也欢迎大家多多指点关于这方面的思考和想法。 ? 近期热文 ?
1.8K10发布于 2021-03-09 - 来自专栏JAVA乐园
分布式爬虫管理平台Crawlab开发搭建
分布式爬虫管理平台Crawlab发现挺不错，但是官方文档中涉及二次开发的环境启动章节比较模糊。 Users\2230\Desktop\crawlab-master\frontend yarn install 启动： npm run serve #启动 npm run build:dev #开发环境构建
1.1K10发布于 2020-07-15 - 来自专栏鸿蒙开发笔记
鸿蒙原生应用开发【分布式数据对象】
、退出分布式组网03、前提准备1、 开发工具：DevEco Studio 3.1.0.5012、API：93、 SDK 版本：3.2.12.504、创建一个新的项目新建项目，选择 API9 版本，stage ohos.permission.DISTRIBUTED_DATASYNC'到此，我们的权限申请就算完完全全完成啦，当用户第一次安装并打开应用的时候，应用会向用户通过弹窗形式申请权限，用户点击授权即可赋予应用相应的权限啦~06、上手分布式数据对象代码开发登录了同一华为帐号的 HarmonyOS 设备已经默认了进行了组网认证，所以在进行分布式数据对象开发之前无需再进行多设备组网认证这一阶段的开发，开发变得相对简单了起来。 function buttonStyles() { .fontSize('20vp') .width('60%') .height('50vp')}现在，我们的页面制作就完成啦，下面开始重头戏——分布式数据对象开发流程 此时此刻，分布式数据对象就基本上开发完成啦。
30110编辑于 2024-06-28 - 来自专栏程序大视界
想做分布式开发，需要懂哪些技术？
原创不易，且行且珍惜” 01 — 前言 私底下问了几位前同事，还有不少同行的大学同学，几乎他们公司都在用目前主流的分布式技术框架做开发。 再看看Java虽是不温不火，却仍然是应用最广泛的开发语言，从传统行业到通信和金融、再到移动互联网、支付和电商等；在各种技术框架下，仍然用着Java作为第一开发语言。 今天，想做分布式开发，需要掌握的技术知识点也是非常得多。如果你所在的公司正在往分布式技术栈迁移，或者你自己有往这方面学习和深入的打算，而又有点迷茫不知从何学期。 那么，接下来就让我们一起来看看，想做分布式开发，到底需要学会哪些技术？ 02 — 分布式篇 首先，我们从整体的架构开始进行一个初步的认识。 这时，分布式就应运而生了，它有着明显的优势：高内聚、低耦合，团队协作，各个业务模块独立开发测试和部署；完全避免和解决了单体式架构的缺陷与问题。这篇文章也有详细说明： 分布式框架解决了什么问题？
70650编辑于 2022-09-22 - 来自专栏祝威廉
快速开发基于Yarn的分布式应用
mammuthus-yarn-client使得基于Yarn开发分布式应用变得非常容易，基本蔽掉了Yarn的API。 我们后面会把mammuthus-yarn-client 缩写为MYC。 通过对其进行改造，使得其后续可以作为一个通用的Yarn项目开发框架。 目前MYC还比较简单，但不影响你基于它非常快的构建出一个基于Yarn的分布式应用。 基于MYC 开发基本原理 基于Yarn开发的应用大体是一个典型Master-Slaves结构。其中Master 在Yarn中称为 ApplicationMaster. ServiceFramwork.registerStartWithSystemServices(classOf[HeartBeatService]) Application.main(args) } } class DynamicDeploySlave 运行方式 完成你的应用开发后
1.1K80发布于 2018-08-27 - 来自专栏JavaEdge
Dubbo入门 - 分布式系统开发技术
本文学习目标 ➢ 了解dubbo的用途 ➢ 掌握dubbo的架构 ➢ 掌握dubbo的使用 1 背景 随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行 此时，用于加速前端页面开发的Web框架(MVC)是关键。 1.3 分布式服务架构 当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，使前端应用能更快速的响应多变的市场需求。 此时，用于提高业务复用及整合的分布式服务框架(RPC)是关键。 普通服务提供方或消费方，请采用XML配置方式使用dubbo 开发服务 配置服务 启动、调用 5.2.3 本地服务 Spring 配置 local.xml ?
50410发布于 2021-02-22 - 来自专栏蘑菇先生的技术笔记
浅谈分布式计算的开发与实现(一)
海量计算最开始的方案是提高单机计算性能，如大型机，后来由于数据的爆发式增长、单机性能却跟不上，才有分布式计算这种妥协方案。 平常开发中类似的需求也很多，总结出来就是，数据量大、单机计算慢。 如果上Hadoop、storm之类成本较高、而且有点大才小用。 当然让老板买更好的服务器配置也是一种办法。 其中计算指的是MapReduce，这是做分布式计算用的。 存储指的是HDFS，基于此上层的有HBase、Hive，用来做数据存储用的。 PS：为了方便描述，把小明设计的分布式计算，叫做小和尚。 MapReduce优势在于提供了比较简单的分布式计算编程模型，使开发此类程序变得非常简单，像之前的MPI编程就相当复杂。
1.5K70发布于 2018-05-21 - 来自专栏韩伟的专栏
腾讯互娱开源分布式开发框架 Pebble
我们开发这个框架的目标，就是希望它能坚固、可靠，发挥作为基础开发框架的作用，成为游戏服务器的基础代码。 升云之力 腾讯云：分布式计算平台 Pebble是一个具备建立PaaS云能力的服务框架。因此我们在腾讯云的基础IaaS上，搭建了一个可以承载Pebble集群的分布式计算平台。 自动化弹性伸缩 作为分布式服务集群，其运维工作一般是非常繁重的。 Pebble框架腾讯互动娱乐事业群（IEG）研发部，在多年支持腾讯游戏经验积累下，开发的一款通用型游戏服务器端开发框架。 此框架的使用非常容易学习，可以在几乎无依赖的环境下，满足所有常见的游戏服务器端基础功能；同时也具备无须修改业务逻辑代码，就可以建立起海量承载的分布式集群；最后，这个框架还能配合腾讯云的分布式计算平台，提供自动化运维
3.9K00发布于 2017-11-15 - 来自专栏大数据开发
大数据开发：Apache Kafka分布式流式系统
今天的大数据开发分享，我们就主要来讲讲Apache Kafka分布式流式系统。 关于Apache Kafka 本质上来说，Apache Kafka不是消息中间件的一种实现，它只是一种分布式流式系统。 另外，开发者也可以利用Kafka的存储层来实现诸如事件溯源和日志审计功能。 关于大数据开发，Apache Kafka分布式流式系统，以上就为大家做了简单的介绍了。
86500发布于 2021-01-12 - 来自专栏大数据开发
大数据开发：Redis分布式主从复制
主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master)，后者称为从节点(slave),数据的复制是单向的，只能由主节点到从节点。
72210发布于 2021-01-29 - 来自专栏AI科技评论
开发 | 多用户分布式计算环境Nauta
Nauta软件为运行深度学习模型训练实验提供了一个多用户的分布式计算环境。你可以通过命令行、Web UI 或者 TensorBoard* 查看和监控实验的结果。
67930发布于 2019-10-31 - 来自专栏HarmonyOS知识集合
【HarmonyOS 5】鸿蒙分布式协同应用开发详解
【HarmonyOS 5】鸿蒙分布式协同应用开发详解一、前言为什么需要分布式协同应用？首先是因为当今社会，围绕电子产品生态，人们迫切希望，周边的电子设备可以协同操作。 因为以上业务场景的需要，应用开发的需求，也从单一的设备应用开发思路。转变为了多设备协同应用开发。华为提出“1+8+N”以手机为主，围绕建立超级虚拟终端。 分布式操作系统的特点1、设备间的操作系统一致2、拥有统一的交互语言3、完整的生态HarmonyOS超级终端能力基座：1、分布式任务调度2、分布式数据管理3、分布式软总线4、分布式设备虚拟化HarmonyOS 我们就可以发现鸿蒙操作分布式是如何实现：HarmonyOS ArkUI框架通过统一的ArkUI框架，实现在多种设备上，实现相同的UI实现。降低开发者的成本。实现一套代码多端实现。 三、分布式协同应用开发步骤拆解：1.
43110编辑于 2025-06-19 - 来自专栏蘑菇先生的技术笔记
浅谈分布式计算的开发与实现(一)
介绍 分布式计算简单来说，是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算，然后再进行结果汇总。 海量计算最开始的方案是提高单机计算性能，如大型机，后来由于数据的爆发式增长、单机性能却跟不上，才有分布式计算这种妥协方案。 平常开发中类似的需求也很多，总结出来就是，数据量大、单机计算慢。 如果上Hadoop、storm之类成本较高、而且有点大才小用。 当然让老板买更好的服务器配置也是一种办法。 PS：为了方便描述，把小明设计的分布式计算，叫做小和尚。 MapReduce优势在于提供了比较简单的分布式计算编程模型，使开发此类程序变得非常简单，像之前的MPI编程就相当复杂。
61020发布于 2018-07-24 - 来自专栏祝威廉
如何基于Yarn开发你的分布式程序
接下来的内容会探讨以下两个主题： 基于Yarn开发分布式程序需要做的一些准备工作 基于Yarn开发容器调度系统的一些基本思路 基于Yarn开发分布式程序需要做的一些准备工作 肯定不能撸起袖子就开始干。 一般你需要基于之上开发一套解决特定问题的Framework。以Spark为例，他是解决分布式计算相关的一些问题。而以我开发的容器调度程序，其实是为了解决动态部署Web应用的。在他们之上，才是你的应用。 基于Yarn开发容器调度系统的一些基本思路 首先我们需要了解两个概念： 哑应用，所谓哑应用指的是无法和分布式系统直接进行交互，分布式系统也仅仅透过容器能进行生命周期的控制，比如关闭或者开启的应用。 伴生组件，因为有了哑应用的存在，分布式系统为了能够和这些应用交互，需要有一个代理。而这个代理和被代理的哑应用，具有相同的生命周期。 典型的比如，某个服务被关停后，该事件会被分布式系统获知，分布式系统会将该事件发送给Nginx的伴生组件，伴生组件转化为Nginx能够识别的指令，将停止的服务从Nginx的ProxyBackend列表中剔除
76040发布于 2018-08-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号