- 综合排序
- 最热优先
- 最新优先
- 来自专栏深度学习与python
分布式计算的 8 大谬误
作者 | Sergio De Simone 译者 | 平川 策划 | 赵钰莹 在 Ably 博客最近的一篇文章中，Alex Diaconu 回顾了分布式计算的 8 大谬误，并提供了一些应对建议 在 Ably 博客最近的一篇文章中，Alex Diaconu 回顾了分布式计算的 8 大谬误，并提供了一些应对建议。 这 8 大谬误是关于分布式计算的一组假设，这些假设可能会导致软件开发的失败：网络是可靠的；延迟为 0；带宽是无限的；网络是安全的；拓扑结构是不变的；只有一名管理员；传输成本为 0；网络是同构的。 InfoQ：关于分布式计算的谬误，自从最初提出以来，已经过去了近三十年，但现在它们仍然很有意义。在 Ably，它们的作用是什么？ 事实上，我觉得你可以说有这样一种新谬误——“避免分布式计算的谬误很简单”。 InfoQ：有些谬误已经是老生常谈，例如，“云不安全”的观点已被广泛接受。
56520发布于 2021-10-13 - 来自专栏进击的程序猿
分布式计算中的8个谬论
8个分布式计算的谬论 The network is reliable. Latency is zero. Bandwidth is infinite. The network is secure. Someone, somewhere will have to pick the tab and pay these costs. 8. application level Do not rely on proprietary protocols--it would be harder to integrate them later 总结 分布式系统虽然已经发展好多年了
65520发布于 2018-08-23 - 来自专栏gojam技术备忘录
分布式计算（1）
网格计算，云计算与分布式计算的区别 网格计算强调资源共享，使用者同时也是资源共享者，用于计算集中性服务（不便扩展 ）。 云计算的服务提供者少数而集中，资源专有，便于自动化扩展（其中对等计算更便于扩展，即每个节点拥有对等的服务，可以互相使用数据），使用者无需贡献资源。 分布式计算指将大型任务划分成部分，分配给其他计算机，并将计算结果组合的解决方案，包括云计算与网格计算。而并行计算虽然类似，但并行的单位是处理器，执行并行计算的单位是单机。 分布式计算范型 消息传递范型 A发送请求消息，B接收并应答，并可能继续触发A应答。 客户-服务器范型 服务器被动响应客户端请求。 分布式对象 和rpc类似，但存在远程对象，对象除了可以使用方法，还拥有自己的数据。 网络服务 服务请求者发送请求到目录服务器，目录服务器返回方法的引用，因此可以使用更多的远程方法。
1.2K40发布于 2019-09-26 【分布式边缘计算】
边缘计算的核心要点可以总结为以下几点： 1. 分布式计算 边缘计算将计算任务从集中式的云端转移到边缘设备上，通过在离用户/物体更近的地方进行计算和数据处理，实现更低的延迟和更高的带宽利用率。 这需要边缘设备和云端之间进行有效的数据传输和协同计算。 边缘计算的代码实现可以分为两个部分：边缘设备上的计算任务和云端的协同计算。 然后，边缘设备可以将计算结果传输给云端进行进一步的协同计算。通过这种方式，可以减少数据在网络中的传输量和延迟，提高计算任务的响应时间和带宽利用率。 2. 自适应性和弹性 边缘计算需要具备自适应和弹性的能力，以应对不同的计算和通信需求。这包括自动扩展和调整计算资源，根据网络负载和设备状况进行动态调度，以及在网络中发生故障时自动切换到备用节点。 可以通过设置自动扩展的策略和规则，根据计算资源的负载来动态调整计算资源的数量。
42010编辑于 2025-08-29- 来自专栏Distributed Computing Techno
分布式计算引擎 FlinkSpark on k8s 的实现对比以及实践
分布式计算引擎 Flink/Spark on k8s 的实现对比以及实践 以 Flink 和 Spark 为代表的分布式流批计算框架的下层资源管理平台逐渐从 Hadoop 生态的 YARN 转向 Kubernetes 什么是 Native 这里的 native 其实就是计算框架直接向 Kubernetes 申请资源。 Native K8s 相当于计算框架自己实现一个类似 AppMaster 的角色向 k8s 去申请资源，当然和 AppMaster 还是有差异的 （AppMaster 需要按 YARN 的标准进行实现） Flink 的 native k8s 模式是不需要指定 tm 个数的，jm 会根据用户的代码计算需要多少 tm。 另外，YARN 的时代已经过去了，以后 on k8s scheduler 将成为大数据计算以及 AI 框架的标配。
2.7K52发布于 2021-08-20 - 来自专栏小白晋级大师
分布式系统架构8：分布式缓存
这是小卷对分布式系统架构学习的第11篇文章，今天了解分布式缓存的理论知识以及Redis集群。 分布式缓存也是面试常见的问题，通常面试官会问为什么要用缓存，以及用的Redis是哪种模式，用的过程中遇到哪些问题这些1. 而能够保证强一致性的 ZooKeeper、Doozerd、Etcd 等框架，吞吐量比不过Redis，通常不会用作“缓存框架”，而是作为通知、协调、队列、分布式锁等使用2.透明多级缓存TMC实际开发中，同时搭配进程内缓存和分布式缓存 ，查询以进程内缓存数据优先3.实现方案3.1 memcached缓存在服务端，memcached集群环境实际就是一个个memcached服务器的堆积cache的分布式主要是在客户端实现，通过客户端的路由处理来达到分布式解决方案的目的 如下是memcached客户端路由过程：3.2 Redis缓存与memcached客户端支持分布式方案不同，Redis更倾向于在服务端构建分布式存储以Redis集群模式为例，它没有中心节点，具有线性可伸缩的功能
72010编辑于 2025-01-20 - 来自专栏ThoughtWorks
从分布式计算到分布式训练
---- 分布式计算的到来 随着科技的发展，“数据存储”领域有了质和量的双向发展，除了稳定性、安全性的提升外，容量也呈指数级增长。 其中尤为重要的分布式计算模型：MapReuce，我们常称为第一代MR，也就是：MRV1。 ? 然而目前对于大数据的处理能力，似乎已经发展到了一个非常好的阶段，至少在分布式计算上，理论上是可以通过水平扩展无限的增加计算能力。 模型的分布式，相对于其他分布式计算会困难许多，首先模型依赖于数据，而模型本身的计算又要依赖于GPU，那么要如何将数据和计算能力结合？ ，将计算描述为一个图，然后再判断图中的哪些计算可以并行运行，分别拆分到不同的节点上进行训练，从而达到分布式训练的效果。
1.5K50发布于 2018-04-17 - 来自专栏张善友的专栏
分布式计算平台：Dryad
其体系结构图如下： 计算机集群的各个计算机之上是Cluster Service，用于提供集群内的计算机的最基本的管理。 在Cluster Service的基础上可以构建分布式文件系统，使得数据的访问对上面的应用程序是半透明的。Dryad构建在Cluster Service和分布式文件系统之上。 DryadLINQ是分布式计算语言，能够将LINQ编写的程序转变为能够在Dryad上运行的程序。 Dryad利用有向图来表示。程序相当于图的节点，而通道相当于图的边。 由于有向图的表达能力很强，它可以囊括其他的计算架构，例如Google的MapReduce. DryadLINQ让分布式计算更美好: http://www.infoq.com/cn/news/2009/05/DryadLINQ
1.7K70发布于 2018-01-31 - 来自专栏猿人谷
分布式计算Hadoop简介
Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。 Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。 HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。 数据在Hadoop中处理的流程可以简单的按照下图来理解：数据通过Haddop的集群处理后得到结果。 ? HDFS：Hadoop Distributed File System,Hadoop的分布式文件系统。 大文件被分成默认64M一块的数据块分布存储在集群机器中。 MapReduce：Hadoop为每一个input split创建一个task调用Map计算，在此task中依次处理此split中的一个个记录(record),map会将结果以key--value 的形式输出
1.8K100发布于 2018-01-17 - 来自专栏程序猿的大杂烩
分布式计算框架MapReduce
MapReduce优点在于可以将海量的数据进行离线处理，并且MapReduce也易于开发，因为MapReduce框架帮我们封装好了分布式计算的开发。而且对硬件设施要求不高，可以运行在廉价的机器上。 它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 而大数据技术就是要解决这种处理海量数据的问题，MapReduce在其中就是充当一个分布式并行计算的角色，分布式并行计算能大幅度提高海量数据的处理速度，毕竟多个人干活肯定比一个人干活快。 从上图中，可以看到，输入的数据集会被拆分为多个块，然后这些块都会被放到不同的节点上进行并行的计算。 snapshots> </repository> </repositories> <properties> <project.build.sourceEncoding>UTF-8<
2.1K10发布于 2020-09-23 - 来自专栏顾宇的研习笔记
【翻译】分布式计算谬误
原文: https://en.wikipedia.org/wiki/Fallacies_of_distributed_computing 分布式计算的谬误是L Peter Deutsch 和太阳微系统公司的其他人提出的一组断言 ，描述了分布式应用程序新手总是做出的错误假设。
76930编辑于 2022-04-24 - 来自专栏AI工程落地
分布式计算框架--Ray
开源地址：https://github.com/ray-project/ray Ray是一个高性能的分布式计算框架，在AI和大模型领域得到了广泛应用，OpenAI的训练底层框架就是Ray。 Ray提供了统一的分布式计算抽象，可以像在本机上执行python函数或类的实例，而不用关注该函数或实例在哪些机器上执行。 2.NCCL 通信器准备与调度：在分布式计算中，NCCL（NVIDIA Collective Communications Library）用于 GPU 之间的高效通信。 4.提升多节点性能：在多节点的分布式计算环境中，Ray Compiled Graph 的静态执行模型可以对跨节点的任务调度和数据传输进行优化。 通过预分配资源、合理安排通信等方式，减少节点间的通信延迟和资源竞争，提高多节点环境下的整体性能，使系统能够更有效地处理大规模分布式计算任务。
2K10编辑于 2025-05-24 - 来自专栏架构师修炼
分布式计算模式之Actor，助你彻底搞定分布式计算技术
我在前两篇文章中，带你一起学习了 MapReduce 和 Stream 计算模式，（分布式计算技术MapReduce 详细解读，分布式计算技术之流计算Stream，打通实时数据处理）相信你对批处理和流计算也有了一定的了解 在接下来两篇文章中，我将从计算过程或处理过程的维度，与你介绍另外两种分布式计算模式，即 Actor 和流水线。 接下来，我们就一起打卡分布式计算模式中的 Actor 模式。 01 什么是 Actor？ Actor 接收到消息之后，才会根据消息去执行计算操作. 那么，Actor 模型又是什么呢？Actor 模型，代表一种分布式并行计算模型。 虽然 Actor 模型有上述的诸多优点，但它并不适用于分布式领域中所有的应用平台或计算框架。
3.3K50发布于 2020-07-20 - 来自专栏技术客栈
Java 8 Stream计算原理
Java 8 Stream简介 从Java 8 开始，我们可以使用Stream接口以及lambda表达式进行“流式计算”。它可以让我们对集合的操作更加简洁、更加可读、更加高效。 class StreamDemo { public static void main(String[] args) { Stream.of(1, 2, 3, 4, 5, 6, 7, 8, 3 main: 3 + 3 = 6 main: 6 + 4 = 10 main: 10 + 5 = 15 main: 15 + 6 = 21 main: 21 + 7 = 28 main: 28 + 8 但Java8提供了并行式的流式计算，大大简化了我们的代码量，使得我们只需要写很少很简单的代码就可以利用计算机底层的多核资源。 ---- 参考资料：《Java 8 Stream并行计算原理》
35620编辑于 2023-07-20 安全多方计算获分布式计算最高荣誉
安全多方计算获分布式计算最高荣誉安全多方计算（MPC）是一种计算范式，允许多个参与方在不泄露任何私人信息的情况下计算聚合函数。 该技术已在拍卖设计、密码学、数据分析、数字钱包安全和区块链计算等领域得到应用。 2023年，计算机协会分布式计算领域的Dijkstra奖授予了三篇关于安全MPC的论文，其中一篇《可验证秘密共享与诚实多数的多方协议》源于某中心密码学团队高级首席科学家Tal Rabin的博士论文。 前两篇论文证明，如果计算中不超过三分之一的参与者是恶意行为者，信息论安全MPC是可能的。 他们提出了一种称为“信息检查”的方法，虽然不如数字签名强大，但不对叛徒的计算限制做任何假设。该协议涉及分发者、中介和接收者。
22010编辑于 2025-10-11- 来自专栏博文视点Broadview
分布式存储和分布式计算，这么好懂！
分布式存储和分布式计算到底是什么？ 本文就来为你详细讲解一下~~ 原来，它们这么好懂！ 假设数据量的大小是20GB，而每个数据节点的存储空间只有8GB，就无法把这些数据存储在一个节点上。 但是现在有3个这样的节点，假设每个节点的存储空间依然是8GB，那么总的大小就是24GB，就可以把这20GB的数据存储在由这3个节点组成的分布式文件系统上。 02 大数据的分布式计算 大数据的存储可以采用分布式文件系统，那么如何解决大数据的计算问题呢？ 和大数据存储的思想一样，由于数据量庞大，无法采用单机环境来完成计算任务。 既然单机环境无法完成计算任务，就使用多台服务器一起执行计算任务，从而组成一个分布式计算的集群来完成大数据的计算任务。基于这样的思想，Google提出了MapReduce计算模型。
2.1K31编辑于 2023-09-29 - 来自专栏SeanCheney的专栏
《Python分布式计算》第1章 并行和分布式计算介绍 （Distributed Computing with Python）并行计算分布式计算共享式内存vs分布式内存阿姆达尔定律混合范式总结
并行计算 并行计算的概念很多。本书提供一个简洁的概念： 并行计算是同时使用多个处理器处理事务。 典型的，这个概念要求这些处理器位于同一块主板，以区别于分布式计算。 分布式计算 本书采用如下对分布式计算的定义： 分布式计算是指同一时间使用多台计算机处理一个任务。 一般的，与并行计算类似，这个定义也有限制。 共享式内存vs分布式内存 在概念上，并行计算和分布计算很像，毕竟，二者都是要将总计算量分解成小块，再在处理器上运行。 也许，并行和分布式计算的最明显的差异就是底层的内存架构和访问方式不同。对于并行计算，原则上，所有并发任务可以访问同一块内存空间。 另一有趣的地方是阿姆达尔定律适用于分布式系统和混合并行-分布式系统。这时，n等于所有计算机的处理器总数目。 随着能接触的系统的性能变得越来越高，如果能使用剩余性能，还可以缩短分布式算法运行的时间。
1.8K80发布于 2018-04-24 - 来自专栏Golang开发
Hadoop——MapReduce分布式计算框架
概述 源自2014年12月的Google发表的MapReduce论文，它是一个编程模型，用于大数据量的计算，MapReduce是分布式计算框架。具有海量数据离线处理。 对于大数据量的计算，通常采用的处理方式就是并行计算，MapReduce就是一种简化并行计算的编程模型，它使得并没有并行计算经验的开发人员也可以计算并行应用程序 设计目标 MapReduce采用的是分而治之的思想 ，即把大规模数据集的操作，分发给一个主节点管理下的各个子节点共同完成，然后整合各个子节点的中间结果，从而得到最终的计算结果。 用户只需要编写map()和reduce两个函数，即可完成简单的分布式程序的设计 map()函数以key/value对作为输入，产生另外一系列key/value对作为中间输出写入本地磁盘，MapReduc
93820发布于 2019-08-05 - 来自专栏分布式
分布式(计算机算法)
以下概念来源于百度百科分布式计算分布式计算是近年提出的一种新的计算方式。所谓分布式计算就是在两个或多个软件互相共享信息，这些软件既可以在同一台计算机上运行，也可以在通过网络连接起来的多台计算机上运行。 分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如采用集中式计算，需要耗费相当长的时间来完成。 分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。 这样可以节约整体计算时间，大大提高计算效率 分布式计算比起其它算法具有以下几个优点：1、稀有资源可以共享；2、通过分布式计算可以在多台计算机上平衡计算负载；3、可以把程序放在最适合运行它的计算机上；其中 ，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。
76810编辑于 2024-08-09 - 来自专栏Brian
搭建分布式Spark计算平台
集群机器规划 三台机器的操作系统全部为CentOS7.2. 主机名称 IP地址 master 192.168.1.106 slave1 192.168.1.107 slave2 192.168.1.108 其中master为hadoop的namenode，slave1和slave2为hadoop的datananode。如果安装spark的话，master、slave1和slave2都是worker。 环境准备 设置IP地址 在我们进入安装之前，首先要把服务器的网络、安全和登录等配置设
2.4K60发布于 2018-04-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号