- 综合排序
- 最热优先
- 最新优先
- 来自专栏gojam技术备忘录
分布式计算（1）
网格计算，云计算与分布式计算的区别 网格计算强调资源共享，使用者同时也是资源共享者，用于计算集中性服务（不便扩展 ）。 云计算的服务提供者少数而集中，资源专有，便于自动化扩展（其中对等计算更便于扩展，即每个节点拥有对等的服务，可以互相使用数据），使用者无需贡献资源。 分布式计算指将大型任务划分成部分，分配给其他计算机，并将计算结果组合的解决方案，包括云计算与网格计算。而并行计算虽然类似，但并行的单位是处理器，执行并行计算的单位是单机。 分布式计算范型 消息传递范型 A发送请求消息，B接收并应答，并可能继续触发A应答。 客户-服务器范型 服务器被动响应客户端请求。 分布式对象 和rpc类似，但存在远程对象，对象除了可以使用方法，还拥有自己的数据。 网络服务 服务请求者发送请求到目录服务器，目录服务器返回方法的引用，因此可以使用更多的远程方法。
1.2K40发布于 2019-09-26 【分布式边缘计算】
边缘计算的核心要点可以总结为以下几点： 1. 分布式计算 边缘计算将计算任务从集中式的云端转移到边缘设备上，通过在离用户/物体更近的地方进行计算和数据处理，实现更低的延迟和更高的带宽利用率。 这需要边缘设备和云端之间进行有效的数据传输和协同计算。 边缘计算的代码实现可以分为两个部分：边缘设备上的计算任务和云端的协同计算。 result 云端的协同计算： def cloud_computation(data): # 将数据传输到云端进行协同计算 result = data + 5 return result 然后，边缘设备可以将计算结果传输给云端进行进一步的协同计算。通过这种方式，可以减少数据在网络中的传输量和延迟，提高计算任务的响应时间和带宽利用率。 2. 在实际使用时，需要根据具体的边缘计算需求进行适当的修改和调整。同时，还可以结合其他技术和工具，例如监测和日志分析系统，来实现更复杂的自适应性和弹性策略。 5.
42010编辑于 2025-08-29- 来自专栏SDNLAB
5G的加速器：分布式边缘计算基础设施
在接下来的文章中，我们将深入探讨为什么分布式边缘计算基础架构是5G的关键。 ? ? 为什么边缘计算是5G的关键？ 传统上的数据中心或核心网络拥有很大的计算能力，而外部或边缘只是分布式地理位置，它们只负责访问。 5G分布式边缘计算的优点 低延迟 高带宽 安全 用户体验好 谷歌和亚马逊等云提供商正在围绕距离用户更近的地理分布网络构建自己的服务，亚马逊的AWS Content Delivery Network（CDN 下述应用程序也将受益于低延迟边缘计算 视频会议 在线游戏 物联网 VR / AR 大数据 加密货币交易 5G边缘计算基础设施 如上所述，边缘计算是指尽可能接近源处理数据的基础设施。 总结 在分布式计算边缘基础设施的帮助下，5G将允许高性能服务和超低延迟网络。
1.3K30发布于 2019-07-19 - 来自专栏ThoughtWorks
从分布式计算到分布式训练
---- 分布式计算的到来 随着科技的发展，“数据存储”领域有了质和量的双向发展，除了稳定性、安全性的提升外，容量也呈指数级增长。 其中尤为重要的分布式计算模型：MapReuce，我们常称为第一代MR，也就是：MRV1。 ? 然而目前对于大数据的处理能力，似乎已经发展到了一个非常好的阶段，至少在分布式计算上，理论上是可以通过水平扩展无限的增加计算能力。 模型的分布式，相对于其他分布式计算会困难许多，首先模型依赖于数据，而模型本身的计算又要依赖于GPU，那么要如何将数据和计算能力结合？ ，将计算描述为一个图，然后再判断图中的哪些计算可以并行运行，分别拆分到不同的节点上进行训练，从而达到分布式训练的效果。
1.5K50发布于 2018-04-17 - 来自专栏张善友的专栏
分布式计算平台：Dryad
其体系结构图如下： 计算机集群的各个计算机之上是Cluster Service，用于提供集群内的计算机的最基本的管理。 在Cluster Service的基础上可以构建分布式文件系统，使得数据的访问对上面的应用程序是半透明的。Dryad构建在Cluster Service和分布式文件系统之上。 DryadLINQ是分布式计算语言，能够将LINQ编写的程序转变为能够在Dryad上运行的程序。 Dryad利用有向图来表示。程序相当于图的节点，而通道相当于图的边。 由于有向图的表达能力很强，它可以囊括其他的计算架构，例如Google的MapReduce. DryadLINQ让分布式计算更美好: http://www.infoq.com/cn/news/2009/05/DryadLINQ
1.7K70发布于 2018-01-31 - 来自专栏猿人谷
分布式计算Hadoop简介
Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。 Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。 HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。 数据在Hadoop中处理的流程可以简单的按照下图来理解：数据通过Haddop的集群处理后得到结果。 ? HDFS：Hadoop Distributed File System,Hadoop的分布式文件系统。 大文件被分成默认64M一块的数据块分布存储在集群机器中。 MapReduce：Hadoop为每一个input split创建一个task调用Map计算，在此task中依次处理此split中的一个个记录(record),map会将结果以key--value 的形式输出
1.8K100发布于 2018-01-17 - 来自专栏程序猿的大杂烩
分布式计算框架MapReduce
MapReduce优点在于可以将海量的数据进行离线处理，并且MapReduce也易于开发，因为MapReduce框架帮我们封装好了分布式计算的开发。而且对硬件设施要求不高，可以运行在廉价的机器上。 它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 而大数据技术就是要解决这种处理海量数据的问题，MapReduce在其中就是充当一个分布式并行计算的角色，分布式并行计算能大幅度提高海量数据的处理速度，毕竟多个人干活肯定比一个人干活快。 从上图中，可以看到，输入的数据集会被拆分为多个块，然后这些块都会被放到不同的节点上进行并行的计算。 最重要的是，要清楚这一流程都是分布式并行的，每个节点都不会互相依赖，都是相互独立的。
2.1K10发布于 2020-09-23 - 来自专栏顾宇的研习笔记
【翻译】分布式计算谬误
原文: https://en.wikipedia.org/wiki/Fallacies_of_distributed_computing 分布式计算的谬误是L Peter Deutsch 和太阳微系统公司的其他人提出的一组断言 ，描述了分布式应用程序新手总是做出的错误假设。
76930编辑于 2022-04-24 - 来自专栏AI工程落地
分布式计算框架--Ray
开源地址：https://github.com/ray-project/ray Ray是一个高性能的分布式计算框架，在AI和大模型领域得到了广泛应用，OpenAI的训练底层框架就是Ray。 Ray提供了统一的分布式计算抽象，可以像在本机上执行python函数或类的实例，而不用关注该函数或实例在哪些机器上执行。 2.NCCL 通信器准备与调度：在分布式计算中，NCCL（NVIDIA Collective Communications Library）用于 GPU 之间的高效通信。 4.提升多节点性能：在多节点的分布式计算环境中，Ray Compiled Graph 的静态执行模型可以对跨节点的任务调度和数据传输进行优化。 通过预分配资源、合理安排通信等方式，减少节点间的通信延迟和资源竞争，提高多节点环境下的整体性能，使系统能够更有效地处理大规模分布式计算任务。
2K10编辑于 2025-05-24 - 来自专栏架构师修炼
分布式计算模式之Actor，助你彻底搞定分布式计算技术
我在前两篇文章中，带你一起学习了 MapReduce 和 Stream 计算模式，（分布式计算技术MapReduce 详细解读，分布式计算技术之流计算Stream，打通实时数据处理）相信你对批处理和流计算也有了一定的了解 在接下来两篇文章中，我将从计算过程或处理过程的维度，与你介绍另外两种分布式计算模式，即 Actor 和流水线。 接下来，我们就一起打卡分布式计算模式中的 Actor 模式。 01 什么是 Actor？ Actor 接收到消息之后，才会根据消息去执行计算操作. 那么，Actor 模型又是什么呢？Actor 模型，代表一种分布式并行计算模型。 虽然 Actor 模型有上述的诸多优点，但它并不适用于分布式领域中所有的应用平台或计算框架。
3.3K50发布于 2020-07-20 安全多方计算获分布式计算最高荣誉
安全多方计算获分布式计算最高荣誉安全多方计算（MPC）是一种计算范式，允许多个参与方在不泄露任何私人信息的情况下计算聚合函数。 该技术已在拍卖设计、密码学、数据分析、数字钱包安全和区块链计算等领域得到应用。 2023年，计算机协会分布式计算领域的Dijkstra奖授予了三篇关于安全MPC的论文，其中一篇《可验证秘密共享与诚实多数的多方协议》源于某中心密码学团队高级首席科学家Tal Rabin的博士论文。 前两篇论文证明，如果计算中不超过三分之一的参与者是恶意行为者，信息论安全MPC是可能的。 他们提出了一种称为“信息检查”的方法，虽然不如数字签名强大，但不对叛徒的计算限制做任何假设。该协议涉及分发者、中介和接收者。
22010编辑于 2025-10-11- 来自专栏博文视点Broadview
分布式存储和分布式计算，这么好懂！
分布式存储和分布式计算到底是什么？ 本文就来为你详细讲解一下~~ 原来，它们这么好懂！ 如果这3个数据节点都已经存储满了，就可以向该文件系统中加入新的数据节点，如数据节点4、数据节点5……从而实现数据节点的水平扩展。 从理论上说，这样的扩展可以扩展到无穷，从而实现海量数据的存储。 02 大数据的分布式计算 大数据的存储可以采用分布式文件系统，那么如何解决大数据的计算问题呢？ 和大数据存储的思想一样，由于数据量庞大，无法采用单机环境来完成计算任务。 既然单机环境无法完成计算任务，就使用多台服务器一起执行计算任务，从而组成一个分布式计算的集群来完成大数据的计算任务。基于这样的思想，Google提出了MapReduce计算模型。 例如，Spark中的核心数据模型是RDD，它由分区组成，每个分区被一个Spark的Worker从节点处理，从而实现了分布式计算。
2.1K31编辑于 2023-09-29 - 来自专栏SeanCheney的专栏
《Python分布式计算》第1章 并行和分布式计算介绍 （Distributed Computing with Python）并行计算分布式计算共享式内存vs分布式内存阿姆达尔定律混合范式总结
并行计算 并行计算的概念很多。本书提供一个简洁的概念： 并行计算是同时使用多个处理器处理事务。 典型的，这个概念要求这些处理器位于同一块主板，以区别于分布式计算。 分布式计算 本书采用如下对分布式计算的定义： 分布式计算是指同一时间使用多台计算机处理一个任务。 一般的，与并行计算类似，这个定义也有限制。 共享式内存vs分布式内存 在概念上，并行计算和分布计算很像，毕竟，二者都是要将总计算量分解成小块，再在处理器上运行。 也许，并行和分布式计算的最明显的差异就是底层的内存架构和访问方式不同。对于并行计算，原则上，所有并发任务可以访问同一块内存空间。 另一有趣的地方是阿姆达尔定律适用于分布式系统和混合并行-分布式系统。这时，n等于所有计算机的处理器总数目。 随着能接触的系统的性能变得越来越高，如果能使用剩余性能，还可以缩短分布式算法运行的时间。
1.8K80发布于 2018-04-24 - 来自专栏Golang开发
Hadoop——MapReduce分布式计算框架
概述 源自2014年12月的Google发表的MapReduce论文，它是一个编程模型，用于大数据量的计算，MapReduce是分布式计算框架。具有海量数据离线处理。 对于大数据量的计算，通常采用的处理方式就是并行计算，MapReduce就是一种简化并行计算的编程模型，它使得并没有并行计算经验的开发人员也可以计算并行应用程序 设计目标 MapReduce采用的是分而治之的思想 ，即把大规模数据集的操作，分发给一个主节点管理下的各个子节点共同完成，然后整合各个子节点的中间结果，从而得到最终的计算结果。 用户只需要编写map()和reduce两个函数，即可完成简单的分布式程序的设计 map()函数以key/value对作为输入，产生另外一系列key/value对作为中间输出写入本地磁盘，MapReduc
93820发布于 2019-08-05 - 来自专栏分布式
分布式(计算机算法)
以下概念来源于百度百科分布式计算分布式计算是近年提出的一种新的计算方式。所谓分布式计算就是在两个或多个软件互相共享信息，这些软件既可以在同一台计算机上运行，也可以在通过网络连接起来的多台计算机上运行。 分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如采用集中式计算，需要耗费相当长的时间来完成。 分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。 这样可以节约整体计算时间，大大提高计算效率 分布式计算比起其它算法具有以下几个优点：1、稀有资源可以共享；2、通过分布式计算可以在多台计算机上平衡计算负载；3、可以把程序放在最适合运行它的计算机上；其中 ，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。
76810编辑于 2024-08-09 - 来自专栏Brian
搭建分布式Spark计算平台
/scala-2.11.8 export PATH=$SCALA_HOME/bin:$PATH #使其生效 source /etc/profile #验证scala版本 scala -version 5. hadoop.tmp.dir</name> <value>file:/opt/spark/hadoop-2.7.2/tmp</value> </property> </configuration> 5.
2.4K60发布于 2018-04-03 - 来自专栏sktj
python 分布式计算 远程调用
1、分布式计算：celery: https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/chapter5/02 Using_Celery_to_distribute_tasks.html https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/chapter5/ 03_How_to_create_a_task_with_Celery.html 2、分布式计算：SCOOP https://python-parallel-programmning-cookbook.readthedocs.io /zh_CN/latest/chapter5/04_Scientic_computing_with_SCOOP.html https://python-parallel-programmning-cookbook.readthedocs.io /zh_CN/latest/chapter5/08_Developing_a_client-server_application_with_Pyro4.html 4、进程通信模块：PyCSP 5、远程调用
43220编辑于 2022-01-09 - 来自专栏企鹅号快讯
分布式科学计算与Docker
科学计算的速度除了之前说的和语言相关，还包括另外2个关键要素，第一个是分布式，第二个是系统资源的限制(包括CPU，Memory和Storage)。 语言和运行平台的问题，我们可以通过Python+计算库来实现，但是分布式和系统资源呢？ 首先，如果我们要实现科学计算的分布式，除了在程序里面自己实现之外，还有很多相关的开源框架，比如Hadoop + Hive这类的大数据现成框架。但是这一类的系统偏大偏重，且升级更新不够自动化和轻量。 其实有一种更为轻量级的方式，Docker+K8s实现分布式计算和资源自动划分。 原理很简单，我们在实现算法的时候，并不要求实现分布式的架构，只需要能读取数据，计算分析数据，然后输出数据到文件即可。 只需要简单的几步，基本上一个有自动调度功能，资源划分功能，高可用功能和运行状态监控功能的一个分布式计算系统就已经搭好了。
1.5K100发布于 2018-01-16 - 来自专栏智能大数据分析
Spark分布式内存计算框架
（二）Spark和MapReduce区别 Spark有着自己的生态系统，但同时兼容HDFS、Hive等分布式存储系统，可以完美融入Hadoop的生态圈中，代替MapReduce去执行更高的分布式计算 2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一（Hadoop、Spark、Storm）。 5、MLlib（机器学习） MLlib提供了常用机器学习算法的实现，包括聚类、分类、回归、协同过滤等，降低了机器学习的门槛，开发人员只需具备一定的理论知识就能进行机器学习的工作。 （一）基本概念 RDD：是Resillient Distributed Dataset（弹性分布式数据集）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。 ），RDD实际是分布在集群多个节点上数据的集合，通过操作RDD对象来并行化操作集群上的分布式数据。
98810编辑于 2025-01-22 - 来自专栏桥路_大数据
【MapReduce】分布式计算框架MapReduce
分布式计算框架MapReduce 什么是MapReduce？ 它是一个面向批处理的分布式计算框架；在分布式环境中，MapReduce程序被分为Map（映射）阶段和Reduce（化简）阶段。 它的第一个核心思想，移动计算而非移动数据。 在分布式环境中，数据是被拆分，然后存储到不同的节点，海量数据的情况下，这些数据的移动会造成非常大的开销，于是MapReduce将任务分发到数据所在的节点进行运算，这个阶段称为Map。 整个的运算流程，是拆分到不同节点进行的，所以这也是它第二个核心思想的体现：分而治之，并行计算。 基本特点 首先作为分布式的计算框架，和其它大数据组件一样，拥有良好的扩展性和高容错的特性。 其次，计算跟着数据走，这是大数据计算引擎常见的设计方式
83410发布于 2021-09-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号