- 综合排序
- 最热优先
- 最新优先
- 来自专栏智能大数据分析
Spark分布式内存计算框架
一、Spark简介 （一）定义 Spark是一种基于内存的、用以实现高效集群计算的平台。准确地讲，Spark是一个大数据并行计算框架，是对广泛使用的MapReduce计算模型的扩展。 （二）Spark和MapReduce区别 Spark有着自己的生态系统，但同时兼容HDFS、Hive等分布式存储系统，可以完美融入Hadoop的生态圈中，代替MapReduce去执行更高的分布式计算 Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。计算的中间结果是存在于内存中的。 （一）基本概念 RDD：是Resillient Distributed Dataset（弹性分布式数据集）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。 如果数据需要复用，可以通过cache操作对数据进行持久化操作，缓存到内存中； 输出：当Spark程序运行结束后，系统会将最终的数据存储到分布式存储系统中或Scala数据集合中。
98210编辑于 2025-01-22 - 来自专栏SeanCheney的专栏
《Python分布式计算》第1章 并行和分布式计算介绍 （Distributed Computing with Python）并行计算分布式计算共享式内存vs分布式内存阿姆达尔定律混合范式总结
有趣的是，尽管二者都在单机运行，多线程是共享内存架构的例子，而多进程是分布式内存架构的例子（参考本书后续内容）。 共享式内存vs分布式内存 在概念上，并行计算和分布计算很像，毕竟，二者都是要将总计算量分解成小块，再在处理器上运行。 也许，并行和分布式计算的最明显的差异就是底层的内存架构和访问方式不同。对于并行计算，原则上，所有并发任务可以访问同一块内存空间。 这些中间件就是分布式共享内存架构。此书不涉及这样的系统。 下图中，我们还有有四个CPU，它们处于共享内存架构中。每个CPU都有各自的私有内存，看不到其它CPU的内存空间。 四台计算机（包围CPU和内存的方框）通过网络通讯，通过网络进行数据传输： ? 现实中，计算机是我们之前讲过的两种极端情况的结合体。计算机网络通讯就像一个纯粹的分布式内存架构。
1.8K80发布于 2018-04-24 - 来自专栏数据结构与算法
内存的计算
因为本人考试经常MLE，所以想总结一下与内存计算有关的内容 内存计算公式 内存=变量数量*变量类型所占的字节/1024/1024（M） 常见的变量类型所占的字节 bool 1 char 1 int 4 8 double 8 long double 12 short 2 float 4 如果忘记了可以使用sizeof函数查看 1 printf("%d",sizeof(a)); 常见数组大小所占的内存
1.5K100发布于 2018-04-10 - 来自专栏进击的程序猿
分布式共享内存
本文是mit 6.824 Schedule: Spring 2016的第12课，前面课程内容可以在分布式找到，更多详细资料可以到：distributed-system查看。 介绍 在并发编程中，我们需要处理两个关键问题： 线程之间如何通信 线程之间如何同步 通信是指线程之间以何种机制来交换信息，在命令式编程中，线程之间的通信机制有两种： 共享内存 消息传递 我们从通信和同步两个维度来看共享内存和消息传递 在共享内存的并发模型里，线程之间共享程序的公共状态，线程之间通过写-读内存中的公共状态来隐式进行通信。在消息传递的并发模型里，线程之间没有公共状态，线程之间必须通过明确的发送消息来显式进行通信。 通过上面的介绍我们知道了共享内存是一种隐式的通信手段，需要显示的方法来实现同步。 而在分布式系统中，我们希望能够的是能尽可能的利用普通的机器，来达到并行计算的目标，而distributed shared memory (DSM) 在分布式系统中实现了共享内存，让所有process都共享一个全局地址空间
2.8K20发布于 2018-08-23 - 来自专栏强仔仔
对象内存计算神器
今天给大家介绍一个对象内存计算神奇。jvm内存溢出的时候，我们可以通过很多方法查看原因，很多时候也需要查看具体是哪一个大对象导致内存溢出。 这里要介绍的是lucene提供的专门用于计算堆内存占用大小的工具类：RamUsageEstimato maven坐标： <! > <version>4.0.0</version> </dependency> RamUsageEstimator就是根据java对象在堆内存中的存储格式，通过计算Java对象头、实例数据、引用等的大小 (Object obj) 点评：使用该第三方工具比较简单直接，主要依靠JVM本身环境、参数及CPU架构计算头信息，再依据数据类型的标准计算实例字段大小，计算速度很快，另外使用较方便。 如果非要说这种方式有什么缺点的话，那就是这种方式计算所得的对象头大小是基于JVM声明规范的，并不是通过运行时内存地址计算而得，存在与实际大小不符的这种可能性。
4.5K40发布于 2019-07-01 - 来自专栏小陈飞砖
android计算bitmap内存及内存优化
参考： https://www.cnblogs.com/dasusu/p/9789389.html http://www.cocoachina.com/articles/30884 计算公式： 1、 则跳过这步） 新图的高度 = Sample高度 * (设备的 dpi / 目录对应的 dpi ) 新图的宽度 = Sample宽度 * (设备的 dpi / 目录对应的 dpi ) 3、 bitmap内存 options.inSampleSize = 4; options.inBitmap = mLastBitmap; //bitmap内存复用 bitmap.getAllocationByteCount() ：使用options.inBitmap时，bitmap实际使用的内存。 内存优化： 1、设置inSampleSize 2、不影响用户体验的情况下：Bitmap.Config.ARGB_4444 举例： 1、 2、
81610编辑于 2022-06-25 - 来自专栏大数据
内存计算网格解释
IMCG - 内存计算网格 Dmitriy提出的主要想法之一便是内存存储（IMDG）和内存处理（IMCG）两者相互集成的重要性，这能够方便构建真正可扩展的应用程序。 IMDG关注于通过把数据分布在网格之间可用的计算机中从而解决数据分布式内存存储和大数据集管理，而IMCG更专注于在同一网格上的同一组计算机上有效地执行算法（即用户代码或指令）。 这就是两者的区别所在：IMDG是存储和管理内存中的数据，而IMCG则是处理和计算相同数据的全部内容。 2.分布式资源管理 分布式系统中的资源管理通常指管理物理设备（如计算机，网络和存储）以及软件组件（如JVM，运行时和操作系统）的能力。 3.分布式执行模型（又名）IMCG Breadth IMCG是一种计算框架，支持不同的分布式执行模型。
2.1K90发布于 2018-05-29 - 来自专栏全栈程序员必看
Bitmap的内存计算
本文聚焦的问题 1、Bitmap中像素数据占用多大内存？如何计算？ 2、不同图片来源对内存大小有什么影响？ （以Android 8.0+平台为例，这行代码执行后占用的总内存大小=bitmap在栈上的引用大小+bitmap指向的堆中的对象大小+指向的对象持有的native像素数据大小，先只关注像素数据，以后再研究其他几部分的内存占用如何计算 像素数据的内存=图片宽 x 图片高 x 单个像素内存大小， 这里宽高均为100，单个像素的内存因为是ARGB_8888格式所以为4x8bit = 4byte，总大小=100x100x4byte。 一张100×100的png图片，放在下面各个不同位置，以720×1080像素4.8寸的手机（像素密度305，属于xhdpi）去加载，都加载为ARGB_8888格式，计算加载后的bitmap像素数据内存大小 xhdpi设备上，要缩小320/480倍，加载后bitmap宽高75×75，内存75x75x4byte res/drawable-xxhdpi文件夹计算方式类似。
1.5K20编辑于 2022-07-20 - 来自专栏一名合格java开发的自我修养
Spark的误解-不仅spark是内存计算，hadoop也是内存计算
市面上有一些初学者的误解，他们拿spark和hadoop比较时就会说，Spark是内存计算，内存计算是spark的特性。 请问在计算机领域，mysql,redis,ssh框架等等他们不是内存计算吗?依据冯诺依曼体系结构，有什么技术的程序不是在内存中运行，需要数据从硬盘中拉取，然后供cpu进行执行？ 所有说sprk的特点是内存计算相当于什么都没有说。那么spark的真正特点是什么? Spark是内存计算没有错误，但是这并不是它的特性，只是很多专家在介绍spark的特性时，简化后就成了spark是内存计算。 什么样是内存技术？就是允许你将数据持久化在RAM中并有效处理的技术。 操作系统中的API都只能让你把数据从块设备加载到内存，然后计算完的结果再存储到块设备中。我们无法直接在HDD设备上计算；所以现代系统中的所有处理基本上都是在内存中进行的。
1.7K21发布于 2018-08-29 - 来自专栏大数据
Java一分钟之-Apache Ignite：分布式内存计算平台
Apache Ignite是一个高性能、可扩展的分布式内存计算和数据存储平台，它允许开发者在内存中处理大规模数据集，实现高速的实时计算和事务处理。 Ignite不仅仅是一个缓存系统，它还支持SQL查询、分布式计算、事件处理和机器学习等多种高级功能。 Apache Ignite核心特性 内存加速：数据驻留于内存中，显著提高数据访问速度。 分布式计算：支持MapReduce、SQL查询和流处理，实现数据并行处理。 资源分配不当 问题描述：未合理配置Ignite集群资源，可能导致内存溢出或CPU过载。 避免策略：细致规划集群规模，合理分配内存、CPU资源。 结论 Apache Ignite作为一款功能全面的分布式内存计算平台，为Java开发者提供了强大的数据处理和计算能力。
2.5K20编辑于 2024-06-18 - 来自专栏gojam技术备忘录
分布式计算（1）
网格计算，云计算与分布式计算的区别 网格计算强调资源共享，使用者同时也是资源共享者，用于计算集中性服务（不便扩展 ）。 云计算的服务提供者少数而集中，资源专有，便于自动化扩展（其中对等计算更便于扩展，即每个节点拥有对等的服务，可以互相使用数据），使用者无需贡献资源。 分布式计算指将大型任务划分成部分，分配给其他计算机，并将计算结果组合的解决方案，包括云计算与网格计算。而并行计算虽然类似，但并行的单位是处理器，执行并行计算的单位是单机。 分布式计算范型 消息传递范型 A发送请求消息，B接收并应答，并可能继续触发A应答。 客户-服务器范型 服务器被动响应客户端请求。 分布式对象 和rpc类似，但存在远程对象，对象除了可以使用方法，还拥有自己的数据。 网络服务 服务请求者发送请求到目录服务器，目录服务器返回方法的引用，因此可以使用更多的远程方法。
1.2K40发布于 2019-09-26 【分布式边缘计算】
边缘计算的核心要点可以总结为以下几点： 1. 分布式计算 边缘计算将计算任务从集中式的云端转移到边缘设备上，通过在离用户/物体更近的地方进行计算和数据处理，实现更低的延迟和更高的带宽利用率。 这需要边缘设备和云端之间进行有效的数据传输和协同计算。 边缘计算的代码实现可以分为两个部分：边缘设备上的计算任务和云端的协同计算。 然后，边缘设备可以将计算结果传输给云端进行进一步的协同计算。通过这种方式，可以减少数据在网络中的传输量和延迟，提高计算任务的响应时间和带宽利用率。 2. 自适应性和弹性 边缘计算需要具备自适应和弹性的能力，以应对不同的计算和通信需求。这包括自动扩展和调整计算资源，根据网络负载和设备状况进行动态调度，以及在网络中发生故障时自动切换到备用节点。 可以通过设置自动扩展的策略和规则，根据计算资源的负载来动态调整计算资源的数量。
41910编辑于 2025-08-29- 来自专栏JAVA高级架构
JVM内存管理--计算机内存和Java内存组件
寄存器用于存储计算单元执行指令的中间结果，寄存器大小决定了一次计算的可使用的最大值，连接RAM和处理器或者寄存器和处理器的叫做地址总线，地址总线决定了处理器最大的寻址空间，32位总线宽度可以拥有2的32 次方个内存位置，所以32位总线可以拥有4G的内存空间。 每个程序运行的时候会向系统申请一段独立的内存空间，但随着程序的庞大和任务的复杂性，物理内存无法满足需求，此时就有了虚拟内存，虚拟内存可以使多个进程在同时运行时可以共享物理内存，这里的共享只是空间上的共享 ，逻辑上它们依然独立，当然虚拟内存还可以扩展内存空间。 一旦申请完成，堆的大小就固定，不能在内存不够时再向系统申请，当然同理内存空闲的时候它也不会将内存还回去，就是自成世界了，另立门户了，生死由己！
1.4K140发布于 2018-04-19 - 来自专栏存储公众号：王知鱼
计算向左，内存向右；ScaleUp Fabric与内存池化
内存池化变革：了解Fabric附加内存（FAM）和内存池化技术如何通过CXL和UALink实现内存独立扩展，构建更灵活、经济的AI计算平台。 全文概览 随着AI大模型参数规模的爆炸式增长，对计算和内存资源的需求已达到前所未有的高度。 CXL和UALink等开放标准能否通过创新的“内存池化”技术，实现内存与计算的解耦，从而开启AI基础设施的新篇章？ 实现了真正的独立扩展： 这张图展示的架构允许用户独立扩展计算或内存。 如果一个大型LLM推理任务需要海量内存但计算量不大，用户可以只向Fabric中添加“Memory Switch”模块（即内存），而无需购买昂贵的、计算力过剩的GPU。
59510编辑于 2025-11-29 - 来自专栏存储公众号：王知鱼
SKhynix：CXL内存扩展，以内存为中心的计算
通用计算提效：SPEC CPU 2017基准中，内存敏感任务（如lbm_r）性能增33%，适用于HPC科学模拟，无需改动主板设计。 划线高亮 观点批注 图片的核心在于论证传统内存架构在应对现代计算（尤其是 AI）时面临的瓶颈，并由此引出 CXL（Compute Express Link）内存的必要性。 引入 CXL 内存，通过内存池化和交换技术实现海量容量扩展（TB 级以上），是降低 TCO 并满足高性能计算需求的唯一可行方案。 通过工业界公认的 SPEC CPU 2017 基准测试，展示了 CXL 内存对传统通用计算中“内存敏感型”任务的加速效果 通用计算同样获益： CXL 不仅仅是 AI 的“加速器”，对于科学计算、流体动力学 迈向“以内存为中心”的计算架构： 通过 CXL 实现多服务器共享内存，标志着数据中心正从传统的“单机独占内存”向“池化共享资源”转变。
21910编辑于 2026-04-02 - 来自专栏ThoughtWorks
从分布式计算到分布式训练
---- 分布式计算的到来 随着科技的发展，“数据存储”领域有了质和量的双向发展，除了稳定性、安全性的提升外，容量也呈指数级增长。 其中尤为重要的分布式计算模型：MapReuce，我们常称为第一代MR，也就是：MRV1。 ? 然而目前对于大数据的处理能力，似乎已经发展到了一个非常好的阶段，至少在分布式计算上，理论上是可以通过水平扩展无限的增加计算能力。 模型的分布式，相对于其他分布式计算会困难许多，首先模型依赖于数据，而模型本身的计算又要依赖于GPU，那么要如何将数据和计算能力结合？ ，将计算描述为一个图，然后再判断图中的哪些计算可以并行运行，分别拆分到不同的节点上进行训练，从而达到分布式训练的效果。
1.5K50发布于 2018-04-17 - 来自专栏卓越笔记
DDR3 内存带宽计算
内存带宽计算公式：带宽=内存核心频率×内存总线位数×倍增系数/8。 核心频率即为内存Cell阵列(Memory Cell Array)的工作频率，它是内存的真实运行频率； 时钟频率即I/O Buffer（输入/输出缓存）的传输频率； 有效数据传输频率则是指数据传送的频率 同时DDR3内存的时钟频率提高到了存储单元核心的4倍。也就是说DDR3-800内存的核心频率只有100MHz，其I/O频率为400MHz，有效数据传输频率则为800MHz。 下面计算一条标称DDR3 1066的内存条在默认频率下的带宽： 1066是指有效数据传输频率，除以8才是核心频率。一条内存只用采用单通道模式，位宽为64bit。 所以内存带宽=(1066/8)×64×8=68224Mbit。 由此可知，如果内存工作在标称频率的时候，可以直接用标称频率×位宽，简化公式。
4.6K20编辑于 2023-02-18 - 来自专栏猿人谷
分布式计算Hadoop简介
Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。 Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。 HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。 数据在Hadoop中处理的流程可以简单的按照下图来理解：数据通过Haddop的集群处理后得到结果。 ? HDFS：Hadoop Distributed File System,Hadoop的分布式文件系统。 大文件被分成默认64M一块的数据块分布存储在集群机器中。 MapReduce：Hadoop为每一个input split创建一个task调用Map计算，在此task中依次处理此split中的一个个记录(record),map会将结果以key--value 的形式输出
1.8K100发布于 2018-01-17 - 来自专栏张善友的专栏
分布式计算平台：Dryad
其体系结构图如下： 计算机集群的各个计算机之上是Cluster Service，用于提供集群内的计算机的最基本的管理。 在Cluster Service的基础上可以构建分布式文件系统，使得数据的访问对上面的应用程序是半透明的。Dryad构建在Cluster Service和分布式文件系统之上。 DryadLINQ是分布式计算语言，能够将LINQ编写的程序转变为能够在Dryad上运行的程序。 Dryad利用有向图来表示。程序相当于图的节点，而通道相当于图的边。 由于有向图的表达能力很强，它可以囊括其他的计算架构，例如Google的MapReduce. DryadLINQ让分布式计算更美好: http://www.infoq.com/cn/news/2009/05/DryadLINQ
1.7K70发布于 2018-01-31 - 来自专栏MyTechnology
计算机硬件：内存
内存介绍 内存是计算机中CPU和硬盘数据交互的桥梁。默认情况下，CPU从内存读写数据，内存从硬盘读写数据。 为了提升效率，一般在开机或者软件在运行的时候，会将常用数据直接从硬盘直接读入内存，以待后续CPU使用，提高计算机运行效率。 内存条分为：笔记本、台式机 内存选购 选购参数：容量、频率 选购多条内存或者升级计算机内存的时候，最好选购同品牌，同频率的产品，否则会有兼容问题，会造成蓝屏或重启。 内存常见故障 台式机开机点不亮显示器 台式机运行了一段后突然一天开机显示器不亮(点不亮)的情况，一般是由于内存条上的金手指（内存和主板插槽接触的铜片）氧化，拔下来用橡皮或者粗糙的纸擦擦就好了
1.2K10发布于 2020-07-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号