- 综合排序
- 最热优先
- 最新优先
- 来自专栏云计算D1net
如何借助云集群打造高性能计算
云计算一开始致力于为互动系统(systems of engagement)改善应用架构，而在高性能计算方面提供不了什么。 而如今，领先的云服务提供商正在重构解决方案及相关的基础设施，让计算密集型应用切合实际、经济高效。 ? 酷似在专用硬件上运行的传统集群，基于云的集群包括不同的分布式资源，这些资源因某个用途而结合起来。这可能包括：为可识别集群的数据库管理系统(DBMS)、高性能计算(HPC)应用或大数据分析应用交付平台。 Leeuwen表示，企业组织完全由云服务提供商来支持存储和计算之外的资源实例化。比如说，AWS通过亚马逊VPC以及英伟达GPU实例，支持定制的IP网络。 一种良好的做法就是，开发标准的配置，或者充分利用第三方云管理工具，管理存储、计算、网络和加速器等资源，无论它们驻留在企业内部，还是与AWS协同使用。
1.2K60发布于 2018-03-23 - 来自专栏Linux云计算网络
云计算底层技术之高性能集群
集群的研究和发展离不开人们对高性能计算的追求，像我们熟悉的向量机、对称多处理机、工作站、超级计算机等等都是对高性能计算追求下的产物。 相反，集群系统的性能可扩展能力是线性增长的。我们可以简单通过增加机器数来增加集群的运算能力，相比购买高性能的大型计算机，同等运算能力下，我们可以获得更高的性价比。同时，系统的可靠性也得到了增强。 他将多个普通的处理器连接起来，使它们能够协同工作，这就是高性能计算机的原型。 后来，IBM、HP 等公司学习了 Seymour 的这套架构，高性能计算机开始迅速推广，逐步取代原有的大型机。 苹果、微软等公司借助这股东风成为个人计算机时代的王者。随之而来的就是高性能计算机市场遭到了吞噬，被迫只能退守公司服务器市场。 但很快，随着互联网的普及，高性能计算机又迎来新的一波热潮。 参考 [1] 分布式与集群的区别是什么？ [2] 数据中心网络架构演讲 [3] Linux 高性能计算集群 [4] 高性能计算机传奇
1.7K20发布于 2019-05-25 - 来自专栏云头条
1.49 亿元、高性能计算集群大单
2022年6月9日，浙江省气象信息网络中心发布《浙江省气象监测预报能力提升工程（数字化预报项目）-集约化高性能计算系统建设项目》的公开招标公告，预算 14999.392 万元。 采购需求：高性能计算集群包括计算系统、存储系统、网络管理和软件系统等。通过租用方式建设高性能计算集群，具体详见采购内容及技术要求。
45310编辑于 2022-07-04 - 来自专栏性能与架构
高性能集群软件Keepalived
image.png Keepalived是一款优秀的实现高可用的软件，它运行在LVS之上，它的主要功能是实现真实机的故障隔离及负载均衡器间的失败切换 Keepalived专门用来监控集群系统中各个服务节点的状态 这些工作全部自动完成，不需要人工干涉 主要特点 1）Keepalived是LVS的扩展项目，因此它们之间具备良好的兼容性 2）配置简单，与HeartBeat相比，配置非常简单，只需一个配置文件即可 2） 通过对服务器池对象的健康检查，实现对失效机器/服务的故障隔离 3）负载均衡器之间的失败切换，是通过VRRPv2（VirtualRouter Redundancy Protocol）stack实现的，VRRP
91180发布于 2018-04-02 - 来自专栏全栈程序员必看
高性能集群软件keepalived
高性能集群软件keepalived 背景 网络的飞速发展，给网络带宽和服务器性能带来了巨大的挑战，基于互联网的应用系统越来越多地瓶颈出现在服务器端，这就对服务器提出了更高的要求，来保证服务的持续性。 负载均衡软件：软件包括开源LVS集群、Oracle的RAC集群等，硬件为F5 Networks等 分布式计算集群 Distributed Computing Cluster，DC集群。 提供单个计算机所不能提供的强大的计算分析能力，包括数值计算和数据处理，并且倾向于追踪综合性能。 开源分布式计算平台：Hadoop、Spark，用于开发和处理海量数据。 传输层的2个重要协议：传输控制协议（TCP）、用户数据协议（UDP）。 arg2" } vrrp_sync_group G2 { group { VI_3 VI_4 } } vrrp_sync_group是组标识，后面跟组名 notify_master
1.3K20编辑于 2022-09-07 - 来自专栏AI
一文入门高性能计算HPC-详解2
POSIX I/O 接口需要扩展，以便运行在并行文件系统上的高并发高性能计算应用程序能够表现良好。 我们在中型集群上使用微基准测试的原型系统的性能结果表明，这些扩展实现了提高性能和可扩展性的既定目标。本文中介绍的接口扩展绝不是完整的，也不期望成为性能和可扩展性的唯一推动因素。 源代码、内核补丁文档、PVFS2 文件系统挂钩、测试程序和安装说明可在 [2] 中找到常见问题(FAQ)节点超额订阅参考HPC:什么是高性能计算(HPC): https://mp.weixin.qq.com HPC 咨询委员会拥有一个高性能中心，并提供用于开发、测试、基准测试和优化应用程序的环境 - 获取集群访问权限MPI常用链接:MPI standard : http://www.mpi-forum.org 《使用 MPI》现已出版第 3 版，介绍了如何使用 MPI，包括模拟偏微分方程和 n 体问题所需的并行计算代码示例。
73802编辑于 2025-09-13 - 来自专栏用户4283246的专栏
闲话高性能计算
与此相比，高性能计算似乎一直很热，又一直离我们很远。 说高性能计算一直很热，是因为从天河超级计算机开始，中国就加入了超级计算机的全球军备竞赛，年年争夺超算世界冠军；说离我们远，是因为我们在日常的工作生活中见识超级计算机的机会并不多。 ，高性能计算又频繁被提及，变成了一个热门话题。 不一样的高性能计算 如今被频繁提及的高性能计算和传统的HPC已经大不相同了。包括AI、生命科学、计算化学家等技术的突飞猛进无疑凸显了对计算力的强烈需求，从而推动了HPC的发展和变化。 单一的一套分布式文件系统已经不能满足多样化的存储需求了 硬件更新异常迅速——仅2018年，全球至少发布了约10款AI芯片，2代GPGPU，加上FPGA解决方案等，硬件的更新已经不是以年，而是以月计。
1K40发布于 2019-01-08 - 来自专栏数据结构和算法
使用Python实现高性能计算集群管理：效率与灵活性兼得
导语 高性能计算（HPC）集群在科研、工程和数据分析中扮演着关键角色。随着任务复杂度和数据规模的增长，管理这些集群成为一项挑战。 本篇文章将从基础开始，带你了解如何利用Python开发一个高性能计算集群管理系统，涵盖任务调度、资源监控和日志管理。 什么是高性能计算集群管理？ HPC集群由多个节点（通常是服务器）组成，每个节点协同工作以执行复杂计算任务。集群管理的核心任务包括： 任务调度：将计算任务分配到不同节点。 资源管理：监控CPU、内存、GPU等资源的使用情况。 构建高性能计算集群管理的核心模块 1. 环境准备 使用Python开发HPC管理系统需要一些依赖库，如： Fabric：用于远程执行命令。 Paramiko：实现SSH通信。 小结 通过Python及其丰富的工具库，我们可以快速实现高性能计算集群的管理系统。从任务调度到资源监控，再到日志记录，Python提供了强大的功能支持。
48510编辑于 2024-12-09 - 来自专栏液冷服务器
高性能计算HPC照亮AIGC未来：PC集群+Stable Diffusion 打造极致游戏体验
同时，在办公室内使用PC集群也可以提高计算效率、节约成本、提高可靠性、简化管理和提高可扩展性等方面获得很多好处，特别是对于需要高性能计算的中小企业而言，更具有实际意义。 其中高性能指的是提供高性能PC体验；高效率则体现在部署、维护和管理简单，节省空间；高回报则指的是算力资源共享，提升投资回报率。 三、PC集群的实现需要考虑的方面1、硬件PC集群需要使用相同或相似的硬件配置，以确保计算节点之间的兼容性和稳定性。2、网络PC集群需要使用高速网络，以确保数据传输的速度和稳定性。 在使用PC集群处理游戏开发过程中的物理模拟时，通常可以采用以下步骤：1、搭建PC集群需要配置多台具有较高性能的计算机，并在这些计算机上安装相应的软件和工具，以便进行协同计算、数据传输等操作。 一、PC集群未来发展方向1、更加智能化未来的PC集群将不仅仅只是高性能的计算节点组成的集合体，还会加入更多的AI算法、自动化管理等技术，从而实现更高效的任务调度和资源利用。
94420编辑于 2023-04-20 - 来自专栏繁依Fanyi 的专栏
高性能计算（HPC）概述
高性能计算的概念 高性能计算（HPC，High Performance Computing） 的含义有很多，感觉最贴切的还是 Oracle中国中说的这句： 高性能计算 (HPC) 是指通过聚合计算能力来提供比传统计算机和服务器更强大的计算性能 使用树莓派集群，具有体积更小，功耗更低的优势。 集群的种类 说到高性能计算，就要说到计算机集群。 计算机集群按照和功能主要分为以下几类： HA：高可用集群（High Available Cluster） LBC：负载均衡集群（Load Balance Cluster） HPC：高性能计算集群（High 高性能计算 略 高性能计算的优势 速度：HPC的低延迟网络结构能够在数分钟内完成大量计算。 成本：HPC快速，低成本，像公有云一样只需为所使用资源付费。 高性能计算的应用 超级计算机代表着高性能计算系统的最尖端水平。随着计算机的处理能力的不断提升，超级计算机所能做到的事情也越来越多。
1.7K10编辑于 2023-05-07 - 来自专栏小工匠聊架构
高可用 - 01 闲聊高性能集群
文章目录 什么是集群 集群的特点与功能 1. 高可用性与可扩展性 2. 负载均衡与错误恢复 3. 心跳监测与漂移IP地址 集群的分类 1. 高可用集群 高可用的概念 常见的HA集群 双机热备 双机互备 多机互备 高可用集群软件 2. 负载均衡集群 3. 分布式计算集群 HA集群中的相关术语 1．节点 2．资源 3．事件 4．动作 ---- 什么是集群 集群是一组协同工作的服务集合，用来提供比单一服务更稳定、更高效、更具扩展性的服务平台。 分布式计算集群 分布式计算集群致力于提供单个计算机所不能提供的强大的计算分析能力，包括数值计算和数据处理，并且倾向于追求综合性能。 可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。 流行的开源分布式计算平台Hadoop、Spark就是这样的一个分布式计算集群平台。
1.1K20编辑于 2023-02-23 - 来自专栏山海散人技术
ElasticSearch 高性能集群建议
2. 集群中的节点角色如何分配 节点角色 Master Node：设置 node.master: true 时，节点可作为主节点。 如何避免脑裂问题 为尽量避免脑裂，可配置：discovery.zen.minimum_master_nodes: (有master资格节点数/2)+1 。 每个分片存储一部分词频统计信息，分片越多，每个分片存储的信息越少，计算出的得分与真实的得分偏差就会越大。 基本原则： 为保证高可用，副本数设置为 2 即可。要求集群至少有 3 个节点，来分开存放主分片、副本。 如发现并发量大时，查询性能会下降，可增加副本数，来提升并发查询能力。 2. ES 集群架构 ---- ?
1.3K20发布于 2021-03-03 - 来自专栏往期博文
XDU高性能集群密钥登录方法
本篇用来记录学校集群的密钥登录方法以及一些常用命令，以便实验查阅。 密钥登陆 首先进入集群界面，选择密钥登陆 然后设置密码，密码需要具有一定长度才能生效。 确定之后，在新作业这里下载生成的密钥。 打开Xshell，新建一个新的会话，名称随意，主机号如下图所示 选择接受主机密钥 这里的用户名输入集群的账号 选择公钥进行身份验证，上传刚刚下载的.key文件 密码输入之前设置的密码
58110编辑于 2022-06-14 - 来自专栏gojam技术备忘录
高性能计算简要复习
1、概念 集群 PVP：Player VS Player PVP拥有多个高性能向量处理器，有向量寄存器和指令缓冲，不用高速缓存，共享内存。 学科 HPC：高性能计算。并行计算、超级计算。 HPCC：高性能计算与通信。配合高速网络的使用。 Distribute Computing：分布式计算。比起性能更注重功能。 名称 规模 节点度 网络直径 对剖宽度 对称 链路数 线性阵列 N 2 N-1 1 / N-1 环形 N 2 双向N/2 2 是 N 二叉树 N 3 2(logN - 1) 1 是 N-1 5、PRAM和BSP模型上计算N阶向量内积 其实不懂。 PRAM：每个处理器2N/p个加法和乘法，树规约方式计算局部和的复杂度logP。2N/p+logP。 BSP：计算本地和2N/p，logp(g+l+1)是加法合并的复杂度。 6、加速比/并行效率/可扩展性 加速比：并行算法相对于串行算法的性能提高程度。 并行效率：处理器的利用率。
1.8K10发布于 2019-12-10 - 来自专栏Laoqi's Linux运维专列
高性能可靠服务集群架构
1、 需求分析 庞大的业务访问量需要高性能、可靠的服务器框架支撑。高性能要求服务器在巨大压力下仍然高速运行，读写返回正确的业务信息，前端用户体验良好。 2、 基础架构 按照上述需求，基础架构划分下面几个模块：负载均衡与代理、Web主站服务、APP接口服务、图片服务器、数据库与缓存服务。 性能稳定，支持超大访问量的集群负载。对外提供统一的虚拟IP，有三种工作模式，十种左右的轮询算法。 4、 主站服务 主站框架是一个Web服务器（apache、tomcat、nginx等）集群，集群中全部机器运行相同业务系统。通过负载均衡代理与客户端通讯，每一次通讯只有一台机器为当前客户端服务。 常见数据库db2、oracle、mysql等，对于分布式mysql系统，可以使用MyCat中间件管理。
1K30发布于 2018-05-31 - 来自专栏开源部署
部署Hadoop2.0高性能集群
部署Hadoop高性能集群： 拓扑图： image.png 一、实验前期环境准备： 1、三台主机配置hosts文件：（复制到另外两台主机上） [root@tiandong63 ~]# more /etc 分布式文件系统状态 [hadoop@tiandong63 ~]$ /home/hadoop/hadoop-2.7.7/bin/hdfs dfsadmin -report 四、hadoop的简单使用 运行hadoop计算任务 hadoop fs -ls /test/ drwxr-xr-x - hadoop supergroup 0 2018-12-30 21:40 /test/input 上传文件： 创建一个计算的文件 hadoop supergroup 56 2018-12-30 21:40 /test/input/file1.txt 计算： [hadoop@tiandong63 ~]$ /home/hadoop my 1 name 2 thunder 1 to 1 welcome 1 what 1 your 1
49810编辑于 2022-07-27 - 来自专栏大数据文摘
深度学习趋势：云计算or高性能计算
但配置如此强大的计算机集群并不是一件容易的事情，如果有一台服务器忽然当机（如果你同时使用1000台机器，这种事情几乎每天都会发生），就会减小准确性。 不过，在高性能计算机网络的支持下，现在由GPU支持的深度学习可以解决上述问题。 实验室负责人Barry Chen说道： “我们希望项目结束时，可以构建成世界上最大的神经网络训练算法，当然这需要高性能的计算机支持。” Google的方式 那么，Google在做什么呢？ Google将数字运算工作拆分成了数以百计的小集群，每个集群会配置1到32台计算机，如此巨大的计算能力让Google的人工智能软件水平有了很大提升，可以区分椅子和凳子，还能区分“Shift”和“Ship “云计算VS高性能计算，其实和公司文化、可用资源、甚至是企业品味相关。作为Google研究人员，我当然为Google内部系统感到高兴。” VIA wired
2K30发布于 2018-05-23 - 来自专栏全栈程序员必看
集群技术概述_集群计算机
集群技术概述 一、集群的起源 二、集群的优点 1.强扩展能力 2.实现方式容易 3.高可用性 4.易管理性 三、集群的类型 1.负载均衡集群 2.高可用性集群 3.高性能集群 四、集群的特点 1.心跳监测 2.漂移IP地址 五、集群的应用 1.石油地震数据处理 2.数值天气预报 一、集群的起源 集群并不是一个全新的概念，其实早在七十年代计算机厂商和研究机构就开始了对集群系统的研究和开发 提高CPU主频和总线带宽是最初提供计算机性能的主要手段。但是这一手段对系统性能的提供是有限的。接着人们通过增加CPU个数和内存容量来提高性能，于是出现了向量机，对称多处理机(SMP)等。 2.高可用性集群 高可用性集群的出现是为了使集群的整体服务尽可能可用，以便考虑计算硬件和软件的易错性。如果高可用性集群中的主节点发生了故障，那么这段时间内将由次节点代替它。 3.高性能集群 通常，第一种涉及为集群开发并行编程应用程序，以解决复杂的科学问题。这是并行计算的基础，尽管它不使用专门的并行超级计算机，这种超级计算机内部由十至上万个独立处理器组成。
1.4K20编辑于 2022-09-27 - 来自专栏云计算D1net
高性能与云计算：背道而驰？
灵活扩展是云计算的一大优势，用户可以根据需求对计算能力进行灵活的扩展，帮助用户利用最少的资源来解决所需的计算能力。 ? 那么云计算与超算有什么关系呢？ 云计算是否会取代超级计算机，来承担数据密集型、I/O密集型的应用呢？相信很多网友都会有这些问题。那么今天我们就来谈一下未来高性能与云计算是背道而驰还是走向融合？ 超算与云计算的侧重点不同，但是二者之间也有很多相关的特点，比如，两者都使用了分布式计算、网格计算、集群、高密度计算，其中也有一些特定的领域利用云计算技术来从事高性能类的应用。 其实云计算与高性能有着千丝万缕的联系，事实上，超级计算中心也是一种早期的运算模式，通过昂贵的计算资源部署，多个领域的用户通过互联网远程使用计算服务并根据使用量来进行支付费用。 但超算又与云计算有着明显的区别，下面我们来看一下： 云计算不能取代超算 云计算如今已经能够为用户提供一些领域的计算能力，那么云计算是否是超级计算机的替代者呢？答案是否定的。
2.2K40发布于 2018-03-19 - 来自专栏3D视觉从入门到精通
OpenCV高性能计算基础介绍
前言 本文分享一篇关于opencv高性能计算基础的文章，这是一个作者对工作期间使用OpenCV和CUDA开发高性能算法库的过程所涉及到的知识要点和踩坑的记录，将会涉及OpenCV, CUDA和C++的一些知识 与其他的Mat类不同，GMat并不会存储实际的数据，而是会记录用户对GMat进行的操作，并最终组合多个GMat生成一个计算图用以处理真正的计算。基于图的计算，是G-API的核心思想。 计算图将计算式声明与计算分离，可以带来至少两个好处：一是OpenCV可以在内部提供分散函数无法提供的跨函数优化，如算术操作的合并，高速缓存的复用和避免多次分配buffer；二是统一的接口使得用户可以相对简单地选择计算时的后端 如何利用OpenCV CUDA模块进行快速的自定义高性能图像算法开发将是本专栏的重点内容。 内存优化 内存的管理是几乎每个C++项目都要谨慎考虑的问题。 src.copyTo(independent2); //申请了新的内存 create() 在图像处理领域，存在大量类似“连续对许多尺寸和类型相同但内容不同的数据进行相同操作”的算法，如实时的深度计算或神经网络的连续推理
2.2K20编辑于 2022-03-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号