- 综合排序
- 最热优先
- 最新优先
- 来自专栏云计算D1net
如何借助云集群打造高性能计算
云计算一开始致力于为互动系统(systems of engagement)改善应用架构，而在高性能计算方面提供不了什么。 而如今，领先的云服务提供商正在重构解决方案及相关的基础设施，让计算密集型应用切合实际、经济高效。 ? 酷似在专用硬件上运行的传统集群，基于云的集群包括不同的分布式资源，这些资源因某个用途而结合起来。这可能包括：为可识别集群的数据库管理系统(DBMS)、高性能计算(HPC)应用或大数据分析应用交付平台。 Leeuwen表示，企业组织完全由云服务提供商来支持存储和计算之外的资源实例化。比如说，AWS通过亚马逊VPC以及英伟达GPU实例，支持定制的IP网络。 一种良好的做法就是，开发标准的配置，或者充分利用第三方云管理工具，管理存储、计算、网络和加速器等资源，无论它们驻留在企业内部，还是与AWS协同使用。
1.2K60发布于 2018-03-23 - 来自专栏Linux云计算网络
云计算底层技术之高性能集群
集群的研究和发展离不开人们对高性能计算的追求，像我们熟悉的向量机、对称多处理机、工作站、超级计算机等等都是对高性能计算追求下的产物。 相反，集群系统的性能可扩展能力是线性增长的。我们可以简单通过增加机器数来增加集群的运算能力，相比购买高性能的大型计算机，同等运算能力下，我们可以获得更高的性价比。同时，系统的可靠性也得到了增强。 他将多个普通的处理器连接起来，使它们能够协同工作，这就是高性能计算机的原型。 后来，IBM、HP 等公司学习了 Seymour 的这套架构，高性能计算机开始迅速推广，逐步取代原有的大型机。 苹果、微软等公司借助这股东风成为个人计算机时代的王者。随之而来的就是高性能计算机市场遭到了吞噬，被迫只能退守公司服务器市场。 但很快，随着互联网的普及，高性能计算机又迎来新的一波热潮。 参考 [1] 分布式与集群的区别是什么？ [2] 数据中心网络架构演讲 [3] Linux 高性能计算集群 [4] 高性能计算机传奇
1.7K20发布于 2019-05-25 - 来自专栏云头条
1.49 亿元、高性能计算集群大单
2022年6月9日，浙江省气象信息网络中心发布《浙江省气象监测预报能力提升工程（数字化预报项目）-集约化高性能计算系统建设项目》的公开招标公告，预算 14999.392 万元。 采购需求：高性能计算集群包括计算系统、存储系统、网络管理和软件系统等。通过租用方式建设高性能计算集群，具体详见采购内容及技术要求。
45010编辑于 2022-07-04 - 来自专栏性能与架构
高性能集群软件Keepalived
image.png Keepalived是一款优秀的实现高可用的软件，它运行在LVS之上，它的主要功能是实现真实机的故障隔离及负载均衡器间的失败切换 Keepalived专门用来监控集群系统中各个服务节点的状态
91080发布于 2018-04-02 - 来自专栏全栈程序员必看
高性能集群软件keepalived
高性能集群软件keepalived 背景 网络的飞速发展，给网络带宽和服务器性能带来了巨大的挑战，基于互联网的应用系统越来越多地瓶颈出现在服务器端，这就对服务器提出了更高的要求，来保证服务的持续性。 集群简介 定义：集群是一组协同工作的服务集合。在外界看来，集群就是一个独立的服务实体，但实际上，在集群的内部，有两个或两个以上的服务器实体在协调、配合完成一系列复杂的工作。 集群最大的优点之一就是具有高可用性，在服务器出现故障时，集群可以自动将服务从故障节点切换到另一个备用节点 可扩展性：当集群服务实体不能满足需求时，可以向集群中动态地加入一个或多个服务节点，增强集群的整体性能 负载均衡软件：软件包括开源LVS集群、Oracle的RAC集群等，硬件为F5 Networks等 分布式计算集群 Distributed Computing Cluster，DC集群。 提供单个计算机所不能提供的强大的计算分析能力，包括数值计算和数据处理，并且倾向于追踪综合性能。 开源分布式计算平台：Hadoop、Spark，用于开发和处理海量数据。
1.3K20编辑于 2022-09-07 - 来自专栏用户4283246的专栏
闲话高性能计算
与此相比，高性能计算似乎一直很热，又一直离我们很远。 说高性能计算一直很热，是因为从天河超级计算机开始，中国就加入了超级计算机的全球军备竞赛，年年争夺超算世界冠军；说离我们远，是因为我们在日常的工作生活中见识超级计算机的机会并不多。 ，高性能计算又频繁被提及，变成了一个热门话题。 不一样的高性能计算 如今被频繁提及的高性能计算和传统的HPC已经大不相同了。包括AI、生命科学、计算化学家等技术的突飞猛进无疑凸显了对计算力的强烈需求，从而推动了HPC的发展和变化。 如果把这些还在不断积累的数据看做金矿（真的是金矿），那大量的计算就是挖掘金矿的工具，更高性能的计算能力就是现代化金矿挖掘机!
1K40发布于 2019-01-08 - 来自专栏数据结构和算法
使用Python实现高性能计算集群管理：效率与灵活性兼得
导语 高性能计算（HPC）集群在科研、工程和数据分析中扮演着关键角色。随着任务复杂度和数据规模的增长，管理这些集群成为一项挑战。 本篇文章将从基础开始，带你了解如何利用Python开发一个高性能计算集群管理系统，涵盖任务调度、资源监控和日志管理。 什么是高性能计算集群管理？ HPC集群由多个节点（通常是服务器）组成，每个节点协同工作以执行复杂计算任务。集群管理的核心任务包括： 任务调度：将计算任务分配到不同节点。 资源管理：监控CPU、内存、GPU等资源的使用情况。 构建高性能计算集群管理的核心模块 1. 环境准备 使用Python开发HPC管理系统需要一些依赖库，如： Fabric：用于远程执行命令。 Paramiko：实现SSH通信。 小结 通过Python及其丰富的工具库，我们可以快速实现高性能计算集群的管理系统。从任务调度到资源监控，再到日志记录，Python提供了强大的功能支持。
47810编辑于 2024-12-09 - 来自专栏液冷服务器
高性能计算HPC照亮AIGC未来：PC集群+Stable Diffusion 打造极致游戏体验
同时，在办公室内使用PC集群也可以提高计算效率、节约成本、提高可靠性、简化管理和提高可扩展性等方面获得很多好处，特别是对于需要高性能计算的中小企业而言，更具有实际意义。 所谓的PC 集群（PC Farm，PC农场）指的是在标准机柜中实现高密度且集中管理的PC部署方案，相比传统PC部署方案，PC Farm具有高性能、高效率、高回报三大优势。 其中高性能指的是提供高性能PC体验；高效率则体现在部署、维护和管理简单，节省空间；高回报则指的是算力资源共享，提升投资回报率。 在使用PC集群处理游戏开发过程中的物理模拟时，通常可以采用以下步骤：1、搭建PC集群需要配置多台具有较高性能的计算机，并在这些计算机上安装相应的软件和工具，以便进行协同计算、数据传输等操作。 一、PC集群未来发展方向1、更加智能化未来的PC集群将不仅仅只是高性能的计算节点组成的集合体，还会加入更多的AI算法、自动化管理等技术，从而实现更高效的任务调度和资源利用。
94220编辑于 2023-04-20 - 来自专栏繁依Fanyi 的专栏
高性能计算（HPC）概述
高性能计算的概念 高性能计算（HPC，High Performance Computing） 的含义有很多，感觉最贴切的还是 Oracle中国中说的这句： 高性能计算 (HPC) 是指通过聚合计算能力来提供比传统计算机和服务器更强大的计算性能 使用树莓派集群，具有体积更小，功耗更低的优势。 集群的种类 说到高性能计算，就要说到计算机集群。 计算机集群按照和功能主要分为以下几类： HA：高可用集群（High Available Cluster） LBC：负载均衡集群（Load Balance Cluster） HPC：高性能计算集群（High 高性能计算 略 高性能计算的优势 速度：HPC的低延迟网络结构能够在数分钟内完成大量计算。 成本：HPC快速，低成本，像公有云一样只需为所使用资源付费。 高性能计算的应用 超级计算机代表着高性能计算系统的最尖端水平。随着计算机的处理能力的不断提升，超级计算机所能做到的事情也越来越多。
1.7K10编辑于 2023-05-07 - 来自专栏往期博文
XDU高性能集群密钥登录方法
本篇用来记录学校集群的密钥登录方法以及一些常用命令，以便实验查阅。 密钥登陆 首先进入集群界面，选择密钥登陆 然后设置密码，密码需要具有一定长度才能生效。 确定之后，在新作业这里下载生成的密钥。 打开Xshell，新建一个新的会话，名称随意，主机号如下图所示 选择接受主机密钥 这里的用户名输入集群的账号 选择公钥进行身份验证，上传刚刚下载的.key文件 密码输入之前设置的密码
57910编辑于 2022-06-14 - 来自专栏小工匠聊架构
高可用 - 01 闲聊高性能集群
文章目录 什么是集群 集群的特点与功能 1. 高可用性与可扩展性 2. 负载均衡与错误恢复 3. 心跳监测与漂移IP地址 集群的分类 1. 高可用集群 高可用的概念 常见的HA集群 双机热备 双机互备 多机互备 高可用集群软件 2. 负载均衡集群 3. 分布式计算集群 HA集群中的相关术语 1．节点 2．资源 3．事件 4．动作 ---- 什么是集群 集群是一组协同工作的服务集合，用来提供比单一服务更稳定、更高效、更具扩展性的服务平台。 分布式计算集群 分布式计算集群致力于提供单个计算机所不能提供的强大的计算分析能力，包括数值计算和数据处理，并且倾向于追求综合性能。 可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。 流行的开源分布式计算平台Hadoop、Spark就是这样的一个分布式计算集群平台。
1.1K20编辑于 2023-02-23 - 来自专栏山海散人技术
ElasticSearch 高性能集群建议
集群规划 ---- 1. 我们需要多大规模的集群 思考方向： 当前的数据量有多大？数据增长情况如何？ 你的机器配置如何？cpu、多大内存、多大硬盘容量？ 小规模集群：不需严格区分。 中大规模集群（十个以上节点）：应考虑单独的角色充当。特别并发查询量大，查询的合并量大，可以增加独立的协调节点。角色分开的好处是分工分开，互不影响。 常用做法（中大规模集群）： Master 和 DataNode 角色分开，配置奇数个 Master，比如 3。 每个分片存储一部分词频统计信息，分片越多，每个分片存储的信息越少，计算出的得分与真实的得分偏差就会越大。 要求集群至少有 3 个节点，来分开存放主分片、副本。 如发现并发量大时，查询性能会下降，可增加副本数，来提升并发查询能力。 2. ES 集群架构 ---- ?
1.3K20发布于 2021-03-03 - 来自专栏gojam技术备忘录
高性能计算简要复习
1、概念 集群 PVP：Player VS Player PVP拥有多个高性能向量处理器，有向量寄存器和指令缓冲，不用高速缓存，共享内存。 学科 HPC：高性能计算。并行计算、超级计算。 HPCC：高性能计算与通信。配合高速网络的使用。 Distribute Computing：分布式计算。比起性能更注重功能。 Cloud Computing：云计算。按需提供资源，使计算像电力一样提供。 5、PRAM和BSP模型上计算N阶向量内积 其实不懂。 PRAM：每个处理器2N/p个加法和乘法，树规约方式计算局部和的复杂度logP。2N/p+logP。 7、并行计算机评测/基准测试 并行计算机性能评测：通过CPU基本性能指标、并行和通信开销分析、可用性、性价比等方面进行机器性能测评。通过加速比、效率、扩展性进行算法级性能测评。
1.8K10发布于 2019-12-10 - 来自专栏Laoqi's Linux运维专列
高性能可靠服务集群架构
1、 需求分析 庞大的业务访问量需要高性能、可靠的服务器框架支撑。高性能要求服务器在巨大压力下仍然高速运行，读写返回正确的业务信息，前端用户体验良好。 性能稳定，支持超大访问量的集群负载。对外提供统一的虚拟IP，有三种工作模式，十种左右的轮询算法。 4、 主站服务 主站框架是一个Web服务器（apache、tomcat、nginx等）集群，集群中全部机器运行相同业务系统。通过负载均衡代理与客户端通讯，每一次通讯只有一台机器为当前客户端服务。 5、 接口服务 接口服务与主站服务功能大同小异，也是Web服务集群。在负载代理时候，通过七层代理转发正则匹配域名与目录，指向接口服务地址端口。 Redis提供单机的分片集群，单机硬件性能要求比较高。Redis也可以进行分布式部署，搭建分布式缓存服务。
1K30发布于 2018-05-31 - 来自专栏开源部署
部署Hadoop2.0高性能集群
部署Hadoop高性能集群： 拓扑图： image.png 一、实验前期环境准备： 1、三台主机配置hosts文件：（复制到另外两台主机上） [root@tiandong63 ~]# more /etc Dhadoop.security.logger=INFO,RFAS org.apache.hadoop.hdfs.server.datanode.DataNode 3、启动yarn（在tiandong63上面，即启动分布式计算 分布式文件系统状态 [hadoop@tiandong63 ~]$ /home/hadoop/hadoop-2.7.7/bin/hdfs dfsadmin -report 四、hadoop的简单使用 运行hadoop计算任务 hadoop fs -ls /test/ drwxr-xr-x - hadoop supergroup 0 2018-12-30 21:40 /test/input 上传文件： 创建一个计算的文件 input Found 1 items -rw-r--r-- 2 hadoop supergroup 56 2018-12-30 21:40 /test/input/file1.txt 计算
49710编辑于 2022-07-27 - 来自专栏大数据文摘
深度学习趋势：云计算or高性能计算
但配置如此强大的计算机集群并不是一件容易的事情，如果有一台服务器忽然当机（如果你同时使用1000台机器，这种事情几乎每天都会发生），就会减小准确性。 不过，在高性能计算机网络的支持下，现在由GPU支持的深度学习可以解决上述问题。 实验室负责人Barry Chen说道： “我们希望项目结束时，可以构建成世界上最大的神经网络训练算法，当然这需要高性能的计算机支持。” Google的方式 那么，Google在做什么呢？ Google将数字运算工作拆分成了数以百计的小集群，每个集群会配置1到32台计算机，如此巨大的计算能力让Google的人工智能软件水平有了很大提升，可以区分椅子和凳子，还能区分“Shift”和“Ship “云计算VS高性能计算，其实和公司文化、可用资源、甚至是企业品味相关。作为Google研究人员，我当然为Google内部系统感到高兴。” VIA wired
2K30发布于 2018-05-23 - 来自专栏全栈程序员必看
集群技术概述_集群计算机
集群技术概述 一、集群的起源 二、集群的优点 1.强扩展能力 2.实现方式容易 3.高可用性 4.易管理性 三、集群的类型 1.负载均衡集群 2.高可用性集群 3.高性能集群 四、集群的特点 提高CPU主频和总线带宽是最初提供计算机性能的主要手段。但是这一手段对系统性能的提供是有限的。接着人们通过增加CPU个数和内存容量来提高性能，于是出现了向量机，对称多处理机(SMP)等。 三、集群的类型 1.负载均衡集群 负载均衡集群为企业需求提供了更实用的系统。如名称所暗示的，该系统使负载可以在计算机集群中尽可能平均地分摊处理。 3.高性能集群 通常，第一种涉及为集群开发并行编程应用程序，以解决复杂的科学问题。这是并行计算的基础，尽管它不使用专门的并行超级计算机，这种超级计算机内部由十至上万个独立处理器组成。 因此，常常听说又有一种便宜的 Linux 超级计算机问世了。但它实际是一个计算机集群，其处理能力与真的超级计算机相等，通常一套像样的集群配置开销要超过 $100,000。
1.4K20编辑于 2022-09-27 - 来自专栏Rainbond开源「容器云平台」
Kubernetes集群中的高性能网络策略
自从7月份发布Kubernetes 1.3以来，用户已经能够在其集群中定义和实施网络策略。这些策略是防火墙规则，用于指定允许流入和流出的数据类型。 这个结果是一个高性能，易于管理的网络。 测试网络策略的性能影响 在应用网络策略之后，需要根据这些策略来检查网络分组，以验证这种类型的业务是允许的。但是，对每个数据包应用网络策略的性能损失是多少？
99130发布于 2018-05-31 - 来自专栏wayn的程序开发
高性能数据库集群：读写分离
虽然近十年来各种存储技术飞速发展，但关系数据库由于其ACID的特性和功能强大的SQL查询，目前还是各种业务系统中关键和核心的存储系统，很多场景下高性能的设计最核心的部分就是关系数据库的设计。 但业务发展速度和数据增长速度，远远超出数据库厂商的优化速度，尤其是互联网业务兴起之后，海量用户加上海量数据的特点，单个数据库服务器已经难以满足业务需要，必须考虑数据库集群的方式来提升性能。 从今天开始，我会分几期来介绍高性能数据库集群。 高性能数据库集群的第一种方式是“读写分离”，其本质是将访问压力分散到集群中的多个节点，但是没有分散存储压力；第二种方式是“分库分表”，既可以分散访问压力，又可以分散存储压力。 需要注意的是，这里用的是“主从集群”，而不是“主备集群”。
43810编辑于 2024-03-11 - 来自专栏云计算D1net
高性能与云计算：背道而驰？
灵活扩展是云计算的一大优势，用户可以根据需求对计算能力进行灵活的扩展，帮助用户利用最少的资源来解决所需的计算能力。 ? 那么云计算与超算有什么关系呢？ 云计算是否会取代超级计算机，来承担数据密集型、I/O密集型的应用呢？相信很多网友都会有这些问题。那么今天我们就来谈一下未来高性能与云计算是背道而驰还是走向融合？ 超算与云计算的侧重点不同，但是二者之间也有很多相关的特点，比如，两者都使用了分布式计算、网格计算、集群、高密度计算，其中也有一些特定的领域利用云计算技术来从事高性能类的应用。 其实云计算与高性能有着千丝万缕的联系，事实上，超级计算中心也是一种早期的运算模式，通过昂贵的计算资源部署，多个领域的用户通过互联网远程使用计算服务并根据使用量来进行支付费用。 但超算又与云计算有着明显的区别，下面我们来看一下： 云计算不能取代超算 云计算如今已经能够为用户提供一些领域的计算能力，那么云计算是否是超级计算机的替代者呢？答案是否定的。
2.2K40发布于 2018-03-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号