- 综合排序
- 最热优先
- 最新优先
- 来自专栏用户4283246的专栏
闲话高性能计算
与此相比，高性能计算似乎一直很热，又一直离我们很远。 ，高性能计算又频繁被提及，变成了一个热门话题。 不一样的高性能计算 如今被频繁提及的高性能计算和传统的HPC已经大不相同了。包括AI、生命科学、计算化学家等技术的突飞猛进无疑凸显了对计算力的强烈需求，从而推动了HPC的发展和变化。 如果把这些还在不断积累的数据看做金矿（真的是金矿），那大量的计算就是挖掘金矿的工具，更高性能的计算能力就是现代化金矿挖掘机! 一个可行的方法是添加软件的抽象层，将硬件能力封装，例如TensorFlow 拥抱云计算——云的规模优势非常明显，可以提供更新更快的硬件，但也会带来额外的复杂性。
1K40发布于 2019-01-08 - 来自专栏繁依Fanyi 的专栏
高性能计算（HPC）概述
高性能计算的概念 高性能计算（HPC，High Performance Computing） 的含义有很多，感觉最贴切的还是 Oracle中国中说的这句： 高性能计算 (HPC) 是指通过聚合计算能力来提供比传统计算机和服务器更强大的计算性能 集群的种类 说到高性能计算，就要说到计算机集群。 计算机集群按照和功能主要分为以下几类： HA：高可用集群（High Available Cluster） LBC：负载均衡集群（Load Balance Cluster） HPC：高性能计算集群（High 高性能计算 略 高性能计算的优势 速度：HPC的低延迟网络结构能够在数分钟内完成大量计算。 成本：HPC快速，低成本，像公有云一样只需为所使用资源付费。 高性能计算的应用 超级计算机代表着高性能计算系统的最尖端水平。随着计算机的处理能力的不断提升，超级计算机所能做到的事情也越来越多。
1.7K10编辑于 2023-05-07 - 来自专栏gojam技术备忘录
高性能计算简要复习
1、概念 集群 PVP：Player VS Player PVP拥有多个高性能向量处理器，有向量寄存器和指令缓冲，不用高速缓存，共享内存。 学科 HPC：高性能计算。并行计算、超级计算。 HPCC：高性能计算与通信。配合高速网络的使用。 Distribute Computing：分布式计算。比起性能更注重功能。 Cloud Computing：云计算。按需提供资源，使计算像电力一样提供。 可扩展性：当系统和问题规模扩大时，维持性能的能力。即算法能否充分利用资源。 固定负载、固定时间和存储受限下的加速比我已经推导过了就不写了。 8、可扩放性测量标准/等效率函数 可扩放性测量标准：问题和机器规模扩大时，会增大通信开销和降低利用率，程序和算法维持性能的能力就是可扩放性，度量的指标就是测量标准。
1.8K10发布于 2019-12-10 - 来自专栏小麦苗的DB宝专栏
Greenplum 计算能力估算
2.Greenplum 计算能力估算 - 暨多大表需要分区，单个分区多大适宜 在数据仓库业务中，单表的数据量通常是非常巨大的。 Greenplum在这方面做了很多的优化 支持列存储 支持向量计算 支持分区表 支持btree, bitmap, gist索引接口 执行并行计算 支持HASH JOIN 提高数据筛选的效率是一个较为低廉有效的优化手段 设置多大分区应该权衡影响，同时又要考虑计算能力。 2.1.单个SEGMENT多大数据量合适 GPDB是一个分布式数据库，执行一条复杂QUERY时，所有的SEGMENT可能并行参与计算。 创建数据库 postgres=# create database test; CREATE DATABASE postgres=# 创建3种常用字段类型，分别测试这几种类型的聚合统计能力，JOIN能力 单个SEGMENT的计算能力。（将分区后单个SEGMENT的单个分区内的记录数压缩到可以接受的范围。）
73410编辑于 2023-11-27 - 来自专栏大数据文摘
深度学习趋势：云计算or高性能计算
他们希望利用强大的芯片和速度超快的网络设备（现以广泛应用于超级计算机内）支持深度学习的计算能力。 不过，在高性能计算机网络的支持下，现在由GPU支持的深度学习可以解决上述问题。 实验室负责人Barry Chen说道： “我们希望项目结束时，可以构建成世界上最大的神经网络训练算法，当然这需要高性能的计算机支持。” Google的方式 那么，Google在做什么呢？ Google将数字运算工作拆分成了数以百计的小集群，每个集群会配置1到32台计算机，如此巨大的计算能力让Google的人工智能软件水平有了很大提升，可以区分椅子和凳子，还能区分“Shift”和“Ship “云计算VS高性能计算，其实和公司文化、可用资源、甚至是企业品味相关。作为Google研究人员，我当然为Google内部系统感到高兴。” VIA wired
2K30发布于 2018-05-23 - 来自专栏腾讯开源的专栏
TARS为SpringCloud提供高性能的RPC能力
TARS如何为SpringCloud提供高性能解决方案 TARS 是腾讯从2008年到今天一直在使用的后台逻辑层的统一应用框架，上述问题在 TARS 框架的发展过程中已经得到了比较好的解决。 的开发方式，符合Spring Cloud开发者的使用习惯，可以仅使用较小的开发成本在整个Spring Cloud体系中引入TARS的RPC能力。 整体上提升了服务的处理能力。 比如在通常的业务场景中，如果API接口需要调用一个订单生成的服务，而订单生成服务只需要生成订单ID计算量相对较小，但是他还需要依赖一个订单写入服务，应为涉及到库存修改、订单写入需要一系列的事务处理，整体耗时远远大于订单 在这种情况下可以使用TARS改造订单服务和写入服务，从而使用异步调用写入服务来提升资源利用率，采用TARS提供的异步RPC能力来进行跟深度的改造： ?
3.7K70发布于 2018-05-14 - 来自专栏云计算D1net
高性能与云计算：背道而驰？
灵活扩展是云计算的一大优势，用户可以根据需求对计算能力进行灵活的扩展，帮助用户利用最少的资源来解决所需的计算能力。 ? 那么云计算与超算有什么关系呢？ 云计算是否会取代超级计算机，来承担数据密集型、I/O密集型的应用呢？相信很多网友都会有这些问题。那么今天我们就来谈一下未来高性能与云计算是背道而驰还是走向融合？ 超算与云计算的侧重点不同，但是二者之间也有很多相关的特点，比如，两者都使用了分布式计算、网格计算、集群、高密度计算，其中也有一些特定的领域利用云计算技术来从事高性能类的应用。 其实云计算与高性能有着千丝万缕的联系，事实上，超级计算中心也是一种早期的运算模式，通过昂贵的计算资源部署，多个领域的用户通过互联网远程使用计算服务并根据使用量来进行支付费用。 但超算又与云计算有着明显的区别，下面我们来看一下： 云计算不能取代超算 云计算如今已经能够为用户提供一些领域的计算能力，那么云计算是否是超级计算机的替代者呢？答案是否定的。
2.2K40发布于 2018-03-19 - 来自专栏3D视觉从入门到精通
OpenCV高性能计算基础介绍
前言 本文分享一篇关于opencv高性能计算基础的文章，这是一个作者对工作期间使用OpenCV和CUDA开发高性能算法库的过程所涉及到的知识要点和踩坑的记录，将会涉及OpenCV, CUDA和C++的一些知识 OpenCV在不断的迭代中，逐渐向几个方向扩展着其计算能力，下面以OpenCV中每个方向对应的类为锚进行列举： cv::Mat OpenCV中最基础的数据结构，具有存储多种数据类型的多维矩阵的能力，也可用来表示图像 与其他的Mat类不同，GMat并不会存储实际的数据，而是会记录用户对GMat进行的操作，并最终组合多个GMat生成一个计算图用以处理真正的计算。基于图的计算，是G-API的核心思想。 计算图将计算式声明与计算分离，可以带来至少两个好处：一是OpenCV可以在内部提供分散函数无法提供的跨函数优化，如算术操作的合并，高速缓存的复用和避免多次分配buffer；二是统一的接口使得用户可以相对简单地选择计算时的后端 如何利用OpenCV CUDA模块进行快速的自定义高性能图像算法开发将是本专栏的重点内容。 内存优化 内存的管理是几乎每个C++项目都要谨慎考虑的问题。
2.2K20编辑于 2022-03-11 - 来自专栏IT派
Python高性能计算库——Numba
摘要： 在计算能力为王的时代，具有高性能计算的库正在被广泛大家应用于处理大数据。例如：Numpy，本文介绍了一个新的Python库——Numba， 在计算性能方面，它比Numpy表现的更好。 想象一下，在Python中编写一个模块，必须一个元素接着一个元素的循环遍历一个非常大的数组来执行一些计算，而不能使用向量操作来重写。这是很不好的主意，是吧？ 他们的目标是加快面向数组的计算，我们可以使用它们库中提供的函数来解决。 4.示例和速度比较 熟练的Python用户永远不会使用上述代码实现sum功能，而是调用numpy.sum。 在每个时间段结束时，计算水流量，这不仅取决于在同一时间步长下的雨，而且也取决于在内部模型状态（或储存）。在这种情况下，我们就需要考虑以前时间步长的状态和输出。 在计算能力决定未来的时代，Numba一定会被更多人接受。 以上就是我的介绍，希望有人现在有动力去看看Numba库。
3K91发布于 2018-03-28 - 来自专栏月色的自留地
macOS的OpenCL高性能计算
随着深度学习、区块链的发展，人类对计算量的需求越来越高，在传统的计算模式下，压榨GPU的计算能力一直是重点。 NV系列的显卡在这方面走的比较快，CUDA框架已经普及到了高性能计算的各个方面，比如Google的TensorFlow深度学习框架，默认内置了支持CUDA的GPU计算。 而实际上，现在的高性能显卡其实也就剩下了NV/AMD两家的竞争，这样基本没什么意义的性能损失不能不说让人纠结。所以在个人工作站和个人装机市场，通常的选择都是NV系列的显卡。 下面是苹果官方给出的一个OPENCL的入门例子，结构很清晰，展示了使用显卡进行高性能计算的一般结构，我在注释中增加了中文的说明，相信可以让你更容易的上手OPENCL显卡计算。 ，计算启动的时候采用队列的方式，因为一般计算任务的数量都会远远大于可用的内核数量， // 在下面函数中，local是可用的内核数，global是要计算的数量，OPENCL会自动执行队列，完成所有的计算
2.8K80发布于 2018-06-20 解密YashanDB数据库的高性能查询能力
高性能查询能力成为数据库系统核心竞争力之一。 本文旨在深入分析YashanDB数据库的结构和关键技术，帮助技术人员深入理解其高性能查询能力的技术原理和优势。 分布式部署通过管理多个管理节点（MN）、协调节点（CN）和数据节点（DN），实现存储与计算的严格分离和水平线性扩展，适用于海量数据分析业务场景，加强了处理能力和扩展性。 技术建议以发挥YashanDB高性能查询能力合理选择部署架构：依据业务规模和性能需求，选择单机、分布式或共享集群部署，兼顾可用性与查询吞吐。 合理使用并行度和向量化执行：配置合理的并行线程数并激活向量化计算能力，提升大数据分析和复杂查询性能。分区表的有效使用：对大表进行分区管理，减少无效扫描和提高数据定位效率。
22900编辑于 2025-08-12- 来自专栏云云众生s
Kubernetes上的高性能计算 (HPC)
从 HPC 到 Kubernetes 基于 Kubernetes 的云原生计算已成为新软件项目的实际标准。对于许多用例来说，这很简单，但高性能计算 (HPC) 并不是一个简单的领域。 随着大数据应用程序从低级分布式计算库（如 MPI）演变为 Spark 和 Ray 等框架，Slurm 和 LSF 等底层平台也受到 Kubernetes 的挑战，Kubernetes 可以适应以提供 HPC
98710编辑于 2024-04-11 - 来自专栏云计算D1net
企业是否需要高性能计算?
高性能计算(HPC)数据存储系统Panasas公司系统工程总监Dale Brantly说,“我们依靠数据的收集、分析、分发而蓬勃发展的环境，并依靠可靠的高性能计算(HPC)来支持具有强大计算能力的简化工作流程 每个节点内的处理器、图形处理单元(GPU)和内存资源相互连接以创建高性能计算(HPC)系统。 由于采购和运行超级计算机及其定制软件的成本高达数百万美元，其成本远远超出了大多数企业的财务承受能力。 然而随着时间的推移，该系统逐渐无法跟上越来越多的需要领先计算能力和更快性能的用户的步伐。我们发现，本地集群对于设计该集群的人员确实非常有效，但是他们的一些案例正变得越来越少。” 约克大学使用的云计算高性能计算(HPC)还具有适应不断变化的需求的能力。Chong指出，“我们中的许多人开始使用机器学习技术，并希望能够利用不同的体系结构。 为了解决隐私问题和对强大计算能力的需求，迈阿密大学最近选择投资于基于本地的超级计算机的高性能计算(HPC)系统。
98910发布于 2019-10-15 - 来自专栏Vamei实验室
高性能计算机传奇
高性能计算机是用网络将多台计算机连接在一起，并构成一个统一的系统，从而拥有远超个人电脑的计算能力。这样利用网络，让计算机合作工作的并行系统又称为集群(cluster)。 为了解决同一个问题，集群的不同计算机之间要有很好的沟通能力。 计算机被看作拥有思维潜能的机器，而超级计算机作为计算机的领军，更有可能最早以机器身份挑战人类所自豪的理性思维能力。下图是不断被打破的超级计算机纪录，中国的天河曾经于2010年登顶: ? 随着互联网的发达，个人电脑的富余计算能力成为一座值得开挖的宝藏。分布式计算就是用互联网来连接个人电脑，构成一个集群。这个集群可以作为一个系统工作，以解决一些复杂问题。 个人计算机的计算能力逐渐可以媲美小型机甚至中型机。苹果、Intel、微软等公司借PC的东风成为PC时代新的王者。随着政府开始在各个部门配置PC以取代高性能计算机，高性能计算机的市场遭到PC的不断蚕食。
1.2K60发布于 2018-01-18 - 来自专栏Postgresql源码分析
superpi脚本评估计算能力
https://www.linuxidc.com/Linux/2009-06/20495.htm
40010编辑于 2022-05-12 Doris高性能读能力与实时性实现原理
一、读性能优异的核心原因 MPP 分布式架构：采用大规模并行处理架构，将查询请求拆解为多个子任务并行执行，BE 节点之间通过数据分片并行计算实现负载均衡，线性扩展处理能力。 通过减少虚函数调用、提升 CPU 缓存命中率等优化，降低复杂查询的计算开销。 数据局部性优化：分布式存储层 BE 节点同时承担计算任务，消除传统架构中存储与计算分离的跨网络数据传输开销。 二、实时分析能力实现原理 数据实时摄入链路：提供 Stream Load/Broker Load 等毫秒级延迟写入接口，支持 Kafka、Flink 等流式数据直接写入内存 MemTable 存算一体架构设计 FE 节点统一管理元数据并生成分布式执行计划，BE节点本地化执行计算任务，消除传统数仓 ETL 链路延迟。
25410编辑于 2025-12-23- 来自专栏ATYUN订阅号
计算能力是研究的基础
编辑 | TGS 发布 | ATYUN订阅号 神经网络为研究人员提供了一个展望未来的有力工具，但可惜不是完美的——无法满足研究人员对数据和计算能力的需求。 据估计，麻省理工学院对计算机的需求有五倍的缺口，为了帮助缓解危机，工业界已经介入。 IBM最近捐赠的一台价值1160万美元的超级计算机将于今年秋季上线，在过去的一年里，IBM和谷歌都为麻省理工学院的智能探索提供了云计算，具体项目如下： 更小、更快、更智能的神经网络 如果要识别一张猫的图片 弗兰克在笔记本电脑上试验了一个双神经元网络，得到了令人鼓舞的结果，通过IBM Cloud，他获得了足够的计算能力来训练一个真正的ResNet模型，并在Facebook的办公室里发表了上述言论。 只需要几个动作，计算机视觉模型就可以在赛场上的运动员群体中识别出单个运动员个体。
80920发布于 2019-09-25 - 来自专栏开发经验
云计算环境中高性能计算的挑战与对策
文章目录 云计算中的高性能计算挑战 1. 资源竞争： 2. 网络延迟： 3. 数据传输效率： 4. 虚拟化开销： 5. 节点异构性： 高性能计算在云计算环境中的对策 1. 定制化虚拟机镜像： 2. 云计算作为一种强大的计算资源提供方式，为高性能计算带来了许多新的机遇和挑战。本文将深入探讨在云计算环境中实现高性能计算所面临的挑战，并提出一些应对策略。 云计算中的高性能计算挑战 1. 节点异构性： 云计算平台中的计算节点可能具有不同的硬件配置和性能特点。高性能计算任务需要充分利用节点的计算能力，但异构性可能导致任务调度和资源分配变得复杂。 高性能计算在云计算环境中的对策 1. 一些前沿技术和趋势可能会对高性能计算产生影响： 1. 边缘计算的结合： 结合边缘计算和云计算，将高性能计算任务部署在靠近数据源的边缘节点上，减少数据传输延迟，提高任务响应速度。 2. 结论 云计算环境中高性能计算的挑战与对策是一个复杂的课题。通过定制化虚拟机镜像、弹性资源调整、高效数据传输和任务并行度优化等策略，可以在云计算平台上实现高性能计算任务的高效执行。
70210编辑于 2023-12-13 - 来自专栏云计算D1net
云计算对阵高性能计算：谁更具竞争力?
经过数年的发展演变，如今高性能计算在云环境下的可行性终于得到了一定程度的肯定——至少针对一部分应用程序是如此。 在大型云服务供应商已经利用更为强大的网络与处理器方案向高性能计算作出了试探性延伸的同时，以Rescale公司为代表的其它厂商也开始通过自己的许可模式帮助独立软件开发商接触高性能计算代码，进而揭开长久以来蒙住高性能计算软件的这层神秘面纱 不过需要强调的是，目前将高性能计算负载运行在云环境当中仍然存在着诸多难题，到底该将哪些负载交给内部高性能计算集群打理，同时把另一些可能存在突发性资源需求增长的负载交由云基础设施负责，从而充分利用双方的固有优势仍然很难找到确切答案 为了能够更透彻地理解这两种观点的思维方式，我们采用了Rescale方面提供的一些数字——这是一家高性能计算云服务供应商(如前所述，主要负责将软件与高性能计算独立软件开发商相对接方面的工作)。 下面提到的各项数字来自Rescale公司对于内部高性能计算集群与租赁云供应商容量及许可所进行的一次成本比较。
1.3K70发布于 2018-03-22 - 来自专栏云计算D1net
如何借助云集群打造高性能计算
云计算一开始致力于为互动系统(systems of engagement)改善应用架构，而在高性能计算方面提供不了什么。 而如今，领先的云服务提供商正在重构解决方案及相关的基础设施，让计算密集型应用切合实际、经济高效。 ? 这可能包括：为可识别集群的数据库管理系统(DBMS)、高性能计算(HPC)应用或大数据分析应用交付平台。 Leeuwen表示，企业组织完全由云服务提供商来支持存储和计算之外的资源实例化。比如说，AWS通过亚马逊VPC以及英伟达GPU实例，支持定制的IP网络。 一种良好的做法就是，开发标准的配置，或者充分利用第三方云管理工具，管理存储、计算、网络和加速器等资源，无论它们驻留在企业内部，还是与AWS协同使用。
1.2K60发布于 2018-03-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号