- 综合排序
- 最热优先
- 最新优先
- 来自专栏用户4283246的专栏
闲话高性能计算
与此相比，高性能计算似乎一直很热，又一直离我们很远。 说高性能计算一直很热，是因为从天河超级计算机开始，中国就加入了超级计算机的全球军备竞赛，年年争夺超算世界冠军；说离我们远，是因为我们在日常的工作生活中见识超级计算机的机会并不多。 ，高性能计算又频繁被提及，变成了一个热门话题。 不一样的高性能计算 如今被频繁提及的高性能计算和传统的HPC已经大不相同了。包括AI、生命科学、计算化学家等技术的突飞猛进无疑凸显了对计算力的强烈需求，从而推动了HPC的发展和变化。 如果把这些还在不断积累的数据看做金矿（真的是金矿），那大量的计算就是挖掘金矿的工具，更高性能的计算能力就是现代化金矿挖掘机!
1K40发布于 2019-01-08 - 来自专栏繁依Fanyi 的专栏
高性能计算（HPC）概述
高性能计算的概念 高性能计算（HPC，High Performance Computing） 的含义有很多，感觉最贴切的还是 Oracle中国中说的这句： 高性能计算 (HPC) 是指通过聚合计算能力来提供比传统计算机和服务器更强大的计算性能 一台计算机，我们平时用用 WPS 写写文档，玩玩英雄联盟什么的小游戏可能还很流畅；但是如果想要玩玩 “3A”大作，在我的世界中开个光影，可能会略有卡顿。 集群的种类 说到高性能计算，就要说到计算机集群。 高性能计算 略 高性能计算的优势 速度：HPC的低延迟网络结构能够在数分钟内完成大量计算。 成本：HPC快速，低成本，像公有云一样只需为所使用资源付费。 高性能计算的应用 超级计算机代表着高性能计算系统的最尖端水平。随着计算机的处理能力的不断提升，超级计算机所能做到的事情也越来越多。
1.7K10编辑于 2023-05-07 - 来自专栏gojam技术备忘录
高性能计算简要复习
1、概念 集群 PVP：Player VS Player PVP拥有多个高性能向量处理器，有向量寄存器和指令缓冲，不用高速缓存，共享内存。 学科 HPC：高性能计算。并行计算、超级计算。 HPCC：高性能计算与通信。配合高速网络的使用。 Distribute Computing：分布式计算。比起性能更注重功能。 Cloud Computing：云计算。按需提供资源，使计算像电力一样提供。 3、常用静态网络/动态网络/标准互联网 静态网络 节点度：节点最多连接几个节点。 对剖宽度：最少拆去多少条边能让网络只剩一半。 链路数：边数。 名称 规模 节点度 网络直径 对剖宽度 对称 链路数 线性阵列 N 2 N-1 1 / N-1 环形 N 2 双向N/2 2 是 N 二叉树 N 3 2(logN - 1) 1 是 N-1
1.8K10发布于 2019-12-10 - 来自专栏迁移内容
高性能MySQL(3)——创建高性能索引
对于每一行数据，存储引擎都会对所有的索引列计算一个哈希码，如果多个列的哈希码相同，索引会以链表的方式存放多个记录指针到同一个哈希条目中。 三、高性能的索引策略 3.1、独立的列 索引列不能是表达式的一部分，也不能是函数的参数。 前缀索引能大大节约索引空间，从而提高索引效率，但这样也会降低索引的选择性（索引选择性——不重复的索引值和数据表记录总数的比值）； 索引前缀长度的选择——计算法。 例如：LELECT COUNT(DISTINCT city)/COUNT() AS sel1, COUNT(DISTINCT LEFT(city, 3))/COUNT() AS sel2, …; 如果前缀的选择性接近 参考： 《高性能 MySQL 第三版》 聚簇索引和非聚簇索引 mysql-覆盖索引 创建高性能的索引
1.6K20编辑于 2022-12-01 - 来自专栏大数据文摘
深度学习趋势：云计算or高性能计算
Google在世界各地的数据中心拥有海量计算机，对于吴恩达的工作，计算量绝对绰绰有余。 吴恩达透露，这是深度学习世界里众多问题之一，如今大数据和人工智能里最热的议题是：与云计算的发展不符。Google、亚马逊和Facebook已经使用云计算在数万台计算机上运行软件。 不过，在高性能计算机网络的支持下，现在由GPU支持的深度学习可以解决上述问题。 实验室负责人Barry Chen说道： “我们希望项目结束时，可以构建成世界上最大的神经网络训练算法，当然这需要高性能的计算机支持。” Google的方式 那么，Google在做什么呢？ “云计算VS高性能计算，其实和公司文化、可用资源、甚至是企业品味相关。作为Google研究人员，我当然为Google内部系统感到高兴。” VIA wired
2K30发布于 2018-05-23 - 来自专栏云计算D1net
高性能与云计算：背道而驰？
灵活扩展是云计算的一大优势，用户可以根据需求对计算能力进行灵活的扩展，帮助用户利用最少的资源来解决所需的计算能力。 ? 那么云计算与超算有什么关系呢？ 云计算是否会取代超级计算机，来承担数据密集型、I/O密集型的应用呢？相信很多网友都会有这些问题。那么今天我们就来谈一下未来高性能与云计算是背道而驰还是走向融合？ 超算与云计算的侧重点不同，但是二者之间也有很多相关的特点，比如，两者都使用了分布式计算、网格计算、集群、高密度计算，其中也有一些特定的领域利用云计算技术来从事高性能类的应用。 其实云计算与高性能有着千丝万缕的联系，事实上，超级计算中心也是一种早期的运算模式，通过昂贵的计算资源部署，多个领域的用户通过互联网远程使用计算服务并根据使用量来进行支付费用。 但超算又与云计算有着明显的区别，下面我们来看一下： 云计算不能取代超算 云计算如今已经能够为用户提供一些领域的计算能力，那么云计算是否是超级计算机的替代者呢？答案是否定的。
2.2K40发布于 2018-03-19 - 来自专栏3D视觉从入门到精通
OpenCV高性能计算基础介绍
前言 本文分享一篇关于opencv高性能计算基础的文章，这是一个作者对工作期间使用OpenCV和CUDA开发高性能算法库的过程所涉及到的知识要点和踩坑的记录，将会涉及OpenCV, CUDA和C++的一些知识 与其他的Mat类不同，GMat并不会存储实际的数据，而是会记录用户对GMat进行的操作，并最终组合多个GMat生成一个计算图用以处理真正的计算。基于图的计算，是G-API的核心思想。 计算图将计算式声明与计算分离，可以带来至少两个好处：一是OpenCV可以在内部提供分散函数无法提供的跨函数优化，如算术操作的合并，高速缓存的复用和避免多次分配buffer；二是统一的接口使得用户可以相对简单地选择计算时的后端 如何利用OpenCV CUDA模块进行快速的自定义高性能图像算法开发将是本专栏的重点内容。 内存优化 内存的管理是几乎每个C++项目都要谨慎考虑的问题。 100, CV_32FC1); //原始矩阵 cv::Mat shared1(src); //共享了内存 cv::Mat shared2 = src; //共享了内存 cv::Mat shared3(
2.2K20编辑于 2022-03-11 - 来自专栏IT派
Python高性能计算库——Numba
摘要： 在计算能力为王的时代，具有高性能计算的库正在被广泛大家应用于处理大数据。例如：Numpy，本文介绍了一个新的Python库——Numba， 在计算性能方面，它比Numpy表现的更好。 想象一下，在Python中编写一个模块，必须一个元素接着一个元素的循环遍历一个非常大的数组来执行一些计算，而不能使用向量操作来重写。这是很不好的主意，是吧？ 3.如何使用Numba呢？ 使用它的要求不多。基本上，你写一个自己的“普通”的Python函数，然后给函数定义添加一个装饰（如果你不是很熟悉装饰器，读一下关于this或that）。 0.0 for i in range(M): for j in range(N): result += arr[i,j] return result a = arange(9).reshape(3,3 在计算能力决定未来的时代，Numba一定会被更多人接受。 以上就是我的介绍，希望有人现在有动力去看看Numba库。
3K91发布于 2018-03-28 - 来自专栏月色的自留地
macOS的OpenCL高性能计算
随着深度学习、区块链的发展，人类对计算量的需求越来越高，在传统的计算模式下，压榨GPU的计算能力一直是重点。 NV系列的显卡在这方面走的比较快，CUDA框架已经普及到了高性能计算的各个方面，比如Google的TensorFlow深度学习框架，默认内置了支持CUDA的GPU计算。 而实际上，现在的高性能显卡其实也就剩下了NV/AMD两家的竞争，这样基本没什么意义的性能损失不能不说让人纠结。所以在个人工作站和个人装机市场，通常的选择都是NV系列的显卡。 下面是苹果官方给出的一个OPENCL的入门例子，结构很清晰，展示了使用显卡进行高性能计算的一般结构，我在注释中增加了中文的说明，相信可以让你更容易的上手OPENCL显卡计算。 ，计算启动的时候采用队列的方式，因为一般计算任务的数量都会远远大于可用的内核数量， // 在下面函数中，local是可用的内核数，global是要计算的数量，OPENCL会自动执行队列，完成所有的计算
2.8K80发布于 2018-06-20 - 来自专栏云云众生s
Kubernetes上的高性能计算 (HPC)
从 HPC 到 Kubernetes 基于 Kubernetes 的云原生计算已成为新软件项目的实际标准。对于许多用例来说，这很简单，但高性能计算 (HPC) 并不是一个简单的领域。 随着大数据应用程序从低级分布式计算库（如 MPI）演变为 Spark 和 Ray 等框架，Slurm 和 LSF 等底层平台也受到 Kubernetes 的挑战，Kubernetes 可以适应以提供 HPC
99210编辑于 2024-04-11 - 来自专栏云计算D1net
企业是否需要高性能计算?
其扩展选项包括基于超级计算机的高性能计算(HPC)系统、基于集群的高性能计算(HPC)以及基于云计算的高性能计算(HPC)服务。 虽然中小型企业采用高性能计算(HPC)技术仍然相对较少，但对于愿意投资于这种技术和专业知识的组织来说，高性能计算(HPC)具有巨大的潜力。 通常，高性能计算(HPC)用例专注于某种类型的仿真。 无需超级计算机的高性能计算 许多企业和IT领导者都误以为高性能计算(HPC)系统都是基于超级计算机的。 从高性能计算(HPC)集群迁移到云计算高性能计算(HPC) 北卡罗来纳大学教堂山分校(UNC-Chapel Hill)长期以来一直依靠其本地高性能计算(HPC)集群来支持多个科学、工程和医学领域的研究活动 然而，随着研究计算需求的持续增长，用户需求开始超过当前系统的计算资源和容量。该大学并没有增加现有的高性能计算(HPC)投资，而是决定采用云计算技术提供按需的高性能计算(HPC)环境。
99010发布于 2019-10-15 - 来自专栏Vamei实验室
高性能计算机传奇
这就是高性能计算机的原型。很快，Seymour Cray的新架构方式被IBM、HP等公司学习，高性能计算机开始迅速推广。政府和科研部门采购这种新型的高性能计算机，以取代原有的大型机。 个人计算机的计算能力逐渐可以媲美小型机甚至中型机。苹果、Intel、微软等公司借PC的东风成为PC时代新的王者。随着政府开始在各个部门配置PC以取代高性能计算机，高性能计算机的市场遭到PC的不断蚕食。 高性能计算机只能退守复杂运算和公司服务器市场。但很快，互联网为高性能计算机提供了新的领地。互联网上广泛采用的服务器-客户模式需要一方计算机充当服务器。 由于高性能计算机有很强的通信需求，所以一个主机上往往有不止一个网卡。 ? 服务器 高性能计算机的主机之间的连接方式可能很复杂。根据不同的需要，高性能计算机的内部网络拓扑结构也会不同。 但高性能计算机需要将多个CPU和大量内存集成在一个机箱中，再将机箱密集放在支架上，所以热源密度大大提高。过高的温度会迅速烧坏芯片，也会限制高性能计算机的性能。高性能计算机设计的冷却系统必须非常强力。
1.2K60发布于 2018-01-18 - 来自专栏程序人生 阅读快乐
高性能MySQL(第3版)
《高性能mysql(第3版)》是mysql 领域的经典之作，拥有广泛的影响力。 第3 版更新了大量的内容，不但涵盖了最新mysql 5.5版本的新特性，也讲述了关于固态盘、高可扩展性设计和云计算环境下的数据库相关的新内容，原有的基准测试和性能优化部分也做了大量的扩展和补充。 《高性能mysql(第3版)》不但适合数据库管理员（dba）阅读，也适合开发人员参考学习。不管是数据库新手还是专家，相信都能从本书有所收获。
1.1K20发布于 2018-10-10 - 来自专栏开发经验
云计算环境中高性能计算的挑战与对策
文章目录 云计算中的高性能计算挑战 1. 资源竞争： 2. 网络延迟： 3. 数据传输效率： 4. 虚拟化开销： 5. 节点异构性： 高性能计算在云计算环境中的对策 1. 定制化虚拟机镜像： 2. 弹性资源调整： 3. 高效数据传输： 4. 任务并行度： 未来发展和展望 1. 边缘计算的结合： 2. 量子计算的应用： 3. 云计算作为一种强大的计算资源提供方式，为高性能计算带来了许多新的机遇和挑战。本文将深入探讨在云计算环境中实现高性能计算所面临的挑战，并提出一些应对策略。 云计算中的高性能计算挑战 1. 网络延迟： 高性能计算通常需要在多个节点之间进行大规模数据交换和通信。云计算环境中的网络延迟可能影响分布式计算任务的性能，尤其是需要频繁通信的任务。 3. 量子计算的应用： 随着量子计算技术的发展，云计算平台可能会提供量子计算资源，为高性能计算带来新的突破。 3.
70610编辑于 2023-12-13 - 来自专栏云计算D1net
云计算对阵高性能计算：谁更具竞争力?
经过数年的发展演变，如今高性能计算在云环境下的可行性终于得到了一定程度的肯定——至少针对一部分应用程序是如此。 在大型云服务供应商已经利用更为强大的网络与处理器方案向高性能计算作出了试探性延伸的同时，以Rescale公司为代表的其它厂商也开始通过自己的许可模式帮助独立软件开发商接触高性能计算代码，进而揭开长久以来蒙住高性能计算软件的这层神秘面纱 不过需要强调的是，目前将高性能计算负载运行在云环境当中仍然存在着诸多难题，到底该将哪些负载交给内部高性能计算集群打理，同时把另一些可能存在突发性资源需求增长的负载交由云基础设施负责，从而充分利用双方的固有优势仍然很难找到确切答案 为了能够更透彻地理解这两种观点的思维方式，我们采用了Rescale方面提供的一些数字——这是一家高性能计算云服务供应商(如前所述，主要负责将软件与高性能计算独立软件开发商相对接方面的工作)。 下面提到的各项数字来自Rescale公司对于内部高性能计算集群与租赁云供应商容量及许可所进行的一次成本比较。
1.3K70发布于 2018-03-22 - 来自专栏云计算D1net
如何借助云集群打造高性能计算
云计算一开始致力于为互动系统(systems of engagement)改善应用架构，而在高性能计算方面提供不了什么。 而如今，领先的云服务提供商正在重构解决方案及相关的基础设施，让计算密集型应用切合实际、经济高效。 ? 这可能包括：为可识别集群的数据库管理系统(DBMS)、高性能计算(HPC)应用或大数据分析应用交付平台。 一种良好的做法就是，开发标准的配置，或者充分利用第三方云管理工具，管理存储、计算、网络和加速器等资源，无论它们驻留在企业内部，还是与AWS协同使用。 在数据方面，这需要认真考虑使用更具成本效益的、速度较慢的持久性存储服务(比如AWS S3)和归档服务(比如AWS Glacier)，而不是成本较为高昂的RAM实例。
1.2K60发布于 2018-03-23 - 来自专栏LINUX阅码场
高性能计算与性能优化：访存
随便聊聊高性能计算和性能优化，想到哪说到哪。文章分为4个部分，第一个部分聊聊并行算法，第二个部分系统地说一下性能优化的方法论，第三个部分介绍一下性能分析，第四个部分介绍一下小结和感悟。 1. 我觉得高性能计算这个领域本身的存在就是通过软件的方式来减少memory wall的影响。 3. 性能分析 本节介绍性能分析，也就是profiling。这个部分实在是太过于重要，所以必须单独拎出来放在一节讲。在分析任何具体的问题时，都必须做充足的profiling。 经验or完善的知识体系 大家普遍会觉得高性能计算是一个非常注重经验的领域，很多东西都是case by case的方式。 总之高性能计算是一个比较吃经验的领域，什么叫做经验，经验就是有着完善的知识体系，真正去做了很多实践，形成系统的方法论，这就是经验。 4.2. 通用代码or针对性优化。
1.2K21编辑于 2024-04-19 - 来自专栏腾讯云文档
高性能计算平台 THPC 用户实践征文
3. 投稿内容字数不少于400字，要求文字顺通、图片清晰、代码规范。4. 投稿内容一经采用，将会被纳入官方产品文档，腾讯云拥有使用权。5. 友情附上：最佳实践写作指南，更多选题参考：THPC 征文选题参考；产品相关资料参考：高性能计算平台THPC 、产品体验操作指引。 申请代金券 - 创作意向及资源申请「腾讯云高性能计算平台 THPC “用户实践” 有奖征文」 投稿登记表（请认真填写创作方向及大致内容，否则可能被驳回哟）3. 完稿登记 - 创作完成别忘了提交作品高性能计算平台 THPC 征文汇总（请填写自己的文章链接，不要更改其他人的部分哦）加入活动群扫码加入群聊，了解更多活动详情。图片重要说明1. 3. 腾讯云积分发放对象为：已完成实名认证的腾讯云用户（协作者、子账号、国际账号除外），详情可查考 积分商城详细规则、腾讯云文档积分规则。4.
3.6K80编辑于 2022-10-13 - 来自专栏Linux云计算网络
云计算底层技术之高性能集群
集群的研究和发展离不开人们对高性能计算的追求，像我们熟悉的向量机、对称多处理机、工作站、超级计算机等等都是对高性能计算追求下的产物。 他将多个普通的处理器连接起来，使它们能够协同工作，这就是高性能计算机的原型。 后来，IBM、HP 等公司学习了 Seymour 的这套架构，高性能计算机开始迅速推广，逐步取代原有的大型机。 高性能计算机为当时的登月计划等大型科研项目作出了非常重要的贡献。 然后进入八十年代，在摩尔定律的指导下，CPU 频率不断提高，芯片不断降价，个人计算机强势崛起。 苹果、微软等公司借助这股东风成为个人计算机时代的王者。随之而来的就是高性能计算机市场遭到了吞噬，被迫只能退守公司服务器市场。 但很快，随着互联网的普及，高性能计算机又迎来新的一波热潮。 [2] 数据中心网络架构演讲 [3] Linux 高性能计算集群 [4] 高性能计算机传奇
1.7K20发布于 2019-05-25 - 来自专栏科学计算
Python高性能计算之修饰符
def func(x): return x*2 list(map(func, [1,2,3])) >>>[2,4,6] list(map(lambda x: x * 2, range(1,4) 下面我们自定义一个函数，其参数也是函数： def add(x): return x + 1 def test(func, x): return add(x) 执行 test(add, 2) >>> 3 inner @works_for_all def func(*args, **kwargs): print(args) print(kwargs) 调用示例如下： func(1,2,a=3, b=4) >>> I can decorate any function (1, 2) {'a': 3, 'b': 4} 一个函数的多个修饰符 Python中，一个函数可以有多个修饰符
74100编辑于 2022-01-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号