- 综合排序
- 最热优先
- 最新优先
- 来自专栏毅硕HPC
毅硕HPC | HPC环境下的LDAP配置
在HPC环境中，LDAP不是“可选项”，而往往是 “基础设施的核心组件” 。 它与HPC的架构和运维需求完美契合。1. 统一的用户身份源痛点：一个HPC集群通常由数十、数百甚至上千个计算节点组成。如果要在每个节点上手动创建相同的用户账户，将是一场运维噩梦，且极易出错和不一致。 new entry "dc=hpc,dc=local"adding new entry "cn=Manager,dc=hpc,dc=local"adding new entry "ou=People, dc=hpc,dc=local"adding new entry "ou=Group,dc=hpc,dc=local"3. 删除用户、用户组$ ldapdelete -x -W -D 'cn=Manager,dc=hpc,dc=local'"uid=nierdemon,ou=People,dc=hpc,dc=local"$
22510编辑于 2025-10-27 - 来自专栏毅硕HPC
毅硕HPC | 在HPC集群上优雅地使用conda
在高性能计算（HPC）的世界里，除了编写高效的代码，构建一个稳定、可复现的运行环境同样至关重要。作为 HPC 平台的技术人员，我们发现超过 50% 的用户工单都与环境配置有关。 本文将为你详细拆解 Conda 在 HPC 环境下的最佳实践，助你从“环境配置的苦海”中脱身，专注于科研本身。一、Conda 与 HPC：为何它是你的必备技能？1. 什么是 Conda？ 但在 HPC 集群上，环境完全不同，Conda 完美解决了以下三大痛点：用户级权限（No Root, No Problem）：HPC 集群通常不向普通用户开放 Root 权限。 HPC 进阶用法（推荐）： 使用 -p (prefix) 参数。 七、结语掌握 Conda 在 HPC 上的正确打开方式，不仅是对公共计算资源的爱护，更是提升科研效率的关键。通过本教程，你已经掌握了在HPC集群中从零开始部署并高效利用Conda的核心技能。
41810编辑于 2025-12-03 - 来自专栏毅硕HPC
毅硕HPC | InfiniBand网络在HPC集群中的核心应用
在众多网络技术中，InfiniBand（IB）凭借其超低延迟、高带宽和硬件级卸载能力，已成为HPC领域的黄金标准。 本文将从设计案例、实施过程、后期运维三个维度，系统阐述InfiniBand在HPC中的具体应用，帮助您构建更高效、更可靠的计算基础设施。 在HPC环境中，网络性能直接决定应用效率。 在气候模拟、分子动力学等HPC场景中，节点间需频繁交换小数据包（如MPI_Allreduce操作）。 以下基于10+个HPC集群部署经验，提炼出可复用的六步实施法，聚焦易错点与优化技巧。阶段1：需求分析与拓扑设计关键问题：问题调查方式决策影响主要运行哪些HPC应用？ 五、InfiniBand——HPC未来的确定性选择在AI与HPC融合的浪潮下，网络性能已成为科学计算的“新摩尔定律”。
62010编辑于 2026-01-07 - 来自专栏毅硕HPC
毅硕HPC | Ubuntu 24 SLURM 编译安装
无论你是初入HPC的新手，还是寻找Ubuntu环境适配方案的高级工程师，这篇指南都将是你案头必备的“避坑手册”。 .2AccountingStoragePort=6819AccountingStorageType=accounting_storage/slurmdbdJobCompHost=localhostJobCompLoc=slurm_hpc_dbJobCompPass DatabaseinfoStorageType=accounting_storage/mysqlStoragePass=admin@1234StorageUser=slurmStorageLoc=slurm_hpc_db6
20410编辑于 2026-02-26 - 来自专栏毅硕HPC
毅硕HPC | OpenPBS构建高效稳定的HPC作业调度环境
sbin/pbs_rcp#启动pbssudo/etc/init.d/pbsstart第三阶段：队列管理及节点创建添加队列sudo/opt/pbs/bin/qmgrcreatequeuehpc#创建名为hpc 的队列setqueuehpcqueue_type=Execution#将hpc设置成执行队列，如有其他特殊需求请自行修改，另外一种是Route（路由队列），不参与计算setqueuehpcenabled =True#启用hpc队列setqueuehpcstarted=True#启动hpc队列setserverdefault_queue=hpc#将hpc队列配置成默认队列setserverflatuid= 在没有NFS共享存储的环境下，这个文件默认会先保存在计算节点的临时目录，任务结束后再拷贝回主节点（但这经常因为SSH权限问题失败），所以在HPC实施中，强力建议配合NFS使用。 作为HPC实施工程师，我们的目标始终如一：让每一颗核心都满载运行，让每一次创新都无需等待。如果您的集群正面临效率瓶颈，或许答案就在这一套科学的调度方案之中。
23510编辑于 2026-01-29 - 来自专栏毅硕HPC
毅硕HPC | Rocky Linux 9 SLURM软件编译安装
在现代HPC系统中，Slurm扮演着“集群大脑”或“数字神经中枢”的角色，其主要核心作用包括：资源分配：管理和分配计算节点、CPU核心、内存、GPU等硬件资源给用户提交的计算任务。 二、 Slurm的使用场景及重要性Slurm 是学术界和工业界构建HPC环境时事实上的标准调度系统。 "CREATE USER root IDENTIFIED BY '${ROOT_PASS}'"mysql -uroot -p$ROOT_PASS -e 'create database slurm_hpc_db '创建数据库slurm用户，并赋予数据库slurm_hpc_db的所有权限mysql -uroot -p$ROOT_PASScreate user slurm;grant all on slurm_hpc_db cgroupConstrainCores=yesConstrainDevices=yesConstrainRAMSpace=yesConstrainSwapSpace=yes六、总结Slurm 是现代HPC
53010编辑于 2025-11-06 - 来自专栏毅硕HPC
毅硕HPC | 配置SLURM作业队列优先级
Slurm (Simple Linux Utility for Resource Management， http://slurm.schedmd.com/ )是一个开源的、具有容错性、高度可扩展的集群管理和作业调度系统，适用于大型和小型 Linux 集群。Slurm 不需要对内核进行修改，它的运行方式相对独立以避免节点相互干扰，提高运行效率。
29710编辑于 2025-11-18 - 来自专栏毅硕HPC
毅硕HPC | Lustre文件系统在HPC集群中的部署实战
在高性能计算（HPC）领域，计算能力（算力）与数据吞吐能力（I/O）始终是相辅相成的。随着并行计算规模的扩大，传统的NAS存储往往会成为系统的瓶颈。 一、 为什么HPC离不开Lustre？ 在典型的HPC任务中（如气象预报、基因测序、流体力学模拟），成百上千个计算节点需要同时读写同一份数据集。 六、 总结与最佳实践 在HPC项目实施中，Lustre分布式并行文件系统的稳定性直接决定了整个集群的作业运行率。 深入掌握其部署与调优，是每一位HPC架构师与运维工程师的必经之路。
58810编辑于 2025-12-23 - 来自专栏毅硕HPC
毅硕HPC | 一文详解HPC环境中的MPI并行计算
（1） HPC 集群典型架构图橙色线：通常代表管理和控制流程。它连接了管理节点（包含Slurm控制器和LDAP认证）到计算节点和存储系统。 跨节点运行前提所有节点安装相同版本的 MPI配置无密码 SSH 通信使用共享文件系统（NFS/Lustre），保证每个节点都能访问可执行文件五、在真实 HPC 集群中运行 MPI 作业（ Slurm 为例 HPC 集群典型工作流[用户] → 编辑代码 → 提交 .job 脚本 → [Slurm 调度器] → 分配资源 → srun 启动 mpiexec → 计算节点运行 → 输出日志2. 通过本教程的学习，你应该已经能够：理解 MPI 在 HPC 生态系统中的核心地位编写基础的 MPI 程序并进行点对点与集合通信在本地和 HPC 集群上成功编译、运行和调试 MPI 作业理解其在科学计算与工程仿真中的典型应用场景但这只是起点
55810编辑于 2025-12-10 - 来自专栏毅硕HPC
毅硕HPC | NVIDIA DGX Spark 万字硬核评测：将AI超级工厂带上桌面
在生成式AI飞速发展的今天，每一位开发者都渴望拥有无拘无束的算力。不再受制于云端排队、网络延迟或数据隐私的顾虑——NVIDIA DGX Spark横空出世让这一切有了可能。
67600编辑于 2025-12-23 - 来自专栏「毅硕|生信教程」
「毅硕|生信教程」 micromamba：mamba的C++实现，超越conda
大家是否有这样的经历，使用conda/anaconda进行环境配置的是否速度非常慢，进度经常卡在“Collecting package metadata”上。甚至有时候需要安装的软件比较多，或者需要用到conda-forge这个最大的channel，conda能一直卡在collecting步骤上直到http连接超时也没能处理完毕。直到有天小编发现了mamba这个工具，进而发现了micromamba（micromamba是mamba包管理器的小型版本，采用C++实现，具有mamba的核心功能，且体积更小，可以脱离conda独立运行，更易于部署），从此再也没有因为生信软件的安装配置而烦恼抓狂过。闲话少说，开始我们的教程。
87211编辑于 2024-10-24 - 来自专栏范传康的专栏
pyspark on hpc
HPC上有很多计算资源，出于先吃锅里的再吃碗里的思想，琢磨先充分利用共有资源。简单调研下，也不是很复杂的事情。
2K71编辑于 2021-12-10 - 来自专栏CHSNP
毅硕科技携手Sentieon独家赞助第21届亚太生物信息学大会（APBC 2023）
图片第21届亚太生物信息学大会（APBC）将于2023年4月14日至16日在中国湖南省长沙市举行，由中南大学承办，得到了国内领先的生信计算技术服务提供商毅硕科技与生物信息学软件提供商Sentieon Inc 图片毅硕科技一直致力于推动生物信息学的发展和应用，此次携手Sentieon Inc.独家赞助第21届亚太生物信息学大会，意在进一步提升生物信息学领域的国际交流与合作，加强与全球优秀研究机构和企业的联系， 值得一提的是，毅硕科技作为Sentieon软件在大中华区的独家代理，我们将始终本着真诚的态度和专业的精神为区域内客户提供全方位的服务。图片Sentieon Inc.
814170编辑于 2023-04-15 - 来自专栏每月技术成长
RISC-V and HPC
SO RISC-V IS NOT READY FOR HPC？那么 RISC-V 当前不适合作为服务器、HPC吗？ 因此，RISC-V 能够实现HPC，但时机还不够成熟，尚且需要时间来丰富相关软硬件生态。
78900编辑于 2025-02-14 - 来自专栏GPUS开发者
当HPC遇到AI
经过几十年的缓慢进展，直到HPC的出现给予AI所需要的推动力。 通过超级计算技术实现，HPC技术，如深度学习，正在改变AI，使其真正用在了很多领域。 HPAI结合了HPC（数值密集统计分析和优化）与传统AI（搜索算法和专家系统），深刻影响IT行业和客户投资的优先级，影响人类生活的各个方面，并造成其自身的巨大挑战。 高性能人工智能（HPAI）将HPC与传统AI相结合 HPAI的未来 AI已经演变了几十年。 基于初始推理的专家系统奠定了基础，并教我们如何制定和解决AI问题。 通过深度学习和HPC技术，AI正在进像一个新阶段飞跃。 HPAI将包括以下挑战和进步： 进展 高级算法 当前简化假设的算法在将来会被放宽。 结语 HPC和AI的交集创造了HPAI市场，这是一个充满活力和快速增长的细分市场，不仅对IT行业而且对整个人类都有深远的影响。
1.3K90发布于 2018-04-02 - 来自专栏CSDN技术头条
HPC技术趋势：HPDA、深度学习、软件定义和机柜即HPC
那么，深度学习任务为HPC注入了哪些新的东西？除了深度学习，HPC还有哪些值得关注的技术趋势？ ，进而实现软件定义HPC。 刘军则认为，云计算、大数据与HPC之间的影响是相互的：HPC需要云解决更多的资源共享和服务、计算便利性问题，大数据需要HPC解决性能问题，同时大数据技术也为解决传统HPC不好处理的问题带来灵感。 云、大数据和HPC。云一般是基于虚拟化的，但虚拟化会让HPC性能变慢，在未来HPC的应用需要结合云的应用和HPC的特点。 3. 云端可靠性。 附：中外HPC的差别 谈到中外HPC的差别，Earl C. Joseph II认为，主要在于主要中国HPC的应用刚刚发展，所用的芯片和硬件都比较标准。
1.9K50发布于 2018-02-09 - 来自专栏繁依Fanyi 的专栏
高性能计算（HPC）概述
高性能计算的概念 高性能计算（HPC，High Performance Computing） 的含义有很多，感觉最贴切的还是 Oracle中国中说的这句： 高性能计算 (HPC) 是指通过聚合计算能力来提供比传统计算机和服务器更强大的计算性能 计算机集群按照和功能主要分为以下几类： HA：高可用集群（High Available Cluster） LBC：负载均衡集群（Load Balance Cluster） HPC：高性能计算集群（High 高性能计算 略 高性能计算的优势 速度：HPC的低延迟网络结构能够在数分钟内完成大量计算。 成本：HPC快速，低成本，像公有云一样只需为所使用资源付费。 创新：HPC推动很多行业的发展，改善全球人的生活质量。 高性能计算的应用 超级计算机代表着高性能计算系统的最尖端水平。随着计算机的处理能力的不断提升，超级计算机所能做到的事情也越来越多。
1.7K10编辑于 2023-05-07 - 来自专栏智能相对论
HPC走出全新路线：《开放架构HPC技术与生态白皮书》注解
HPC，即High Performance Computing，高性能计算。对普通人来说，没有听过HPC，但肯定都听过超级计算机，它就是HPC的主要实现方式之一。 CCF HPC China是HPC领域全球最有影响力的三大超算盛会，另外两家分别是德国的ISC超算盛会、美国的SC超算盛会。 最前沿的学术成果汇聚与交流，为HPC的发展再添了一把火。 这次会上，《开放架构 HPC 技术与生态白皮书》（以下简称“白皮书”）发布，有关全球HPC最新发展状况与发展动向被阐明。 1 ARM指令集兼容的HPC 进入全球大发展时代 从时间上看，HPC并不是新的字眼，毕竟超级计算机的发展已经有数十年了。但HPC始终保持着旺盛的活力。 如今的HPC，在算力上已经进入了E级时代。 几乎在所有需要计算的产业领域，都在出现ARM指令集兼容HPC的踪迹，并以其实际价值获得了广泛认同。 3 ARM指令集兼容， 让HPC走出全新路线 ARM指令集兼容，是HPC技术的一次“变调”。
1K10编辑于 2023-02-26 - 来自专栏大魏分享（微信公众号：david-share）
红帽助力HPC--我在Dell&RedHat HPC研讨会上的分享
前言：今日，笔者受邀参加“Dell&RedHat HPC研讨会”。会上，分享了红帽在HPC领域的解决方案。由于很多朋友关心这个话题，因此将演讲的内容分享出来，供大家参考。 HPC广泛应用在各种领域，和我们生活比较近的有进行的汽车碰撞模拟、手机跌落模拟。数字化电影做渲染农场。 除此之外，HPC在电磁等研究领域也发挥重要的作用。 ? 近些年，我国HPC发展很快，根据新一期出炉的TOP500榜单，“神威-太湖之光”系统的峰值性能、持续性能、性能功耗比等三项关键指标均为世界第一。 GFS是早期的HPC存储解决方案（一个GFS存储集群最多16个计算节点）、为计算节点提供共享文件系统。 在HPC领域中，由于计算节点很多，实用传统的infiband将不利于节点的灵活扩展。
1.5K40发布于 2018-03-22 - 来自专栏云云众生s
Kubernetes上的高性能计算 (HPC)
译自 High Performance Computing (HPC) on Kubernetes，作者 Alex Remedios April。 这对整个工程组织意味着什么？ 从 HPC 到 Kubernetes 基于 Kubernetes 的云原生计算已成为新软件项目的实际标准。对于许多用例来说，这很简单，但高性能计算 (HPC) 并不是一个简单的领域。 在 Kubernetes 上构建 HPC 环境需要了解用于构建更具生产力、效率和安全性的 ML 工程环境的工具概况。 HPC 用户可以直接向 Armada API 提交作业，当作业准备就绪时，API 将逐渐将作业提交给 Kubernetes 控制平面。 由于 Kubernetes 在云基础设施中扮演着核心角色，因此我们重点介绍了 5 个开源项目，这些项目可以在批处理/HPC 系统中使用，因为您在机器学习平台工程之旅中取得了进展。
93010编辑于 2024-04-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号