- 综合排序
- 最热优先
- 最新优先
- 来自专栏运维民工
BeeGFS分区对齐指南
最近在理解分区对齐，看了些文档，觉得beegfs的官方文档写的步骤最简单易操作，很适合去辅助理解，所以这里翻译了一下官方文档 最简单的方法 存储设备上创建文件系统，而没有任何分区。
91600编辑于 2023-03-13 - 来自专栏运维民工
beegfs高可用模式探讨
简介： beegfs高可用模式探讨 最近在测试beegfs，它在hpc应用十分广泛的并行文件系统，但是它保证数据安全性的方式只有mirror一种方式，这种方式无法磁盘的有效使用率较低。 但是并不是仅仅能够访问硬盘就能添加到beegfs服务中去，还需要做些操作。我进行了一下测试，当我把掉线节点的硬盘添加到在线节点上时，还需要对以下文件做出修改才行。 首先需要挂载掉线节点硬盘 mount /dev/lose-disk1 /mnt/data* 挂载完成后，需要修改/etc/beegfs/beegfs-storage.conf配置文件，主要修改 storeStorageDirectory ，node02掉线，node02上的硬盘就要修改为1；originalNodeID则要将掉线节点修改为存活节点，如node02修改为node01 做完上述操作，尝试systemctl restart beegfs-storage
1.2K10编辑于 2022-06-30 - 来自专栏运维民工
beegfs定期备份元数据和mgmt
使用borgbackup备份元数据beegfs推荐使用borgbackup增量备份工具。 Store both at safe place(s).备份beegfs metadataroot@storage01:~# borg create --stats --progress /root/backup ::22-12-2022 /beegfs_metadata/Enter passphrase for key /root/.config/borg/keys/root_backup:---------- Also, you can set up your beegfs-mgmtd in a DRDB HA setup as described in https://www.beegfs.io/login /wiki2/MgmtdHAWithDRBD , to have valid 2nd. copy of the BeeGFS management data.
88000编辑于 2023-02-22 - 来自专栏运维民工
beegfs 7.3.2更新后服务无法启动
解决办法有两种： 禁用connDisableAuthentication(不推荐) vim /etc/beegfs/beegfs-mgmtd.conf ...... connDisableAuthentication root:root /etc/beegfs/connauthfile chmod 400 /etc/beegfs/connauthfile 然后修改各个服务的配置文件，一般有： beegfs-client.conf beegfs-helperd.conf beegfs-meta.conf beegfs-mgmtd.conf beegfs-storage.conf 修改上述配置文件中的 vim /etc/beegfs /beegfs-***.conf ...... connAuthFile = /etc/beegfs/connauthfile ...... 重启服务 systemctl restart beegfs-mgmtd.service systemctl restart beegfs-meta.service systemctl restart beegfs-storage.service
2.8K00编辑于 2023-02-22 - 来自专栏运维民工
beegfs客户端编译以支持RDMA
beegfs客户端在不同发行版上支持的OFED版本是不同的，像我在ubuntu2004上发现beegfs对我手上的MCX353A-FCBT并不支持，因为MCX353A-FCBT是相对比较旧的网卡，从从MLNX_OFED 5.4 Ubuntu 22.04: no OFED, OFED 5.6, 5.7 因此，假如需要RDMA的支持，我们还需要重新编译一下客户端，在此之前，需要先安装官方驱动 安装完成后，修改/etc/beegfs /beegfs-client-autobuild.conf，找到buildArgs=-j8这一行，修改为下述信息 buildArgs=-j8 BEEGFS_OPENTK_IBVERBS=1 OFED_INCLUDE_PATH =/usr/src/ofa_kernel/default/include/ 然后执行 /etc/init.d/beegfs-client rebuild 然后需要配置mgmtd和metadata和storage beegfs-net
1.4K00编辑于 2023-02-22 - 来自专栏深度学习与python
合合信息：基于 JuiceFS 构建统一存储，支撑 PB 级 AI 训练
为应对这些挑战，合合信息引入 JuiceFS 构建统一的存储访问架构，并结合 BeeGFS 提供分布式缓存能力。 首先，我们基于 BeeGFS 和训练节点上的 SSD 构建了一套分布式全闪存存储系统。 通过这两套系统的组合部署，我们实现了一种分层存储架构：BeeGFS 提供高性能但容量有限的高速存储，SeaweedFS 提供容量大但性能受限的低速存储。 由于 BeeGFS 提供的高速存储容量有限，而用户普遍倾向于将数据放在性能更高的存储中，这导致使用压力持续增大。为了缓解这一矛盾，我们需要在 BeeGFS 与 SeaweedFS 之间频繁迁移数据。 在我们的实际部署中，将此缓存目录指向了 BeeGFS 文件系统。这样做的好处是：我们使用一个共享的分布式高性能文件系统（BeeGFS）作为 JuiceFS 的缓存层。
19410编辑于 2025-07-20 - 来自专栏小明的数据分析笔记本
使用fasterq-dump命令将sra格式数据转换为fastq格式遇到的问题
/sra-tools/issues/161 https://github.com/ncbi/sra-tools/issues/463 大家的问题基本都是一样的 计算机集群，slurm这个命令提交系统 BeeGFS
6.8K20编辑于 2022-02-17 - 来自专栏吊打面试官
从青铜到王者系列：深入浅出理解 DeepSeek 3FS（1）
3FS https://www.high-flyer.cn/blog/3fs/ https://www.high-flyer.cn/blog/3fs-1/ 深入理解计算机系统 CSAPP（原书第三版） BeeGFS 并行文件系统体系结构 https://doc.beegfs.io/latest/architecture/overview.html TensorFlow https://github.com/tensorflow
63011编辑于 2025-03-19 - 来自专栏科技记者
QIIME 2 2021.4发布（qiime2支持galaxy啦）
2021 年 8 月下旬发布） 对于一些有趣的事情，可以在这个版本中做的例子，看看这个 QIIME 2 Framework 修复了框架中阻止用户在某些条件下生成数据的问题，最显著的是某些网络文件系统（如 BeeGFS
1.1K40发布于 2021-04-30 - 来自专栏量化投资与机器学习
幻方徐进：如何用Deep Learning为股票定价
目前萤火超算的硬件设施为： 625计算节点，5000张A100 200000GB显存 414208GB内存 780 PFlop/s机器学习算力 28PB SSD存储服务器 深度优化的BeeGFS文件系统
1.6K40发布于 2021-07-29 - 来自专栏Spark学习技巧
大数据开源框架技术汇总
CDH、HDP） 监控管理 （CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle） 文件系统 （HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS 相关网站：OpenStack Swift BeeGFS：BeeGFS（原FhGFS）既是一个网络文件系统也是一个并行文件系统。 是由Fraunhofer Institute为工业数学计算而设计开发，由于在欧洲和美国的中小型HPC系统性能表现良好，在2014年改名注册为BeeGFS并受到科研和商业的广泛应用。 通过BeeGFS添加更多的服务器， 其容量和性能被聚合在单个命名空间中。BeeGFS是遵循GPL的“免费开源”产品，文件系统没有许可证费用。 由ThinkParQ提供专业支持，系统集成商可以为客户构建使用BeeGFS的解决方案。 相关网站：BeeGFS Alluxio：Alluxio（原Tachyon）是以内存为中心的虚拟的分布式存储系统。
2.7K21发布于 2021-03-05 - 来自专栏NFS
IO500基准测试：性能与简易兼得
基准测试结果与讨论 Hammerspace 结果，10 节点研究集群 ISC25 查看“10 节点研究”列表，Hammerspace 与 Lustre、Spectrum Scale、WekaFS 和 BeeGFS
28810编辑于 2025-07-27 - 来自专栏Alter聊科技
“烧钱”的大模型，如何迈过存储这道坎？
一方面，Lustre、GFPS、BeeGFS等并行系统的MDS方案，将元数据和文件数据访问分开，仍存在性能和可靠性的瓶颈；而NFS+协议的元数据不再聚焦于某个性能节点，而是分配到集群的所有节点里面，可以在主机侧实现多连接
1K10编辑于 2023-08-30 - 来自专栏挖掘大数据
超详细的大数据学习资源推荐（上）
分布式文件系统 Apache HDFS：在多台机器上存储大型文件的方式； BeeGFS：以前是FhGFS，并行分布式文件系统； Ceph Filesystem：设计的软件存储平台； Disco
2.7K80发布于 2018-01-12 - 来自专栏逸鹏说道
大数据学习资源汇总
分布式文件系统 Apache HDFS：在多台机器上存储大型文件的方式； BeeGFS：以前是FhGFS，并行分布式文件系统； Ceph Filesystem：设计的软件存储平台； Disco
2.5K110发布于 2018-04-10 - 来自专栏风火数据
大数据学习资源最全版本（收藏）
分布式文件系统 Apache HDFS：在多台机器上存储大型文件的方式； BeeGFS：以前是FhGFS，并行分布式文件系统； Ceph Filesystem：设计的软件存储平台； Disco DDFS
4.1K40发布于 2018-08-23 - 来自专栏算法之美
GTD践行第17周
❞ shell脚本交互如何输入yes echo -e "Y" | bdm-update-outtree-index -n 16 /root/data /root/beegfs Remote Development
42710编辑于 2023-04-03 - 来自专栏分布式存储
从零实现分布式文件系统(二) 如何在不升级硬件的前提下,小文件并发读写性能提升十倍
1.2.1 代表产品 • CephFS • BeeGFS • Lustre 1.2.2 元数据服务架构图 CephFS为例子多MDS 性能不超过5千qps MDS增多，性能下降 Average MDS
56511编辑于 2025-08-15 - 来自专栏深度学习与python
AI 应用的全流程存储加速方案技术解析和实践分享
这类系统的代表有 Lustre、BeeGFS、GPFS，和百度智能云 PFS。 简单总结一下，想要兼容性更好，选择 NAS 类的产品，想要性能更高，选择并行文件系统产品。
1.2K10编辑于 2023-03-29 - 来自专栏AI SPPECH
42_大语言模型的计算需求：从GPU到TPU
存储系统设计 大规模训练集群的存储系统需要能够支持高吞吐量的数据加载： 分布式文件系统：如HDFS、Lustre、BeeGFS等，提供高吞吐的数据访问 对象存储：如S3兼容存储，适合大规模非结构化数据
67010编辑于 2025-11-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号