首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Hadoop实操

    如何为服务器硬盘配置RAID或JBOD模式

    RAID及JBOD模式介绍 2.1 RAID 0 2.2 RAID 1 2.3 JBOD 3. 配置JBOD模式 5. 4 配置JBOD模式 1. 至此,为硬盘配置JBOD模式已完成。 一块RAID卡无法同时启用RAID模式和JBOD模式,如果数据盘采用JBOD模式,SSD(固态硬盘)无法使用RAID1;如果SSD要使用RAID 1,那么数据盘无法采用JBOD模式。

    34.1K62发布于 2018-09-29
  • Hadoop磁盘IO瓶颈的监控与优化:从iostat指标到JBOD vs RAID的深度解析

    雅虎集群的性能测试显示,JBOD配置的写入吞吐量比RAID 0高出10-30%。 硬件成本:RAID控制器卡价格可达JBOD方案的3-5倍,且RAID 1/10的磁盘利用率仅50% 2. 运维复杂度:RAID阵列重建平均需要4-8小时,期间性能下降40-60%,而JBOD支持热插拔单盘更换 3. 存储架构调整 基于JBOD与RAID的对比测试数据,我们实施了分阶段改造: 1. 存储介质选择的范式转移 在JBOD与RAID的争论之外,存储介质选择正呈现多元化发展。

    68411编辑于 2025-08-27
  • 来自专栏Hadoop实操

    如何在HP dl380 Gen9服务器上安装Redhat 7.2并配置软RAID

    1 文档编写目的 在《如何为服务器硬盘配置RAID或JBOD模式》一文中提到,单张RAID卡无法同时启用RAID模式和JBOD模式,即无法混合管理,如果RAID卡为所有硬盘配置了JBOD模式,那么用于安装操作系统的两块 除非有两张RAID卡,把SSD和数据盘分开管理,一张启用RAID模式,为两块SSD做RAID 1,另外一张启用JBOD模式,管理所有数据盘。或者在软件层面实现操作系统的软RAID。 前置条件: 服务器只配备单块RAID卡,且已启用JBOD模式; 制作Redhat 7.2 U盘启动盘一个。 文章目录结构: 1. 文档编写目的 2. 4 总结 1、单张RAID卡一般RAID和JBOD模式不能共存,如果服务器仅有一张RAID卡,且要启用JBOD模式(直通模式),那么安装操作系统的两块SSD盘无法通过RAID卡做RAID 1,但是如果系统盘不做

    9K42发布于 2018-09-29
  • 来自专栏数据人生

    Hadoop集群优化

    dfs.name.dir 配置成多个路径,FSImage和EditLog会同时写入多个路径,方便以后恢复用 RAID 不适合datanode,如果配置成RAID的话,就不需要副本了: 因为hdfs的冗余已经很好了 速度比JBOD (Just a Bunch Of Disks)慢,RAID的速度由最慢的那块磁盘决定,而JBOD的各块磁盘相互没有影响 如果JBOD中一块磁盘损坏的话,HDFS还能正常使用;但如果RAID的一块磁盘坏了的话

    96620编辑于 2022-09-29
  • 来自专栏全栈程序员必看

    WSFC2012 群集存储空间

    上来先来看图 左侧是传统的SAN架构,右侧是微软软于Windows Server 2012引入引入的简单存储管理架构,微软提出来一个存储空间的架构,用来替换掉原来价格昂贵的SAN,通过为服务器接入简单的JBOD ,存储空间功能,来完成存储上控制器的工作,存储池化,磁盘分层,精简磁盘,磁盘去重,磁盘镜像奇偶校验,将SAN上面控制器实现的功能,现在通过2012OS本身的存储功能实现,底层只需要接入一个没有控制器的JBOD Windows Server 2016的SDS是一种超融合交付存储资源池的模型,通过SDS可以支持由各节点本地共享磁盘,形成跨服务器的存储池,结合WSFC与存储空间实现端到端存储故障域感知 SOFS底层可以是JBOD 实际环境下如果要配置群集存储空间您可以结合自己公司的场景选择合适的架构,并不一定非要是这种CIB,如果是构建一组群集存储空间服务器,那么只要各节点SAS Expander接入JBOD存储即可,JBOD可以是一个 机箱 JBOD官方认证列表 故障转移群集中创建存储池至少需要三个物理驱动器,每个驱动器的容量至少为4GB,更多取决于列数和弹性。

    1.9K20发布于 2021-06-10
  • 来自专栏RocketMQ

    第四章 RocketMQ集群理论

    表示一个没有控制软件提供协调控制的磁盘集合,这是 RAID区别与 JBOD 的主要因素。 JBOD 将多个物理磁盘串联起来,提供一个巨大的逻辑磁盘。 JBOD 的数据存放机制是由第一块磁盘开始按顺序往后存储,当前磁盘存储空间用完后,再依次往后面的磁盘存储数据。 JBOD 存储性能完全等同于单块磁盘,而且也不提供数据安全保护。 其只是简单提供一种扩展存储空间的机制,JBOD可用存储容量等于所有成员磁盘的存储空间之和 JBOD 常指磁盘柜,而不论其是否提供 RAID 功能。不过,JBOD并非官方术语,官方称为Spanning。 RAID0与JBOD相同点: 1)存储容量:都是成员磁盘容量总和 2)磁盘利用率,都是100%,即都没有做任何的数据冗余备份 RAID0与JBOD不同点: 1)JBOD:数据是顺序存放的,一个磁盘存满后才会开始存放到下一个磁盘 其读写性能是JBOD的n倍RAID1RAID1 就是一种镜像技术,它将数据完全一致地分别写到工作磁盘和镜像磁盘,它的磁盘空间利用率为 50% 。

    42400编辑于 2025-06-02
  • 来自专栏大话存储

    物尽其用还省心,希捷Exos CORVAULT不简单!

    双控双电源JBOD?SAN? 这台Corvault系统,实际上是一台介于SAN存储系统和SAS JBOD之间的过渡态存储系统。 但是Corvault系统的前端只支持SAS接口,这让它乍一看像是一台JBOD。 但是看到上图中的介绍,发现Corvault支持Erasure Code纠删码对数据做冗余保护,那就可以得出一个结论,这并不是一台JBOD,因为JBOD是直接把后端的物理硬盘暴露给主机端,既然Corvault 但是经过与希捷工程师的确认,Corvault是一台可以灵活划分逻辑卷容量的SAN产品,不过它内部也是可以被设置成JBOD模式的。 Corvault支持下面的数据保护方式:nraid|raid0|raid1|raid5|raid6|raid10|ADAPT,其中nraid就是JBOD模式,ADAPT则是Erasure Code模式。

    1.1K10编辑于 2022-02-24
  • 来自专栏开源部署

    RAID 磁盘阵列的应用

    2、          混合RAID 2.1 JBOD 严格来讲JBOD(Just a Bunch Of Disks)并不属于RAID的等级,JBOD并没有严格的规范,主要是用于实现将各个独立的硬盘空间在逻辑上组合成一个大的硬盘 但是JBOD也有它的应用场景,例如Hadoop就鼓励使用JBOD,因为Hadoop由自己的一套容灾方案。 2.2 RAID 01 RAID 01是RAID 0与RAID 1的一种组合。

    1.7K10编辑于 2022-07-04
  • 来自专栏大话IT架构

    存储01-磁盘阵列历史

    有自己的专用CPU和芯片来进行raid计算,不占用系统CPU 2)降低了操作系统的复杂性 3)避免了raid软件对操作系统的依赖或者干扰 4)可以专注发展自己的一亩三分地(术业有专攻) 3.raid卡+jbod 专门做一个磁盘箱子呗,这个磁盘箱子就是jbod(磁盘+磁盘背板+主机接口)。当主机磁盘不够的时候,就加jbod箱子,一个不够就两个,两个不够就三个,以此类推。 jbod箱子可以加,到了一定程度容量可以增加,但此时raid卡性能已经是瓶颈(好比咱们传统的火车一样:火车要想跑的快,全靠车头带;车头就是raid卡,车厢就是jbod,就一个车头,车厢不可能无限多的增加 存储单控制器也是,和raid卡+jbod的架构完全一样,就是换了一个牛X的车头而已。 车头牛X了,可以拉更多的货跑的更快(即可以有更大的容量更好的性能);客户也非常高兴愿意花钱,买买买。 单控模式下,相当于一个车头带了好多车厢,即一个控制器带了好多个jbod磁盘扩展柜。双控模式下,相当于两个车头带了好多车厢,即两个控制器带了好多个jbod磁盘扩展柜。

    1.8K21发布于 2020-03-31
  • 来自专栏sql与spec性能

    megacli磁盘阵列

    查询JBOD工作模式 megacli -adpgetprop -enablejbod -aAll 设置直通模式 megacli -adpsetprop -enablejbod -1 -aAll 清除 raid信息 megacli -cfglddel -Lall -a0 设置RAID前需要先关闭直通JBOD模式,另外-pdlist -a0 查看硬盘的Firmstate状态正常为unconfigured

    2.9K40编辑于 2023-10-26
  • 来自专栏存储公众号:王知鱼

    NVMe接口优化:HDD存储的未来之路

    NVMe-HDD直连验证与JBOD扩展方案 介绍了NVMe-HDD直连验证的过程,包括UEFI固件和操作系统内核的验证。 讨论了JBOD扩展方案中的数据路径验证和硬件组件的安全性。 探索NVMe-HDD直连验证和JBOD扩展方案,理解其在确保存储系统安全性和扩展性中的重要性。 展品包括2U-3.5” NVMe-HDD POC JBOD以及相关的硬件架构。 扩展方案 图展示了JBOD NVMe-HDD拓扑结构的验证方式。 必须使用最简单的JBOD硬件组件来实现: 存储系统在验证过程中管理设备访问,以实现隔离。

    1K10编辑于 2025-02-26
  • 来自专栏云头条

    使用一对32核AMD EPYC CPU、1TB内存和510TB磁盘,将圆周率π计算到62.8万亿位:打破了世界纪录

    一套JBOD装有38个转速7200RPM 的硬盘,每个硬盘的容量为 16TB。 其中34个磁盘用于存储从内存交换而来的值——之所以选择这种设计,是由于内存非常昂贵。 眼尖的读者会注意到JBOD有38个磁盘——另外4个磁盘用于存储圆周率π值本身! 存储在这些磁盘上的最后十位数是7817924264,它们现在是圆周率π的已知最后几位数。

    73910编辑于 2022-03-18
  • 来自专栏潇洒哥写字

    ClickHouse多盘存储配置

    现在我们尝试将sdc和sdd两块磁盘连接到一个卷中,我们将以下存储策略添加到storage.xml文件中: <sdc_sdd_jbod> > <! -- name for new storage policy --> <volumes> <sdc_sdd_jbod_volume> <! sequence --> <disk>sdc</disk> <disk>sdd</disk> </sdc_sdd_jbod_volume > </volumes> </sdc_sdd_jbod> 我们重新启动ClickHouse并检查system.storage_policies中的存储策略。 让我们用新的策略来测试一下: CREATE TABLE sample3 (id UInt64) Engine=MergeTree ORDER BY id SETTINGS storage_policy = 'sdc_sdd_jbod

    10.5K61发布于 2020-06-22
  • 来自专栏大数据杂货铺

    CDP中Kafka配置

    JBOD JBOD是指一种系统配置,其中磁盘是独立使用的,而不是将它们组织到冗余阵列(RAID)中。即使单个磁盘不可靠,使用RAID通常也会导致更可靠的硬盘配置。 在许多环境中,出于以下原因,首选JBOD配置: 降低存储成本:建议使用RAID-10来防止磁盘故障。但是,扩展RAID-10配置可能会变得非常昂贵。 另一方面,使用JBOD时,由于在没有控制器的情况下跨磁盘进行了隔离写入,因此提高了IO性能。 ? 设置Kafka的用户限制 了解有关Kafka用户的限制以及如何监控它们。

    1.2K20发布于 2020-12-08
  • 来自专栏又见苍岚

    RAID磁盘阵列

    可以通过软件或者硬件来实现,将多个较小的磁盘整合成一个具有容错功能的较大的磁盘,具体RAID等级根据使用需求来选择,有以下几种: 标准RAID:RAID 0、RAID 1、RAID 5、RAID 6 混合RAID:JBOD 同一磁盘阵列中的多个磁盘驱动器上的相同“位置”(或者说是相同编号)的条带 分条宽度:指在一个分条中数据成员盘的个数(上图分条宽度为3) 分条深度:指一个条带的容量大小(根据硬盘大小而定) RAID 方式 JBOD JBOD,Just a Bunch Of Disk,一堆硬盘。 在分类上,JBOD不是标准的RAID等级,只是将多个硬盘空间合并成一个大的逻辑硬盘,没有错误冗余机制。 RAID 0 RAID 0:等量模式,stripe,效率最高。

    1.4K11编辑于 2024-09-27
  • 来自专栏Hadoop实操

    HDFS部署最佳实践

    3.ZK可以部署在专门的JN或NN主机上,但它必须配置单独的磁盘 - JBOD(请参阅下面的磁盘要求)。 在任何情况下,如果JN,NN和ZK运行在同一台主机: 1.JN,NN和ZK这三个管理角色必须配置专门的JBOD磁盘。 3.2.DataNodes ---- 1.磁盘使用non-RAID/JBOD (pass-through)模式 2.不要使用RAID/LVM/ZFS将多块磁盘合并到一个卷 3.将多个磁盘合并到一个卷会导致 3.4.JournalNodes ---- dfs.journalnode.edits.dir(默认是/dfs/jn)必须挂载到一块专门的JBOD磁盘,并且不能与其他任何角色或者操作系统共享。 3.5.Zookeepers ---- dataDir(默认是/var/lib/zookeeper)和dataLogDir(默认是 /var/lib/zookeeper)可以挂载到一块相同的JBOD磁盘

    3.4K40发布于 2018-07-12
  • 来自专栏网络基础

    DAS Over FC 技术允许 ATTO 分解存储并完成 vSAN 认证套件

    除了用于引导的 SD 卡和用于日志记录的单个 SAS SSD 之外,不存在任何内部存储,并且所有存储都放置在外部 SAS JBOD中。使该测试具有开创性的是存储配置:传输协议是光纤通道 (FC)。 此列表包括用于主机的 Dell、AIC、HP 和 Dell (SAS JBOD)、Lenovo 和 Toshiba(磁盘)以及 VMware。

    1.3K20编辑于 2022-12-13
  • 来自专栏友弟技术工作室

    RAID及mdadm命令

    但是RAID 0既没有冗余功能,也不具备容错能力,如果一个磁盘(物理)损坏,所有数据都会丢失,危险程度与JBOD相当。 JBOD( Just a Bunch Of Disks)在分类上,JBOD并不是RAID的档次。 由于并没有规范,市场上有两类主流的做法 使用单独的链接端口如SATA、USB或1394同时控制多个各别独立的硬盘,使用这种模式通常是较高级的设备,还具备有RAID的功能,不需要依靠JBOD达到合并逻辑扇区的目的 但在部分的JBOD数据恢复实践中,可以恢复未损毁之硬盘上的数据。同时,因为每次读写操作只作用于单一硬盘,JBOD的传输速率与I/O表现均与单颗硬盘无异。 jbod:多个小的磁盘组合成一个大的磁盘。

    2.7K91发布于 2018-04-25
  • 来自专栏网络技术联盟站

    2分钟时间快速了解存储的基础知识

    SCSI/ATA FC/iSCSI RAID/JBOD DAS/NAS/SAN ? SCSI/ATA是存储系统中最基本的技术,其中SCSI是最重要的. 在存储设备上,使用的SCSI/ATA/FC的硬盘,做成RAID或者JBOD,通过DAS、NAS、SAN的形式,中间使用SCSI、FC或者TCP/IP技术连接主机。

    1.2K20发布于 2020-05-26
  • 来自专栏程序员同行者

    raid详解

    基本RAID分类 JBODJBOD, Just a Bunch Of Disks)在某些分类上,JBOD并不算是RAID的等级。只是将多个硬盘空间合并成一个大的逻辑硬盘,没有错误备援机制。 但是RAID 0没有冗余功能,如果一个磁盘(物理)损坏,则所有的数据都会丢失,危险程度与JBOD相当。

    1.4K20发布于 2018-06-22
领券