- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据&分布式
SSM(HDFS智能存储管理) 系统剖析
背景介绍 Smart Storage Management (SSM) 项目是Intel开源的HDFS存储管理系统，致力于提供HDFS数据的智能管理方案。 数据采集，例如，访问请求次数、数据温度、数据权限、系统存储信息、用户预定义规则、计算效率等； Learn：基于启发式算法分析采集的数据，生成待执行的优化任务 Perform：执行HDFS数据智能管理，例如 总结 HDFS存储管理系统，对于公司内部的数据平台影响价值可能较小，相比于繁杂的系统搭建维护成本，可以选择更直接的人工运维操作来管理存储系统。 而对于商业化数据平台，完善的存储管理系统则具备很高的附加值，大数据平台可以封装了整套存储管理能力，让客户开箱即用，减少客户的运维投入。 SSM系统是少有的HDFS存储管理开源系统，主要以线程模式进行轻量化的运维任务调度，目前该项目已停止维护。
78922编辑于 2024-05-05 - 来自专栏公有云大数据平台弹性 MapReduce
HDFS 异构存储
需求 Hadoop 从 2.4 后开始支持异构存储，异构存储是为了解决爆炸式的存储容量增长以及计算能力增长所带来的数据存储需求，一份数据热数据在经历计算产生出新的数据，那么原始数据有可能变为冷数据，随着数据不断增长差异化存储变的非常迫切 ，需要经常被计算或者读取的热数据为了保证性能需要存储在高速存储设备上，当一些数据变为冷数据后不经常会用到的数据会变为归档数据，可以使用大容量性能要差一些的存储设备来存储来减少存储成本，HDFS 可以按照一定的规则来存储这些数据 ，具体架构如下： 存储类型&存储策略 存储类型 RAM_DISK 内存镜像文件系统 SSD SSD 盘 DSIK 普通磁盘 ARCHIVE 归档 存储策略 策略 ID 策略名称 块分布 creationFallbacks 节点信息 DataNode 存储介质 初始空间 HDFS 设置介质类型 100.67.57.220 SSD 100G DISK 100.67.57.221 SSD 100G DISK 100.67.57.222 ，默认的存储类型没有设置即为 DISK 类型（实际盘是 SSD）,24 和 71 节点为新扩节点实际磁盘为机械盘在 hdfs 里设置的存储类型为 ARCHIVE 初始文件信息 bin/hadoop fs
4.5K21发布于 2017-07-28 - 来自专栏暴走大数据
HDFS异构存储简介
.换句话说,HDFS的异构存储特性的出现使得我们不需要搭建2套独立的集群来存放冷热2类数据,在一套集群内就能完成.所以这个功能特性还是有非常大的实用意义的.本文就带大家了解HDFS的异构存储分为哪几种类型 ,存储策略如何,HDFS如何做到智能化的异构存储. HDFS中冷热数据文件目录的StorageType的设定将会显得非常的重要.那么如何让HDFS知道集群中哪些数据存储目录是具体哪种类型的存储介质呢,这里需要配置的主动声明,HDFS可没有做自动检测识别的功能 异构存储原理 ---- 了解完了异构存储的多种存储介质之后,我们有必要了解一下HDFS的异构存储的实现原理.在这里会结合部分HDFS源码进行阐述.概况性的总结为3小点: DataNode通过心跳汇报自身数据存储目录的 其中1个参数针对的HDFS上的文件目录,另1个是本地的文件. 总结 ---- HDFS异构存储功能的出现绝对是解决冷热数据存储问题的一把利器,希望通过本文能给大家带来全新的认识和了解.
2.6K40发布于 2020-08-04 - 来自专栏大数据-Hadoop、Spark
显示HDFS存储信息
显示文件数 hdfs dfs -count -q /spark2-history ? image.png 显示文件夹下文件总大小 -s -h hdfs dfs -du -s -h /spark2-history ? image.png 显示文件由那些块构成 hdfs fsck /spark2-history/application_1608084068201_452033_1 -files -blocks - ugi=hdfs&files=1&blocks=1&racks=1&path=%2Fspark2-history%2Fapplication_1608084068201_452033_1 FSCK started by hdfs (auth:KERBEROS_SSL) from /172.16.255.20 for path /spark2-history/application_1608084068201_452033
1.6K10发布于 2020-12-31 - 来自专栏PPV课数据科学社区
【技术】HDFS存储原理
根据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS存储机制与运行原理，非常适合Hadoop/HDFS初学者理解。 一、角色出演 如上图所示，HDFS存储相关角色与功能如下： Client：客户端，系统使用者，调用HDFS API操作文件；与NN交互获取文件元数据；与DN交互进行数据读写。 Namenode：元数据节点，是系统唯一的管理者。负责元数据的管理；与client交互进行提供元数据查询；分配数据存储节点等。 Datanode：数据存储节点，负责数据块的存储与冗余备份；执行数据块的读写操作等。 二、写入数据 1、发送写数据请求 HDFS中的存储单元是block。 文件通常被分成64或128M一块的数据块进行存储。与普通文件系统不同的是，在HDFS中，如果一个文件大小小于一个数据块的大小，它是不需要占用整个数据块的存储空间的。
1.9K50发布于 2018-04-25 - 来自专栏大数据-BigData
hdfs配额管理
创建测试目录 hdfs dfs -mkdir /data/user_testCopy 设置创建的目录的名称配额 hdfs dfsadmin setQuota 2 /data/user_testCopy 查看目录配额信息 hdfs dfs -count -q /data/user_testCopy 得到结果： 2 1 none 表示可用文件数 （3） 表示空间限额大小（字节） （4） 表示可用空间大小（字节） （5） 表示目录数 （6） 表示文件数 （7） 表示总大小 （8） 表示文件、目录名 设置创建的目录的空间配额 hdfs dfsadmin -setSpaceQuota 1t /data/user_testCopy 查看空间配额信息 hdfs dfs -count -q /data/user_test 2
59220编辑于 2022-01-19 - 来自专栏大数据与微服务架构
大数据存储HDFS详解
五、HDFS基本架构：NameNode、DataNode、Client HDFS关键技术：容错性设计、副本放置策略、异构存储介质（ARCHIVE：高存储密度但耗电较少的存储介质，DISK：磁盘介质，这是 HDFS默认存储介质，SSD：固态硬盘，RAM_DISK：数据被写入内存中，同时会往改存储介质中异步一份）、集中式缓存管理（HDFS允许用户将一部分目录或文件缓存在off-heap内存中） 六、HDFS 访问方式： 1、HDFS shell命名：分为用户命令和管理员命令 用户命令：常用的有文件操作命令dfs（eg：创建、上传、删掉文件）、文件一致性检查命令fsck（eg：查看文件块信息）、分布式文件复制命令 管理命令：对服务生命周期管理，eg：启动、关闭NameNode/DataNode、限制目录使用空间大小。 LZO、Snappy等主流压缩编码） 4、计算引擎方式：SQL方式，Hive、Impala及Presto等查询引擎均允许用户直接使用SQL访问HDFS中的存储文件。
2.2K20发布于 2020-04-11 - 来自专栏最新最全的大数据技术体系
HDFS存储类型和存储策略(五)概述
文章目录 前言 历史文章 HDFS存储类型和存储策略 介绍 存储类型和存储策略 多种多样的存储类型 速率对比 存储类型 存储策略介绍 HDFS中的存储策略 存储策略方案 配置 后记 前言 在冷区域中加入更多的节点可以使存储与集群中的计算容量无关 l 异构存储和归档存储提供的框架将HDFS体系结构概括为包括其他类型的存储介质，包括：SSD和内存。 以下是一个实际对比图： 存储类型 之前在hdfs-site.xml中配置，是将数据保存在Linux中的本地磁盘。 在HDFS中，可以给不同的存储介质分配不同的存储类型： l DISK：默认的存储类型，磁盘存储 l ARCHIVE：具有存储密度高(PB级)，但计算能力小的特点，可用于支持档案存储。 HDFS中的存储策略 HDFS存储策略由以下字段组成： 策略ID（Policy ID） 策略名称（Policy Name） 块放置的存储类型列表（Block Placement） 用于创建文件的后备存储类型列表
1.9K10编辑于 2021-12-06 - 来自专栏岑玉海
nfs挂载hdfs，实现云存储
本来不知道nfs是啥，因为群里的Harry童鞋有个问题，如何把本地目录挂载到hdfs上，搞什么云存储，说那么巧就是那么巧，HDP支持nfs，然后我就照着文档的说明去做，最后弄出来了。 1.修改机器上的hdfs-default.xml vi /share/lib/hadoop/conf/hdfs-default.xml 如果没有hdfs-default就找hdfs-site.xml 这里就不修改了 <property> <name>dfs.datanode.max.xcievers</name> <value>1024</value> </property> 3.设置nf3的临时存储目录 <property> <name>dfs.nfs3.dump.dir</name> <value>/tmp/.hdfs-nfs</value> </property> 4.nfs本身也有 home/cenyuhai/nfs 然后我们可以看到nfs下面出现了这些目录，它们就是我在hdfs上面的目录。
4K40发布于 2018-02-28 - 来自专栏开源部署
Hadoop中HDFS的存储机制
本文参考：Hadoop集群（第8期）_HDFS初探之旅 http://www.linuxidc.com/Linux/2012-12/76704p8.htm 相关文章：再理解HDFS的存储机制 http HDFS中的基础概念 Block：HDFS中的存储单元是每个数据块block，HDFS默认的最基本的存储单位是64M的数据块。 和普通的文件系统相同的是，HDFS中的文件也是被分成64M一块的数据块存储的。不同的是，在HDFS中，如果一个文件大小小于一个数据块的大小，它是不需要占用整个数据块的存储空间的。 我们已经知道NameNode管理着文件系统的元数据，DataNode存储的是实际的数据，那么client就会联系NameNode以获取文件的元数据，而真正的文件读取操作是直接和DataNode进行交互的 附带个Alibaba DFS的设计，也是多Master设计，它把Metadata的映射存储和管理分开了，由多个Metadata存储节点和一个查询Master节点组成。
1.6K20编辑于 2022-07-03 - 来自专栏开源部署
再理解HDFS的存储机制
再理解HDFS的存储机制 前文：Hadoop中HDFS的存储机制 http://www.linuxidc.com/Linux/2014-12/110512.htm 1. HDFS开创性地设计出一套文件存储方式，即对文件分割后分别存放； 2. HDFS将要存储的大文件进行分割，分割后存放在既定的存储块（Block）中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求； 3. NameNode是集群的主服务器，主要是用于对HDFS中所有的文件及内容数据进行维护，并不断读取记录集群中DataNode主机情况与工作状态，并通过读取与写入镜像日志文件的方式进行存储； 5. Block是HDFS的基本存储单元，默认大小是64M； 8. HDFS还可以对已经存储的Block进行多副本备份，将每个Block至少复制到3个相互独立的硬件上，这样可以快速恢复损坏的数据； 9.
82120编辑于 2022-07-03 - 来自专栏桥路_大数据
【HDFS】系统架构与存储机制
系统架构与存储机制 HDFS系统架构 HDFS是主从架构（Master/Slave），当然这也是大数据产品最常见的架构。主节点为NameNode，从节点为DataNode。 其中DataNode用于存储数据，存储的数据会被拆分成Block块（默认按照128M进行切分），然后均匀的存放到各个DataNode节点中，为了保证数据安全性，这些Block块会进行多副本的存储，备份到不同的节点 而NameNode则负责管理整个集群，并且存储数据的元数据信息（记录数据被拆分为哪几块，分别存储到了哪个DataNode中）。 DataNode会通过心跳机制，与NameNode进行通信（默认3秒），汇报健康状况和存储的Block数据信息，如果NameNode超过一定时间没有收到DataNode发送的心跳信息，则认为DataNode HDFS Client是客户端，客户端通过与NameNode进行交互，从而实现文件的读写等操作。
53010发布于 2021-09-10 - 来自专栏用户5909132的专栏
使用 HDFS 协议访问对象存储服务
腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。 （一）什么是元数据加速器？ 元数据加速功能底层采用了云 HDFS 卓越的元数据管理功能，支持用户通过文件系统语义访问对象存储服务，系统设计指标可以达到2.4Gb/s带宽、10万级 QPS 以及 ms 级延迟。 （二）使用 HDFS 协议访问的优势是什么？ 以往基于对象存储 COS 的大数据访问主要采用 Hadoop-COS 工具来访问。 当您使用 HDFS 协议访问时，推荐通过配置 HDFS 权限授权指定 VPC 内机器访问 COS 存储桶，以便获取和原生 HDFS 一致的权限体验。 ，明确文件和目录是否一致，例如： 通过 HDFS 协议访问 COS 大数据场景下，您可以参考如下步骤以 HDFS 协议访问开启元数据加速能力的存储桶： 1、在 core-stie.xml 中配置 HDFS
2K10编辑于 2022-05-07 项目经验之HDFS存储多目录
1）生产环境服务器存在多磁盘情况 2）在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题。 HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://${hadoop.tmp.dir}/dfs/data，若服务器有多个磁盘，必须对该参数进行修改
14510编辑于 2025-12-23- 来自专栏大数据成长之路
hdfs快照snapShot管理(13)
快照使用基本语法 1、开启指定目录的快照功能 hdfs dfsadmin -allowSnapshot 路径 2.禁用指定目录的快照功能（默认就是禁用状态） hdfs dfsadmin -disallowSnapshot 路径 3.给某个路径创建快照snapshot hdfs dfs -createSnapshot 路径 4.指定快照名称进行创建快照snapshot hdfs dfs -createSanpshot 路径 名称 5.给快照重新命名 hdfs dfs -renameSnapshot 路径 旧名称 新名称 6.列出当前用户所有可快照目录 hdfs lsSnapshottableDir 7.比较两个快照的目录不同之处 4、重命名快照 hdfs dfs -renameSnapshot /user mysnap1 mysnap2 5、列出当前用户所有可以快照的目录 hdfs lsSnapshottableDir 6、比较两个快照不同之处 hdfs dfs -createSnapshot /user snap1 hdfs dfs -createSnapshot /user snap2 hdfs snapshotDiff
1.2K10发布于 2021-01-21 - 来自专栏腾讯云存储
使用 HDFS 协议访问对象存储服务
腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。 （一）什么是元数据加速器？ 元数据加速功能底层采用了云 HDFS 卓越的元数据管理功能，支持用户通过文件系统语义访问对象存储服务，系统设计指标可以达到2.4Gb/s带宽、10万级 QPS 以及 ms 级延迟。 如果是第一次创建元数据加速存储桶，则需要按照提示进行相应的授权操作，点击授权完成后，将自动开启 HDFS 协议，并且看到默认的 Bucket 挂载点信息，如下图所示： 说明：如果提示未找到对应的 HDFS 当您使用 HDFS 协议访问时，推荐通过配置 HDFS 权限授权指定 VPC 内机器访问 COS 存储桶，以便获取和原生 HDFS 一致的权限体验。 COS 大数据场景下，您可以参考如下步骤以 HDFS 协议访问开启元数据加速能力的存储桶： 1、在 core-stie.xml 中配置 HDFS 协议相关挂载点信息，如准备工作中所示； 2、Hive
3.5K81编辑于 2022-05-06 - 来自专栏Michael阿明学习之路
HDFS依然是存储的王者
HDFS 架构 DataNode 负责数据的存储、读写，HDFS 将文件分割成若干数据块（Block），每个 DataNode 存储一部分数据块，文件就分布存储在整个 HDFS 服务器集群中 NameNode 负责分布式文件系统的元数据（MetaData） 管理，也就是文件路径名、数据块的 ID 以及存储位置等信息，相当于操作系统中文件分配表（FAT）的角色 2. HDFS 的高可用设计 数据存储故障容错 对 DataNode 上的数据块，计算并存储校验和（CheckSum）。 读取时，重新计算读出数据的校验和，如果校验抛出异常，程序捕获异常后就到其他 DataNode 上读取备份数据 磁盘故障容错 DataNode 监测到本机某块磁盘损坏，将该块磁盘上存储的所有 BlockID 的核心，记录着 HDFS 文件分配表信息， NameNode 故障，整个 HDFS 系统集群都无法使用 常用的保证系统可用性的策略： 冗余备份：数据备份，请求分发发哦任何一个数据中心
34530发布于 2021-09-06 - 来自专栏无题~
解决HDFS上小文件的存储
1.从源头上解决，在上传到HDFS之前，就将多个小文件归档 使用tar命令 带上参数-zcvf 示例： tar -zcvf xxx.tar.gz 小文件列表 2.如果小文件已经上传到HDFS了， hadoop archive命令 示例： hadoop archive -archiveName xxx.har -p /文件目录 小文件列表 /存放目录 在线归档的功能实际是一个MR程序，这个程序将HDFS
1.2K20发布于 2020-07-14 - 来自专栏陈猿解码
HDFS——DN的存储数据结构
文本就来介绍dn存储实现的相关内容。 【数据结构】 在讲解内部实现前，我们再回顾下dn持久化文件几个重要的点： dn可以配置多个目录进行数据块的存储 每个这样的目录中，都会有一个或多个BP目录（BlockPool，后面均简称为BP） 每个
93730编辑于 2023-02-28 - 来自专栏桥路_大数据
【HDFS】管理与运维
管理与运维 可视化界面 通过50070端口，可以访问HDFS Web UI：http://activeNameNodeHost:50070，需将activeNameNodeHost自行替换为主节点IP，
3.5K20发布于 2021-09-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号