- 综合排序
- 最热优先
- 最新优先
- 来自专栏用户9199536的专栏
C|文件系统|FFS:Fast File System
新文件系统讨论了对于长期需求的编程接口的改进，包括： 文件的咨询锁机制（advisory lock） 跨文件系统名称空间拓展（name space across file system） 长文件名使用 在这里我们假设，inode中直接存储了file的前八个block，更多的block通过引用间接访问，类似于页表的分级索引，512-byte的文件系统中每级都会指向128个下一级block。 （感觉和他说的旧版本没啥区别，都是得重排） File System Parameterization 对于没有IOchannel的处理器，中断机制导致几次磁盘访问必须存在一定间隔。 Layout Policies global policy use file system wide summary information to make decisions regarding the 全局策略会指定一个block，当全局策略不成功时，局部策略生效， 1.下一个旋转最近的block 2.如果没有的话，同group的block 3.满了的话，把当前的group number 进行hash
76220发布于 2021-11-22 - 来自专栏Miigon's Blog
笔记 Lab9: File System | 文件系统
这是我自学 MIT6.S081 操作系统课程的 lab 代码笔记第九篇：File System。此 lab 大致耗时：4小时。 Lab 9: File Systems 为 xv6 的文件系统添加大文件以及符号链接支持。该 lab 难度较低。 system uint size; // Size of file (bytes) uint addrs[NDIRECT+1]; // Data block addresses 这里祭出上学校 OS 课的时候的笔记图： 本 lab 比较简单，主要前置是需要对文件系统的理解，确保充分理解 xv6 book 中的 file system 相关部分。 system uint size; // Size of file (bytes) uint addrs[NDIRECT+2]; // Data block addresses
1.3K10编辑于 2022-10-27 - 来自专栏操作系统
操作系统中的文件系统(File System)
我们每天都使用计算机操作文件，对文件进行创建、修改等操作，而文件系统是操作系统中非常重要的一个板块，文件系统(File System)在操作系统中有很多值得探究的点，例如它是如何提高用户读写文件的效率的 ，如何在我们关机电脑后，重新启动将文件内容重新恢复，如果有多个进程同时对一个文件进行内容的修改操作，那么如何保证每个进程的读写文件操作会互不干扰，笔者在后续都会对这些内容进行探讨，本文旨在从底层介绍文件系统的大致组成与一般的读写流程文件系统介绍所有的操作系统基本都会将文件系统分为硬盘空间与内存空间两部分 ，因此disk（磁盘）中，各个内存区域的文件也存储在各自的位置上，下面为disk中的文件分区：下面对每个分区进行介绍：boot：存放操作系统启动时的必需指令，不可修改super block：存放文件系统模块的一些元信息 后才可以进行而这里有一个值得思考的点就是acquiresleep(&b->lock)操作，这个指令的主要作用是让缓冲区进入睡眠锁状态，睡眠锁状态下的缓存区域会让出CPU来提高系统执行的整体效率以上就是关于文件系统 (File System)的总体介绍以及流程讲解了，关于操作系统讨论的话题有很多，以xv6操作系统举例，它的缓冲区共用一把锁，导致每次对缓冲区进行文件操作时都要获取锁才可以执行，效率缓慢，如何提高缓冲区的文件执行效率
94210编辑于 2024-10-30 - 来自专栏格物致知
CIFS：通用 Internet 文件系统 （Common Internet File System）
CIFS：通用 Internet 文件系统 （Common Internet File System） 通用网际文件系统（CIFS）是微软服务器消息块协议（SMB）的增强版本，是计算机用户在企业内部网和因特网上共享文件的标准方法 全局文件名：用户不必挂载远程文件系统也能直接查阅到全局有效名称，而不是只有本地意义的那些名称。 协议结构 CIFS 和 SMB 定义了许多客户端和服务器端的命令和消息。
1.3K20编辑于 2022-08-19 - 来自专栏MYSQL轻松学
分布式文件系统—Google File System介绍
分布式文件系统将数据存储在物理上分散的多个存储节点上，对这些节点的资源进行统一的管理与分配，并向用户提供文件系统访问接口，其主要解决了本地文件系统在文件大小、文件数量、打开文件数等的限制问题。 ，如ext3文件系统使用4k块时，文件最大能到4T，ext4则能支持更大的文件，只是受限于磁盘的存储空间）。 数据服务管理 集中管理数据服务器，监测数据服务器存活 当数据服务器不可用时，对一些副本数不足的文件（块）执行复制 当数据服务器负载过高，执行一些副本迁移计划 3. 状态维护 将自己的状态以心跳包的方式周期性的报告给主控服务器 心跳信息还包含当前负载情况，可以帮助主控服务器制定负载均衡策略 3. 缓存元数据信息，降低主控服务器负载 数据可根据业务特性缓存在本地内存或磁盘，也可缓存在远端的cache系统上 维护缓存需考虑如何解决一致性问题及缓存替换算法，使用得较多的替换算法如LRU、随机替换等 3.
2.4K40发布于 2019-11-12 嵌入式 ARM Linux 系统构成(3)：根文件系统（Root File System）
在嵌入式 ARM Linux 系统的构建中，根文件系统（Root File System，简称根文件系统）扮演着至关重要的角色。 一、根文件系统的原理与重要性 根文件系统是 Linux 系统中所有其他文件系统和目录的起源。在 Linux 中，所有文件、目录、设备和驱动都被组织为一个树型结构，根文件系统就是这个结构的根节点。 reboot, fsck /etc 系统配置文件 fstab, passwd, network/ /lib 动态链接库（如glibc、内核模块） libc.so, ld-linux-armhf.so.3 ⑥制作根文件系统镜像：使用专用工具（如 mke2fs）将文件夹形式的根文件系统制作成可供烧录的镜像文件。 四、根文件系统的测试 制作完成后，需要对根文件系统进行测试以确保其能够正常工作。 ⑤使用压缩文件系统：选择压缩文件系统（如 CRAMFS、SquashFS 等）来减少根文件系统的大小，同时提高读取速度。
35910编辑于 2026-01-21- 来自专栏月梦·剑心的技术专栏
The Google File System
今天看了The Google File System的论文，我们简称其为GFS。 GFS与之前的分布式文件系统有着许多共同的目标，比如性能、可扩展性、可靠性和可用性。 但是，Google在实践中提出了与早期分布式文件系统不同的设计。 首先，组件失效是常态而不是例外。 第四，共同设计应用程序和文件系统API可以增加我们的灵活性，从而使整个系统受益。例如，我们使用弱一致性模型，以简化文件系统。 未完待续…… 参考文献 [1] Adusumilli P .THE GOOGLE FILE SYSTEM[J].[2023-08-30]. [2] Hades. 【译文】The Google File System 经典的分布式文件存储系统[EB/OL]. [2023-08-31]. https://zhuanlan.zhihu.com/p/522459187.
60430编辑于 2023-09-01 - 来自专栏月梦·剑心的技术专栏
The Google File System
今天看了The Google File System的论文，我们简称其为GFS。 GFS与之前的分布式文件系统有着许多共同的目标，比如性能、可扩展性、可靠性和可用性。 但是，Google在实践中提出了与早期分布式文件系统不同的设计。 首先，组件失效是常态而不是例外。 第四，共同设计应用程序和文件系统API可以增加我们的灵活性，从而使整个系统受益。例如，我们使用弱一致性模型，以简化文件系统。 未完待续… 参考文献 [1] Adusumilli P .THE GOOGLE FILE SYSTEM[J].[2023-08-30]. [2] Hades. 【译文】The Google File System 经典的分布式文件存储系统[EB/OL]. [2023-08-31]. https://zhuanlan.zhihu.com/p/522459187.
58940编辑于 2023-11-18 - 来自专栏开源心路
The Google File System
而这篇 GFS 的论文一发表，一下子就拿出了一个运作在 1000 台服务器以上的分布式文件系统。并且这个文件系统，还会面临外部数百个并发访问的客户端，可以称得上是石破天惊。
33410编辑于 2023-06-30 chattr lsattr linux file system attributes - linux 文件系统文件属性
我们使用 linux 文件系统定义的文件属性，能够对linux文件系统进行进一步保护；从而给文件 赋予一些额外的限制；在有些情况下，能够对我们的系统提供保护； 该命令特定用于 linux extended filesystem (ext2, ext3, ext4)，是e2fsprogs 工具的一部分；而e2fsprogs 工具包，包含了创建，检查和维护ext2/3/4-based 文件系统的工具。 这项指令可改变存放在ext2文件系统上的文件或目录属性，这些属性共有以下8种模式：详细作用，可以查看man手册；注意该属性不是linux文件系统扩展属性。 lsattr - list file attributes on a Linux second extended file system 比如你可以给 /etc/passwd 文件进行修改，这样就是连root ，请参考：Linux 文件系统扩展属性
1.8K10发布于 2020-12-30- 来自专栏Juicedata
文件系统考古：1974-Unix V7 File System
Bach 的经典著作 The Design of the Unix Operating System，并查看 Research V7 Snapshot 这个分支的代码库。 Kernels 在 Unix 中，我们通过配置头文件（header file）来处理系统资源。如下图所示，这里显示了头文件中配置的默认值，数据结构是数组，所示值是相应的数组大小。 它有一个文件系统缓冲区缓存（file system buffer cache），使用 NBUF（29）个磁盘块，每个磁盘块的大小是 512 字节，用来暂时存储磁盘上的数据块和 inode，从而加速文件系统访问 bmap() Addr 数组包含 40 个字节，但它存储了 13 个磁盘块地址，每个地址使用 3 个字节。 这种扩展性取决于块大小（早期为 512 字节，现在为 4096 字节）和块号的字节大小（最初为 3 字节，后来为 4 字节甚至 8 字节）。
66930编辑于 2023-05-27 - 来自专栏分布式系统进阶
重读 Google File System
前言 本着常读常新的原则，最近又一次阅读了Google三架马车之一的《Google File System》。它里面的一些设计思想，实现原则以及取舍，时至今日仍很有参考价值。 注：下文中我们将Google File System简称为GFS。 GFS特点 Google File System在考虑通用分布式文件系统设计的同时，也更多地从自身业务需求出发，提出了一些新的设计理念和新的系统特点： 将机器宕机，重启，挂掉视为常态。 由于对于客户端来说，它们访问分布式文件系统和分布本地文件系统最好是没有任何的差别和感知，因此这种目录树式的管理方式应该是最自然的。 目录树的每个层次可以设置自己的属性，比如chunk复本数等。 后记 关于《Google File System》的重读，我们就先到这里。论文里包含得比这里介绍得要丰富详实得多，这里算作是抛砖引玉吧。
1.2K30发布于 2021-02-02 - 来自专栏巡天遥看一千河
linux_file_system
主要思路 写自己的总结之前在网上找了一些别人的总结，很多人很喜欢从宏观着手，上来就介绍 VFS,讲文件系统的分层然后具体到 ext2/ext3/ext4 文件系统，讲这部分文件系统是如何结构化磁盘的以方便文件的管理 代码在这里: linux-0.11 系统调用 以前写过一篇系统调用的: http://www.oneyearago.me/2018/05/08/apue-again-system-call-and-std f=0+file_table; for (i=0 ; i<NR_FILE ; i++,f++) if (! struct file * filp[NR_OPEN]; 打开，把这个fd 传给用户空间，那么，这个file 结构又是如何组织的呢？ ext4文件系统，用inode组织磁盘，像ntfs文件系统是不用inode这种形式的，为了支持多个文件系统，Linux实现了 虚拟文件系统 VFS 计算机中出现的问题，绝大多数都能通过添加中间层的方式实现
2.3K10发布于 2020-11-04 - 来自专栏北京马哥教育
Linux文件系统只读Read-only file system的快速解决方法
上周公司的私有云（底层架构是Openstack+KVM，目前稳定性还不够好，开发团队在改进中）一个计算节点挂掉，之后恢复后发现这个计算节点的所有Linux虚拟机系统都变成只读了，复制文件提示：Read-only file system，如图所示： ? 解决方法：使用fsck手动修复，具体操作如下： 重启系统后使用root进入单用户模式，运行 fsck.ext3 -y /dev/vda3 说明：ext3的文件系统使用fsck.ext3，ext4文件系统使用 最好是根据不同的文件系统来调用不同的扫描工具，比如ext3的文件系统使用fsck.ext3，ext4文件系统使用fsck.ext4等。 /dev/vda3是ext3的文件系统，这里介绍fsck.ext3的参数： fsck.ext3 [语法] fsck.ext3[必要参数][选择参数][设备代号] [功能] fsck.ext3命令：针对ext3
12K100发布于 2018-05-02 - 来自专栏小狼的世界
Google File System 阅读笔记
3、Master的复制以及Shadown，确保故障时文件的可读 数据一致性，一致性的信息存储在内存中，读取文件时进行验证
53520发布于 2018-07-25 - 来自专栏编程我也会
The Google File System（GFS）学习笔记
《The Google File System》这篇2003年发表的论文，虽然时间比较久了，但是它依然是大数据领域中的经典论文。 这篇论文的核心是解决分布式环境下如何高效存储海量数据的问题。 既然GFS是叫做分布式文件系统，那么这个文件，其实就可以不存储在同一个服务器上的。 因此，在GFS里面，会把每一个文件按照64MB一块的大小，切分成一个个chunk。 也就是类似前面 /data/geektime/bigdata/gfs01 这样的路径和文件名； 2.这些文件被拆分成了哪几个chunk，也就是这个全路径文件名到多个chunk handle的映射关系； 3. 关于Metadata，论文原文如下： ★The master stores three major types of metadata: the file and chunknamespaces, the 3.客户端拿到chunk所在的chunkserver信息后，客户端就可以去任意一个chunkserver中读取自己需要的数据。
99010编辑于 2022-05-16 - 来自专栏Java技术
compusERRORC is a new distributed file web system
compusERRORC is a new distributed file web system-CoderOilStation(程序员编程助手科技股份责任有限公司)Biguiyuan group company ’s amtribution to build a software department for Bozhilin sub compusERRORC is a new distributed file web system. This tech is a standard tech to serve for excel file data transfer into server node database.Spring Batch framework is a distributed tech framework for big volumn data choose system.
16600编辑于 2025-07-22 - 来自专栏进击的程序猿
深入浅出Google File System
GFS是什么 GFS，顾名思义就是谷歌文件系统，和Big Table，Map Reduce并称谷歌三驾马车。 图片 最底层是文件系统，在之上是将数据模型抽象出来，便于很好的使用，这就是bigTable，在之上是算法， 算法除了访问数据模型外，还能够直接访问文件系统，最上面就是各类应用了 gfs从哪里来 源头是如何保存一个文件 图片 保存文件需要两部分： metadata：包括文件信息和索引 file content：具体的文件内容 进一步如何保存大文件 ? 图片 当发现副本数小于3个，会启动修复进程进行修复，修复的优先级 怎么应对热点 ? 如果引入出错处理机制，会引入更多的问题，往往解决一个问题会带来更多的问题，因此系统在设计过程中，尽可能只提供最简单的功能，由客户端来负责重试 参考 深入浅出Google File System：视频
1K40发布于 2018-08-23 - 来自专栏算法修养
Code Forces 20A BerOS file system
BerOS file system time limit per test 2 seconds memory limit per test 64 megabytes input standard input output standard output The new operating system BerOS has a nice feature.
71850发布于 2018-04-26 - 来自专栏学习与分享
【Linux】文件服务NFS（Network File System）
Network File System（NFS）是一种用于在网络上共享文件系统的分布式文件系统协议，最初由Sun Microsystems开发。 版本： 关于NFS（Network File System），有几个重要的版本，每个版本都引入了新的功能和改进： NFSv2（Network File System Version 2）: NFSv2 NFSv3（Network File System Version 3）: NFSv3是NFS协议的下一个主要版本，于1995年发布。 NFSv3引入了许多改进，包括更强大的文件操作、支持32位文件句柄、更大的文件和文件名支持以及性能优化。 NFSv4（Network File System Version 4）: NFSv4是NFS协议的较新版本，最初于2000年发布，经过几次修订，最新版本是NFSv4.2。
1.4K10编辑于 2024-02-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号