上班族

 找回密码
 立即注册
查看: 362|回复: 0

inode和block的理解

[复制链接]

562

主题

720

帖子

2388

积分

金牌会员

Rank: 6Rank: 6

积分
2388
发表于 2021-7-14 10:34:50 | 显示全部楼层 |阅读模式
什么是inode和block?
所谓的inode就是索引节点(index node)的意思,在每一个存储设备被格式化创建文件系统后,所有的文件大致被分为了两部分,分别是inode和block。
其中inode用来存储文件属性信息,其中包括了文件大小,文件的归属者,文件的归属组,权限,类型,修改时间,以及指向文件实体数据(block)的指针。
block中存储的就是文件的实际数据,比如说,照片,视频,音频等等,但是有一点需要注意!就是inode当中不包含文件名!一个文件的文件名,存储在上级目录的block中!
其实inode和block之间的关系就像是一本书一样,inode是一本书的目录,一本书会有很多内容,一个知识点或者一个故事会占很多页,一个block就相当于书中的一页内容。
所以说一般情况下一个inode会对应一个或多个block。
inode总结:
磁盘分区后格式化为etx4文件系统后,产生一定数量的inode和block
inode存放文件属性信息以及指向文件实体的指针
ext3/ext4文件系统block存放文件的实际数据
inode表现形式为一串数字,不同文件对应的inode在os中是唯一的
ext3/ext4文件系统下,正常情况一个文件创建有且只能占用一个inode和至少占用一个block,大文件占用多个block,如果一个block未占完,剩余空间也无法使用

简单了解了inode和block后,下面说一个关于block与磁盘I/O性能的基础调优。
磁盘在读取数据的时候,是按照block为单位来读取的。
其实block的大小与业务与磁盘的I/O性能有着密不可分的关系。
block并非越大越好或者越小越好,还是要看业务,下面就举两个例子。
如果遇到这种单个文件特别小(小于一个block),而且这种小文件特别多,block设置的太大则对block是一种浪费!这是因为一个文件不管有多小,它都会占用一个inode和一整个block,假如说一个block的大小为4k,磁盘里有一个小文件是1k,那么这个小文件会把4k的一整个block全部占用,剩下的3k就白白浪费掉了。
如果单个文件很大的情况下,block设置的很小,就需要读取多个block,这对磁盘I/O是一种消耗(因为每读取一个block都会消耗磁盘I/O,磁盘每次读取都是以block为单位的)
如果单个文件很大,适当的加大block的大小则会提高磁盘的读取效率,减少了磁盘的I/O。
当block设置的太小,则会影响大文件的读取效率,如果block设置的太小,那么存储一个大文件就需要很多很多block,在读取数据的时候就需要到很多block中去读取内容,刚刚说过,磁盘每次读取内容都是以block为单位的,每读取一个block都会浪费一次磁盘I/O,所以,磁盘读取大文件的效率就回大大降低~
block 的大小一般有1k,2k,4k,除引导分区1k外,其他分区为4k。
block总结:
磁盘读取数据是按block为单位读取
一个文件可能占有多个block,每读取一个block就会消耗一次磁盘IO,想提升IO性能,尽可以一次读取尽量多。
一个block只能存放一个文件,也就是无论文件多小,这个block剩余空间浪费掉了,假如一个文件大小为4k,但是一个小文件1k,3k剩余空间被浪费了,磁盘IO是衡量磁盘性能重要指标。

性能
简单了解了inode和block后,下面说一个关于block与磁盘I/O性能的基础调优。
磁盘在读取数据的时候,是按照block为单位来读取的。
其实block的大小与业务与磁盘的I/O性能有着密不可分的关系。
block并非越大越好或者越小越好,还是要看业务,下面就举两个例子。
如果遇到这种单个文件特别小(小于一个block),而且这种小文件特别多,block设置的太大则对block是一种浪费!这是因为一个文件不管有多小,它都会占用一个inode和一整个block,假如说一个block的大小为4k,磁盘里有一个小文件是1k,那么这个小文件会把4k的一整个block全部占用,剩下的3k就白白浪费掉了。
如果单个文件很大的情况下,block设置的很小,就需要读取多个block,这对磁盘I/O是一种消耗(因为每读取一个block都会消耗磁盘I/O,磁盘每次读取都是以block为单位的)
如果单个文件很大,适当的加大block的大小则会提高磁盘的读取效率,减少了磁盘的I/O。
当block设置的太小,则会影响大文件的读取效率,如果block设置的太小,那么存储一个大文件就需要很多很多block,在读取数据的时候就需要到很多block中去读取内容,刚刚说过,磁盘每次读取内容都是以block为单位的,每读取一个block都会浪费一次磁盘I/O,所以,磁盘读取大文件的效率就回大大降低~
注意
一个文件的文件名,存放于上级目录的block中。
多个文件可以占用同一个inode(linux的硬链接就是这个原理)
但是一个block只能属于一个文件。

有多少个 inode 就能存多少个文件,无论文件有多大,而一个 inode 要 256 字节。
  
而 inode 数量是由格式化程序(这里就是 mkfs.ext4)根据自动算出来的。默认是 16K 一个 inode也就是说,就算你在这个分区全是 16K 小的文件,都有足够数量的 inode 使用。
  
但问题是,对于我这种拿来当仓库用的分区,不可能全是 16K 的文件,高清电影和光盘映像都是上 G 的东西了。上面说过,一个文件要 inode,就算这个分区都塞满了,肯定还有很多 inode 没被使用,明显是浪费掉了。
  
扯了这么多还是在个实际例子吧,就拿我这个 2T 新硬盘为例。格式化时会输出一些信息
  $ sudo mkfs.ext4 -n /dev/sdc1mke2fs 1.41.12 (17-May-2010)Filesystem label=OS type: LinuxBlock size=4096 (log=2)Fragment size=4096 (log=2)Stride=1 blocks, Stripe width=0 blocks122101760 inodes, 488378368 blocks24418918 blocks (5.00%) reserved for the super userFirst data block=0Maximum filesystem blocks=429496729614905 block groups32768 blocks per group, 32768 fragments per group8192 inodes per groupSuperblock backups stored on blocks:    32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,    4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,    102400000, 214990848  
看到有 122101760 个 inodes 吧,一个 inode 占256字节,那么换算成 M 单位是:(122101760 * 256) / (1024 ** 20 = 29810M,差不多 30G 啊!
  上面的命令-n 参数表示模拟运行,但不格式化,这样可以看不同的格式化参数会有什么效果。如果没有这个参数,那就真的格式化了。所以对有数据的分区测试时千万要记得加上-n 参数!下面我都带上这个参数。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|shangbanzu.xyz

GMT+8, 2025-5-8 03:18 , Processed in 0.056694 second(s), 21 queries .

Powered by Discuz! X3.4

© 2001-2013 Comsenz Inc.. 技术支持 by 巅峰设计

快速回复 返回顶部 返回列表