磁盘存储和文件系统管理

磁盘管理与文件系统

前言
磁盘是计算机主要的存储介质，可以存储大量的二进制数据，并且断电后也能保持数据不丢失，使用磁盘存储数据的时候我们可以将磁盘划分成我们所需要的格式来进行使用

1. 磁盘结构

1、硬盘的物理结构
盘片：硬盘有多个盘片，每个盘片有2面
磁头：每面有一个磁头

2.硬盘数据结构
扇区：磁盘上的每个磁道被等分为若干个弧段，这些弧段便是硬盘的扇区。硬盘的第一个扇区，叫做引导扇区 ，盘片被分为多个扇形区域，每个扇区存放512字节的数据，是硬盘最小的存储单元
磁道：当磁盘旋转时，磁头若保持在一个位置上，则每个磁头都会在磁盘表面划出一个圆形轨迹，这些圆形轨迹就叫做磁道
柱面：在有多个盘片构成的盘组中，由不同盘片的面，但处于同一半径圆的多个磁道组成的一个圆柱面

3、磁盘结构
硬盘存储容量 = 磁头数 x 磁道（柱面）数 x 每道扇区数 x 每扇区字节数（512字节）
可以用柱面/磁头/扇区来唯一定位磁盘上的每一个区域
磁盘的接口类型：IDE、SATA、SCSI、SAS、光纤通道
用 fdisk -l 查看分区信息

2. 管理存储

2.1 磁盘分区

2.1.1 为什么分区

• 优化I/O性能
• 实现磁盘空间配额限制
• 提高修复速度
• 隔离系统和程序
• 安装多个OS
• 采用不同文件系统

2.1.2 分区方式

两种分区方式：MBR，GPT

MBR分区

MBR：Master Boot Record，1982年，使用32位表示扇区数，分区不超过2T
划分分区的单位：
CentOS 5 之前按整柱面划分
CentOS 6 版本后可以按Sector划分
0磁道0扇区：512bytes
446bytes: boot loader 启动相关
64bytes：分区表，其中每16bytes标识一个分区
2bytes: 55AA，标识位
MBR分区中一块硬盘最多有4个主分区，也可以3主分区+1扩展(N个逻辑分区)
MBR分区：主和扩展分区对应的1--4，/dev/sda3，逻辑分区从5开始，/dev/sda5

问题：利用分区策略相同的另一台主机的分区表来还原和恢复当前主机破环的分区表？

GPT分区
GPT：GUID（Globals Unique Identifiers） partition table 支持128个分区，使用64位，支持8Z（
512Byte/block ）64Z （ 4096Byte/block）
使用128位UUID(Universally Unique Identifier) 表示磁盘和分区 GPT分区表自动备份在头和尾两份，
并有CRC校验位
UEFI (Unified Extensible Firmware Interface 统一可扩展固件接口)硬件支持GPT，使得操作系统可以
启动

GPT分区结构分为4个区域：

• GPT头
• 分区表
• GPT分区
• 备份区域

2.2 管理分区

列出块设备

lsblk

创建分区命令

fdisk 管理MBR分区
gdisk 管理GPT分区
parted 高级分区操作，可以是交互或非交互方式

重新设置内存中的内核分区表版本，适合于除了CentOS 6 以外的其它版本 5，7，8

partprobe

2.2.1 添加并检测新硬盘

1、添加新硬盘使用lsblk命令显示出块设备

root@ubuntu200404:~# lsblk
NAME                      MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0                       7:0    0 61.9M  1 loop /snap/core20/1328
loop1                       7:1    0 67.2M  1 loop /snap/lxd/21835
loop2                       7:2    0   62M  1 loop /snap/core20/1587
loop3                       7:3    0 43.6M  1 loop /snap/snapd/14978
loop4                       7:4    0   47M  1 loop /snap/snapd/16292
loop5                       7:5    0 67.8M  1 loop /snap/lxd/22753
sda                         8:0    0   20G  0 disk 
├─sda1                      8:1    0    1M  0 part 
├─sda2                      8:2    0  1.5G  0 part /boot
└─sda3                      8:3    0 18.5G  0 part 
  └─ubuntu--vg-ubuntu--lv 253:0    0   10G  0 lvm  /
sr0                        11:0    1  1.2G  0 rom 

发现并没有检测出来新添加的硬盘

2、检测新硬盘

方法1：可以重启电脑

方法2： 重新扫描存储设备的scsi总线

# host后面的数字不是固定的，以实际为准
root@ubuntu200404:~# echo '- - -' > /sys/class/scsi_host/host32/scan

再次使用lsblk命令查看发现已经多了sda的硬盘，说明成功了

root@ubuntu200404:~# lsblk
NAME                      MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0                       7:0    0 61.9M  1 loop /snap/core20/1328
loop1                       7:1    0 67.2M  1 loop /snap/lxd/21835
loop2                       7:2    0   62M  1 loop /snap/core20/1587
loop3                       7:3    0 43.6M  1 loop /snap/snapd/14978
loop4                       7:4    0   47M  1 loop /snap/snapd/16292
loop5                       7:5    0 67.8M  1 loop /snap/lxd/22753
sda                         8:0    0   20G  0 disk 
├─sda1                      8:1    0    1M  0 part 
├─sda2                      8:2    0  1.5G  0 part /boot
└─sda3                      8:3    0 18.5G  0 part 
  └─ubuntu--vg-ubuntu--lv 253:0    0   10G  0 lvm  /
sdb                         8:16   0   20G  0 disk # 新添加的硬盘 
sr0                        11:0    1  1.2G  0 rom

2.2.2 partend命令

注意：parted的操作都是实时生效的，小心使用

格式:

parted [选项]... [设备 [命令 [参数]...]...]

范例：

parted /dev/sdb mklabel gpt|msdos
parted /dev/sdb print
parted /dev/sdb mkpart primary 1 200 （默认M）
parted /dev/sdb rm 1
parted -l 列出所有硬盘分区信息

2.2.3 分区工具fdisk和gdisk

fdisk -l [-u] [device...] 查看分区
fdisk [device...] 管理MBR分区
gdisk [device...] 类fdisk 的GPT分区工具

# 范例：
fdisk /dev/sdb

子命令：

p 分区列表
t 更改分区类型
n 创建新分区
d 删除分区
v 校验分区
u 转换单位
w 保存并退出
q 不保存并退出

查看内核是否已经识别新的分区

cat /proc/partitions

CentOS 7,8 同步分区表:

partprobe

2.3 文件系统

2.3.1 文件系统概念

文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构；即在存储设备上组织文件的
方法。操作系统中负责管理和存储文件信息的软件结构称为文件管理系统，简称文件系统
从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进
行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的
存取，安全控制，日志，压缩，加密等
支持的文件系统：

/lib/modules/`uname -r`/kernel/fs

各种文件系统

帮助：man 5 fs

2.3.2 文件系统类型

Linux常用文件系统

• ext2：Extended file system 适用于那些分区容量不是太大，更新也不频繁的情况，例如 /boot 分
  区
• ext3：是 ext2 的改进版本，其支持日志功能，能够帮助系统从非正常关机导致的异常中恢复
• ext4：是 ext 文件系统的最新版。提供了很多新的特性，包括纳秒级时间戳、创建和使用巨型文件
  (16TB)、最大1EB的文件系统，以及速度的提升
• xfs：SGI，支持最大8EB的文件系统
• swap
• iso9660 光盘
• btrfs（Oracle）
• reiserfs

Windows 常用文件系统

• FAT32
• NTFS
• exFAT
• Unix：
• FFS（fast）
• UFS（unix）
• JFS2

网络文件系统：

• NFS
• CIFS

集群文件系统：

• GFS2
• OCFS2（oracle）

分布式文件系统：

• fastdfs
• ceph
• moosefs
• mogilefs
• glusterfs
• Lustre

RAW：

裸文件系统,未经处理或者未经格式化产生的文件系统
常用的文件系统特性：

FAT32

• 最多只能支持16TB的文件系统和4GB的文件

NTFS

• 最多只能支持16EB的文件系统和16EB的文件

EXT3

• 最多只能支持32TB的文件系统和2TB的文件，实际只能容纳2TB的文件系统和16GB的文件
• Ext3目前只支持32000个子目录
• Ext3文件系统使用32位空间记录块数量和 inode数量
• 当数据写入到Ext3文件系统中时，Ext3的数据块分配器每次只能分配一个4KB的块

EXT4：

• EXT4是Linux系统下的日志文件系统，是EXT3文件系统的后继版本
• Ext4的文件系统容量达到1EB，而支持单个文件则达到16TB
• 理论上支持无限数量的子目录
• Ext4文件系统使用64位空间记录块数量和 inode数量
• Ext4的多块分配器支持一次调用分配多个数据块
• 修复速度更快

XFS

• 根据所记录的日志在很短的时间内迅速恢复磁盘文件内容
• 用优化算法，日志记录对整体文件操作影响非常小
• 是一个全64-bit的文件系统，最大可以支持8EB的文件系统，而支持单个文件则达到8EB
• 能以接近裸设备I/O的性能存储数据

查前支持的文件系统：

cat /proc/filesystems

2.3.3 文件系统的组成部分

内核中的模块：ext4, xfs, vfat
Linux的虚拟文件系统：VFS
用户空间的管理工具：mkfs.ext4, mkfs.xfs,mkfs.vfat

2.3.4 文件系统选择管理

2.3.4.1 创建文件系统

创建文件管理工具

mkfs命令：
(1) mkfs.FS_TYPE /dev/DEVICE
ext4
xfs
btrfs
vfat
(2) mkfs -t FS_TYPE /dev/DEVICE
-L 'LABEL' 设定卷标
mke2fs：ext系列文件系统专用管理工具

常用选项：

-t {ext2|ext3|ext4|xfs} 指定文件系统类型
-b {1024|2048|4096} 指定块 block 大小
-L ‘LABEL’ 设置卷标
-j 相当于 -t ext3， mkfs.ext3 = mkfs -t ext3 = mke2fs -j = mke2fs -t ext3
-i # 为数据空间中每多少个字节创建一个inode；不应该小于block大
小
-N # 指定分区中创建多少个inode
-I 一个inode记录占用的磁盘空间大小，128---4096
-m # 默认5%,为管理人员预留空间占总空间的百分比
-O FEATURE[,...] 启用指定特性
-O ^FEATURE 

案例：mkfs.ext4 /dev/sdb1

root@ubuntu200404:~# mkfs.ext4 /dev/sdb1
mke2fs 1.45.5 (07-Jan-2020)
Creating filesystem with 2621440 4k blocks and 655360 inodes
Filesystem UUID: a7ef4142-26e5-43dd-b9d0-24c4d09155a1
Superblock backups stored on blocks: 
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632

Allocating group tables: done                            
Writing inode tables: done                            
Creating journal (16384 blocks): done
Writing superblocks and filesystem accounting information: done 

root@ubuntu200404:~# 

2.3.4.2 查看和管理分区信息

blkid 可以查看块设备属性信息
格式：

blkid [OPTION]... [DEVICE]

常用选项：

-U UUID 根据指定的UUID来查找对应的设备
-L LABEL 根据指定的LABEL来查找对应的设备
e2label：管理ext系列文件系统的LABEL

e2label DEVICE [LABEL]

范例

root@ubuntu200404:~# blkid /dev/sdb1
/dev/sdb1: UUID="a7ef4142-26e5-43dd-b9d0-24c4d09155a1" TYPE="ext4" PARTUUID="db60ac71-01"
root@ubuntu200404:~# 

查找分区

findfs [options] LABEL=<label>
findfs [options] UUID=<uuid>

tune2fs：重新设定ext系列文件系统可调整参数的值

-l 查看指定文件系统超级块信息；super block
-L 'LABEL’ 修改卷标
-m # 修预留给管理员的空间百分比
-j 将ext2升级为ext3
-O 文件系统属性启用或禁用, -O ^has_journal
-o 调整文件系统的默认挂载选项，-o ^acl
-U UUID 修改UUID号

dumpe2fs：显示ext文件系统信息，将磁盘块分组管理
-h：查看超级块信息，不显示分组信息

范例：查看ext文件系统的元数据和块组信息

root@ubuntu200404:~# dumpe2fs /dev/sdb1
dumpe2fs 1.45.5 (07-Jan-2020)
Filesystem volume name:   <none>
Last mounted on:          <not available>
Filesystem UUID:          a7ef4142-26e5-43dd-b9d0-24c4d09155a1
Filesystem magic number:  0xEF53
Filesystem revision #:    1 (dynamic)
Filesystem features:      has_journal ext_attr resize_inode dir_index filetype extent 64bit flex_bg sparse_super large_file huge_file dir_nlink extra_isize metadata_csum
Filesystem flags:         signed_directory_hash 
Default mount options:    user_xattr acl
Filesystem state:         clean
Errors behavior:          Continue
Filesystem OS type:       Linux
Inode count:              655360
Block count:              2621440
Reserved block count:     131072
Free blocks:              2554687
Free inodes:              655349
First block:              0
......
......
......

xfs_info：显示示挂载或已挂载的 xfs 文件系统信息

xfs_info mountpoint|devname

范例

xfs_info /dev/sda1

2.3.4.3 文件系统检测和修复

文件系统夹故障常发生于死机或者非正常关机之后，挂载为文件系统标记为“no clean”
注意：一定不要在挂载状态下执行下面命令修复

fsck: File System Check

fsck.FS_TYPE
fsck -t FS_TYPE

注意：FS_TYPE 一定要与分区上已经文件类型相同

常用选项

-a 自动修复
-r 交互式修复错误

e2fsck：ext系列文件专用的检测修复工具

-y 自动回答为yes
-f 强制修复
-p 自动进行安全的修复文件系统问题

用法：

e2fsck /dev/sdb2

xfs_repair：xfs文件系统专用检测修复工具
常用选项：

-f 修复文件，而设备
-n 只检查
-d 允许修复只读的挂载设备，在单用户下修复 / 时使用，然后立即reboot

用法：

xfs_repair /dev/sda1 

2.4 挂载

挂载:将额外文件系统与根文件系统某现存的目录建立起关联关系，进而使得此目录做为其它文件访问入
口的行为
卸载:为解除此关联关系的过程
把设备关联挂载点：mount Point
挂载点下原有文件在挂载完成后会被临时隐藏，因此，挂载点目录一般为空
进程正在使用中的设备无法被卸载

2.4.1 挂载文件系统 mount

格式

mount [-fnrsvw] [-t vfstype] [-o options] device mountpoint

device：指明要挂载的设备

• 设备文件：例如:/dev/sda5
• 卷标：-L 'LABEL', 例如 -L 'MYDATA'
• UUID： -U 'UUID'：例如 -U '0c50523c-43f1-45e7-85c0-a126711d406e'
• 伪文件系统名称：proc, sysfs, devtmpfs, configfs

mountpoint：挂载点目录必须事先存在，建议使用空目录
mount 常用命令选项

-t fstype 指定要挂载的设备上的文件系统类型,如:ext4,xfs
-r readonly，只读挂载
-w read and write, 读写挂载,此为默认设置,可省略
-n 不更新/etc/mtab，mount不可见
-a 自动挂载所有支持自动挂载的设备(定义在了/etc/fstab文件中，且挂载选项中有
auto功能)
-L 'LABEL' 以卷标指定挂载设备
-U 'UUID' 以UUID指定要挂载的设备
-B, --bind 绑定目录到另一个目录上
-o options：(挂载文件系统的选项)，多个选项使用逗号分隔
async 异步模式,内存更改时,写入缓存区buffer,过一段时间再写到磁盘中，效率高，但不安全
sync 同步模式,内存更改时，同时写磁盘，安全，但效率低下
atime/noatime 包含目录和文件
diratime/nodiratime 目录的访问时间戳
auto/noauto 是否支持开机自动挂载，是否支持-a选项
exec/noexec 是否支持将文件系统上运行应用程序
dev/nodev 是否支持在此文件系统上使用设备文件
suid/nosuid 是否支持suid和sgid权限
remount 重新挂载
ro/rw 只读、读写
user/nouser 是否允许普通用户挂载此设备，/etc/fstab使用
acl/noacl 启用此文件系统上的acl功能
loop 使用loop设备
_netdev 当网络可用时才对网络资源进行挂载，如：NFS文件系统
defaults 相当于rw, suid, dev, exec, auto, nouser, async

挂载规则:

• 一个挂载点同一时间只能挂载一个设备
• 一个挂载点同一时间挂载了多个设备，只能看到最后一个设备的数据，其它设备上的数据将被隐藏
• 一个设备可以同时挂载到多个挂载点
• 通常挂载点一般是已存在空的目录

范例:挂载案例

root@ubuntu200404:/data# mount /dev/sdb1 /data/mysql_mount/
root@ubuntu200404:/data# df

2.4.2 卸载文件系统 umount

卸载时：可使用设备，也可以使用挂载点

umount 设备名|挂载点

2.4.3 查看挂载情况

查看挂载

#通过查看/etc/mtab文件显示当前已挂载的所有设备
mount
#查看内核追踪到的已挂载的所有设备
cat /proc/mounts

查看挂载点情况

findmnt MOUNT_POINT|device

查看正在访问指定文件系统的进程

lsof MOUNT_POINT
fuser -v MOUNT_POINT

终止所有在正访问指定的文件系统的进程

fuser -km MOUNT_POINT

2.4.4 持久挂载

将挂载保存到 /etc/fstab 中可以下次开机时，自动启用挂载
/etc/fstab格式帮助：

man 5 fstab

每行定义一个要挂载的文件系统,，其中包括共 6 项

• 要挂载的设备或伪文件系统设备文件
  LABEL：LABEL=""
  UUID：UUID=""
  伪文件系统名称：proc, sysfs
• 挂载点：必须是事先存在的目录
• 文件系统类型：ext4，xfs，iso9660，nfs，none
• 挂载选项：defaults ，acl，bind
• 转储频率：0：不做备份 1：每天转储 2：每隔一天转储
• fsck检查的文件系统的顺序：允许的数字是0 1 2
  0：不自检 ，1：首先自检；一般只有rootfs才用 2：非rootfs使用

添加新的挂载项，需要执行下面命令生效

mount -a

范例：centos7, 8 /etc/fstab 的分区UUID错误，无法启动*

自动进入emergency mode,输入root 密码
#cat /proc/mounts 可以查看到/ 以rw方式挂载
#vim /etc/fstab
#reboot

范例：centos 6 /etc/fstab 的分区UUID错误，无法启动

如果/etc/fstab 的挂载设备出错，比如文件系统故障，并且文件系统检测项（即第6项为非0），将导致无
法启动
自动进入emergency mode,输入root 密码
#cat /proc/mounts 可以查看到/ 以ro方式挂载，无法直接修改配置文件
#mount -o remount,rw /
#vim /etc/fstab
将故障行的最后1项，即第6项修改为0，开机不检测此项挂载设备的健康性，从而忽略错误，能实现启动

范例：/etc/fstab格式

root@ubuntu200404:/data# cat /etc/fstab 
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/ubuntu-vg/ubuntu-lv during curtin installation
/dev/disk/by-id/dm-uuid-LVM-3aQ0WgB04ZXwNPYVAYy9ssb3Wd06E34ggUUxCcYQaVwAb0L03K40wpOxbnqqqa3f / ext4 defaults 0 1
# /boot was on /dev/sda2 during curtin installation
/dev/disk/by-uuid/5e8f9763-2db8-48d0-85e2-a26d76521e2f /boot ext4 defaults 0 1
/swap.img none swap sw 0 0
root@ubuntu200404:/data# 

范例：添加新的挂载点后修改/etc/fstab文件

# /etc/fstab: static file system information.
# 
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/ubuntu-vg/ubuntu-lv during curtin installation
/dev/disk/by-id/dm-uuid-LVM-3aQ0WgB04ZXwNPYVAYy9ssb3Wd06E34ggUUxCcYQaVwAb0L03K40wpOxbnqqqa3f / ext4 defaults 0 1
# /boot was on /dev/sda2 during curtin installation
/dev/disk/by-uuid/5e8f9763-2db8-48d0-85e2-a26d76521e2f /boot ext4 defaults 0 1
/swap.img       none    swap    sw      0       0

# 添加该行后、重启系统
UUID=0e850a4a-028d-48b2-aa18-dd8b16090aa6  /data/mysql_mount  ext4  defaults  0  0

2.5 处理交换文件和分区

2.5.1 swap分区

swap交换分区是系统RAM的补充，swap 分区支持虚拟内存。当没有足够的 RAM 保存系统处理的数据
时会将数据写入 swap 分区，当系统缺乏 swap 空间时，内核会因 RAM 内存耗尽而终止进程。配置过
多 swap 空间会造成存储设备处于分配状态但闲置，造成浪费，过多 swap 空间还会掩盖内存泄露
注意：为优化性能，可以将swap 分布存放，或高性能磁盘存放

2.5.2 交换分区实现过程

1. 创建交换分区或者文件
2. 使用mkswap写入特殊签名
3. 在/etc/fstab文件中添加适当的条目
4. 使用swapon -a 激活交换空间

启用swap分区

swapon [OPTION]... [DEVICE]

常用选项

-a #激活所有的交换分区
-p PRIORITY #指定优先级(-1到32767之间)，值越大,优先级越高.也可在/etc/fstab文件中的第4列指
定：pri=value

范例:创建swap分区

[root@centos8 ~]#mkswap /dev/sdc1

禁用swap分区

swapoff [OPTION]... [DEVICE]

范例:禁用swap分区

[root@centos8 ~]#sed -i.bak '/swap/d' /etc/fstab
[root@centos8 ~]#swapoff -a

2.5.3 swap的使用策略

/proc/sys/vm/swappiness 的值决定了当内存占用达到一定的百分比时，会启用swap分区的空间
使用规则

当内存使用率达到100-swappiness时,会启用交换分区
简单地说这个参数定义了系统对swap的使用倾向，此值越大表示越倾向于使用swap。
可以设为0，这样做并不会禁止对swap的使用，只是最大限度地降低了使用swap的可能性

范例

#说明：CentOS7和8默认值为30，内存在使用到100-30=70%的时候，就开始出现有交换分区的使用。
[root@centos8 ~]# cat /proc/sys/vm/swappiness

2.6 磁盘常见工具

2.6.1 df

文件系统空间实际真正占用等信息的查看工具 df

df [OPTION]... [FILE]...

常用选项

-H 以10为单位
-T 文件系统类型
-h human-readable
-i inodes instead of blocks
-P 以Posix兼容的格式输出

2.6.3 du

查看某目录总体空间实际占用状态 du

显示指定目录下面各个子目录的大小,单位为KB

常用选项

-a --all 显示所有文件和目录的大小,默认只显示目录大小
-h human-readable
-s summary
--max-depth=# 指定最大目录层级
-x, --one-file-system #忽略不在同一个文件系统的目录

面试题

1.df 和 du 区别?什么时候df >du（空分区的时候)
df 查看是文件系统的空间使用，包括元数据和数据，删除文件后，如果此文件正在使用，不会立即释放空间;du 查看是文件数据空间使用，不包括元数据，删除文件后空间立即释放。

2.什么时候df < du?
目录内挂载有其它分区时的情况

3.当删除文件但不释放空间时,有什么不同?
du 查看文件空间释放,df不释放

3. RAID