Device Mapper Multipathing

第 1 章 简单MULTIPATH 功能实现

实现dm功能

如果仅仅是想实现多路径功能 请直接安装 device-mapper-multipath

1

yum install  -y device-mapper-multipath

修改 /etc/multipath.conf 配置文件内容

生效内容为以下

1
2
3
4
5
6
7
8
9

blacklist {
devnode "^sda"
}
defaults {
		user_friendly_names yes
		path_grouping_policy multibus
		failback immediate
		no_path_retry fail
}

sda为你要排除的非多路径设备

然后你启动服务就好咯

CentOS6

1
2

service multipathd start
chkconfig multipathd on

CentOS7

1
2

systemctl start multipathd
systemctl enable multipathd

服务启动了， 看看多路径现在的状态吧

1

multipath -ll

然后查看下 /dev/mapper/ 目录下是否多了mpath开头的设备文件

如果有 fdisk -l看下

可以格式化 或者创建pv咯

因为多路径为san设备， 所以开机挂在需要谨慎，写fstab时 主要要使用 _netdev选项

例如

1

/dev/mapper/Xsky-Xsky   /xsky       xfs    defaults,_netdev        0 0

下面的内容都是参考官方文档， 整理到这里是为了以后不会配置去百度！！！

DM MULTIPATH 概述

可使用 DM Multipath 提供以下功能：

• 冗余

  DM Multipath 能够在主动／被动配置下提供故障转移。在主动／被动配置下，只有一半的路径在每次进行 I/O 时会被使用。若一条 I/O 路径的任一元素（电缆、交换器或者控制器）出现故障，DM Multipath 就会将它切换到备用路径。

  ​

• 改进的性能

  ​

  可将 DM Multipath 配置为主动／主动模式， 这会将 I/O 以轮循机制（round-robin）的方式分布到所有的路径中。在有些配置中，DM Multipath 能够检测 I/O 路径的负载，并且重新动态平衡负载。

图 1.1 “带一个 RAID 设备的主动／被动多路径配置”演示了在服务器和 RAID 设备之间有两个 I/O 路径的主动／被动配置。这里服务器中有两个 HBA，两个 SAN 交换机以及两个 RAID 控制器。

⁠

​图 1.1. 带一个 RAID 设备的主动／被动多路径配置

在这个配置中，一个 I/O 路径通过 hba1、SAN1 以及控制器 1。另一个 I/O 路径通过 hba2、SAN2 以及控制器 2。在这个配置中有很多地方可能出现故障：

• HBA 故障
• FC 电缆故障
• SAN 交换机故障
• 阵列控制器端口故障

阵列控制器端口故障

图 1.2 “带两个 RAID 设备的主动／被动多路径配置” 演示了更复杂的主动／被动配置，其中服务器中有两个 HBA、两个 SAN 交换机以及两个 RAID 设备（每个带两个 RAID 控制器）。

⁠

​图 1.2. 带两个 RAID 设备的主动／被动多路径配置

在图 1.2 “带两个 RAID 设备的主动／被动多路径配置”演示的示例中，每个 RAID 设备都有两个 I/O 路径（与 图 1.1 “带一个 RAID 设备的主动／被动多路径配置”的示例相同）。如果配置了 DM Multipath，任一 RAID 设备的 I/O 路径的任一点出现故障，都将会导致 DM Multipath 为该设备切换到备用 I/O 路径。

图 1.3 “带一个 RAID 设备的主动/主动多路径配置” 演示在服务器中有两个 HBA、一个 SAN 交换机以及两个 RAID 控制器的主动／主动配置。在服务器和存储设备间有四条 I/O 路径：

• hba1 到控制器 1
• hba1 到控制器 2
• hba2 到控制器 1
• hba2 到控制器 2

在这个配置中，可将 I/O 分布到上述四条路径中。

⁠

​图 1.3. 带一个 RAID 设备的主动/主动多路径配置

存储阵列支持

默认情况下，DM Multipath 支持大多数常用的支持 DM Multipath 的储存阵列。若要了解默认配置值和支持的设备的相关信息，请运行下列指令中的任何一个。

1
2

multipathd show config
multipath -t

若储存阵列支持 DM Multipath 但是默认情况下未被配置，您需要将它加入 DM Multipath 配置文件 multipath.conf。

有些存储阵列对 I/O 错误和路径切换需要特殊处理。这些都需要独立的硬件处理器 kernel 模块。

DM MULTIPATH 组件

表 1.1 “DM Multipath 组件”对 DM Multipath 组件进行了描述。

⁠

表 1.1. DM Multipath 组件

DM MULTIPATH 设置概述

DM Multipath 包含适用于常用多路径配置的已编译默认设置。为系统配置 DM Multipath 的基本步骤如下：

1. 安装 device-mapper-multipath rpm。
2. 使用 mpathconf 命令创建配置文件并启用多路径。若无需编辑该配置文件，可使用此命令启动多路径守护程序。
3. 如需编辑该配置文件，请编辑 multipath.conf 配置文件，修改默认值并保存更新的文件。
4. 启动多路径守护进程。

第 2 章 多路径设备

若没有 DM Multipath，从服务器节点到储存控制器的每一条路径都会被系统视为独立的设备，即使 I/O 路径连接的是相同的服务器节点到相同的储存控制器也是如此。DM Multipath 提供了有逻辑的管理 I/O 路径的方法，即在基础设备顶端生成单一多路径设备。

多路径设备识别符

每个多路径设备都有一个全球识别符（WWID），它是一个全球唯一的无法更改的号码。默认情况下会将多路径设备的名称设定为它的 WWID。另外，您还可以在多路径配置文件中设置 user_friendly_names 选项，该选项可将别名设为格式为 mpathn 的节点唯一名称。

例如：有两个 HBA 的节点通过单一不分区 FC 交换机附加到有两个端口的储存控制器中时，可看到四个设备：/dev/sda、/dev/sdb、dev/sdc 以及 /dev/sdd。DM Multipath 会生成由唯一 WWID 的单一设备，该设备可根据多路径配置将 I/O 重新路由到那四个基础设备。user_friendly_names 配置选项的值被设为 yes 时，多路径设备的名称会被设定为 mpathn。

新设备被纳入 DM Multipath 控制时，该设备会显示在 /dev 目录的两个不同位置： /dev/mapper/mpathn 和 /dev/dm-n。

• /dev/mapper 中的设备是在引导过程中生成的。可使用这些设备访问多路径设备，例如在生成逻辑卷时。
• 任何 /dev/dm-n 格式的设备都只适用于内部使用，管理员请勿直接使用。

在集群中保持多路径设备名称一致

当将 user_friendly_names 配置选项设为 yes 时，该多路径设备的名称对于节点来说是唯一的，但不保证对使用多路径设备的所有节点都一致。同样，如果您为 multipath.conf 配置文件的 multipaths 部分中的设备设定 alias 选项，该名称不会自动在集群的所有节点中保持一致。如果您使用 LVM 在多路径设备中创建逻辑设备，这不应是问题。但如果您需要将您的多路径设备名称在集群中的每个节点上都保持一致，请不要将 user_friendly_names 选项设定为 yes，且不要为那些设备配置别名。默认情况下，如果您不将 user_friendly_names 设定为 yes，或者为某个设备配置别名，则设备名称将是该设备的 WWID，它是不会变的。

如果您要系统定义的用户友好名称在集群的所有节点中都一致，您可按照以下步骤操作：

1. 在一台机器中设定所有多路径设备。

2. 运行以下命令禁用其它机器上所有的多路径设备：

   1 2	service multipathd stop multipath -F

3. 将第一台机器中的 /etc/multipath/bindings 文件复制到集群中的其它所有机器中。

4. 使用以下命令在集群的其他机器中重新 multipathd 守护进程：

   1	service multipathd start

如果您添加新设备，您将需要重复这个过程。

同样，如果您为某个设备配置别名以便在集群的节点中使其保持一致，您应确定 /etc/multipath.conf 文件对于集群中的每个节点都是一样的，步骤如下：

1. 为一台机器上 multipath.conf 文件中的多路径设备配置别名。

2. 运行以下命令禁用其它机器上所有的多路径设备：

   1 2	service multipathd stop multipath -F

3. 将第一台机器中的 /etc/multipath.conf 文件复制到集群中的其它所有机器中。

4. 使用以下命令在集群的其他机器中重新 multipathd 守护进程：

   1	service multipathd start

当您添加新设备时，您将需要重复这个过程。

多路径设备属性

除 user_friendly_names 和 alias 选项外，multipath 设备有大量属性。您可以为具体 multipath 设备修改这些属性，方法是在 multipath 配置文件的 multipaths 部分为那个设备创建一个条目。

逻辑卷中的多路径设备

生成多路径设备后，多路径设备的名称可以与您生成一个 LVM 物理卷时使用的物理设备名称相同。例如：如果多路径名称为 /dev/mapper/mpatha，以下命令可将 /dev/mapper/mpatha 标记为一个物理卷。

1

pvcreate /dev/mapper/mpatha

您可以如在使用其它 LVM 物理设备一样在创建 LVM 卷组时使用得到的 LVM 物理卷。

注意

如果您要在配置了分区的整个设备中创建 LVM 物理卷，pvcreate 命令将会失败。请注意：如果您不具体指定每个块设备，Anaconda 和 Kickstart 安装程序会生成空分区表。您可以使用 kpartx -d 和 fdisk 命令删除现有分区。如果您的系统有大于 2 TB 的块设备，您可使用 parted 命令删除分区。

当您创建使用主动／被动多路径阵列的 LVM 逻辑卷作为基础物理设备时，您应该在 /etc/lvm/lvm.conf 文件中添加过滤器，以排除构成多路径设备的磁盘。这是因为如果不过滤，阵列在接收到 I/O 时自动从主动路径切换到被动路径，只要 LVM 扫描到被动路径，多路径将会进行故障转移和自动恢复。对于需要使用命令激活被动路径的主动／被动阵列，LVM 会给出警告信息。

要过滤 LVM 配置文件（lvm.conf）中的所有 SCSI 设备，请在该文件的 devices 部分添加以下过滤器。

1

filter = [ "r/block/", "r/disk/", "r/sd.*/", "a/.*/" ]

第 3 章 设置 DM MULTIPATH

配置 DM Multipath 的分步示例，其中包括以下步骤：

• 基本 DM Multipath 设置
• 忽略本地磁盘
• 在配置文件中添加更多设备
• 在 initramfs 文件系统中启动 Multipath

设置 DM MULTIPATH

安装 DM-Multipath 前，请确定系统已升级，其中包括 device-mapper-multipath 软件包升级。

可使用 mpathconf 程序设置多路径，它可创建多路径配置文件 /etc/multipath.conf。

• 如果 /etc/multipath.conf 文件已存在，mpathconf 程序将会编辑该文件。
• 如果 /etc/multipath.conf 文件不存在，mpathconf 程序将使用 /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf 文件作为起始文件。
• 如果 /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf 文件不存在，则 mpathconf 程序将从头开始创建 /etc/multipath.conf 文件。

如果不需要编辑 /etc/multipath.conf 文件，则可以运行以下命令为 DM-Multipath 设定基本故障切换配置。这个命令可启用多路径配置文件并启动 multipathd 守护进程。

1

mpathconf --enable --with_multipathd y

如果需要在启动 multipathd 守护进程前编辑 /etc/multipath.conf 文件，请执行以下步骤为 DM-Multipath 设置基本故障切换配置。

1. 运行带 --enable 选项的 mpathconf 命令：

   1	mpathconf --enable

   有关可能需要的 mpathconf 命令的其它选项，请参考 mpathconf 手册页，或者运行指定 --help 选项的 mpathconf 命令。

   1 2 3 4 5 6 7 8 9 10 11

   mpathconf --help usage: /sbin/mpathconf <command> Commands: Enable: --enable Disable: --disable Set user_friendly_names (Default y): --user_friendly_names <y|n> Set find_multipaths (Default y): --find_multipaths <y|n> Load the dm-multipath modules on enable (Default y): --with_module <y|n> start/stop/reload multipathd (Default n): --with_multipathd <y|n>

2. 必要时请编辑 /etc/multipath.conf 文件。会将 DM Multipath 的默认设置编译到系统中，且无需在 /etc/multipath.conf 文件中明确设定。

   path_grouping_policy 的默认值是设为 failover，因此在这个示例中您不需要编辑 /etc/multipath.conf 文件。

   在您系统配置文件的初始默认部分配置您的系统以便多路径设备的名称格式为 mpathn。如果没有这个设置，多路径设备的名称将会是该设备 WWID 别名。

3. 需要时保存配置文件并退出编辑器。

4. 执行以下命令：

   1	service multipathd start

因为在配置文件中将 user_friendly_name 值设为 yes，那么生成的多路径设备将为 /dev/mapper/mpathn。

如果不想使用用户友好名称，可以运行以下命令：

1

mpathconf --enable --user_friendly_names n

注意

如果在启动 multipath 守护进程后发现需要编辑 multipath 配置文件，则必须执行 service multipathd reload 命令方可使更改生效。

在生成多路径设备时忽略逻辑磁盘

有些机器在其内部磁盘中有本地 SCSI 卡。不建议在这些设备中使用 DM Multipath。如果将 find_multipaths 配置参数设定为 yes，则不一定要将这些设备列入黑名单。

如果没有将 find_multipaths 配置参数设定为 yes，则可以使用以下步骤修改多路径配置文件，以便在配置多路径时忽略本地磁盘。

1. 确定哪些磁盘是内部磁盘并将其列入黑名单。

   在这个示例中，/dev/sda 是内部磁盘。注：因为在默认多路径配置文件中已经对其进行了配置，所以执行 multipath -v2 会在多路径映射中显示本地磁盘 /dev/sda。

   ​

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

   ## multipath -v2
   create: SIBM-ESXSST336732LC____F3ET0EP0Q000072428BX1 undef WINSYS,SF2372
   size=33 GB features="0" hwhandler="0" wp=undef
   `-+- policy='round-robin 0' prio=1 status=undef
     |- 0:0:0:0 sda 8:0  [--------- 

   device-mapper ioctl cmd 9 failed: Invalid argument
   device-mapper ioctl cmd 14 failed: No such device or address
   create: 3600a0b80001327d80000006d43621677 undef WINSYS,SF2372
   size=12G features='0' hwhandler='0' wp=undef
   `-+- policy='round-robin 0' prio=1 status=undef
     |- 2:0:0:0 sdb 8:16  undef ready  running
     `- 3:0:0:0 sdf 8:80 undef ready  running

   create: 3600a0b80001327510000009a436215ec undef WINSYS,SF2372
   size=12G features='0' hwhandler='0' wp=undef
   `-+- policy='round-robin 0' prio=1 status=undef
     |- 2:0:0:1 sdc 8:32 undef ready  running
     `- 3:0:0:1 sdg 8:96 undef ready  running

   create: 3600a0b80001327d800000070436216b3 undef WINSYS,SF2372
   size=12G features='0' hwhandler='0' wp=undef
   `-+- policy='round-robin 0' prio=1 status=undef
     |- 2:0:0:2 sdd 8:48 undef ready  running
     `- 3:0:0:2 sdg 8:112 undef ready  running

   create: 3600a0b80001327510000009b4362163e undef WINSYS,SF2372
   size=12G features='0' hwhandler='0' wp=undef
   `-+- policy='round-robin 0' prio=1 status=undef
     |- 2:0:0:3 sdd 8:64 undef ready  running
     `- 3:0:0:3 sdg 8:128 undef ready  running

2. 为防止设备映射器将 /dev/sda 与其多路径对应，请编辑 /etc/multipath.conf 文件的 blacklist 部分，使其包括该设备。虽然可以使用 devnode 类型将 sda 设备列入黑名单，但并不安全，因为重启时无法保证 /dev/sda 使用同一个名称。要将单独的设备列入黑名单，可以使用那个设备的 WWID 将其列入黑名单。

   请注意：在 multipath -v2 命令的输出中，/dev/sda 设备的 WWID 是 SIBM-ESXSST336732LC____F3ET0EP0Q000072428BX1。要将这个设备列入黑名单，请在 /etc/multipath.conf 文件中添加以下内容。

   1 2 3

   blacklist { wwid SIBM-ESXSST336732LC____F3ET0EP0Q000072428BX1 }

3. 更新 /etc/multipath.conf 文件后，必须手动让 multipathd 守护进程重新载入该文件。以下命令可重新载入更新的 /etc/multipath.conf 文件。

   1	service multipathd reload

4. 运行以下命令删除多路径设备：

   1	multipath -f SIBM-ESXSST336732LC____F3ET0EP0Q000072428BX1

5. 要查看是否删除了该设备，可以输入 multipath -ll 命令显示当前的多路径配置。

   要确定被列入黑名单的设备没有被重新添加回来，可输入 multipath 命令，如下所示。如果没有指定 -v 选项，则 multipath 命令默认详细等级为 v2。

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

   multipath create: 3600a0b80001327d80000006d43621677 undef WINSYS,SF2372 size=12G features='0' hwhandler='0' wp=undef `-+- policy='round-robin 0' prio=1 status=undef |- 2:0:0:0 sdb 8:16 undef ready running `- 3:0:0:0 sdf 8:80 undef ready running create: 3600a0b80001327510000009a436215ec undef WINSYS,SF2372 size=12G features='0' hwhandler='0' wp=undef `-+- policy='round-robin 0' prio=1 status=undef |- 2:0:0:1 sdc 8:32 undef ready running `- 3:0:0:1 sdg 8:96 undef ready running create: 3600a0b80001327d800000070436216b3 undef WINSYS,SF2372 size=12G features='0' hwhandler='0' wp=undef `-+- policy='round-robin 0' prio=1 status=undef |- 2:0:0:2 sdd 8:48 undef ready running `- 3:0:0:2 sdg 8:112 undef ready running create: 3600a0b80001327510000009b4362163e undef WINSYS,SF2372 size=12G features='0' hwhandler='0' wp=undef `-+- policy='round-robin 0' prio=1 status=undef |- 2:0:0:3 sdd 8:64 undef ready running `- 3:0:0:3 sdg 8:128 undef ready running

配置存储设备

默认情况下，DM Multipath 支持大多数常用的支持 DM Multipath 的储存阵列。若要了解默认配置值和支持的设备的相关信息，请运行下列指令中的任意一个。

1
2

multipathd show config
multipath -t

如果需要添加一个在默认情况下不支持的存储设备作为已知多路径设备，请编辑 /etc/multipath.conf 文件，并插入正确的设备信息。

例如：要添加有关 HP Open-V 系列的信息（其条目示例如下）。在这个示例中将设备设定在所有路径均失败后排队 1 分钟（或 12 次尝试，每 5 秒后重试一次）。

1
2
3
4
5
6
7

devices {
        device {
                vendor "HP"
                product "OPEN-V"
                no_path_retry 12
        }
}

在 INITRAMFS 文件系统中设置启动 MULTIPATH

可以在 initramfs 文件系统中设定启动 multipath。配置 multipath 后，可使用该 multipath 配置文件重建 initramfs 文件系统，方法是执行附带以下选项的 dracut 命令。

1

dracut --force --add multipath --include /etc/multipath

如果在 initramfs 文件系统中运行 multipath，并更改 multipath 配置文件，则必须重建 initramfs文件系统方可使更改生效。

第 4 章 DM MULTIPATH 配置文件

DM Multipath 默认为大多数常用多路径提供配置值。此外，DM Multipath 还包括对那些本身支持 DM Multipath 的常见储存阵列的支持。如需了解有关默认配置值以及支持的设备的相关信息，请运行下列命令之一。

1
2

multipathd show config
multipath -t

可以编辑 /etc/multipath.conf 配置文件覆盖 DM Multipath 的默认配置值。必要时可在配置文件中添加默认不支持的储存阵列。

注意

可以在 initramfs 文件系统中运行 set up multipathing。如果在 initramfs 文件系统中运行 multipath，并可以更改 multipath 配置文件，则必须重建 initramfs 文件系统以便使更改生效。

本章提供了解析和修改 multipath.conf 文件的详情。它包含以下小节：

• 配置文件概述
• 配置文件黑名单
• 配置文件默认
• 配置文件多路径
• 配置文件设备

在 multipath 配置文件中，只需指定您的配置需要的部分，或者是您想要修改的默认值即可。如果文件中有和您的环境不相关的部分，或者是不需要覆盖的默认值，可以将它们注释出来，因为它们位于初始文件中。

配置文件使用正则表达式描述语法。

关于配置文件的详细信息，请参阅 multipath.conf(5) 手册页。

配置文件概述

多路径配置文件可分为以下几个部分：

• blacklist

  不被视为多路径的具体设备列表。

• blacklist_exceptions

  根据 blacklist 部分中的参数列出不在黑名单中的多路径设备。

• defaults

  DM Multipath 的常规默认设置。

• multipaths

  各个独立多路径设备的特性设置。这些数值覆盖了在配置文件的 defaults 和 devices 部分中指定的数值。

• devices

  各个存储控制器的设置。这些数值覆盖了在配置文件的 defaults 部分指定的数值。如果要使用不是默认支持的存储阵列，则可能需要为您的阵列创建 devices 子部分。

系统决定多路径设备的属性时，会先检查多路径设置，然后检查设备设置，最后才检查多路径系统默认设置。

配置文件黑名单

多路径配置文件的 blacklist 部分指定在系统配置多路径设备时不能使用的设备。黑名单中的设备将无法分组到多路径设备中。

在旧版 Red Hat Enterprise Linux 中，multipath 总是尝试为每个没有明确列入黑名单的路径创建多路径设备。但在 Red Hat Enterprise Linux 6 中，如果 find_multipaths 配置参数被设定为 yes ， multipath 将只在满足以下三个条件之一时创建设备：

• 至少有两个使用同一 WWID 的路径没有被 列入黑名单。

• 用户可使用 multipath 命令手动强制创建该设备。

• 有与之前创建的多路径设备相同 WWID 的路径（即使那个多路径设备目前不存在）。无论何时，创建多路径设备后，多路径会记住该设备的 WWID，以便在它看到有使用那个 WWID 的路径时即自动再次创建该设备。这可允许您让多路径自动选择正确的路径以便创建多路径设备而无需编辑多路径黑名单。

  如果您之前创建了一个 multipath 设备而没有使用 find_multipaths 参数，然后您随后将该参数设定为 yes，您需要删除所有设备的 WWID，您不想从 /etc/multipath/wwids 文件中将其创建为 multipath 设备。以下显示示例 /etc/multipath/wwids 文件。WWID 由斜线（/）括起来：

  1 2 3 4 5 6 7 8 9 10 11

  ## Multipath wwids, Version : 1.0 ## NOTE: This file is automatically maintained by multipath and multipathd. ## You should not need to edit this file in normal circumstances. # ## Valid WWIDs: /3600d0230000000000e13955cc3757802/ /3600d0230000000000e13955cc3757801/ /3600d0230000000000e13955cc3757800/ /3600d02300069c9ce09d41c31f29d4c00/ /SWINSYS SF2372 0E13955CC3757802/ /3600d0230000000000e13955cc3757803/

如将 find_multipaths 参数设定为 yes，则您只需要将那些您不想使其具有多路径功能的多路径设备列入黑名单，通常不需要将设备列入黑名单。

如果您需要将设备列入黑名单，您可以根据以下条件进行选择：

• 根据 WWID，如第 4.2.1 节 “根据 WWID 将设备列入黑名单”所述
• 根据设备名称，如 第 4.2.2 节 “根据设备名称将设备列入黑名单” 所述
• 根据设备类型，如 第 4.2.3 节 “根据设备类型将其加入黑名单”所述

默认情况下，各种设备类型都是列在黑名单中的，即使您将配置文件的初始黑名单部分注释出来也是如此。第 4.2.2 节 “根据设备名称将设备列入黑名单”。

根据 WWID 将设备列入黑名单

您可根据全球识别符将单独的设备列入黑名单，即在配置文件的 blacklist 部分加入 wwid 条目。

以下示例显示了在配置文件中可将 WWID 为 26353900f02796769 的设备列入黑名单的行。

1
2
3

blacklist {
       wwid 26353900f02796769
}

根据设备名称将设备列入黑名单

您可以根据设备名称将设备类型列入黑名单，以便在配置文件 blacklist 部分的 devnode 条目中指定不要将它们分组到多路径设备中。

以下实例显示该配置文件中的可以将所有 SCSI 设备放入黑名单的行，因为它将所有 sd* 设备放入黑名单。

1
2
3

blacklist {
       devnode "^sd[a-z]"
}

您可以使用配置文件 blacklist 部分的 devnode 条目指定要列入黑名单的每个设备，而不是指定具体类型的所有设备，我们不推荐使用后一种情况。除非根据 udev 规则的静态映射，我们无法保证在重启后每个设备的名称是一样的。例如：重启后，某个设备的名称可能从 /dev/sda 变为 /dev/sdb。

默认情况下，以下 devnode 条目将会被列入默认黑名单中；因为这些条目而被列入黑名单的设备通常不支持 DM Multipath。

1
2
3
4

blacklist {
       devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
       devnode "^(td|ha)d[a-z]"
}

根据设备类型将其加入黑名单

您可以在配置文件的 blacklist 部分与 device 一同指定具0体设备类型。以下实例将所有 IBM DS4200 和 HP 设备放入黑名单。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

blacklist {
       device {
               vendor  "IBM"
               product "3S42"       #DS4200 Product 10
       }
       device {
               vendor  "HP"
               product "*"
       }
}

黑名单之外的设备

您可使用配置文件的 blacklist_exceptions 部分为被默认加入黑名单的设备启用多路径。

例如：如果您有大量设备，但只有一个需要多路径（WWID 为 3600d0230000000000e13955cc3757803），您不需要将您想要使用多路径的设备之外的每个设备单独加入黑名单，您只需要将所有设备都加入黑名单，然后在 /etc/multipath.conf 文件中添加以下行以便只允许您想要使用多路径的设备：

1
2
3
4
5
6
7

blacklist {
        wwid "*"
}

blacklist_exceptions {
        wwid "3600d0230000000000e13955cc3757803"
}

当在配置文件的 blacklist_exceptions 指定设备时，您必须以指定黑名单的相同方法来指定例外情况。例如：在 devnode 黑名单条目中指定的设备无法使用 WWID 将其指定为例外情况，即使列入黑名单的设备和该 WWID 关联也不行。同样，devnode 例外也只适用于 devnode 条目，而 device 例外只适用于 device 条目。

配置文件默认设置

/etc/multipath.conf 配置文件包括 defaults 部分，在该部分中将 user_friendly_names 参数设为 yes，如下。

1
2
3

defaults {
        user_friendly_names yes
}

这可覆盖 user_friendly_names 参数的默认值。

该配置文件包括配置默认模板。这部分要被注释出来，如下。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

#defaults {
##       polling_interval        10
##       path_selector           "round-robin 0"
##       path_grouping_policy    multibus
##       uid_attribute           ID_SERIAL
##       prio                    alua
##       path_checker            readsector0
##       rr_min_io               100
##       max_fds                 8192
##       rr_weight               priorities
##       failback                immediate
##       no_path_retry           fail
##       user_friendly_names     yes
#}

要覆盖任意配置参数的默认值，您可将这个模板中相关的行复制到 defaults 部分并取消其注释。例如：要覆盖 path_grouping_policy 参数以便用 multibus 覆盖默认的 failover，请将模板中正确的行复制到配置文件的 defaults 部分并取消对它的注释，如下。

1
2
3
4

defaults {
        user_friendly_names     yes
        path_grouping_policy    multibus
}

表 4.1 “多路径配置默认设置”描述了 multipath.conf 配置文件的 defaults 部分中设置的属性。DM Multipath 会使用这些值，除非该属性被 multipath.conf 文件的 devices 和 multipaths 部分所指定的属性覆盖。

⁠

表 4.1. 多路径配置默认设置

多路径设备配置属性

表 4.2 “多路径属性”显示在 multipath.conf 配置文件 multipaths 部分中可为每个特定多路径设备设置的属性。这些属性只适用于一个指定的 multipath。这些默认属性可供 DM Multipath 使用，并且能覆盖 multipath.conf 文件中 defaults 和 devices 部分设置的属性。

⁠

表 4.2. 多路径属性

以下示例显示在配置文件中为两个特定多路径设备指定的多路径属性。第一个设备的 WWID 为 3600508b4000156d70001200000b0000，符号名称为 yellow。

示例中第二个多路径设备的 WWID 为 1DEC_____321816758474，符号名称为 red。在这个示例中，rr_weight 属性被设为 priorities。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

multipaths {
       multipath {
              wwid                  3600508b4000156d70001200000b0000
              alias                 yellow
              path_grouping_policy  multibus
              path_selector         "round-robin 0"
              failback              manual
              rr_weight             priorities
              no_path_retry         5
       }
       multipath {
              wwid                  1DEC_____321816758474
              alias                 red
              rr_weight             priorities
        }
}

配置文件设备

表 4.3 “设备属性”显示您可以为 multipath.conf 配置文件 devices 部分的每个独立储存设备能设置的属性。DM Multipath 会使用这些属性，除非它们被 multipath.conf 文件 multipaths 部分为包含该设备的路径所指定的属性覆盖。这些属性会覆盖 multipath.conf 文件 defaults 部分设定的属性。

多路径配置中默认包含许多支持 multipath 的设备。如需了解默认配置值（包括支持的设备）的相关信息，请运行以下命令之一。

1
2

## multipathd show config
## multipath -t

您可能不需要为这些设备修改默认值，但如果您想要修改，可以通过在配置文件中添加条目来覆盖默认值。您可以为设备复制 multipathd show config 命令显示的设备配置默认值，并覆盖您想要修改的值。

如需在配置文件的这部分添加没有默认自动配置的设备，您需要设置 vendor 和 product 参数。您能在 /sys/block/*device_name*/device/vendor 和 /sys/block/*device_name*/device/model中找到这些值，其中 device_name 是要进行多路径操作的设备，示例如下：

1
2
3
4

## cat /sys/block/sda/device/vendor
WINSYS  
## cat /sys/block/sda/device/model
SF2372

要指定的附加参数要视具体设备而定。如果设备是主动/主动模式，您通常不需要设置附加参数。您可能想要将 path_grouping_policy 设为 multibus。其它您可能需要设定的参数有 no_path_retry和 rr_min_io，详见 表 4.3 “设备属性”

如果设备是主动/被动模式，但它会自动将路径切换到被动路径，那么您需要将检查器功能改为不需向路径发送 I/O 来测试其是否工作（否则，您的设备将一直进行出错冗余）的功能。这几乎意味着您将 path_checker 设为 tur。这对所有支持 Test Unit Ready 命令的 SCSI 设备都适用。

如果该设备需要一个特殊的命令切换路径，那么为多路径配置此设备需要硬件处理器内核模块。当前的硬件处理器是 emc。如果这样还不能满足您的设备，则您可能无法为多路径配置该设备。

⁠

表 4.3. 设备属性

以下示例显示了多路径配置文件的 device 条目。

1
2
3
4
5
6
7
8
9

#	}
#	device {
#		vendor			"COMPAQ  "
#		product			"MSA1000         "
#		path_grouping_policy	multibus
#		path_checker		tur
#		rr_weight		priorities
#	}
#}

第 5 章 DM MULTIPATH 管理及故障排除

本章提供了在运行的系统中管理 DM Multipath 的相关信息。

使用多路径帮助程序（MULTIPATH HELPER）自动生成配置文件

可在 Red Hat Enterprise Linux 中使用 Multipath Helper 应用程序为多路径设备生成基本配置。该应用程序可使用自定义别名、设备黑名单和各个多路径设备的特别设定创建多路径配置。完成后，该应用程序可生成安装脚本，该脚本包含所选配置参数，并提供 multipath.conf 配置文件供检查。

可以在 https://access.redhat.com/labsinfo/multipathhelper 找到 Multipath Helper 应用程序。

重新定义在线多路径设备大小

如果要重新定义在线多路径设备，请按以下步骤操作。

1. 重新定义物理设备大小。

2. 使用以下命令查找 LUN 路径：

   1	multipath -l

3. 重新定义路径大小。对于 SCSI 设备，在 rescan 文件中写入 1，以便让 SCSI 驱动器重新扫描，如以下命令：

   1	echo 1 > /sys/block/device_name/device/rescan

4. 如需重新定义多路径设备的大小，请执行 multipathd resize 命令：

   1	multipathd -k'resize map mpatha'

5. 重新定义文件系统大小（假设没有使用 LVM 或者 DOS 分区）：

   1	resize2fs /dev/mapper/mpatha

将 ROOT 文件系统从单路径设备移动到多路径设备中

如果在单路径设备中安装系统，并稍后在 root 文件系统中添加了另一个路径，则需要将 root 文件系统移动到多路径设备中。本小节记录了从单路径移动到多路径设备的过程。

安装 device-mapper-multipath 软件包后执行以下步骤：

1. 执行以下命令创建 /etc/multipath.conf 配置文件，载入多路径模块并将 multipathd 的 chkconfig 设定为 on：

   1	mpathconf --enable

2. 如果没有将 find_multipaths 参数配置为 yes，请编辑 /etc/multipath.conf 文件的 blacklist 和 blacklist_exceptions 部分所述。

3. 要让 multipath 在 root 设备顶层发现多路径后尽快创建多路径设备，请输入以下命令。该命令还会确保 find_multipaths 会允许该设备，即使该设备只有一个路径。

   1	multipath -a root_devname

   例如：如果 root 设备是 /dev/sdb，则请输入以下命令。

   1 2	multipath -a /dev/sdb wwid '3600d02300069c9ce09d41c4ac9c53200' added

4. 为确定已正确设置配置文件，请输入 multipath 命令，并在输出结果中搜索使用以下格式的行。这表示该命令无法创建这个多路径设备。

   1	date wwid: ignoring map

   例如，如果设备的 WWID 为 3600d02300069c9ce09d41c4ac9c53200，则会看到以下输出行：

   1 2	multipath Oct 21 09:37:19 | 3600d02300069c9ce09d41c4ac9c53200: ignoring map

5. 要使用 multipath 重建 initramfs 文件系统，请执行附带以下选项的 dracut 命令：

   1	dracut --force -H --add multipath

6. 关闭机器。

7. 配置 FC 开关以便可在该机器中看到其他路径。

8. 引导机器。

9. 查看 root 文件系统（’/’）是否在多路径设备中。

将 SWAP 文件系统从单路径设备移动到多路径设备中

默认情况下会将 swap 设备设定为逻辑卷。将其配置 为多路径设备不需要特殊的操作，只要在由逻辑卷组构成的物理卷中设定多路径即可。如果 swap 设备不是 LVM 卷，却使用设备名称挂载，就可能需要编辑 /etc/fstab 文件将其转换为正确的多路径设备名称。

1. 运行 /sbin/multipath 命令使用 -v3 选项确定 swap 设备的 WWID 号。该命令的输出应该在路径列表中显示该 swap 设备。

   可以在该命令输出中看到有以下格式的行，它代表 swap 设备：

   1	WWID H:B:T:L devname MAJOR:MINOR

   例如：如果在 sda 或其分区之一中设置 swap 文件系统，则会在输出中看到类似如下的行：

   1 2 3 4

   ===== paths list ===== ... 1ATA WDC WD800JD-75MSA3 WD-WMAM9F 1:0:0:0 sda 8:0 ...

2. 在 /etc/multipath.conf 文件中为 swap 设备配置别名。

   1 2 3 4 5 6

   multipaths { multipath { wwid WWID_of_swap_device alias swapdev } }

3. 编辑 /etc/fstab 文件，并使用附带多路径设备的 root 设备替换旧的设备路径。

   例如：如果在 /etc/fstab 文件中有以下条目：

   1	/dev/sda2 swap swap defaults 0 0

   可将该条目更改如下：

   1	/dev/mapper/swapdev swap swap defaults 0 0

多路径守护进程

如果在进行多路径配置时遇到问题，则应该确定多路径守护进程正在运行，必须运行 multipathd 守护进程方可使用多路径设备。

大量 LUN 造成的问题

在某个节点中添加大量 LUN 时，使用多路径设备可明显延长 udev 设备管理器为其生成设备节点所消耗的时间。如果遇到这个问题，请在 /etc/udev/rules.d/40-multipath.rules 文件中删除以下行解决这个问题：

1

KERNEL!="dm-[0-9]*", ACTION=="add", PROGRAM=="/bin/bash -c '/sbin/lsmod | /bin/grep ^dm_multipath'", RUN+="/sbin/multipath -v0 %M:%m"

这行会在每次向该节点中添加块设备时让 udev 设备管理器运行 multipath。即使删除了这一行，multipathd 守护进程仍将自动生成多路径设备，同时在引导附带多路径 root 文件系统节点的过程中仍会调用 multipath。唯一的变化就是没有运行 multipathd 守护进程不再自动生成多路径设备，对大多数多路径用户来说应该不是个问题。

有 QUEUE_IF_NO_PATH 功能的问题

如果使用 features "1 queue_if_no_path" 配置多路径设备，那么所有采用 I/O 操作的进程都将被挂起直到恢复一个或者多个路径为止。要避免这种情况，请在 /etc/multipath.conf 文件中设定 no_path_retry N 参数（其中 N 是该系统应该重试某个路径的次数）。

如果需要使用 features "1 queue_if_no_path" 选项，且遇到这里提到的问题，请使用 dmsetup命令为特定 LUN 编辑运行时策略（就是说对该特定 LUN 来说所有路径都不可用）。例如：如果想要将多路径设备 mpath2 的策略从 "queue_if_no_path" 改为 "fail_if_no_path"，请执行以下命令。

1

dmsetup message mpathc 0 "fail_if_no_path"

请注意：必须指定 mpathn 别名而不是该路径。

多路径命令输出

创建、修改或者列出多路径设备时，会显示当前设备设置状态，格式如下所示。

对于每个多路径设备：

1

 action_if_any: alias (wwid_if_different_from_alias) dm_device_name_if_known vendor,product size=size features='features' hwhandler='hardware_handler' wp=write_permission_if_known 

对与每个路径组群：

1

-+- policy='scheduling_policy' prio=prio_if_known status=path_group_status_if_known

对于每个路径：

1

 `- host:channel:id:lun devnode major:minor dm_status_if_known path_status online_status

例如，多路径命令的输出可能是如下形式：

1
2
3
4
5
6

3600d0230000000000e13955cc3757800 dm-1 WINSYS,SF2372
size=269G features='0' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=1 status=active
| `- 6:0:0:0 sdb 8:16  active ready  running
`-+- policy='round-robin 0' prio=1 status=enabled
  `- 7:0:0:0 sdf 8:80  active ready  running

如果该路径已经启用并准备好执行 I/O，那么路径的状态就是 ready 或者 ghost。如果该路径无法使用，则状态为 faulty 或者 shaky。路径的状态由 multipathd 守护进程根据在 /etc/multipath.conf 文件中定义的轮询间隔进行定期更新。

dm 状态与路径状态相似，但从内核来看，dm 有两个状态：failed（类似 faulty）和 active（涵盖所有其它路径状态）。少数情况下，设备的路径状态和 dm 状态会暂时不同。

online_status 的可能值为 running 和 offline。offline 意味着这个 SCSI 设备已被禁用。

注意

生成或者修改多路径设备时，路径组群状态、dm 设备名称、写入权限和 dm 状态是未知的。另外，功能也不一定正确。

使用多路径命令进行多路径查询

可以使用 multipath 命令的 -l 和 -ll 选项来显示当前 multipath 配置。-l 选项会显示从 sysfs 以及设备映射器中的信息搜集到的多路径拓扑。-ll 选项会显示 -l 选项显示的信息以及系统的其他可用组件。

显示多路径配置时，可以使用 multipath 命令的 -v 选项指定三种详细等级。指定为 -v0 时没有输出。指定为 -v1 则只输出生成或者更新的路径名称。指定 -v2 将输出所有检测到的路径、多路径和设备映射。

以下示例显示了 multipath -l 命令的输出。

1
2
3
4
5
6
7

## multipath -l
3600d0230000000000e13955cc3757800 dm-1 WINSYS,SF2372
size=269G features='0' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=1 status=active
| `- 6:0:0:0 sdb 8:16  active ready  running
`-+- policy='round-robin 0' prio=1 status=enabled
  `- 7:0:0:0 sdf 8:80  active ready  running

以下示例显示了 multipath -l1 命令的输出。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

## multipath -ll
3600d0230000000000e13955cc3757801 dm-10 WINSYS,SF2372
size=269G features='0' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=1 status=enabled
| `- 19:0:0:1 sdc 8:32  active ready  running
`-+- policy='round-robin 0' prio=1 status=enabled
  `- 18:0:0:1 sdh 8:112 active ready  running
3600d0230000000000e13955cc3757803 dm-2 WINSYS,SF2372
size=125G features='0' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=1 status=active
  |- 19:0:0:3 sde 8:64  active ready  running
  `- 18:0:0:3 sdj 8:144 active ready  running

多路径命令选项

表 5.1 “有用的 multipath 命令选项”描述了一些您可能会用到的 multipath 命令选项。

⁠

表 5.1. 有用的 multipath 命令选项

使用 DMSETUP 命令确定设备映射器条目

可以使用 dmsetup 找出哪个设备映射器条目与多路径的设备映射。

以下命令显示所有设备映射器设备及其主、副号码。副号码确定 dm 设备的名称。例如：副号码 3 与多路径的设备 /dev/dm-3 对映。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

## dmsetup ls
mpathd  (253:4)
mpathep1        (253:12)
mpathfp1        (253:11)
mpathb  (253:3)
mpathgp1        (253:14)
mpathhp1        (253:13)
mpatha  (253:2)
mpathh  (253:9)
mpathg  (253:8)
VolGroup00-LogVol01     (253:1)
mpathf  (253:7)
VolGroup00-LogVol00     (253:0)
mpathe  (253:6)
mpathbp1        (253:10)
mpathd  (253:5)

MULTIPATHD 命令

可使用 multipathd 命令管理 multipathd 守护进程。有关可用的 multipathd 命令的详情，请查看 multipathd(8) 手册页。

某些 multipathd 命令包含 format 选项，后接通配符。可以使用以下命令显示可用的通配符清单。

1

## multipathd show wildcards

从 Red Hat Enterprise Linux release 7.3 开始，multipathd 命令支持新格式命令，以便显示多路径状态以及使用 “raw”格式版本的路径。在 raw 格式中，不会显示标头，且不会添加字段以便将标头与该列对其。反之，该字段以指定的格式显示。这样就可以更好地使用输出结果编写脚本。现在可使用 multipathd show wildcards 命令显示格式字符串中的通配符。

要按照 multipathd 命令显示 multipathd 监控的多路径设备，使用带多路径通配符的格式字符串，可以是常规格式，也可以是 raw 格式。

1
2

list|show maps|multipaths format $format
list|show maps|multipaths raw format $format

以下 multipathd 命令显示 multipathd 监控的多路径设备，使用带多路径通配符的格式字符串，可以是常规格式，也可以是 raw 格式。

1
2

list|show paths format $format
list|show paths raw format $format

以下命令显示 multipathd show maps 中非 raw 和 raw 格式之间的不同。注：在 raw 格式中没有标头，只在每个列之间有一个空格。

1
2
3
4
5
6

## multipathd show maps format "%n %w %d %s"
name   uuid                              sysfs vend/prod/rev
mpathc 360a98000324669436c2b45666c567942 dm-0  NETAPP,LUN   

## multipathd show maps raw format "%n %w %d %s"
mpathc 360a98000324669436c2b45666c567942 dm-0 NETAPP,LUN

使用 MULTIPATHD 互动控制台进行故障排除

multipathd -k 命令是 multipathd 守护程序的交互式界面。输入这一命令将进入交互式多路径控制台。执行此命令后，就可以输入 help 获取可用命令列表。可输入交互式命令，或者按 CTRL-D 退出。

multipathd 交互式控制台可用来在系统出问题时进行故障排除。例如：以下命令会在退出控制台前显示多路径配置，其中包括默认配置。

1
2
3

## multipathd -k
> > show config
> > CTRL-D

以下命令确定多路径已经识别了所有对 multipath.conf 的修改。

1
2
3
4
5
6

## multipathd -k
> > reconfigure
> > CTRL-D
## multipathd -k
> > show paths
> > CTRL-D

删除软件包后清除多路径文件

如果不小心删除了 device-mapper-multipath rpm. 文件，请注意这不会删除 /etc/multipath.conf、/etc/multipath/bindings 和 /etc/multipath/wwids 文件。但可能需要在后续 device-mapper-multipath 软件包安装中手动删除这些文件。