对于AIX系统工程师来说，LVM是无论如何都无法避免的区域，VG镜像、存储迁移、IO调优，存储故障处理各个方面都有LVM的影子。每当我们在这些方面遇到难题时，其实都是直接或间接的和LVM战斗。

以下是一些LVM知识、常见问题及其解决方法和注意事项，掌握这些内容，必将提高你的LVM战斗力！

1. 基本概念

LVM内置在AIX系统中，随着AIX版本的更新而更新。不管是功能性还是扩展性都在逐步发展。我们在日常的工作中，一定结合自己的实际情况做好规划再使用，避免由于LVM本身的限制带来后期维护和扩展的困难。

典型问题：

1. lvm里关于VG三种选项有何差异，在实际使用中有何种不同体现，优缺点在哪里？

2. chvg -t factor各个因子分别代表什么？

3. AIX上卷组里关于quorum这个值的作用和意义？

解答以上问题，需要具备下知识

AIX LVM支持3种类型的VG，分别是normal VG，Big VG和Scalable VG，如下表所示：

这三种VG最重要的区别就是在扩展性上的支持有很大差异。

normal VG扩展性最小，Big VG次之、Scalable VG扩展性最好。

这三种类型的vg是随着AIX版本的更新逐步推出的。如果在早期的项目实施中使用了normal vg，后续还有陆续扩容的需求，可能就会超出normal vg的自身限制，造成扩容失败的后果。此时又两个解决方法：

1. 升级到其他VG类型获取更高的扩展性：

Chvg–B xxvg 升级到big vg，可以在线升级

Chvg–G xxvg升级到scalable vg，需要先执行varyoffvg命令才能升级

两者都需要pv中有足够的空间来承载vgda信息的变更。

2. 更改factor因子。实际是通过更改pp限制来实现，由factor来指定。更改实际上是在pp数支持和pv支持数量上做一个平衡。如：

Chvg–t 2 xxvg

除了容量和扩展性的差别。在创建裸设备时，使用scalable vg创建的裸设备lv默认不带4k偏移，big vg加 -T -O参数可以不带4k偏移，普通vg不行。不过现在用裸设备的不多了，可以忽略。

卷组的quorum 是由有效的VGDA（卷组描述区）构成的。一个卷组中至少有2个 VGDA 区，每个物理卷上都至少有一个VGDA。VGDA 中记录了卷组中所包含逻辑卷和物理卷的状态和描述信息。 当卷组中只有一个物理卷时，该物理卷上就会存在2个VGDA区； 当卷组中有两个物理卷上时，其中一块物理卷上有2个VGDA ,另一物理卷上有1个VGDA; 当卷组由在3个以上(>=3)的物理卷组成时，每个物理卷上都会有1个VGDA。 当quorum的值设置为on时，quorum丢失会导致卷组关闭，防止进一步的操作造成数据丢失。

2.故障排错

在LVM的使用中，经常遇到各种故障。有的是理论知识不足，有的是细节有待完善。PVID、VGDA、VGSA、ODM、exportvg、recreatevg等等，我们需要梳理LVM的结构和相关术语，这样才能在故障排错中得心应手。

典型问题：

1. odmvgda混乱时，该如何下手？

2. lg_dumplv报too small,增加后很快又空间不足，能否忽略该问题？

3. vg信息与ODM同步问题？

4. AIX PV 出现missing和remove的状态原因和相应的解决办法探讨？

5. VG中添加PV失败？

解答以上问题，需要具备下知识

AIX中LVM的信息同时存放在硬盘和ODM里，硬盘里的表现为VGDA、VGSA等。当磁盘指定为pv（如执行mkdev）时，vgda被分配。当pv加入vg时，vgda内被写入信息。Aix对磁盘的识别以PVID为准。在正常情况下，硬盘上的信息和ODM里的信息应该是一致的。我们平时所做的操作如lspv、lsvg等命令，实际上是从ODM读取的信息。当执行exportvg命令时，实际上是将odm里的对应信息删除掉，执行importvg则是将vgda里的信息重新复制到odm中。以此为准，上面的问题就比较好解答了：

Q：odmvgda混乱时，该如何下手？

A：我们知道，lvm信息由两份，一份在硬盘上，一份在odm上。如果odm的出了问题，最常见的处理方式就是使用exportvg命令将vg导出后，重新importvg即可。但在一些特殊情况下这样做会不起作用，可以考虑使用以下几种方式：

Synclvodm，是从VGDA同步ODM，前提是VG的定义还在，ODM里错误的被修正，缺失的会从VGDA导入，但ODM里多的还会存在。

redefinevg也是从VGDA同步ODM，前提是VG定义没了才用，要指定从哪个PV导入，ODM里多的还会在

recreatevg，根据vgda信息重建vg，即使PVID丢失，只有原有的lv和fs等结构未破坏即可修复。

Q：lg_dumplv报too small,增加后很快又空间不足，能否忽略该问题？

A：用sysdumpdev -e看看生成的需要多大空间，然后建个大的dump device，指向新的dump device即可。Dump设备是用来在出故障时捕获内存等信息的，如果太小会dump失败。每天的报错是由crontab里的dumpcheck条目触发的。只有空间不足，每天定时任务里的dumpcheck检查都会导致出现报错。

Q：AIX PV 出现missing和remove的状态原因和相应的解决办法探讨？

A：(1).链路异常，物理损坏，不正常操作会导致missing

对应：排查并确保hdisk到存储lun的物理路径正常，如果链路没问题，一般cfgmgr后会自动更正。但是对于aix下rdac的情况，需要额外注意，aixrdac设备如下：

darX：设备路由，可用理解成整个一台存储，一台存储1个如：dar0

dacX：理解成控制器，一台存储2个如：dac0 dac1

hdiskX：聚合后的硬盘

ds45k存储下，rdac这几个设备经常会异常，导致硬盘紊乱，矫正不过来，需要从darx到hdiskx都删除，再重新cfgmgr

(2). 状态异常会导致remove，这个具体原因不明

应对: 使用chpv -v a hdiskx可以手工更正过来

(3).其他异常，如pvid丢失等。可通过recreatevg命令重建vg

3.LVM在集群环境中的应用

在实际生产环境中，LVM经常会出现在各种集群环境中，比如IBM PowerHA，Oracle RAC等等，在不同的集群环境、不用的应用场景中，对LVM的要求也各不相同，需要我们在实施和维护中多加注意。

典型问题：

1. HACMP中LVM shrink lv问题？

2. 想了解下ha环境中，lvm如何管理，存储扩容，存储性能优化？

3. LVM Mirror其中一台存储挂起，另一台文件系统访问时间？

4. PVID号不同的话不会影响ha接管吧？

5. 在HA环境下不停业务，如何将卷组增加mirror pool功能？

解答以上问题，需要具备下知识

LVM最常出现的场景就是IBM PowerHA（以前的HACMP），vg在HACMP中可以以两种方式出现。一种是普通的vg模式，一种是fast takeover模块（concurrent vg）。不管采用哪种方式，要求挂接的存储盘在两个节点上的PVID必须是一样的。最好major number也要一样。在配置好HACMP并投入运行后，后期对存储层面的变更基本都会涉及到lvm，目前有两种处理方式：

（1）. 在其中一个节点进行LVM操作，另外一个节点重新导入。这样做需要预留一定的停机时间。

（2）. 直接通过hacmp的c-spoc来在线操作，无需停止HACMP。

在使用Oracle RAC的场景中比较特殊。早期Oracle11.2之前的版本，可以使用裸设备、集群文件系统和asm（10版本）。不管是asm还是裸设备都使用了HACMP，在这里HACMP的作用是将并发的concurrent vg在两个节点同时拉起来（当然，rac的一些服务也要像grpsvcs注册，这里只讨论LVM相关）。所以，只有oracle在使用裸设备或asm的情况下，并且使用了LVM的方式，才会用到HACMP，其他时候不需要。并且，使用了HACMP concurrent vg的场景下，后续lv的增删可以在一个节点执行，另一个节点会自动识别。到了11G r2版本后，裸设备已经不再被支持，HACMP也失去了存在的意义，基本只使用asm了。并且，由于asm使用的是裸磁盘，识别到的hdiskx还需要将PVID清除掉。

现在我们再来看上面的问题：

Q：HACMP中LVM shrink lv问题？

A：直接通过smithacmp–c-spoc菜单执行即可。也可以在单个节点修改后，另一个节点重新导入。

Q: 想了解下HA环境中，LVM如何管理，存储扩容，存储性能优化？

A: LVM管理，HA环境下需要考虑两台机器的一致性问题，powerha 7.1版本会自动把单机lvm命令翻译成HA环境下的双机命令，如果是hacmp6.1之前的版本，要在HA菜单中操作，才能保证共享vg的信息一致:smittycl_lvm

要注意，更老的版本，5.4.1之前的这个经常会失败，也就是说调整lvm，可能需要安排共享vg varyoff。存储扩容，对os来说，就是lvm管理，同上。

存储性能优化，要具体看环境，双存储镜像在核心db上很常见，要注意两份数据，很清晰的分布在两个存储上，而不只是分布在两个lun上。

Q：LVM Mirror其中一台存储挂起，另一台文件系统访问时间？

A：如果是本地盘，几乎没有影响。如果是两个存储做了LVM的镜像，在对这个环境调优情况下，(AIX FC HDISK参数）一般会有20s左右的io挂起时间。

Q：PVID号不同的话不会影响HA接管吧？

A：要求hacmp环境中的共享磁盘具有相同的PVID，最好major number也一样。

Q：在HA环境下不停业务，如何将卷组增加mirror pool功能？

A：mirror pool主要用于hacmp下的lvm mirror。它的好处是可以在盘数比较多的情况下，把要镜像的两组盘区分开。在ha不停机的情况下，步骤如下

(1)通过c-spoc在线添加对应磁盘

(2)通过c-spoc在线创建mirror pool

(3)通过c-spoc把磁盘加到mirror pool中

(4)通过c-spoc给vg做镜像

4.基于LVM的高可用或迁移方案

由于LVM自身的特性，使得可以直接基于LVM设计存储高可用和存储迁移的方案。善用LVM使得我们不管在方案设计还是日常工作中都会受益良多。

典型问题：

1. 生产挂两个存储，在VG层面做镜像，实施DS8000存储级容灾应该注意什么？

2. 对于善用AIX LVM特性直接做存储双活方案，有几个点想咨询？

3. lvm做镜像如何实现磁盘的读写分离？

4. lvm镜像不同存储的两个卷，存储性能需求及存储故障影响？

5. 如何用最短的停机时间实现存储切换/V5100L转V7000？

解答以上问题，需要具备下知识

AIX本身的LVM mirror功能使得AIX在LVM层面上的存储迁移和高可用成功可能。相关的mirrorvg、mklvcopy、migratepv等命令都可以应用这些场景中。其中mirrorvg实际上调用的还是mklvopcy命令，对卷组基本实现镜像。Mklvcopy可单独的对单个lv进行镜像。Migratepv用于在同卷组中的不同pv间迁移数据，不能在不同卷组间迁移，不能迁移条带化lv。

再来看上面的问题：

Q：生产挂两个存储，在VG层面做镜像，实施DS8000存储级容灾应该注意什么？生产挂两个存储，在VG层面做镜像，在这种场景做DS8000存储的MM复制需要关注那几个方面？应该注意什么？

A：这是IBM前几年最推崇的成熟可靠的解决方案，目前很多金融用户有案例，使用相对广泛，近两年开始推广hyperswap的方案了

LVM双存储需要调整大量的AIX OS FC Hidsk的参数，来保证本地的存储高可用性，同城之间使用DWDM来保证数据链路传输安全稳定可靠。

主要还是考虑性能方面的问题，如果两台存储配置不一样，性能不一样的话，做mirror可能会影响上层应用，注意多路径策略的选择。做MM的话，距离太远会导致IO传输路径变长，service time高，对IO响应时间敏感的应用系统需特别关注。

这样架构的还有一个问题在于，灾备端的卷vgda里记录是有VG镜像的。因此，在拉起灾备的时候，会pv missing校验报错，importvg时间会较长。因此在pv较多的情况下，需要测算一下灾备vg varyon的时间。某银行曾出现过类似架构切换拉起卷一个多小时的情况。

Q：对于善用AIX LVM特性直接做存储双活方案，有几个点想咨询？

（1）LVM方式将磁盘做镜像，那么两个镜像副本的IO延时会有几个毫秒的差异，两个镜像的链路也会存在抖动的风险，那么LVM层面有什么参数或者是策略能较少这方面的风险？

（2）将设远端镜像IO延时超时，那么另外一个镜像就相当于掉线了，当链路恢复之后，除了用镜像同步的方式还有没有更好的恢复掉线镜像的方式？

A：

（1）光纤卡的fc_err_recov硬盘的rw_timeoutreassign_to等参数的设置都会对挂起时间略有影响，需要做对应的调整

（2）因为是基于lvm mirror做的，只能从lvm层面同步stale的pp

Q：lvm做镜像如何实现磁盘的读写分离？

A: 通过在lv层面选择不同的策略即可，命令：chlv -d "ps" xxx_lvname

Q：lvm镜像不同存储的两个卷，存储性能需求及存储故障影响？

如题，lvm镜像两个不同存储的卷，系统io读写取决于较差性能的存储，并且lvm没有缓存机制，需要两个存储卷全部写入完成，才算是真正写入完成，一个存储卷或存储故障，整个系统均会受影响，从这两个角度，是否说明lvm不适用于外置存储卷镜像，只适用于内置硬盘镜像。

A：建议通过lv的读写策略来修正，比如在lv层面使用Parallel write with sequential read scheduling policy策略，即：同时写A，写B，A完成，B完成，写入完成永远从A读，读A失败则读B smitchlv可以改

因为写入是个硬需求改不了，顶多优化一下读。如果写操作比例大，还是建议两个存储的性能差别不要太大

Q：如何用最短的停机时间实现存储切换/V5100L转V7000？

各位专家，我客户现有一个存储IBM5100升级V7000的需求，具体有哪些完善的方案?

主机端为原来有P520和P550 ，新购P740，存储V5100，采用磁带LTO6备份。

AIX5.3，ORACLE10 ，SAP应用：业务数据接近3T。

另外，V7000：双控16G缓存，有8400G的SSD硬盘和16600G SAS，请问如果是全新LVM管理，应该如何对以上存储进行更加合理和优化。

A：因为你的新存储是v7000，所以有两种方案，停机时间都非常小，如下：

1. lvm方式。新的v7000接入aix，配置好lun加入vg，以mklvcopy的方式创建镜像，做完后解除镜像删掉5100的lun。可以无停机时间。

2. v7000的vdm：v7000挂接5100，以image模式导入lun，后续使用v7000的空间和5100做vdm即可。需要较短的停机时间，重新挂接存储

以上是LVM常见的十八个典型问题，以及解决这些问题必备的知识。通过这样一番学习，你是否可以在面对LVM的时候更加自信了？

Windows Server 2016软件定义存储：Storage Spaces Direct介绍

导读：Storage Spaces Direct为HA级别的存储和企业内软件定义存储的应用提供了可能性。 计划对Storage Spaces Direct进行试验部署的管理员需要记住其中的一些注意事项和限制。

Storage Spaces Direct,