이제 POWER9과 V100을 장착한 AC922 서버는 현재까지는 주로 Redhat을 이용하는데, Redhat에서도 이런 OS mirror가 가능할까요 ? 불행히도 Redhat installer는 Ubuntu installer와는 약간 달라서, OS 설치시 각각의 disk에 먼저 파티션을 만든 뒤 어느 파티션을 무엇으로 사용할지 정하는 것이 아니라, 먼저 파티션 용도를 지정하면 자동으로 mirror device가 생성됩니다. 그래서 SW RAID1으로 그냥 설치하면 PReP과 /boot는 1번 disk에만 만들어지고, 2번 디스크 앞 부분에는 PReP 파티션을 만들 공간을 따로 확보할 수 없게 됩니다.
이 문제에 대한 workaround가 있습니다. 이 방법은 Kolon의 정유영 대리께서 고안해냈고, 테스트에서 1번 disk를 뽑아낸 뒤 리부팅을 해봐도 정상적으로 리부팅이 되었습니다. 수고해주신 정유영 대리께 감사드립니다.
이 workaround의 절차를 요약하면 아래와 같습니다.
1) 먼저 Redhat installer가 시키는 대로, PReP과 /boot를 제외한 OS mirror를 mdadm device를 구성하여 완료합니다.
2) OS 설치 완료 뒤 mdadm 명령으로 2번 디스크의 mirror copy를 제거하여 blank disk로 만듭니다.
3) 그렇게 비워진 2번 disk에 1번 disk와 동일한 크기로 PReP과 /boot를 포함한 파티션들을 새로 만듭니다.
4) 그 중 PReP과 /boot에는 dd 명령을 통해 1번 disk의 원본을 copy합니다.
5) 나머지 OS용 파티션에는 mdadm 명령으로 mirror copy를 새로 add 합니다.
간단하지요 ? 다만 이렇게 할 경우, 나중에 혹시 /boot에 뭔가 write를 할 일이 있다면 그 내용을 2번째 disk에 다시 dd 명령으로 write를 해줘야 하긴 합니다. 물론 /boot에는 write가 일어날 일은 거의 없습니다. 이제 위의 내용을 좀 더 자세히 정리해놓겠습니다.
1. 2개의 디스크중 "/"와 "swap" 부분을 mdadm device (즉 SW RAID1)으로 구성 해서 설치합니다. 이때 PReP과 /boot는 제외됩니다.
- PReP은 그렇다치고, 왜 /boot도 mdadm device로 구성이 안되는지는 의아하긴 합니다.
2. OS 설치 완료 후 OS 명령어 mdadm를 통해 MD device로 구성된 /와 swap에서 2번 디스크를 제거
# mdadm --manage /dev/md126 --remove /dev/sdb1 (swap 영역)
# mdadm --manage /dev/md127 --remove /dev/sdb2 (/ 영역)
3. 이제 텅 비게 된 2번 디스크를 1번 디스크와 동일하게 fdisk 명령을 이용해서 파티셔닝
# fdisk -l /dev/sda (1번 disk의 파티션 상황 파악)
# fdisk /dev/sdb (위의 정보에서 얻은 1번 disk 파티션과 동일하게 2번 disk에 파티션을 구성)
- 특히 맨 앞에 만드는 /dev/sdb1의 disk type은 41 (PPC PReP Boot)으로 구성해줘야 합니다.
# fdisk /dev/sda
...
Command (m for help): t
Hex code (type L to list all codes): 41
Changed type of partition 'Linux' to 'PPC PReP Boot'
...
그래서 다음과 같이 두 disk가 동일한 파티션 정보를 가지도록 만듭니다.
Device Boot Start End Blocks Id System
/dev/sda1 * 2048 18431 8192 41 PPC PReP Boot
/dev/sda2 18432 1067007 524288 83 Linux
/dev/sda3 1067008 9455615 4194304 82 Linux swap / Solaris
/dev/sda4 9455616 1875384319 932964352 5 Extended
/dev/sda5 9457664 1875384319 932963328 8e Linux LVM
Device Boot Start End Blocks Id System
/dev/sdb1 2048 18431 8192 41 PPC PReP Boot
/dev/sdb2 18432 1067007 524288 83 Linux
/dev/sdb3 1067008 9455615 4194304 82 Linux swap / Solaris
/dev/sdb4 9455616 1875384319 932964352 5 Extended
/dev/sdb5 9457664 1875384319 932963328 8e Linux LVM
4. 이제 mdadm 명령으로 /와 swap 파티션의 mirror 구성을 실시합니다.
# mdadm --manage /dev/md126 --add /dev/sdb3 (swap 영역)
# mdadm --manage /dev/md127 --add /dev/sdb5 (/ 영역)
5. PReP 파티션을 dd 명령으로 복사합니다.
# dd if=/dev/sda1 of=/dev/sdb1 bs=1024k
6. /boot 파티션을 dd 명령으로 복사합니다. 단, 이 경우는 먼저 신규 /boot에 filesystem을 만들고, 또 기존 /boot를 umount하고 진행해야 합니다.
먼저 기존 /boot가 어떤 type의 filesystem으로 만들어졌는지 확인합니다. 여기서는 xfs로 되어 있습니다.
# mount | grep boot
/dev/sda2 on /boot type xfs (rw,relatime,attr2,inode64,noquota)
거기에 대응해서 동일 size로 만들어 두었던 /dev/sdb2를 xfs로 format 합니다. (이 format superblock은 dd로 copy가 안되더라고요)
# mkfs -t xfs -f /dev/sdb2
그 다음에 반드시 먼저 기존의 /boot를 umount 하고 dd를 뜹니다. (mount된 상태에서 dd를 뜨면 superblock이 copy 되지 않습니다.)
# umount /boot
# dd if=/dev/sda2 of=/dev/sdb2 bs=1024k
이제 보면 xfs_admin 명령으로 확인해보면 /dev/sdb2에도 /dev/sda2와 동일한 UUID가 들어가 있습니다. 이렇게 동일한 UUID를 사용하므로, /boot/grub2/grub.cfg를 굳이 수정할 필요가 없습니다. 다만 이로 인해 서버 부팅 시에 /boot로 /dev/sda2가 아니라 /dev/sdb2가 mount될 가능성도 있는데, 어차피 같은 copy이고 거기에 write가 일어날 일도 거의 없으므로 문제될 것은 없습니다.
# xfs_admin -u /dev/sda2
UUID = 20a94402-8589-48db-b8cf-e82c16f415ee
# xfs_admin -u /dev/sdb2
UUID = 20a94402-8589-48db-b8cf-e82c16f415ee
그리고 mount 해서 보면 원래의 /boot와 동일한 file들이 동일하게 보입니다.
# mount /dev/sda2 /boot
# mount /dev/sdb2 /mnt
# ls -l /boot
total 183444
-rw-r--r--. 1 root root 138001 Oct 17 2017 config-4.11.0-44.el7a.ppc64le
drwxr-xr-x. 3 root root 17 May 30 14:58 efi
drwx------. 5 root root 118 May 30 17:11 grub2
-rw-------. 1 root root 64932747 May 30 15:07 initramfs-0-rescue-168b61eb0f2d43cb8783c83d162b35f9.img
-rw-------. 1 root root 44154461 May 30 17:11 initramfs-4.11.0-44.el7a.ppc64le.img
-rw-------. 1 root root 22527454 May 30 15:27 initramfs-4.11.0-44.el7a.ppc64lekdump.img
-rw-r--r--. 1 root root 10382937 May 30 15:06 initrd-plymouth.img
-rw-r--r--. 1 root root 250055 Oct 17 2017 symvers-4.11.0-44.el7a.ppc64le.gz
-rw-------. 1 root root 2754018 Oct 17 2017 System.map-4.11.0-44.el7a.ppc64le
-rwxr-xr-x. 1 root root 21346760 May 30 15:07 vmlinuz-0-rescue-168b61eb0f2d43cb8783c83d162b35f9
-rwxr-xr-x. 1 root root 21346760 Oct 17 2017 vmlinuz-4.11.0-44.el7a.ppc64le
# ls -l /mnt
total 183444
-rw-r--r--. 1 root root 138001 Oct 17 2017 config-4.11.0-44.el7a.ppc64le
drwxr-xr-x. 3 root root 17 May 30 14:58 efi
drwx------. 5 root root 118 May 30 17:11 grub2
-rw-------. 1 root root 64932747 May 30 15:07 initramfs-0-rescue-168b61eb0f2d43cb8783c83d162b35f9.img
-rw-------. 1 root root 44154461 May 30 17:11 initramfs-4.11.0-44.el7a.ppc64le.img
-rw-------. 1 root root 22527454 May 30 15:27 initramfs-4.11.0-44.el7a.ppc64lekdump.img
-rw-r--r--. 1 root root 10382937 May 30 15:06 initrd-plymouth.img
-rw-r--r--. 1 root root 250055 Oct 17 2017 symvers-4.11.0-44.el7a.ppc64le.gz
-rw-------. 1 root root 2754018 Oct 17 2017 System.map-4.11.0-44.el7a.ppc64le
-rwxr-xr-x. 1 root root 21346760 May 30 15:07 vmlinuz-0-rescue-168b61eb0f2d43cb8783c83d162b35f9
-rwxr-xr-x. 1 root root 21346760 Oct 17 2017 vmlinuz-4.11.0-44.el7a.ppc64le
확인이 끝났으면 /mnt는 umount하고 사용을 시작하시면 됩니다.
# umount /mnt
이로써 OS mirroring이 다 끝난 것입니다.
댓글 없음:
댓글 쓰기