HW 엔지니어를 위한 Deep Learning: 10월 2020

2020년 10월 27일 화요일

IBM POWER9 (ppc64le) Redhat 7에서 Spectrum Scale (GPFS) v5 구성하기

여기서의 설정은 gw(2.1.1.1) 서버를 1대 뿐인 GPFS 서버로, 그리고 2대의 서버 tac1과 tac2 (각각 2.1.1.3, 2.1.1.4)를 GPFS client 노드로 등록하는 것입니다. 즉 GPFS의 물리적 disk가 직접 연결되는 것은 gw 서버이고, tac1과 tac2 서버는 gw 서버가 보내주는 GPFS filesystem을 NSD (network storage device) 형태로 network을 통해서 받게 됩니다.

먼저 모든 서버에서 firewalld를 disable합니다. 이와 함께 각 서버 간에 passwd 없이 ssh가 가능하도록 미리 설정해둡니다.

[root@gw ~]# systemctl stop firewalld

[root@gw ~]# systemctl disable firewalld

여기서는 GPFS (새이름 SpectrumScale) installer를 이용하여 설치하겠습니다. GPFS v5부터는 ansible을 이용하여 1대에서만 설치하면 다른 cluster node들에게도 자동으로 설치가 되어 편합니다. 먼저 install 파일을 수행하면 self-extraction이 시작되며 파일들이 생성됩니다.

[root@gw SW]# ./Spectrum_Scale_Advanced-5.0.4.0-ppc64LE-Linux-install

Extracting Product RPMs to /usr/lpp/mmfs/5.0.4.0 ...

tail -n +641 ./Spectrum_Scale_Advanced-5.0.4.0-ppc64LE-Linux-install | tar -C /usr/lpp/mmfs/5.0.4.0 --wildcards -xvz installer gpfs_rpms/rhel/rhel7 hdfs_debs/ubuntu16/hdfs_3.1.0.x hdfs_rpms/rhel7/hdfs_2.7.3.x hdfs_rpms/rhel7/hdfs_3.0.0.x hdfs_rpms/rhel7/hdfs_3.1.0.x zimon_debs/ubuntu/ubuntu16 ganesha_rpms/rhel7 ganesha_rpms/rhel8 gpfs_debs/ubuntu16 gpfs_rpms/sles12 object_rpms/rhel7 smb_rpms/rhel7 smb_rpms/rhel8 tools/repo zimon_debs/ubuntu16 zimon_rpms/rhel7 zimon_rpms/rhel8 zimon_rpms/sles12 zimon_rpms/sles15 gpfs_debs gpfs_rpms manifest 1> /dev/null

- installer

- gpfs_rpms/rhel/rhel7

- hdfs_debs/ubuntu16/hdfs_3.1.0.x

- hdfs_rpms/rhel7/hdfs_2.7.3.x

...

- gpfs_debs

- gpfs_rpms

- manifest

Removing License Acceptance Process Tool from /usr/lpp/mmfs/5.0.4.0 ...

rm -rf /usr/lpp/mmfs/5.0.4.0/LAP_HOME /usr/lpp/mmfs/5.0.4.0/LA_HOME

Removing JRE from /usr/lpp/mmfs/5.0.4.0 ...

rm -rf /usr/lpp/mmfs/5.0.4.0/ibm-java*tgz

==================================================================

Product packages successfully extracted to /usr/lpp/mmfs/5.0.4.0

Cluster installation and protocol deployment

To install a cluster or deploy protocols with the Spectrum Scale Install Toolkit: /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale -h

To install a cluster manually: Use the gpfs packages located within /usr/lpp/mmfs/5.0.4.0/gpfs_<rpms/debs>

To upgrade an existing cluster using the Spectrum Scale Install Toolkit:

1) Copy your old clusterdefinition.txt file to the new /usr/lpp/mmfs/5.0.4.0/installer/configuration/ location

2) Review and update the config: /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale config update

3) (Optional) Update the toolkit to reflect the current cluster config:

/usr/lpp/mmfs/5.0.4.0/installer/spectrumscale config populate -N <node>

4) Run the upgrade: /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale upgrade -h

To add nodes to an existing cluster using the Spectrum Scale Install Toolkit:

1) Add nodes to the clusterdefinition.txt file: /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale node add -h

2) Install GPFS on the new nodes: /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale install -h

3) Deploy protocols on the new nodes: /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale deploy -h

To add NSDs or file systems to an existing cluster using the Spectrum Scale Install Toolkit:

1) Add nsds and/or filesystems with: /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale nsd add -h

2) Install the NSDs: /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale install -h

3) Deploy the new file system: /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale deploy -h

To update the toolkit to reflect the current cluster config examples:

/usr/lpp/mmfs/5.0.4.0/installer/spectrumscale config populate -N <node>

1) Manual updates outside of the install toolkit

2) Sync the current cluster state to the install toolkit prior to upgrade

3) Switching from a manually managed cluster to the install toolkit

==================================================================================

To get up and running quickly, visit our wiki for an IBM Spectrum Scale Protocols Quick Overview:

https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/General%20Parallel%20File%20System%20%28GPFS%29/page/Protocols%20Quick%20Overview%20for%20IBM%20Spectrum%20Scale

===================================================================================

먼저 아래와 같이 spectrumscale 명령으로 gw 서버, 즉 2.1.1.5를 installer 서버로 지정합니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale setup -s 2.1.1.5

이어서 gw 서버를 manager node이자 admin node로 지정합니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale node add 2.1.1.5 -m -n -a

[ INFO ] Adding node gw as a GPFS node.

[ INFO ] Adding node gw as a manager node.

[ INFO ] Adding node gw as an NSD server.

[ INFO ] Configuration updated.

[ INFO ] Tip :If all node designations are complete, add NSDs to your cluster definition and define required filessytems:./spectrumscale nsd add <device> -p <primary node> -s <secondary node> -fs <file system>

[ INFO ] Setting gw as an admin node.

[ INFO ] Configuration updated.

[ INFO ] Tip : Designate protocol or nsd nodes in your environment to use during install:./spectrumscale node add <node> -p -n

각 node들을 quorum node로 등록합니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale node add 2.1.1.3 -q

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale node add 2.1.1.4 -q

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale node add 2.1.1.5 -q

[ INFO ] Adding node gwp as a quorum node.

node list를 확인합니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale node list

[ INFO ] List of nodes in current configuration:

[ INFO ] [Installer Node]

[ INFO ] 2.1.1.5

[ INFO ]

[ INFO ] [Cluster Details]

[ INFO ] No cluster name configured

[ INFO ] Setup Type: Spectrum Scale

[ INFO ]

[ INFO ] [Extended Features]

[ INFO ] File Audit logging : Disabled

[ INFO ] Watch folder : Disabled

[ INFO ] Management GUI : Disabled

[ INFO ] Performance Monitoring : Enabled

[ INFO ] Callhome : Enabled

[ INFO ]

[ INFO ] GPFS Admin Quorum Manager NSD Protocol Callhome OS Arch

[ INFO ] Node Node Node Node Server Node Server

[ INFO ] gw X X X X rhel7 ppc64le

[ INFO ] tac1p X rhel7 ppc64le

[ INFO ] tac2p X rhel7 ppc64le

[ INFO ]

[ INFO ] [Export IP address]

[ INFO ] No export IP addresses configured

sdc와 sdd를 nsd로 등록합니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale nsd add /dev/sdc -p 2.1.1.5 --name data_nsd -fs data

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale nsd add /dev/sdd -p 2.1.1.5 --name backup_nsd -fs backup

nsd를 확인합니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale nsd list

[ INFO ] Name FS Size(GB) Usage FG Pool Device Servers

[ INFO ] data_nsd data 400 Default 1 Default /dev/sdc [gwp]

[ INFO ] backup_nsd backup 400 Default 1 Default /dev/sdd [gwp]

filesystem을 확인합니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale filesystem list

[ INFO ] Name BlockSize Mountpoint NSDs Assigned Default Data Replicas Max Data Replicas Default Metadata Replicas Max Metadata Replicas

[ INFO ] data Default (4M)/ibm/data 1 1 2 1 2

[ INFO ] backup Default (4M)/ibm/backup 1 1 2 1 2

[ INFO ]

GPFS cluster를 정의합니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale config gpfs -c tac_gpfs

[ INFO ] Setting GPFS cluster name to tac_gpfs

다른 node들에게의 통신은 ssh와 scp를 이용하는 것으로 지정합니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale config gpfs -r /usr/bin/ssh

[ INFO ] Setting Remote shell command to /usr/bin/ssh

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale config gpfs -rc /usr/bin/scp

[ INFO ] Setting Remote file copy command to /usr/bin/scp

확인합니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale config gpfs --list

[ INFO ] Current settings are as follows:

[ INFO ] GPFS cluster name is tac_gpfs.

[ INFO ] GPFS profile is default.

[ INFO ] Remote shell command is /usr/bin/ssh.

[ INFO ] Remote file copy command is /usr/bin/scp.

[ WARN ] No value for GPFS Daemon communication port range in clusterdefinition file.

기본으로 GPFS 서버는 장애 발생시 IBM으로 연락하는 callhome 기능이 있습니다. Internet에 연결된 노드가 아니므로 disable합니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale callhome disable

[ INFO ] Disabling the callhome.

[ INFO ] Configuration updated.

이제 install 준비가 되었습니다. Install 하기 전에 precheck을 수행합니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale install -pr

[ INFO ] Logging to file: /usr/lpp/mmfs/5.0.4.0/installer/logs/INSTALL-PRECHECK-23-10-2020_21:13:23.log

[ INFO ] Validating configuration

...

[ INFO ] The install toolkit will not configure call home as it is disabled. To enable call home, use the following CLI command: ./spectrumscale callhome enable

[ INFO ] Pre-check successful for install.

[ INFO ] Tip : ./spectrumscale install

이상 없으면 install을 수행합니다. 이때 gw 뿐만 아니라 tac1과 tac2에도 GPFS가 설치됩니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale install

...

[ INFO ] GPFS active on all nodes

[ INFO ] GPFS ACTIVE

[ INFO ] Checking state of NSDs

[ INFO ] NSDs ACTIVE

[ INFO ] Checking state of Performance Monitoring

[ INFO ] Running Performance Monitoring post-install checks

[ INFO ] pmcollector running on all nodes

[ INFO ] pmsensors running on all nodes

[ INFO ] Performance Monitoring ACTIVE

[ INFO ] SUCCESS

[ INFO ] All services running

[ INFO ] StanzaFile and NodeDesc file for NSD, filesystem, and cluster setup have been saved to /usr/lpp/mmfs folder on node: gwp

[ INFO ] Installation successful. 3 GPFS nodes active in cluster tac_gpfs.tac1p. Completed in 2 minutes 52 seconds.

[ INFO ] Tip :If all node designations and any required protocol configurations are complete, proceed to check the deploy configuration:./spectrumscale deploy --precheck

참고로 여기서 아래와 같은 error가 나는 경우는 전에 이미 GPFS NSD로 사용된 disk이기 때문입니다.

[ FATAL ] gwp failure whilst: Creating NSDs (SS16)

[ WARN ] SUGGESTED ACTION(S):

[ WARN ] Review your NSD device configuration in configuration/clusterdefinition.txt

[ WARN ] Ensure all disks are not damaged and can be written to.

[ FATAL ] FAILURE REASON(s) for gwp:

[ FATAL ] gwp ---- Begin output of /usr/lpp/mmfs/bin/mmcrnsd -F /usr/lpp/mmfs/StanzaFile ----

[ FATAL ] gwp STDOUT: mmcrnsd: Processing disk sdc

[ FATAL ] gwp mmcrnsd: Processing disk sdd

[ FATAL ] gwp STDERR: mmcrnsd: Disk device sdc refers to an existing NSD

[ FATAL ] gwp mmcrnsd: Disk device sdd refers to an existing NSD

[ FATAL ] gwp mmcrnsd: Command failed. Examine previous error messages to determine cause.

[ FATAL ] gwp ---- End output of /usr/lpp/mmfs/bin/mmcrnsd -F /usr/lpp/mmfs/StanzaFile ----

[ INFO ] Detailed error log: /usr/lpp/mmfs/5.0.4.0/installer/logs/INSTALL-23-10-2020_21:20:05.log

[ FATAL ] Installation failed on one or more nodes. Check the log for more details.

이건 다음과 같이 disk 앞부분 약간을 덮어쓰면 됩니다.

[root@gw SW]# dd if=/dev/zero of=/dev/sdc bs=1M count=100

100+0 records in

100+0 records out

104857600 bytes (105 MB) copied, 0.0736579 s, 1.4 GB/s

[root@gw SW]# dd if=/dev/zero of=/dev/sdd bs=1M count=100

100+0 records in

100+0 records out

104857600 bytes (105 MB) copied, 0.0737598 s, 1.4 GB/s

이제 각 node 상태를 check 합니다.

[root@gw SW]# mmgetstate -a

Node number Node name GPFS state

-------------------------------------------

1 tac1p active

2 tac2p active

3 gwp active

nsd 상태를 check 합니다. 그런데 GPFS filesystem 정의가 (free disk)로 빠져 있는 것을 보실 수 있습니다.

[root@gw SW]# mmlsnsd

File system Disk name NSD servers

---------------------------------------------------------------------------

(free disk) backup_nsd gwp

(free disk) data_nsd gwp

spectrumscale filesystem list 명령으로 다시 GPFS filesystem 상태를 보면 거기엔 정보가 들어가 있습니다. 다만 mount point가 /ibm/data 이런 식으로 잘못 되어 있네요.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale filesystem list

[ INFO ] Name BlockSize Mountpoint NSDs Assigned Default Data Replicas Max Data Replicas Default Metadata Replicas Max Metadata Replicas

[ INFO ] data Default (4M)/ibm/data 1 1 2 1 2

[ INFO ] backup Default (4M)/ibm/backup 1 1 2 1 2

[ INFO ]

잘못된 mount point들을 제대로 수정합니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale filesystem modify data -m /data

[ INFO ] The data filesystem will be mounted at /data on all nodes.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale filesystem modify backup -m /backup

[ INFO ] The backup filesystem will be mounted at /backup on all nodes.

확인합니다. 그러나 여전히 mount는 되지 않습니다.

[root@gw SW]# /usr/lpp/mmfs/5.0.4.0/installer/spectrumscale filesystem list

[ INFO ] Name BlockSize Mountpoint NSDs Assigned Default Data Replicas Max Data Replicas Default Metadata Replicas Max Metadata Replicas

[ INFO ] data Default (4M)/data 1 1 2 1 2

[ INFO ] backup Default (4M)/backup 1 1 2 1 2

[ INFO ]

이를 수정하기 위해 GPFS fileystem 설정은 예전 방식, 즉 mmcrnsd와 mmcrfs 명령을 쓰겠습니다. 먼저 disk description 파일을 아래와 같이 만듭니다.

[root@gw ~]# vi /home/SW/gpfs/disk.desc1

/dev/sdc:gwp::dataAndMetadata:1:nsd_data

[root@gw ~]# vi /home/SW/gpfs/disk.desc2

/dev/sdd:gwp::dataAndMetadata:1:nsd_backup

그리고 예전의 NSD 포맷을 지우기 위해 sdc와 sdd에 아래와 같이 dd로 overwrite를 합니다.

[root@gw ~]# dd if=/dev/zero of=/dev/sdc bs=1M count=100

100+0 records in

100+0 records out

104857600 bytes (105 MB) copied, 0.0130229 s, 8.1 GB/s

[root@gw ~]# dd if=/dev/zero of=/dev/sdd bs=1M count=100

100+0 records in

100+0 records out

104857600 bytes (105 MB) copied, 0.0128207 s, 8.2 GB/s

mmcrnsd 명령과 mmcrfs 명령을 수행하여 NSD와 GPFS filesystem을 만듭니다.

[root@gw ~]# mmcrnsd -F /home/SW/gpfs/disk.desc1

[root@gw ~]# mmcrnsd -F /home/SW/gpfs/disk.desc2

[root@gw ~]# mmcrfs /data /dev/nsd_data -F /home/SW/gpfs/disk.desc1

The following disks of nsd_data will be formatted on node gw:

nsd_data: size 409600 MB

Formatting file system ...

Disks up to size 3.18 TB can be added to storage pool system.

Creating Inode File

Creating Allocation Maps

Creating Log Files

Clearing Inode Allocation Map

Clearing Block Allocation Map

Formatting Allocation Map for storage pool system

Completed creation of file system /dev/nsd_data.

mmcrfs: Propagating the cluster configuration data to all

affected nodes. This is an asynchronous process.

[root@gw ~]# mmcrfs /backup /dev/nsd_backup -F /home/SW/gpfs/disk.desc2

The following disks of nsd_backup will be formatted on node gw:

nsd_backup: size 409600 MB

Formatting file system ...

Disks up to size 3.18 TB can be added to storage pool system.

Creating Inode File

Creating Allocation Maps

Creating Log Files

Clearing Inode Allocation Map

Clearing Block Allocation Map

Formatting Allocation Map for storage pool system

Completed creation of file system /dev/nsd_backup.

mmcrfs: Propagating the cluster configuration data to all

affected nodes. This is an asynchronous process.

이제 모든 node에서 mount 해봅니다.

[root@gw ~]# mmmount all -a

Sat Oct 24 09:45:43 KST 2020: mmmount: Mounting file systems ...

[root@gw ~]# df -h

Filesystem Size Used Avail Use% Mounted on

devtmpfs 1.7G 0 1.7G 0% /dev

tmpfs 1.8G 18M 1.8G 1% /dev/shm

tmpfs 1.8G 96M 1.7G 6% /run

tmpfs 1.8G 0 1.8G 0% /sys/fs/cgroup

/dev/sda5 50G 5.4G 45G 11% /

/dev/sda6 345G 8.6G 337G 3% /home

/dev/sda2 1014M 178M 837M 18% /boot

tmpfs 355M 0 355M 0% /run/user/0

/dev/sr0 3.4G 3.4G 0 100% /home/cdrom

nsd_backup 400G 2.8G 398G 1% /backup

nsd_data 400G 2.8G 398G 1% /data

테스트를 위해 /data 밑에 /etc/hosts 파일을 copy해 둡니다.

[root@gw ~]# cp /etc/hosts /data

[root@gw ~]# ls -l /data

total 1

-rw-r--r--. 1 root root 298 Oct 24 09:49 hosts

Client node들에서도 잘 mount 되었는지 확인합니다. 그리고 아까 copy해둔 hosts 파일이 있는 확인합니다.

[root@gw ~]# ssh tac1

Last login: Sat Oct 24 09:33:46 2020 from gwp

[root@tac1 ~]# df -h

Filesystem Size Used Avail Use% Mounted on

devtmpfs 28G 0 28G 0% /dev

tmpfs 28G 0 28G 0% /dev/shm

tmpfs 28G 15M 28G 1% /run

tmpfs 28G 0 28G 0% /sys/fs/cgroup

/dev/sda5 50G 3.3G 47G 7% /

/dev/sda6 321G 2.8G 319G 1% /home

/dev/sda2 1014M 178M 837M 18% /boot

tmpfs 5.5G 0 5.5G 0% /run/user/0

nsd_data 400G 2.8G 398G 1% /data

nsd_backup 400G 2.8G 398G 1% /backup

[root@tac1 ~]# ls -l /data

total 1

-rw-r--r--. 1 root root 298 Oct 24 09:49 hosts

[root@gw ~]# ssh tac2

Last login: Sat Oct 24 09:33:46 2020 from gwp

[root@tac2 ~]# df -h

Filesystem Size Used Avail Use% Mounted on

devtmpfs 28G 0 28G 0% /dev

tmpfs 28G 0 28G 0% /dev/shm

tmpfs 28G 15M 28G 1% /run

tmpfs 28G 0 28G 0% /sys/fs/cgroup

/dev/sda5 50G 3.2G 47G 7% /

/dev/sda6 321G 3.3G 318G 2% /home

/dev/sda2 1014M 178M 837M 18% /boot

tmpfs 5.5G 0 5.5G 0% /run/user/0

nsd_backup 400G 2.8G 398G 1% /backup

nsd_data 400G 2.8G 398G 1% /data

[root@tac2 ~]# ls -l /data

total 1

-rw-r--r--. 1 root root 298 Oct 24 09:49 hosts

참고로 어떤 disk가 GPFS nsd인지는 fdisk 명령으로 아래와 같이 확인하실 수 있습니다. fdisk -l 로 볼 때, 아래와 같이 IBM General Par GPFS라고 나오는 것이 GPFS nsd 입니다.

[root@tac1 ~]# fdisk -l | grep sd

WARNING: fdisk GPT support is currently new, and therefore in an experimental phase. Use at your own discretion.

Disk /dev/sda: 429.5 GB, 429496729600 bytes, 838860800 sectors

/dev/sda1 * 2048 10239 4096 41 PPC PReP Boot

/dev/sda2 10240 2107391 1048576 83 Linux

/dev/sda3 2107392 60829695 29361152 82 Linux swap / Solaris

/dev/sda4 60829696 838860799 389015552 5 Extended

/dev/sda5 60831744 165689343 52428800 83 Linux

/dev/sda6 165691392 838860799 336584704 83 Linux

Disk /dev/sdb: 429.5 GB, 429496729600 bytes, 838860800 sectors

Disk /dev/sdc: 429.5 GB, 429496729600 bytes, 838860800 sectors

Disk /dev/sdd: 429.5 GB, 429496729600 bytes, 838860800 sectors

Disk /dev/sde: 429.5 GB, 429496729600 bytes, 838860800 sectors

Disk /dev/sdf: 429.5 GB, 429496729600 bytes, 838860800 sectors

Disk /dev/sdg: 429.5 GB, 429496729600 bytes, 838860800 sectors

[root@tac1 ~]# fdisk -l /dev/sdb

WARNING: fdisk GPT support is currently new, and therefore in an experimental phase. Use at your own discretion.

Disk /dev/sdb: 429.5 GB, 429496729600 bytes, 838860800 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk label type: gpt

Disk identifier: 236CE033-C570-41CC-8D2E-E20E6F494C38

# Start End Size Type Name

1 48 838860751 400G IBM General Par GPFS:

[root@tac1 ~]# fdisk -l /dev/sdc

WARNING: fdisk GPT support is currently new, and therefore in an experimental phase. Use at your own discretion.

Disk /dev/sdc: 429.5 GB, 429496729600 bytes, 838860800 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk label type: gpt

Disk identifier: 507A299C-8E96-49E2-8C25-9D051BC9B935

# Start End Size Type Name

1 48 838860751 400G IBM General Par GPFS:

일반 disk는 아래와 같이 평범하게 나옵니다.

[root@tac1 ~]# fdisk -l /dev/sdd

Disk /dev/sdd: 429.5 GB, 429496729600 bytes, 838860800 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

IBM POWER9 Redhat 7에서 Redhat HA Cluster 구성하는 방법

Redhat HA cluster를 IBM POWER9 (ppc64le) 기반의 Redhat 7에서 설치하는 방법입니다.

먼저 firewalld를 stop 시킵니다.

[root@ha1 ~]# systemctl stop firewalld

[root@ha1 ~]# systemctl disable firewalld

아래의 package들을 설치합니다. 이건 Redhat OS DVD에는 없고 별도의 yum repository에 들어있습니다. ppc64le의 경우엔 rhel-ha-for-rhel-7-server-for-power-le-rpms 라는 yum repo에 있습니다.

[root@ha1 ~]# yum install pcs fence-agents-all

설치하면 hacluster라는 user가 자동 생성되는데 여기에 passwd를지정해줘야 합니다.

[root@ha1 ~]# passwd hacluster

그리고 pcsd daemon을 start 합니다. Reboot 후에도 자동 start 되도록 enable도 합니다.

[root@ha1 ~]# systemctl start pcsd.service

[root@ha1 ~]# systemctl enable pcsd.service

참여할 node에 아래와 같이 인증 작업을 합니다.

[root@ha1 ~]# pcs cluster auth ha1 ha2

Username: hacluster

Password:

ha1: Authorized

ha2: Authorized

간단히 아래와 같이 corosysnc.conf 파일을 만듭니다. ha1, ha2 노드는 물론 /etc/hosts에 등록된 IP 주소입니다.

[root@ha1 ~]# vi /etc/corosync/corosync.conf

totem {

version: 2

secauth: off

cluster_name: tibero_cluster

transport: udpu

}

nodelist {

node {

ring0_addr: ha1

nodeid: 1

}

node {

ring0_addr: ha2

nodeid: 2

}

quorum {

provider: corosync_votequorum

two_node: 1

}

logging {

to_syslog: yes

}

Cluster를 전체 node에서 enable합니다.

[root@ha1 ~]# pcs cluster enable --all

ha1: Cluster Enabled

ha2: Cluster Enabled

다음과 같이 cluster start 합니다.

[root@ha1 ~]# pcs cluster start --all

ha1: Starting Cluster (corosync)...

ha2: Starting Cluster (corosync)...

ha1: Starting Cluster (pacemaker)...

ha2: Starting Cluster (pacemaker)...

상태 확인해봅니다.

[root@ha1 ~]# pcs cluster status

Cluster Status:

Stack: unknown

Current DC: NONE

Last updated: Mon Oct 26 10:14:59 2020

Last change: Mon Oct 26 10:14:55 2020 by hacluster via crmd on ha1

2 nodes configured

0 resource instances configured

PCSD Status:

ha1: Online

ha2: Online

이때 ha2 노드에 가보면 corosysnc.conf 파일은 없습니다.

[root@ha2 ~]# ls -l /etc/corosync/

total 12

-rw-r--r--. 1 root root 2881 Jun 5 23:10 corosync.conf.example

-rw-r--r--. 1 root root 767 Jun 5 23:10 corosync.conf.example.udpu

-rw-r--r--. 1 root root 3278 Jun 5 23:10 corosync.xml.example

drwxr-xr-x. 2 root root 6 Jun 5 23:10 uidgid.d

이걸 ha2에서 생성시키려면 cluster를 sync하면 됩니다.

[root@ha1 ~]# pcs cluster sync

ha1: Succeeded

ha2: Succeeded

생성된 것을 확인하실 수 있습니다.

[root@ha2 ~]# ls -l /etc/corosync/

total 16

-rw-r--r--. 1 root root 295 Oct 26 10:17 corosync.conf

-rw-r--r--. 1 root root 2881 Jun 5 23:10 corosync.conf.example

-rw-r--r--. 1 root root 767 Jun 5 23:10 corosync.conf.example.udpu

-rw-r--r--. 1 root root 3278 Jun 5 23:10 corosync.xml.example

drwxr-xr-x. 2 root root 6 Jun 5 23:10 uidgid.d

이제 cluster resource를 확인합니다. 당연히 아직 정의된 것이 없습니다.

[root@ha1 ~]# pcs resource show

NO resources configured

두 node 사이에서 failover 받을 cluster의 virtual IP를 아래와 같이 VirtualIP라는 resource ID 이름으로 등록합니다. 참고로 ha1은 10.1.1.1, ha2는 10.1.1.2이고 모두 eth1에 부여된 IP입니다.

[root@ha1 ~]# pcs resource create VirtualIP ocf:heartbeat:IPaddr2 ip=10.1.1.11 cidr_netmask=24 nic=eth1 op monitor interval=30s

[root@ha1 ~]# pcs resource enable VirtualIP

이제 다시 resource를 봅니다.

[root@ha1 ~]# pcs resource show

VirtualIP (ocf::heartbeat:IPaddr2): Stopped

아직 VirtualIP가 stopped 상태인데, 이는 아직 STONITH가 enable 되어 있는 default 상태이기 때문입니다. STONITH는 split-brain을 방지하기 위한 장치인데, 지금 당장은 disable 하겠습니다.

[root@ha1 ~]# pcs property set stonith-enabled=false

Verify를 해봅니다. 아무 메시지 없으면 통과입니다.

[root@ha1 ~]# crm_verify -L

이제 다시 status를 보면 VirtualIP가 살아 있는 것을 보실 수 있습니다.

[root@ha1 ~]# pcs status

Cluster name: tibero_cluster

Stack: corosync

Current DC: ha1 (version 1.1.23-1.el7-9acf116022) - partition with quorum

Last updated: Mon Oct 26 11:18:31 2020

Last change: Mon Oct 26 11:17:31 2020 by root via cibadmin on ha1

2 nodes configured

1 resource instance configured

Online: [ ha1 ha2 ]

Full list of resources:

VirtualIP (ocf::heartbeat:IPaddr2): Started ha1

Daemon Status:

corosync: active/enabled

pacemaker: active/enabled

pcsd: active/enabled

또 IP address를 보면 10.1.1.11이 eth1에 붙은 것도 보실 수 있습니다.

[root@ha1 ~]# ip a | grep 10.1.1

inet 10.1.1.1/24 brd 10.1.1.255 scope global noprefixroute eth1

inet 10.1.1.11/24 brd 10.1.1.255 scope global secondary eth1

다른 node에서 10.1.1.11 (havip)로 ping을 해보면 잘 됩니다.

[root@gw ~]# ping havip

PING havip (10.1.1.11) 56(84) bytes of data.

64 bytes from havip (10.1.1.11): icmp_seq=1 ttl=64 time=0.112 ms

64 bytes from havip (10.1.1.11): icmp_seq=2 ttl=64 time=0.040 ms

이 resource가 failover된 이후 죽었던 node가 되살아나면 원래의 node로 failback 하게 하려면 아래와 같이 합니다.

[root@ha1 ~]# pcs resource defaults resource-stickiness=100

Warning: Defaults do not apply to resources which override them with their own defined values

[root@ha1 ~]# pcs resource defaults

resource-stickiness=100

이제 sdb disk를 이용하여 LVM 작업을 합니다. 여기서는 /data와 /backup이 VirtualIP와 함께 ha1에 mount 되어 있다가 유사시 ha2로 failover 되도록 하고자 합니다.

[root@ha1 ~]# pvcreate /dev/sdb

[root@ha1 ~]# vgcreate datavg /dev/sdb

[root@ha1 ~]# lvcreate -L210000 -n datalv datavg

[root@ha1 ~]# lvcreate -L150000 -n backuplv datavg

[root@ha1 ~]# vgs

VG #PV #LV #SN Attr VSize VFree

datavg 1 2 0 wz--n- <400.00g 48.43g

[root@ha1 ~]# lvs

LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert

backuplv datavg -wi-a----- 146.48g

datalv datavg -wi-a----- <205.08g

[root@ha1 ~]# mkfs.ext4 /dev/datavg/datalv

[root@ha1 ~]# mkfs.ext4 /dev/datavg/backuplv

[root@ha1 ~]# mkdir /data

[root@ha1 ~]# mkdir /backup

[root@ha1 ~]# ssh ha2 mkdir /data

[root@ha1 ~]# ssh ha2 mkdir /backup

이제 이 VG와 filesystem들이 한쪽 node에만, 그것도 OS가 아니라 HA cluster (pacemaker)에 의해서만 mount 되도록 설정합니다.

[root@ha1 ~]# grep use_lvmetad /etc/lvm/lvm.conf

use_lvmetad = 1

[root@ha1 ~]# lvmconf --enable-halvm --services --startstopservices

[root@ha1 ~]# grep use_lvmetad /etc/lvm/lvm.conf

use_lvmetad = 0

[root@ha1 ~]# vgs --noheadings -o vg_name

datavg

그리고 이 VG와 LV, filesystem을 pcs에 등록합니다.

[root@ha1 ~]# pcs resource create tibero_vg LVM volgrpname=datavg exclusive=true --group tiberogroup

Assumed agent name 'ocf:heartbeat:LVM' (deduced from 'LVM')

[root@ha1 ~]# pcs resource create tibero_data Filesystem device="/dev/datavg/datalv" directory="/data" fstype="ext4" --group tiberogroup

Assumed agent name 'ocf:heartbeat:Filesystem' (deduced from 'Filesystem')

[root@ha1 ~]# pcs resource create tibero_backup Filesystem device="/dev/datavg/backuplv" directory="/backup" fstype="ext4" --group tiberogroup

Assumed agent name 'ocf:heartbeat:Filesystem' (deduced from 'Filesystem')

[root@ha1 ~]# pcs resource update VirtualIP --group tiberogroup

그리고 VirtualIP가 항상 이 filesytem들과 함께 움직이도록 colocation constraint를 줍니다.

[root@ha1 ~]# pcs constraint colocation add tiberogroup with VirtualIP INFINITY

그리고 아래 내용은 두 node에서 모두 수행합니다. ha2도 reboot해야 거기서 datavg 및 거기에 든 LV들이 인식됩니다.

[root@ha1 ~]# vi /etc/lvm/lvm.conf

...

volume_list = [ ]

...

[root@ha1 ~]# dracut -H -f /boot/initramfs-$(uname -r).img $(uname -r)

[root@ha1 ~]# shutdown -r now

Reboot 이후 보면 VirtualIP나 /data, /backup filesystem이 모두 ha1에서 mount 되어 있는 것을 보실 수 있습니다.

[root@ha1 ~]# pcs status

Cluster name: tibero_cluster

Stack: corosync

Current DC: ha1 (version 1.1.23-1.el7-9acf116022) - partition with quorum

Last updated: Mon Oct 26 13:44:36 2020

Last change: Mon Oct 26 13:44:14 2020 by root via cibadmin on ha1

2 nodes configured

4 resource instances configured

Online: [ ha1 ha2 ]

Full list of resources:

VirtualIP (ocf::heartbeat:IPaddr2): Started ha1

Resource Group: tiberogroup

tibero_vg (ocf::heartbeat:LVM): Started ha1

tibero_data (ocf::heartbeat:Filesystem): Started ha1

tibero_backup (ocf::heartbeat:Filesystem): Started ha1

Daemon Status:

corosync: active/enabled

pacemaker: active/enabled

pcsd: active/enabled

ha1 노드를 죽여버리면 곧 VirtualIP와 filesystem들이 자동으로 ha2에 failover 되어 있는 것을 확인하실 수 있습니다.

[root@ha1 ~]# halt -f

Halting.

------------

[root@ha2 ~]# df -h

Filesystem Size Used Avail Use% Mounted on

devtmpfs 28G 0 28G 0% /dev

tmpfs 28G 58M 28G 1% /dev/shm

tmpfs 28G 14M 28G 1% /run

tmpfs 28G 0 28G 0% /sys/fs/cgroup

/dev/sda5 50G 2.6G 48G 6% /

/dev/sda6 321G 8.5G 313G 3% /home

/dev/sda2 1014M 231M 784M 23% /boot

tmpfs 5.5G 0 5.5G 0% /run/user/0

/dev/mapper/datavg-datalv 202G 61M 192G 1% /data

/dev/mapper/datavg-backuplv 145G 61M 137G 1% /backup

[root@ha2 ~]# ip a | grep 10.1.1

inet 10.1.1.2/24 brd 10.1.1.255 scope global noprefixroute eth1

inet 10.1.1.11/24 brd 10.1.1.255 scope global secondary eth1

ha1이 죽은 상태에서의 status는 아래와 같이 나옵니다.

[root@ha2 ~]# pcs status

Cluster name: tibero_cluster

Stack: corosync

Current DC: ha2 (version 1.1.23-1.el7-9acf116022) - partition with quorum

Last updated: Mon Oct 26 13:48:49 2020

Last change: Mon Oct 26 13:47:18 2020 by root via cibadmin on ha1

2 nodes configured

4 resource instances configured

Online: [ ha2 ]

OFFLINE: [ ha1 ]

Full list of resources:

VirtualIP (ocf::heartbeat:IPaddr2): Started ha2

Resource Group: tiberogroup

tibero_vg (ocf::heartbeat:LVM): Started ha2

tibero_data (ocf::heartbeat:Filesystem): Started ha2

tibero_backup (ocf::heartbeat:Filesystem): Started ha2

Daemon Status:

corosync: active/enabled

pacemaker: active/enabled

pcsd: active/enabled

이 상태에서 pcs cluster를 stop 시키면 VirtualIP와 filesystem들이 모두 내려갑니다.

[root@ha2 ~]# pcs cluster stop --force

Stopping Cluster (pacemaker)...

Stopping Cluster (corosync)...

[root@ha2 ~]# df -h

Filesystem Size Used Avail Use% Mounted on

devtmpfs 28G 0 28G 0% /dev

tmpfs 28G 0 28G 0% /dev/shm

tmpfs 28G 14M 28G 1% /run

tmpfs 28G 0 28G 0% /sys/fs/cgroup

/dev/sda5 50G 2.6G 48G 6% /

/dev/sda6 321G 8.5G 313G 3% /home

/dev/sda2 1014M 231M 784M 23% /boot

tmpfs 5.5G 0 5.5G 0% /run/user/0

[root@ha2 ~]# ip a | grep 10.1.1

inet 10.1.1.2/24 brd 10.1.1.255 scope global noprefixroute eth1

tf_cnn_benchmarks를 이용한 GPU 성능 벤치마크 테스트

Deep learning용 GPU 서버의 성능 측정은 역시 deep learning에 가장 많이 사용되는 tensorflow를 이용한 benchmark test를 돌려보는 것입니다. 구체적으로 어떤 GPU에서는 몇 images/sec의 속도가 나와야 한다는 기준은 존재하지 않습니다. 테스트에 사용되는 neural network의 종류와 사소한 parameter, 그리고 어떤 dataset을 이용하느냐에 따라 그 성능은 천차만별이기 때문입니다. 또 테스트를 위해 labeling된 image dataset을 구하는 것도 쉽지 않습니다.

그런데 이런 어려운 문제를 극복하고 GPU를 이용한 tensorflow를 이용한 benchmark test를 수행하는 방법이 있습니다. Tensorflow github에 공개된 tf_cnn_benchmarks를 이용하는 것입니다. 이 테스트는 더 이상 update되고 있지는 않지만 다음과 같은 장점이 있어서 아직도 널리 쓰이고 있습니다.

1) 사용방법이 간단

2) GPU 개수를 조절해가며 테스트 가능

3) CPU만으로도 테스트하여 CPU 대비 GPU 성능도 평가 가능

4) Test용 image dataset을 별도로 준비하지 않아도 python code에서 합성하여 사용

5) 성능 평가 수치를 images/sec로 간단명료하게 제시

이를 POWER9 processor를 장착한 IBM POWER 서버에서 수행하기 위해서는 먼저 다음과 같이 anaconda package를 download 받아 설치합니다.

[cecuser@p1226-kvm1 ~]$ wget https://repo.anaconda.com/archive/Anaconda3-2020.07-Linux-ppc64le.sh

[cecuser@p1226-kvm1 ~]$ chmod a+x Anaconda3-2020.07-Linux-ppc64le.sh

[cecuser@p1226-kvm1 ~]$ ./Anaconda3-2020.07-Linux-ppc64le.sh

Do you accept the license terms? [yes|no]

[no] >>> yes

[/home/cecuser/anaconda3] >>>

Do you wish the installer to initialize Anaconda3

by running conda init? [yes|no]

[no] >>> yes

Anaconda 설치가 끝난 뒤 profile을 수행하면 conda environment가 가동됩니다.

[cecuser@p1226-kvm1 ~]$ . ~/.bashrc

(base) [cecuser@p1226-kvm1 ~]$

이제 IBM OPEN-CE (구 명칭 IBM PowerAI 또는 Watson Machine Learning Community Edition), 즉 IBM ppc64le 환경에서 쉽게 deep leanring 관련 open source conda package를 설치할 수 있도록 해주는 conda channel을 등록합니다.

(base) [cecuser@p1226-kvm1 ~]$ conda config --prepend channels https://public.dhe.ibm.com/ibmdl/export/pub/software/server/ibm-ai/conda/

이 tf_cnn_benchmarks는 python 3.6 환경에서 수행하므로 다음과 같이 python 3.6용 conda virtual environment를 생성합니다. 여기서는 이름을 wmlce_env로 정했습니다.

(base) [cecuser@p1226-kvm1 ~]$ conda create --name wmlce_env python=3.6

방금 만든 wmlce_env 환경을 activate 합니다.

(base) [cecuser@p1226-kvm1 ~]$ conda activate wmlce_env

이제 prompt 맨 앞부분이 (wmlce_env)로 바뀐 것을 보실 수 있습니다. 이제 OPEN-CE를 설치합니다. 구명칭인 PowerAI라는 이름의 패키지를 설치하시면 됩니다. 네트워크 환경에 따라 시간이 꽤 걸릴 수 있습니다. (30분 ~ 몇 시간)

(wmlce_env) [cecuser@p1226-kvm1 ~]$ conda install powerai

그러고 난 뒤, 다음과 같이 tensorflow의 하위 github인 benchmarks를 clone 합니다.

(wmlce_env) [cecuser@p1226-kvm1 ~]$ git clone https://github.com/tensorflow/benchmarks

이제 그 중 tf_cnn_benchmarks로 들어갑니다.

(wmlce_env) [cecuser@p1226-kvm1 ~]$ cd benchmarks/scripts/tf_cnn_benchmarks

이 directory에 들어있는 tf_cnn_benchmarks.py를 수행하면 됩니다. 이때 다음과 같은 parameter를 주고 수행하면 됩니다.

먼저, GPU를 1개 이용한 테스트입니다. 아래 테스트는 NVIDIA P100 GPU를 이용한 것입니다만 공식적인 수치는 아니며 환경에 따라 또 다른 수치가 나올 수 있으니 참고용으로만 쓰십시요.

(wmlce_env) [cecuser@p1226-kvm1 tf_cnn_benchmarks]$ python tf_cnn_benchmarks.py --num_gpus=1 --batch_size=32 --model=resnet50 --variable_update=parameter_server --data_format=NHWC --num_batches=640

Done warm up

Step Img/sec total_loss

1 images/sec: 224.9 +/- 0.0 (jitter = 0.0) 8.108

10 images/sec: 225.9 +/- 0.2 (jitter = 0.6) 8.122

20 images/sec: 226.0 +/- 0.2 (jitter = 0.4) 7.983

...

620 images/sec: 221.4 +/- 0.6 (jitter = 0.7) 7.772

630 images/sec: 221.4 +/- 0.6 (jitter = 0.7) 7.676

640 images/sec: 221.5 +/- 0.6 (jitter = 0.7) 7.779

----------------------------------------------------------------

total images/sec: 221.40

만약 GPU 2장을 쓰고 싶으시면 아래와 같이 --num_gpus=1 대신 --num_gpus=2를 쓰시면 됩니다.

(wmlce_env) [cecuser@p1226-kvm1 tf_cnn_benchmarks]$ python tf_cnn_benchmarks.py --num_gpus=2 --batch_size=32 --model=resnet50 --variable_update=parameter_server --data_format=NHWC --num_batches=640

GPU의 성능이 제대로 나오고 있는 것인지 보는 가장 직관적이고 좋은 방법은 이 동일한 테스트를 CPU로 돌려보는 것입니다. 아래와 같이 --device=CPU를 쓰시면 CPU로만 수행이 가능합니다. 역시 CPU 성능 및 개수와 밀접한 상관이 있으므로, 아래 수치는 참고로만 쓰십시요.

(wmlce_env) [cecuser@p1226-kvm1 tf_cnn_benchmarks]$ python tf_cnn_benchmarks.py --device=CPU --batch_size=32 --model=resnet50 --variable_update=parameter_server --data_format=NHWC --num_batches=640

Done warm up

Step Img/sec total_loss

1 images/sec: 3.0 +/- 0.0 (jitter = 0.0) 8.108

10 images/sec: 3.0 +/- 0.0 (jitter = 0.0) 8.122

20 images/sec: 2.9 +/- 0.0 (jitter = 0.0) 7.983

...

620 images/sec: 2.9 +/- 0.0 (jitter = 0.0) 7.750

630 images/sec: 2.9 +/- 0.0 (jitter = 0.0) 7.667

640 images/sec: 2.9 +/- 0.0 (jitter = 0.0) 7.805

----------------------------------------------------------------

total images/sec: 2.91

----------------------------------------------------------------

참고로 위 GPU 테스트를 수행할 떄의 nvidia-smi tool을 보면 아래와 같이 GPU 사용률을 보여줍니다.

Tue Oct 20 04:23:57 2020

+-----------------------------------------------------------------------------+

| NVIDIA-SMI 440.33.01 Driver Version: 440.33.01 CUDA Version: 10.2 |

|-------------------------------+----------------------+----------------------+

| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |

| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |

|===============================+======================+======================|

| 0 Tesla P100-SXM2... On | 00000001:00:01.0 Off | 0 |

| N/A 51C P0 240W / 300W | 15677MiB / 16280MiB | 96% Default |

+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+

| Processes: GPU Memory |

| GPU PID Type Process name Usage |

|=============================================================================|

| 0 16243 C python 15667MiB |

+-----------------------------------------------------------------------------+