GPFS Cluster에 새로 GPFS client node를 추가하는 절차

설치 시작하기 전에, GPFS 서버와 GPFS client 간에는 root user에서 passwd를 묻지 않고 ssh가 되도록 설정이 되어 있어야 합니다.  서로의 hostname을 인식하도록 양쪽의 /etc/hosts도 업데이트가 되어 있어야 하고요.


1) GPFS Client에서 작업할 내용

필요한 Spectrum Scale (GPFS) fileset들이 다 있는지 확인하십시요.

gpfs.base-4.2.*.deb
gpfs.gpl-4.2.*all.deb
gpfs.msg.en_US-4.2.*all.deb
gpfs.gskit-8.0.50.*.deb
gpfs.ext-4.2.*.deb (IBM Spectrum Scale Standard Edition and IBM Spectrum Scale Advanced Edition only)

이 파일셋들을 아래와 같은 명령으로 설치하십시요.

# dpkg -i gpfs.base*deb gpfs.gpl*deb gpfs.gskit*deb gpfs.msg*deb gpfs.ext*deb

작업상의 편의를 위해 PATH를 아래와 같이 설정하십시요.

# export PATH=/usr/lpp/mmfs/bin:$PATH

GPFS portability layer의 build를 위해 다음 명령을 수행하십시요.   (이건 shell script이므로 필요시 약간 수정해도 됩니다만, 아마 수정하실 필요는 없을 것입니다.)

# mmbuildgpl

(이 mmbuildgpl 명령에 대해서 혹시 더 자세한 설명이나 절차가 필요하시면 이 URL 을 참조하세요.)


2) GPFS Server에서 작업할 내용

작업상의 편의를 위해 PATH를 아래와 같이 설정하십시요.

# export PATH=/usr/lpp/mmfs/bin:$PATH

GPFS client의 이름을 아래와 같이 넣어주십시요.   GPFS client의 이름은 아마 infiniband의 interface로 되어 있을 것이고, 이미 /etc/hosts에 등록이 되어 있어야 합니다.  혹시 잘 모르실 때는 "mmlsnodeclass --all" 명령으로 기존의 다른 node name들을 보고 참조하시기 바랍니다.

# mmaddnode -N 'gpfs_client_nodename'   (예: # mmaddnode -N COMPUTE-D02 )



3) GPFS Client에서 작업할 내용


그 다음에 추가된 node에서 GPFS의 SW license를 accept해야 합니다.  다음 명령을 수행하십시요.

# mmchlicense client --accept -N 'gpfs_client_nodename'   (예: # mmaddnode -N COMPUTE-D02 )

(여기서는 GPFS Server의 전체 GPFS daemon은 이미 구동된 상태라고 가정합니다.)
이제 GPFS daemon을 구동합니다.

# mmstartup

아마도 기존 GPFS client에 mount되어야 할 GPFS filesystem은 automount=Yes로 되어 있었을 것이니, 별도의 조치 없이도 해당 GPFS filesystem은 mount될 것입니다.   약 10초 지난 뒤에 다음 명령으로 mount 되었는지 확인하십시요.

# df

기존의 GPFS client node에 대해 뭔가 config를 바꾼 것이 있을 수 있습니다.   기존의 client node (여기서는 기존 COMPUTE들 중 하나)의 구성과 비교하여, 혹시 새로 추가된 node의 attribute가 다른 점이 있다면 변경해주십시요.

먼저, 다음 명령으로 기존 속성을 확인하십시요.  (이제 이 client node도 cluster에 join 했으므로 GPFS server에 가서 하지 않고 GPFS client node에서 하셔도 됩니다.)

# mmlsconfig 

이떄 나오는 속성들 중에서, 대부분은 전체 cluster node들에게 동일하게 적용된 것들에는 아무 표시가 없지만, 일부 속성들 중에는 특정 node에만 적용되는 속성들이 몇 개 있을 수 있습니다.   그런 것들에는 대괄호 [ ] 가 옆에 붙으면서 대괄호 속에 그 해당 node name이 표시될 것입니다.  그것들을 찾으시면 됩니다.

가령 아래에서, maxblocksize는 전체 node가 다 동일한l 속성이지만, pagepool은 전체적으로는 1G로, COMPUTE-D01에 대해서만 512M 로 설정되어 있는 것입니다.

maxblocksize 1M
[common]
pagepool 1G
[COMPUTE-D01]
pagepool 512M

COMPUTE-D01에만 적용된 속성들을 위와 같이 찾아서, mmchconfig 명령으로 수정하십시요.  가령 pagepool을 COMPUTE-D02에 대해 512M으로 수정하는 명령은 아래와 같습니다.

# mmchconfig pagepool=512M -i  -N COMPUTE-D02 

위에서, -i 옵션은 그 수정 효과가 당장, 그리고 rebooting 후에도 유지되도록 표시하는 것입니다.  일부 속성 중에는 -i 옵션이 안 먹는 것도 있으니 그럴 경우는 -i를 빼고 적용하시면 됩니다.

속성 수정이 다 끝나면, GPFS client node에서, 아래 명령으로 GPFS daemon을 한번 내렸다가 다시 올려주시면 됩니다.

# mmshutdown

# mmstartup

마지막으로 다 제대로 mount 되었는지 다시 df 명령으로 확인하시면 됩니다.


혹시 위에 설명되지 않은 command 옵션 등에 대한 정보가 필요하시면 아래 link를 참조하시기 바랍니다.

https://www.ibm.com/support/knowledgecenter/en/STXKQY_4.2.3/com.ibm.spectrum.scale.v4r23.doc/bl1adm_command.htm