** 이는 IBM Poughkeepsie benchmark center의 cluster에서 LSF를 이용해 테스트를 수행하시는 분들을 위한 guide입니다.
먼저 별도로 통보받으신 VPN SW와 VPN id/passwd를 이용해 Poughkeepsie benchmark center cluster에 VPN 연결을 하셔야 합니다.
그 다음에, 이미 통보받으신대로 p10login4.pbm.ihost.com 라는 주소로 putty 등을 이용해 ssh 접속을 하십시요. (아래 그림 참조)
접속할 때의 userid 및 passwd는 VPN id/passwd와는 별도로 통보받으신 userid/passwd (서버 linux OS용) 입니다.
p10login4에 접속하신 뒤, 먼저 anaconda3를 설치하시기 바랍니다. 설치하실 때 default로 제시되는 directory를 그대로 이용하시는 것이 좋습니다. 이유는 /gpfs/gpfs_gl4_16mb/ 밑의 directory가 GPFS(요즘 이름은 Spectrum Scale)라는 공유파일시스템로서 cluster 내의 모든 work node에 mount 되어 있는 것이기 때문입니다. 거기에 설치해야 나중에 어느 work node에서 job을 수행하더라도 이 anaconda를 사용하실 수 있습니다.
[b8p217za@p10login4 ~]$ wget https://repo.continuum.io/archive/Anaconda3-5.2.0-Linux-ppc64le.sh
[b8p217za@p10login4 ~]$ chmod a+x Anaconda3-5.2.0-Linux-ppc64le.sh
[b8p217za@p10login4 ~]$ ./Anaconda3-5.2.0-Linux-ppc64le.sh
...
[/gpfs/gpfs_gl4_16mb/b8p217/b8p217za/anaconda3] >>>
...
Do you wish the installer to prepend the Anaconda3 install location
to PATH in your /gpfs/gpfs_gl4_16mb/b8p217/b8p217za/.bashrc ? [yes|no]
[no] >>> yes
설치가 끝난 뒤에는 .bashrc을 다시 수행하셔서 기본 python이 anaconda3에서 나오는 것인지 확인하십시요.
[b8p217za@p10login4 ~]$ . /gpfs/gpfs_gl4_16mb/b8p217/b8p217za/.bashrc
[b8p217za@p10login4 ~]$ which python
~/anaconda3/bin/python
그 다음으로는 tensorflow 운용에 필요한 dependent package들을 설치하셔야 합니다. 다음의 명령을 내리시면 됩니다.
[b8p217za@p10login4 ~]$ /opt/DL/tensorflow/bin/install_dependencies
...
The following NEW packages will be INSTALLED:
absl-py: 0.1.10-py36_0 file://opt/DL/conda-pkgs
astor: 0.6.2-py_0 file://opt/DL/conda-pkgs
blas: 1.0-openblas
gast: 0.2.0-py36_0 file://opt/DL/conda-pkgs
grpcio: 1.10.0-py36hf484d3e_0 file://opt/DL/conda-pkgs
libprotobuf: 3.5.0-hf484d3e_0 file://opt/DL/conda-pkgs
powerai-tensorflow-prereqs: 1.8.0_31721.7987738-py36_0 file:///opt/DL/tensorflow/conda-pkgs
protobuf: 3.5.0-py36_0 file://opt/DL/conda-pkgs
termcolor: 1.1.0-py36_0 file://opt/DL/conda-pkgs
toposort: 1.5-py36_0 file://opt/DL/conda-pkgs
...
Proceed ([y]/n)? y
이제 tensorflow를 사용하시기 위해 환경변수 설정 script를 다음과 같이 수행하십시요. 이 script를 수행하시면 아래와 같이 PATH, PYTHONPATH들이 설정되면서 PowerAI에 포함된 tensorflow를 사용하실 수 있게 됩니다.
[b8p217za@p10login4 ~]$ source /opt/DL/tensorflow/bin/tensorflow-activate
[b8p217za@p10login4 ~]$ env | grep PATH
MANPATH=/vol/ibmplatform/lsf/10.1/man:/usr/share/lmod/lmod/share/man::
MODULEPATH_ROOT=/gpfs/gpfs_gl4_16mb/lmod/P8
LD_LIBRARY_PATH=/vol/ibmplatform/lsf/10.1/linux3.10-glibc2.17-ppc64le/lib:/usr/local/cuda-9.2/lib64:/usr/local/cuda-9.2/extras/CUPTI/lib64:/opt/DL/tensorflow/lib
PATH=/gpfs/gpfs_gl4_16mb/b8p217/b8p217za/anaconda3/bin:/vol/ibmplatform/lsf/10.1/linux3.10-glibc2.17-ppc64le/etc:/vol/ibmplatform/lsf/10.1/linux3.10-glibc2.17-ppc64le/bin:/usr/lib64/ccache:/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/ibutils/bin:/gpfs/gpfs_gl4_16mb/b8p217/b8p217za/.local/bin:/gpfs/gpfs_gl4_16mb/b8p217/b8p217za/bin:/opt/DL/tensorflow/bin
MODULEPATH=/etc/modulefiles:/usr/share/modulefiles:/gpfs/gpfs_gl4_16mb/lmod/P8/Linux:/gpfs/gpfs_gl4_16mb/lmod/P8/Core:/gpfs/gpfs_gl4_16mb/lmod/P8/rhel/7.5/core
PYTHONPATH=/opt/DL/tensorflow/lib/python3.6/site-packages:/opt/DL/tensorflow/lib/python3.6/site-packages/external/protobuf_archive/python:/opt/DL/tensorflow/lib/python3.6/site-packages/external/six_archive
이제 tensorflow를 사용하실 준비가 끝났습니다. 그러나 이 서버에서 직접 tensorflow training을 수행하시면 안 됩니다. 이 서버는 어디까지나 login 서버일 뿐, V100이 장착된 AC922 서버가 아닙니다. 다음과 같이 job scheduler인 LSF에게 job을 submit 하는 방식으로 training을 수행하셔야 합니다.
먼저, 수행하실 tensorflow python code를 확인하십시요. 여기서는 아래의 cnn_mnist_lms.py를 LSF로 수행하는 것을 해보겠습니다. 참고로, 이 cnn_mnist_lms.py는 /opt/DL/tensorflow/lib/python3.6/site-packages/tensorflow/examples/tutorials/layers/cnn_mnist.py를 LMS로 변환한 example code입니다.
[b8p217za@p10login4 ~]$ ls -l /opt/DL/tensorflow/lib/python3.6/site-packages/tensorflow/contrib/lms/examples/cnn_mnist_lms.py
-rw-r--r-- 1 root root 6203 Jun 5 08:31 /opt/DL/tensorflow/lib/python3.6/site-packages/tensorflow/contrib/lms/examples/cnn_mnist_lms.py
위 code를 LSF로 수행하시려면 다음과 같이 하시면 됩니다. 즉 아래의 파란색 부분만 덧붙이시면 됩니다.
[b8p217za@p10login4 ~]$
bsub -R "rusage[ngpus_excl_p=4]" -q ac922_v100 -o ./1.out -e ./1.err python /opt/DL/tensorflow/lib/python3.6/site-packages/tensorflow/contrib/lms/examples/cnn_mnist_lms.py
Job <243511> is submitted to queue <ac922_v100>.
-q는 queue 이름입니다. 안내받으신 대로 ac922_v100을 쓰시면 됩니다. -o는 output file을, -e는 error message file을 지정합니다.
결과물은 위에서 지정한 대로라면 login 서버의 현재 directory에 1.out이라는 file에 저장되고, 혹시 error가 생겼다면 그 메시지는 1.err라는 file에 저장됩니다.
그리고 "rusage[ngpus_excl_p=4]" 라는 것은 GPU 4개를 exclusive mode로 쓰려고 하니 가용한 GPU 개수가 4개인 서버에서 수행하라는 뜻입니다. 만약 1개만 쓰실 거라면 그 숫자를 1로 지정하시면 됩니다. 만약 MPI로 작성하신 code를 mpirun 명령을 통해 돌리시는 거라면, AC922 1대에 설치된 GPU 개수가 4장이지만 ngpus_excl_p=8 또는 12 등 4보다 더 큰 숫자로 두셔도 됩니다. 물론 보통의 deep learning training에서는 4개 이하를 쓰시겠지요.
위의 job number에 대해서 bhist 명령을 내리면 job이 어느 work node로 allocation되었는지 또 언제 시작되었고 (만약 끝났다면) 언제 끝났는지 알 수 있습니다. 아래의 경우는 p10a02라는 work node에 할당되었으나, 뭔가 문제가 있어서 시작된지 6초만에 fail 났습니다.
[b8p217za@p10login4 ~]$ bhist -l 243511
Job <243511>, User <b8p217za>, Project <default>, Command <python /opt/DL/tenso
rflow/lib/python3.6/site-packages/tensorflow/contrib/lms/e
xamples/cnn_mnist_lms.py>
Wed Sep 5 22:45:59: Submitted from host <p10login4>, to Queue <ac922_v100>, CW
D <$HOME>, Output File <./1.out>, Error File <./1.err>, Re
quested Resources <rusage[ngpus_excl_p=4]>;
Wed Sep 5 22:45:59: Dispatched 1 Task(s) on Host(s) <p10a02>, Allocated 1 Slot
(s) on Host(s) <p10a02>, Effective RES_REQ <select[type ==
local] order[r15s:pg] rusage[ngpus_excl_p=4.00] >;
Wed Sep 5 22:46:00: Starting (Pid 7426);
Wed Sep 5 22:46:06: External Message "p10a02:gpus=0,1,2,3;" was posted from "b
8p217za" to message box 0;
Wed Sep 5 22:46:06: Running with execution home </gpfs/gpfs_gl4_16mb/b8p217/b8
p217za>, Execution CWD </gpfs/gpfs_gl4_16mb/b8p217/b8p217z
a>, Execution Pid <7426>;
Wed Sep 5 22:46:06: Exited with exit code 2. The CPU time used is 0.4 seconds;
Wed Sep 5 22:46:06: Completed <exit>;
MEMORY USAGE:
MAX MEM: 7 Mbytes; AVG MEM: 7 Mbytes
Summary of time in seconds spent in various states by Wed Sep 5 22:46:06
PEND PSUSP RUN USUSP SSUSP UNKWN TOTAL
0 0 7 0 0 0 7
Error가 난 이유는 아래와 같이 해당 example code가 work node인 p10a02 서버의 local directory에 설치되어 있지 않기 때문입니다.
[b8p217za@p10login4 ~]$ cat 1.err
python: can't open file '/opt/DL/tensorflow/lib/python3.6/site-packages/tensorflow/contrib/lms/examples/cnn_mnist_lms.py': [Errno 2] No such file or directory
위 error를 수정하기 위해 POK center에 연락하여 각 node들에서 # yum install power-mldl-py3로 필요 fileset들의 update를 요청했습니다. (sudo 권한이 필요한 일입니다.)
---------------
POK center로부터 update 수행했다는 연락을 받았고, 다시 수행해본 수행 결과는 아래와 같습니다.
[b8p217za@p10login4 ~]$ bsub -R "rusage[ngpus_excl_p=4]" -q ac922_v100 -o ./1.out -e ./1.err python /opt/DL/tensorflow/lib/python3.6/site-packages/tensorflow/contrib/lms/examples/cnn_mnist_lms.py
Job <244143> is submitted to queue <ac922_v100>.
[b8p217za@p10login4 ~]$ bhist -l 244143
Job <244143>, User <b8p217za>, Project <default>, Command <python /opt/DL/tenso
rflow/lib/python3.6/site-packages/tensorflow/contrib/lms/e
xamples/cnn_mnist_lms.py>
Thu Sep 6 21:27:03: Submitted from host <p10login4>, to Queue <ac922_v100>, CW
D <$HOME>, Output File <./1.out>, Error File <./1.err>, Re
quested Resources <rusage[ngpus_excl_p=4]>;
Thu Sep 6 21:27:04: Dispatched 1 Task(s) on Host(s) <p10a01>, Allocated 1 Slot
(s) on Host(s) <p10a01>, Effective RES_REQ <select[type ==
local] order[r15s:pg] rusage[ngpus_excl_p=4.00] >;
Thu Sep 6 21:27:05: Starting (Pid 76857);
Thu Sep 6 21:27:12: External Message "p10a01:gpus=0,1,2,3;" was posted from "b
8p217za" to message box 0;
Thu Sep 6 21:27:12: Running with execution home </gpfs/gpfs_gl4_16mb/b8p217/b8
p217za>, Execution CWD </gpfs/gpfs_gl4_16mb/b8p217/b8p217z
a>, Execution Pid <76857>;
Thu Sep 6 21:29:28: Done successfully. The CPU time used is 204.2 seconds;
Thu Sep 6 21:29:35: Post job process done successfully;
MEMORY USAGE:
MAX MEM: 4.2 Gbytes; AVG MEM: 3 Gbytes
Summary of time in seconds spent in various states by Thu Sep 6 21:29:35
PEND PSUSP RUN USUSP SSUSP UNKWN TOTAL
1 0 144 0 0 0 145
1초 만에 "p10a01" node로 dispatch 되어 2분 16초 만에 성공적으로 training을 완료했습니다.
결과물이 저장되는 1.out 파일을 열어보면 아래와 같은 내용이 담겨 있습니다.
[b8p217za@p10login4 ~]$ cat 1.out
Sender: LSF System <p10lsf@p10a01>
Subject: Job 244143: <python /opt/DL/tensorflow/lib/python3.6/site-packages/tensorflow/contrib/lms/examples/cnn_mnist_lms.py> in cluster <pok_tc_cloud> Done
Job <python /opt/DL/tensorflow/lib/python3.6/site-packages/tensorflow/contrib/lms/examples/cnn_mnist_lms.py> was submitted from host <p10login4> by user <b8p217za> in cluster <pok_tc_cloud> at Thu Sep 6 21:27:03 2018.
Job was executed on host(s) <p10a01>, in queue <ac922_v100>, as user <b8p217za> in cluster <pok_tc_cloud> at Thu Sep 6 21:27:04 2018.
</gpfs/gpfs_gl4_16mb/b8p217/b8p217za> was used as the home directory.
</gpfs/gpfs_gl4_16mb/b8p217/b8p217za> was used as the working directory.
Started at Thu Sep 6 21:27:04 2018.
Terminated at Thu Sep 6 21:29:29 2018.
Results reported at Thu Sep 6 21:29:29 2018.
Your job looked like:
------------------------------------------------------------
# LSBATCH: User input
python /opt/DL/tensorflow/lib/python3.6/site-packages/tensorflow/contrib/lms/examples/cnn_mnist_lms.py
------------------------------------------------------------
Successfully completed.
Resource usage summary:
CPU time : 204.17 sec.
Max Memory : 4393 MB
Average Memory : 3106.20 MB
Total Requested Memory : -
Delta Memory : -
Max Swap : -
Max Processes : 3
Max Threads : 346
Run time : 147 sec.
Turnaround time : 146 sec.
The output (if any) follows:
Successfully downloaded train-images-idx3-ubyte.gz 9912422 bytes.
Extracting MNIST-data/train-images-idx3-ubyte.gz
Successfully downloaded train-labels-idx1-ubyte.gz 28881 bytes.
Extracting MNIST-data/train-labels-idx1-ubyte.gz
Successfully downloaded t10k-images-idx3-ubyte.gz 1648877 bytes.
Extracting MNIST-data/t10k-images-idx3-ubyte.gz
Successfully downloaded t10k-labels-idx1-ubyte.gz 4542 bytes.
Extracting MNIST-data/t10k-labels-idx1-ubyte.gz
Saving graph to: /tmp/tmpeuq76pnh
{'accuracy': 0.96890002, 'loss': 0.10233325, 'global_step': 20000}
PS:
Read file <./1.err> for stderr output of this job.
그리고 training 과정 중의 메시지는 아래와 같이 1.err에 저장됩니다. 여기서는 일부만 copy & paste 했습니다.
[b8p217za@p10login4 ~]$ cat 1.err
...
INFO:tensorflow:Saving checkpoints for 20000 into /tmp/tmpeuq76pnh/model.ckpt.
INFO:tensorflow:Loss for final step: 0.103957.
INFO:tensorflow:Calling model_fn.
INFO:tensorflow:Done calling model_fn.
INFO:tensorflow:Starting evaluation at 2018-09-07-01:29:27
INFO:tensorflow:Graph was finalized.
2018-09-06 21:29:27.207180: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1435] Adding visible gpu devices: 0, 1, 2, 3
2018-09-06 21:29:27.207305: I tensorflow/core/common_runtime/gpu/gpu_device.cc:923] ...
2018-09-06 21:29:27.208973: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1053] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:3 with 14127 MB memory) -> physical GPU (device: 3, name: Tesla V100-SXM2-16GB, pci bus id: 0035:04:00.0, compute capability: 7.0)
INFO:tensorflow:Restoring parameters from /tmp/tmpeuq76pnh/model.ckpt-20000
INFO:tensorflow:Running local_init_op.
INFO:tensorflow:Done running local_init_op.
INFO:tensorflow:Finished evaluation at 2018-09-07-01:29:27
INFO:tensorflow:Saving dict for global step 20000: accuracy = 0.9689, global_step = 20000, loss = 0.102333
