2019년 1월 11일 금요일

GPFS Cluster에 새로 GPFS client node를 추가하는 절차

›
설치 시작하기 전에, GPFS 서버와 GPFS client 간에는 root user에서 passwd를 묻지 않고 ssh가 되도록 설정이 되어 있어야 합니다.  서로의 hostname을 인식하도록 양쪽의 /etc/hosts도 업데이트가 되어 있어야 하고...
댓글 1개:
2019년 1월 9일 수요일

ppc64le Redhat 서버에서 x86 hadoop cluster에 대해 PyHive로 query 수행하기

›
지난 포스팅 에 이어 이번에는  x86 hadoop cluster에 대해 ppc64le Redhat 서버에서 PyHive를 이용하여 query를 수행하는 방법을 정리했습니다.  이 방법의 장점은 ppc64le 서버에 hadoop이나 hive 등을 ...

ppc64le Redhat 서버에서 x86 hadoop cluster에 대해 hive로 query 수행하기

›
POWER9 CPU와 V100 GPU를 장착한 AC922 서버를 deep learning 용도로 사용하는 환경에서, training에 필요한 dataset은 x86 Cloudera hadoop cluster로부터 가져와야 할 필요가 있을 수 있습니다....

Redhat ppc64le 상에서의 hadoop 및 hive 설치

›
HortonWorks (HDP)를 사용하는 것이 정식이겠습니다만, 여기서는 source로부터 build하는 방법을 다루겠습니다. 먼저 다음과 같이 maven 등 필요 OS package들을 yum으로 설치합니다. [bsyu@centos0...
2018년 12월 19일 수요일

Tensorflow보다 46배 빠른 deep learning framework ?? - Snap ML 소개

›
IBM에서는 GPU 서버 등 HW만 만드는 것이 아니라 tensorflow나 caffe와 같은 deep learning용 framework SW도 개발합니다.  Snap ML이라고 하는 것이 바로 그것입니다.   이름이 왜 Snap ML이냐하면 손가락...

H2O Driverless AI를 이용한 Kaggle 도전 : Creditcard fraud detection

›
이번 posting에서는 H2O Driverless AI의 정확도가 과연 어느 정도인지 좀더 현실적으로 보여주는 테스트를 돌려보겠습니다. Kaggle이라는 것은 일종의 data science 경쟁 대회라고 보시면 됩니다.  국가기관이나 기업 등에서...
2018년 11월 22일 목요일

x86 hadoop cluster의 HDFS를 IBM POWER linux (ppc64le) 서버에 mount하기

›
x86 서버로 구성된 hadoop cluster의 HDFS에 AC922과 같은 IBM POWER linux (ppc64le) 서버가 access해야 할 경우가 있습니다.  이럴 때 가장 편리한 방법은 HortonWorks나 Cloudera 등에 포함된...