2.2. On an Existing Server

The area51 Roll may also be added onto an existing server (or frontend). For sake of discussion, assume that you have an iso image of the roll called area51.iso. The following procedure will install the Roll, and after the server reboots the Roll should be fully installed and configured.

$ su - root

# rocks add roll area51.iso

# rocks enable roll area51

# cd /export/rocks/install

# rocks create distro

# rocks run roll area51 | bash

# init 6

https://wiki.rocksclusters.org/wiki/index.php/Tips_and_tricks

Q: How do I use a USB attached DVD drive to install the frontend?

A. Append driverload=usb-storage to the build command when you first boot the frontend.

Performance Tuning !!!
무슨 작업을 하던 간에,, 가장 어려운 주제입니다.
얼마전에 Rocks 5.1 Cluster 를 구성했는데,
성능이 예상만큼 안나온다는 얘기를 들었습니다.
올 것이 왔구나!!!

성능을 개선하기 위해서 여러가지 접근 방법이 있겠지만,,
우선은 Compiler와 MPI Library를 변경하기로 하였습니다.
Intel Roll CD가 제공되지만,, Roll CD를 사용하지 않고,,
개별적으로 Intel Fortran Compiler + Intel MPI Libray 를 설치하는 방법을 사용했습니다.

1. Compatibility Package 설치
• Intel Compiler 설치를 위해서는 미리 설치되어 있어야 합니다.
• compat-gcc-34, compat-gcc-34-g77, compat-gcc-34-c++, compat-libstdc++ 패키지 설치
• yum -y install compat-gcc-34 compat-gcc-34-g77 compat-gcc-34-c++ compat-libstdc++
• [compute node only] yum -y install gcc-g++
   
2. Intel Fortran Compiler 설치
• Intel Software download 싸이트에서 Evaluation 을 다운로드
• 메일로 라이센스 키를 받으면 /opt/intel/licenses 디렉토리 아래에 복사
• Evaluation 설치 파일을 받으면, /tmp로 이동 후 압축 해제
• ./install.sh 스크립트로 설치 시작
• 설치 과정에서 현재 OS(CentOS 5.2)가 호환되지 않는다는 메시지가 뜨지만 무시하고 넘어가면 설치를 계속할 수 있습니다.
• 설치 완료 후 환경변수 load
  # source /opt/intel/Compiler/11.0/081/bin/ifortvars.sh intel64
   
3. Intel MPI Library 설치
• 설치 파일을 /tmp로 이동 후 압축 해제
• machine.LINUX 파일을 편집해서 설치하기 위한 모든 노드 목록을 작성
  master
  slave
• ./install.sh 스크립트로 설치 시작
• 설치 완료 후 환경변수 load
  # source /opt/intel/impi/3.2.1/bin64/mpivars.sh
   
4. MPI Program compile
• 환경변수를 load 하면, ifort 명령으로 fortran compile이 가능함
• MPI 프로그램을 compile 하기 위해서는 mpiifort 를 사용
• mpif90 을 사용할 경우 gfortran 으로 compile됨
   
5. SGE 와 연동해서 mpirun
• Intel MPI Library 는 MPI-2 를 기반으로 구성되어 있음
• mpdboot, mpdallexit 가 필요한데,, mpirun 스크립트를 사용하면 자동으로 실행해 줌
• job submit 예제
   
  #!/bin/sh
  #
  #$ -cwd
  #$ -j y
  #$ -S /bin/bash
  #$ -pe mpich 4
  #
  echo '------------------------------------------'
  echo 'host='$HOSTNAME
  echo "Got $NSLOTS slots."
  echo '------------------------------------------'
  /opt/intel/impi/3.2.1.009/bin64/mpirun -np $NSLOTS /your/program/full/path/application
  
   
• -cwd 옵션을 사용했는데도,, application full path를 적어줘야 동작함
  full path를 사용하지 않을 경우 [Errno 2] No such file or directory 발생
   

일단,, Intel Compiler 를 사용해서 성능이 개선되길 바래야죠..
성능 개선이 안될 경우 일이 더 복잡해지는데요...

Rocks 또는 WCCS 2003 또는 HPCS 2008 등등
클러스터를 구성하는 경우,,
대부분 PXE Network 부팅을 통해 Compute Node를 설치합니다.

Rocks 4.3을 이용해서 Compute Node를 설치하던 중,,
Frontend 노드와 연결이 되지 않아 설치 초기 과정에서 실패하는 경우가 있습니다.

실패가 나타나는 경우
- CISCO Catalyst 29xxG Switch 사용
- PXE 부팅과정에서 DHCP에서 IP를 받아오며,, 설치 초기 화면까지는 나타남
- 설치가 진행되는 듯 싶다가,, 멈춘 후 리부팅 됨

실패 원인
- 좀 특이한 경우겠지만,, CISCO Switch 의 경우 Learning Time 이란 것이 있습니다.
- 스위치에 새로운 서버를 연결했을 경우 처음에는 주황색 이었다가,,
  한참이 지난 후에야 초록색으로 바뀝니다.
- 정확하게는 Blocking, Listening, Learning, Forwarding, Disabled 상태 중 하나이지요.
- 서버를 부팅했을 경우 Forwarding 상태이기 때문에,, PXE 부팅이 진행됩니다.
- PXE 부팅과정에서 리눅스 커널이 올라옵니다.
- 리눅스 커널이 네트워크 드라이버 모듈을 다시 올리는 과정에서
  스위치와의 링크가 끊어졌다가 다시 연결됩니다.
- 다시 연결되었기 때문에,, 스위치는 Spanning-Tree 설정에 따라
  Forwarding 되기까지 시간이 걸립니다.
- 지연되는 시간 때문에,, 네트워크가 끊긴 것으로 인식하고, 설치를 종료시켜버립니다.

해결방법
- Switch의 Learning Time을 줄여줘야 합니다.
- Spanning-Tree를 사용하지 않거나,, Port Fast를 적용합니다.
- Catalyst 2960G 스위치의 매뉴얼은 아래 링크를 참조하세요.
http://www.cisco.com/en/US/docs/switches/lan/catalyst2960/software/release/12.2_25_see/configuration/guide/scg_1.html

Catalyst Switch 연결
- Serial Cable 사용
   Linux의 minicom 이란 프로그램 실행
   # minicom -s

1. Firewall 점검
   TFTP Server가 동작하고 있는 서버에서 iptables firewall을 사용할 경우
   우선 iptables 를 내린 후 다시 진행
   iptables 내린 후 정상 동작한다면,, iptables firewall 설정을 점검할 것
    
2. TFTP 서버
   Rocks 5.1 버전에서는 TFTP 서버가 xinetd 서비스로 묶여서 돌아갑니다.
   xinetd 서비스를 재시작해보세요.

1. 설치할 때,, 호스트 추가