언제나 영원히

정말 오랜만에,, HPC Server 2008 자료를 검색하다가,,
HPC Cluster 성능 측정 툴을 발견했습니다.
Lizard = Linpack Wizard 를 합친 말로 보입니다.

그동안, www.netlib.org 에서 source를 받아다가,,
컴파일해서 실행했었는데,,, 패키지로 제공하는 군요..
예전 홈페이지에 관련 자료를 올렸었는데요,, 아래 링크에서 확인하세요..
http://www.wccs.co.kr/bbs/view.php?id=QNA&no=19
http://www.wccs.co.kr/bbs/view.php?id=PDS&no=13

다시 Lizard로 돌아와서...
Microsoft HPC Pack 2008 Tool Pack 에 가면,,
lizard.msi 파일을 다운로드 받을 수 있습니다.

Install Process

Overview

This release of the HPC Pack 2008 Tool Pack contains 1 tool.

Lizard - Lizard helps you to determine the computational performance and efficiency that can be achieved by your HPC Pack 2008-based / Windows HPC Server 2008 cluster. It calculates and reports a peak performance value for your HPC cluster in billions of floating-point operations per second (GFLOPS), and a percentage value for the efficiency that was achieved at peak performance. After running Lizard, you can review the performance and efficiency results that were obtained, and optionally save these results and the parameters that were used to achieve them to a file on your computer.

Note: This utility includes parts of the Intel Math Kernel Library. For more information about the Intel Math Kernel Library, please visit http://www.intel.com/cd/software/products/asmo-na/eng/307757.htm

1. 설치를 마친 후 Lizard 를 시작한 화면입니다.

2. Tuning Mode 선택 화면입니다. Express Tuning 과 Advanced Tuning 이 있군요..

3. 가상머신에서 실행해서인지 CPU 특성을 자동으로 찾지 못하는 군요..
Dual Core 이상에서는 1 clock 에 4번, 그 이전 CPU 에서는 1 clock 에 2번 계산합니다.
아래 그림의 선택은 잘못 했네요.. 4로 입력해야 하는데,, 2로 입력했습니다.

4. Integrity Test를 위해서는 4대가 필요하다고 하는데,, 테스트 환경이라 1대로 진행합니다.

5. 뭔가 진행하면서,, Consistency 를 확인하는군요..

6. 실제.. xhpl 프로그램을 실행하면서,, tuning을 진행하는 단계입니다.
 프로그램 크기(N), Block Size (NB), 프로세스 수 (PxQ), 기타 파라미터를 변경하면서,,
 성능을 측정하고 있습니다. 매번 숫자 변경하고,, job submit 하던 과정이 바로 진행되고,,
 그래프로 보여지니까 확실히 편하네요..
 아까, 3번 설정에서 4로 입력해야 하는데,, 2로 입력하니까,,
 효율이 100%를 넘어섰네요..

·         Advanced Deployment Operations in Windows HPC Server 2008
(http://technet.microsoft.com/en-us/library/dd772582.aspx)

·         Understanding Job Validation in Windows HPC Server 2008
(http://technet.microsoft.com/en-us/library/dd772585.aspx)

Service Console에서도 Virtual Machine Online Backup이 가능할까?
앞서 vcb관련 내용을 포스트 했는데,,
여기서 설명하는 내용은 vmdk 파일 자체를 백업 받는 방법입니다.

ESX 2.5.x 인 경우

1. vmAddRedo.pl     # Snapshot 생성
2. vmkfstools -i source.vmdk /vmfs/backup/target.vmdk
3. vmCommit.pl       # Snapshot 제거

# vmware-cmd -l
/root/vmware/win2k3/win2k3.vmx
/root/vmware/win2k/win2k.vmx

# vmAddRedo.pl -c /root/vmware/win2k3/win2k3.vmx
vmAddRedo: VM config file is '/root/vmware/win2k3/win2k3.vmx'

vmAddRedo: Disks found that are in use:
vmAddRedo: Disk found: scsi0:0 (localvmfs:win2k3.vmdk)
vmAddRedo:    1: scsi0:0
vmAddRedo: Creating the RedoLogs for cfg : /root/vmware/win2k3/win2k3.vmx
vmAddRedo:    scsi0:0:Adding REDO
vmAddRedo: diskname :/vmfs/localvmfs/win2k3.vmdk

# grep vmdk /root/vmware/win2k3/win2k3.vmx
scsi0:0.name = "localvmfs:win2k3.vmdk"

# vmkfstools -i /vmfs/localvmfs/win2k3.vmdk /vmfs/backup/win2k3.vmdk

# vmCommit.pl -c /root/vmware/win2k3/win2k3.vmx

vmCommit: VM config file is '/root/vmware/win2k3/win2k3.vmx'

vmCommit: Disks found that are in use:
vmCommit: Disk found: scsi0:0 (localvmfs:win2k3.vmdk)
vmCommit:    1: scsi0:0
vmCommit: Backing up the cfg : /root/vmware/win2k3/win2k3.vmx

vmCommit: scsi0:0: Adding stacked REDO.REDO
vmCommitRedo: diskname :/vmfs/localvmfs/win2k3.vmdk
vmCommit: scsi0:0: Committing REDO
Please wait, committing disks...
vmCommit: scsi0:0: Committing REDO.REDO


VI3 인 경우

1. vmware-cmd ${vm} createsnapshot ${vmname}-snapshot
2. vmkfstools -i source.vmdk /vmfs/volumes/backup/target.vmdk
3. vmware-cmd ${vm} removesnapshots

아래 스크립트는 참고만 하시고,, 그대로 사용하시면 안됩니다.

osbackup.sh

#!/bin/sh
logfile="/tmp/backuplog"

echolog() {
    vmname=$1
    msg=$2
    now=$(date "+%b %d %T")
    echo "${now} ${vmname} # ${msg}"
    echo "${now} ${vmname} # ${msg}" >> ${logfile}
}

/usr/bin/vmware-cmd -l | while read vm
## cat /tmp/vms | while read vm
do
    vmname=$(/usr/bin/vmware-cmd ${vm} getconfig displayname | awk '{print $3}')
    echolog ${vmname} "vmname = ${vmname}"

    echolog ${vmname} "create snapshot"
    if [ $(/usr/bin/vmware-cmd ${vm} createsnapshot ${vmname}-snapshot | awk '{print $3}') == 1 ]
    then
        echolog ${vmname} "snapshot is successfully created"
    else
        echolog ${vmname} "snapshot creation has an error !!!!"
    fi

    echolog ${vmname} "verify snapshot creation"
    if [ $(/usr/bin/vmware-cmd ${vm} hassnapshot | awk '{print $3}') == 1 ]
    then
        echolog ${vmname} "snapshot is successfully detected"
   
        case ${vmname} in
          test1 )
          files="/vmfs/volumes/lovmfs/test1/test1.vmdk"
          ;;
          test2 )
          files="/vmfs/volumes/lovmfs/test2/test2.vmdk"
         ;;
        esac
  
        echolog ${vmname} "backup image"
        for eachfile in ${files}
        do
            fromfile=${eachfile}
            tofile=$(dirname ${eachfile})/BK/$(basename ${eachfile})
            if [ -d $(dirname ${tofile}) ]
            then
                echolog ${vmname} "backup directory already exist"
            else
                echolog ${vmname} "backup directory does not exist, make it"
                mkdir -p $(dirname ${tofile})
            fi
            vmkfstools -i ${fromfile} ${tofile}
            diff ${fromfile} ${tofile}
            if [ $? == 0 ]
            then
                echolog ${vmname} "${fromfile} is successfully copied to ${tofile}"
            else
                echolog ${vmname} "${fromfile} copy has an error !!!!"
            fi
        done
   
        echolog ${vmname} "delete snapshot"
        if [ $(/usr/bin/vmware-cmd ${vm} removesnapshots | awk '{print $3}') == 1 ]
        then
            echolog ${vmname} "snapshot is successfully removed"
        else
            echolog ${vmname} "snapshot removing has an error !!!!"
        fi
    else
        echolog ${vmname} "snapshot does not exist !!!!"
    fi
    echo -n $(date "+%b %d %T") ${vmname} "# "
    /usr/bin/vmware-cmd ${vm} hassnapshot
    ;;
done

결론부터 말씀드리고,, 나머지 설명을 하겠습니다.
vmfs 파일시스템 위에 있는 가상머신 디스크 파일(vmdk)을 복사하기 위해서는
cp를 사용하시면 안되고, vmkfstools 를 사용해야 합니다.

vmfs 는 VMware 가 만든 공유 파일 시스템이기 때문에,,
SCSI Reservation 이란 방법(일종의 lock)으로 정합성을 유지합니다.
lock 이 걸리는 경우는 파일 신규 생성, 파일 크기 변경, 삭제, 등등
메타데이터가 변경될 때마다 발생합니다.
cp를 사용할 경우 파일이 2kb 단위로 증가되면서 복사하므로
SCSI Reservation 이 많이 발생하게 되고,, 그만큼 시간이 오래걸립니다.
반면 vmkfstools 를 사용할 경우 미리 대상 파일을 생성한 후
내용만 변경하기 때문에 SCSI Reservation 발생 빈도가 낮습니다.

VI3.5에서 테스트한 결과입니다.
(VI3 에서는  vmdk 파일이 name.vmdk 과 name-flat.vmdk 두개가 존재합니다.)

# time vmkfstools -i /vmfs/volumes/source/test.vmdk /vmfs/volumes/target/test.vmdk
Destination disk format: VMFS thick
Cloning disk '/vmfs/volumes/source/test.vmdk'...
Clone: 100% done.

real    0m30.874s
user    0m0.000s
sys     0m1.630s

# time cp test.vmdk test-flat.vmdk /vmfs/volumes/target/

real    2m8.821s
user    0m0.000s
sys     0m0.790s

vmkfstools 명령어 형태는 두가지가 있습니다.

vmkfstools  -e /vmfs/vmfsname/target.vmdk  -d vmfs /vmfs/vmfsname/source.vmdk
-or-
vmkfstools -i /vmfs/vmfsname/source.vmdk /vmfs/vmfsname/target.vmdk

참조자료
http://www.vmts.net/vmkfstools.htm
http://www.experts-exchange.com/Software/VMWare/Q_23530578.html
http://www.rtfm-ed.co.uk/?p=34

vSphere 4 가 나오면서 새로운 기능도 많이 추가되고, 라이선스 종류도 다양해 졌지만,,
지금 설명하는 내용은 VI 3.5 를 대상으로 합니다.

VI3 Foundation Edition 이상이면 VCB 가 포함되어 있습니다.
그런데,, VCB를 사용하려면,, 3rd Party Backup Software 가 필요합니다.
VMware Backup Guide를 살펴보다 보니,,
별도의 3rd Party Backup Software가 없어도,,
Service Console에서 vcb 명령으로 가상머신 백업이 가능하더군요..
본문은 아래 링크에서 받을 수 있습니다.
http://www.vmware.com/pdf/vi3_35/esx_3/r35/vi3_35_25_vm_backup.pdf

문서에서는 Virtual Center 와 연동되는 경우에 대해서도 설명되어 있는데,,
이곳에서는 ESX Server 단독으로 구성했을 경우로 가정합니다.

Service Console에서 백업을 진행하려면,,

1. /etc/vmware/backuptools.conf
    
   VCHOST=localhost      # Virtual Center dns name 또는 IP. ESX 단독일 경우 localhost
   USERNAME=vcbuser      # VCHOST 접속 ID
   PASSWORD=vcbuser   # VCHOST 접속 ID의 Password
   VMNAMECACHE=/var/cache/vmName.cache   # default 값 유지
   TEMPDIR=/tmp       # scp 원격지 복사할 경우 임시 파일 보관 위치. 충분한 여유 공간 필요
    
2. vcbVmName  명령어로 백업 대상 가상머신 찾기
    
   vcbVmName -s any:         #  모든 가상머신 리스트가 보여짐
   vcbVmName -s powerstate:on     # Power On 된 가상머신만 보여짐
    
   Error: No permission to perform this action. 에러가 발생할 경우 아래와 같이 실행.
   패스워드를 물어보면 root 유저의 패스워드 입력
   vcbVmName -h localhost -u root -s any:
   
   실행 결과
   Found VM:
   moref:208
   name:win_xp_test
   uuid:564db17a-2e1c-c6be-303f-ea30f8583f2a
   ipaddr:192.168.1.175
    
3. vcbMounter로 백업하기
    
   vcbMounter -a ipaddr:192.168.1.175 -r /vmfs/volumes/backup
   vcbMounter -a moref:208 -r scp://user@backupserver:/backup/directory
   vcbMounter -a uuid:564db17a-2e1c-c6be-303f-ea30f8583f2a -r /home/backup
   
   
4. vcbRestore로 복구하기
    
   vcbRestore -s /vmfs/volumes/backup     # 백업 폴더만 지정하면 복구가 가능함
   
   별도의 폴더에 복구하기 위해서는 catalog 파일을 수정해야 함
   이 부분은 매뉴얼 참고
   
   
   
   

Performance Tuning !!!
무슨 작업을 하던 간에,, 가장 어려운 주제입니다.
얼마전에 Rocks 5.1 Cluster 를 구성했는데,
성능이 예상만큼 안나온다는 얘기를 들었습니다.
올 것이 왔구나!!!

성능을 개선하기 위해서 여러가지 접근 방법이 있겠지만,,
우선은 Compiler와 MPI Library를 변경하기로 하였습니다.
Intel Roll CD가 제공되지만,, Roll CD를 사용하지 않고,,
개별적으로 Intel Fortran Compiler + Intel MPI Libray 를 설치하는 방법을 사용했습니다.

1. Compatibility Package 설치
• Intel Compiler 설치를 위해서는 미리 설치되어 있어야 합니다.
• compat-gcc-34, compat-gcc-34-g77, compat-gcc-34-c++, compat-libstdc++ 패키지 설치
• yum -y install compat-gcc-34 compat-gcc-34-g77 compat-gcc-34-c++ compat-libstdc++
• [compute node only] yum -y install gcc-g++
   
2. Intel Fortran Compiler 설치
• Intel Software download 싸이트에서 Evaluation 을 다운로드
• 메일로 라이센스 키를 받으면 /opt/intel/licenses 디렉토리 아래에 복사
• Evaluation 설치 파일을 받으면, /tmp로 이동 후 압축 해제
• ./install.sh 스크립트로 설치 시작
• 설치 과정에서 현재 OS(CentOS 5.2)가 호환되지 않는다는 메시지가 뜨지만 무시하고 넘어가면 설치를 계속할 수 있습니다.
• 설치 완료 후 환경변수 load
  # source /opt/intel/Compiler/11.0/081/bin/ifortvars.sh intel64
   
3. Intel MPI Library 설치
• 설치 파일을 /tmp로 이동 후 압축 해제
• machine.LINUX 파일을 편집해서 설치하기 위한 모든 노드 목록을 작성
  master
  slave
• ./install.sh 스크립트로 설치 시작
• 설치 완료 후 환경변수 load
  # source /opt/intel/impi/3.2.1/bin64/mpivars.sh
   
4. MPI Program compile
• 환경변수를 load 하면, ifort 명령으로 fortran compile이 가능함
• MPI 프로그램을 compile 하기 위해서는 mpiifort 를 사용
• mpif90 을 사용할 경우 gfortran 으로 compile됨
   
5. SGE 와 연동해서 mpirun
• Intel MPI Library 는 MPI-2 를 기반으로 구성되어 있음
• mpdboot, mpdallexit 가 필요한데,, mpirun 스크립트를 사용하면 자동으로 실행해 줌
• job submit 예제
   
  #!/bin/sh
  #
  #$ -cwd
  #$ -j y
  #$ -S /bin/bash
  #$ -pe mpich 4
  #
  echo '------------------------------------------'
  echo 'host='$HOSTNAME
  echo "Got $NSLOTS slots."
  echo '------------------------------------------'
  /opt/intel/impi/3.2.1.009/bin64/mpirun -np $NSLOTS /your/program/full/path/application
  
   
• -cwd 옵션을 사용했는데도,, application full path를 적어줘야 동작함
  full path를 사용하지 않을 경우 [Errno 2] No such file or directory 발생
   

일단,, Intel Compiler 를 사용해서 성능이 개선되길 바래야죠..
성능 개선이 안될 경우 일이 더 복잡해지는데요...

Rocks 또는 WCCS 2003 또는 HPCS 2008 등등
클러스터를 구성하는 경우,,
대부분 PXE Network 부팅을 통해 Compute Node를 설치합니다.

Rocks 4.3을 이용해서 Compute Node를 설치하던 중,,
Frontend 노드와 연결이 되지 않아 설치 초기 과정에서 실패하는 경우가 있습니다.

실패가 나타나는 경우
- CISCO Catalyst 29xxG Switch 사용
- PXE 부팅과정에서 DHCP에서 IP를 받아오며,, 설치 초기 화면까지는 나타남
- 설치가 진행되는 듯 싶다가,, 멈춘 후 리부팅 됨

실패 원인
- 좀 특이한 경우겠지만,, CISCO Switch 의 경우 Learning Time 이란 것이 있습니다.
- 스위치에 새로운 서버를 연결했을 경우 처음에는 주황색 이었다가,,
  한참이 지난 후에야 초록색으로 바뀝니다.
- 정확하게는 Blocking, Listening, Learning, Forwarding, Disabled 상태 중 하나이지요.
- 서버를 부팅했을 경우 Forwarding 상태이기 때문에,, PXE 부팅이 진행됩니다.
- PXE 부팅과정에서 리눅스 커널이 올라옵니다.
- 리눅스 커널이 네트워크 드라이버 모듈을 다시 올리는 과정에서
  스위치와의 링크가 끊어졌다가 다시 연결됩니다.
- 다시 연결되었기 때문에,, 스위치는 Spanning-Tree 설정에 따라
  Forwarding 되기까지 시간이 걸립니다.
- 지연되는 시간 때문에,, 네트워크가 끊긴 것으로 인식하고, 설치를 종료시켜버립니다.

해결방법
- Switch의 Learning Time을 줄여줘야 합니다.
- Spanning-Tree를 사용하지 않거나,, Port Fast를 적용합니다.
- Catalyst 2960G 스위치의 매뉴얼은 아래 링크를 참조하세요.
http://www.cisco.com/en/US/docs/switches/lan/catalyst2960/software/release/12.2_25_see/configuration/guide/scg_1.html

Catalyst Switch 연결
- Serial Cable 사용
   Linux의 minicom 이란 프로그램 실행
   # minicom -s

1. Firewall 점검
   TFTP Server가 동작하고 있는 서버에서 iptables firewall을 사용할 경우
   우선 iptables 를 내린 후 다시 진행
   iptables 내린 후 정상 동작한다면,, iptables firewall 설정을 점검할 것
    
2. TFTP 서버
   Rocks 5.1 버전에서는 TFTP 서버가 xinetd 서비스로 묶여서 돌아갑니다.
   xinetd 서비스를 재시작해보세요.

1. 설치할 때,, 호스트 추가

####################################################################################################
# PBS install
####################################################################################################

# 소스 파일 압축 해제
[root@orion ~]# tar xvfz torque-2.3.0.tar.gz
# configure
# 옵션은 아래 싸이트 참고
# http://www.clusterresources.com/torquedocs21/1.3advconfig.shtml#configoptions
#
[root@orion torque-2.3.0]# ./configure \
--enable-server --enable-clients \
--enable-docs --enable-mom \
--prefix=/usr/local \
--with-default-server=orion \
--with-scp

# compile
[root@orion torque-2.3.0]# make
# 설치
[root@orion torque-2.3.0]# make install

# 설치 후 torque (pbs) 서버 기본 설정
[root@orion torque-2.3.0]# ./torque.setup root
initializing TORQUE (admin: root@orion.xxxx.ac.kr)
PBS_Server orion.xxxx.ac.kr: Create mode and server database exists,
do you wish to continue y/(n)?y
Max open servers: 4
Max open servers: 4

# pbs에서 사용할 노드 등록
# np=4, 각 노드에 4개의 cpu가 있음을 의미
[root@orion torque-2.3.0]# vi /var/spool/torque/server_priv/nodes
orion   np=4
node01  np=4
node02  np=4
node03  np=4

# pbs_mom은 실제 job을 수행할 compute node에서 구성
# orion (master) 노드에서도 job이 수행되므로 아래 파일 설정
# 자세한 설정은 아래 링크 참조
# http://www.clusterresources.com/torquedocs21/a.cmomconfig.shtml
#
[root@orion torque-2.3.0]# vi /var/spool/torque/mom_priv/config
$pbsserver      orion
$logevent       255

# pbs server 지정
# job이 수행될 모든 노드에 설정
[root@orion torque-2.3.0]# vi /var/spool/torque/server_name
orion

# rebooting 이후 자동으로 실행되도록 설정
[root@orion sbin]# echo "/usr/local/sbin/pbs_mom" >> /etc/rc.d/rc.local
[root@orion sbin]# echo "/usr/local/sbin/pbs_server" >> /etc/rc.d/rc.local
[root@orion sbin]# echo "/usr/local/sbin/pbs_sched" >> /etc/rc.d/rc.local

####################################################################################################
# install torque on compute nodes
####################################################################################################
# compute 노드에 pbs client 설치 및 설정

# 먼저 orion (master) 노드에서 패키지를 생성
[root@orion torque-2.3.0]# make packages
# 생성된 패키지를 /data1 (NFS로 공유된 디렉토리)에 복사
[root@orion torque-2.3.0]# cp *.sh /data1

# 모든노드에 /data1 디렉토리에 있는 파일을 이용하여 설치
# 먼저 pbs_mom 설치
[root@orion ~]# psh compute '/data1/torque-package-mom-linux-x86_64.sh --install'
node01:
node01:       Installing TORQUE archive...
node01:
node01:       Done.
node02:
node02:       Installing TORQUE archive...
node02:
node02:       Done.
node03:
node03:       Installing TORQUE archive...
node03:
node03:       Done.
# 같은 과정으로 client, doc, devel 설치
[root@orion ~]# psh compute '/data1/torque-package-clients-linux-x86_64.sh --install'
[root@orion ~]# psh compute '/data1/torque-package-doc-linux-x86_64.sh --install'
[root@orion ~]# psh compute '/data1/torque-package-devel-linux-x86_64.sh --install'

# rebooting 이후 자동으로 pbs_mom 이 시작되도록 설정
[root@orion ~]# psh compute 'echo "/usr/local/sbin/pbs_mom" >> /etc/rc.d/rc.local'

# jobs이 실행될 수 있도록 pbs_mom 설정 변경
[root@orion sbin]# psh all 'echo "\$pbsserver orion" > /var/spool/torque/mom_priv/config'
[root@orion sbin]# psh all 'echo "\$logevent  255" >> /var/spool/torque/mom_priv/config'
[root@orion ~]# psh compute 'echo "orion" > /var/spool/torque/server_name'

# 설정을 마친 후 pbs_mom 시작
[root@orion ~]# psh compute '/usr/local/sbin/pbs_mom'

# pbs 정상 설정여부 확인

# 모든 노드에서 free 라고 올라와야 함
# down 이라고 표시되면, pbs_mom을 재시작해야 함
[root@orion ~]# pbsnodes -a

# pbs_mom 재시작 방법
[root@orion ~]# psh compute 'killall pbs_mom'
[root@orion ~]# psh compute 'pbs_mom'

####################################################################################################
# queue 테스트
####################################################################################################
#
# 일반 유저로 로그인해서
# job submit 테스트 수행
[user1@orion ~]$ echo "sleep 5" | qsub
[user1@orion ~]$ qstat

Parametric Job + Job Dependency 입니다.
첨부파일을 열어보면,, 6개의 파일이 보입니다.

sample.tgz

cpi.c cpi start.sh compute.sh end.sh sub.sh

파일 설명

cpi.c     : PI 계산 C Source, Interval 값을 인자로 입력받아 PI를 계산

cpi       : Compile 된 binary 파일

start.sh  : 시작 스크립트, input parameter를 파일에 저장

compute.sh       : 계산 스크립트, input parameter를 읽어서 cpi 인자값으로 넘겨서 계산

end.sh   : 종료 스크립트, 임시 input 파일을 삭제

sub.sh   : 세개의 job을 제출하는 스크립트

주의 ::: 이 스크립트에서는 input parameter가 4개라고 가정하였음, BASH 를 사용하였음.

실행방법

[user1@hnode01 ~]$ ./sub.sh

Your job 51 ("start") has been submitted

Your job-array 52.1-4:1 ("compute") has been submitted

Your job 53 ("end") has been submitted

[user1@hnode01 ~]$ qstat

job-ID  prior   name       user         state submit/start at     queue                          slots ja-task-ID

-----------------------------------------------------------------------------------------------------------------

     51 0.00000 start      user1       qw    12/24/2008 16:25:44                                    1       

     52 0.00000 compute    user1       hqw   12/24/2008 16:25:44                                    1 1-4:1

     53 0.00000 end        user1       hqw   12/24/2008 16:25:44                                    1