東京大学HA8000クラスタシステムでのOpenFOAM-2.0.xの並列化効率

[編集] 履歴

格子ブロックを1つにした。qstatコマンドでジョブの終了を検知するのではなく、標準出力ファイルの存在で検知するようにした。最小ノード数を変更できるようにした。 Masa 2011年9月26日 (月) 12:19 (UTC)
高速化率や並列化効率の図が間違っていたので、差し替えた。 Masa 2011年9月17日 (土) 14:37 (UTC)

自動的に並列計算して並列化効率を算出するサンプルケースです。

計算条件は以下の通りです。

上記のファイルを実行用ディレクトリで展開してください。

tar zxpf Channel395-HA8000-*.tar.gz
cd channel395-HA8000

さらにsetting.shにおいて各ジョブキュー名と計算を行う最大ノード数を設定してください。

#!/bin/sh
INIT_QUEUE_NAME=short
DE_QUEUE_NAME=short
RUN_QUEUE_NAME=parallel
MIN_NODE=1
MAX_NODE=64

INIT_QUEUE_NAME: 格子生成(blockMesh)と初期値生成(boxTurb)を行う時のジョブキュー名。格子数が多い時はlargeキューを使用する必要があります。
DE_QUEUE_NAME: 領域分割(decomposePar)を行う時のジョブキュー名。格子数が多い時はlargeキューを使用する必要があります。
RUN_QUEUE_NAME: 解析(channelFoam)を行う時のジョブキュー名。ノード数や計算時間に応じて適切なキュー名を選択してください。
MIN_NODE: 最小ノード数。格子数が多くてノード数が少ないとメモリ不足となる場合には、最小ノード数を上げてください。なお、この最小ノード数での計算時間をベースに高速化率や並列化効率が算出されます。
MAX_NODE: 最大ノード数。

上記設定をした後にAllrun を実行してください。

./Allrun >& log.Allrun &

なお、格子生成・初期値生成や領域分割もジョブキューを投入してバッチで行うので、ジョブ終了後に出来るqstatコマンドの標準出力ファイルが出来るまでsleepのループで待ちます。

mesh/constant/polyMesh/blockMeshDict の以下の青地の部分を変更してください。

blocks          
(
    hex (0 1 3 2 4 5 7 6) (256 128 128) simpleGrading (1 1 1)
);

初期値を与えるboxTrubはx,y,z方向の分割数が2の階乗である必要がありますので、そのように変更してください。

OpenFOAMバージョン: 2.0.x-90d01e563d97
使用ソルバー: channelFoam
コンパイラ: intel C/C++ Compiler Ver.11.0-074
コンパイラの最適化オプション: -msse3 -O3 -no-prec-div (参照: 東京大学HA8000クラスタシステムへのOpenFOAM-2.0.xのインストールと実行)
MPIライブラリ: MPICH-MX
MPI関連の設定: MX_RCACHE:0。なお、明示的に指定していないが、MX_BONDINGの値は2となっていた。
NUMA最適化: 有り (MYRANK=$MXMPI_ID; NODE=$(expr $MYRANK % 4); numactl --membind $NODE --cpunodebind $NODE、参照: 東京大学HA8000クラスタシステムへのOpenFOAM-2.0.xのインストールと実行)
ノード間ネットワーク性能: 2.5 GB/s×双方向 (計算ノードBグループ)