KnowHow

技術的なメモを中心にまとめます。
検索にて調べることができます。

EPYCとinfiniband

登録日 :2024/07/24 21:02
カテゴリ :SLURM

Epyc計算機を利用する場合、Infinibandを意識する必要があるかどうかについて説明します。
Infinibandの役割
Infinibandは、高速かつ低遅延のネットワークインターフェースであり、特に高性能計算(HPC)環境で広く使用されています。以下の点で重要です:
高帯域幅: 大量のデータを迅速に転送できます。
低遅延: 通信の遅延が非常に少ないため、並列計算において効率的です。
スケーラビリティ: 多数のノード間での通信を効率的に行えます。
Epyc計算機とInfiniband
AMDのEpycプロセッサを搭載した計算機は、多くの場合、HPC用途で使用されます。これらの計算機でInfinibandを意識する必要があるかどうかは、具体的な使用ケースによります。
1. 並列計算(MPIジョブ)
必要性: 並列計算を行う場合、ノード間通信の性能が重要です。Infinibandは高帯域幅と低遅延を提供するため、MPIジョブのパフォーマンスを大幅に向上させます。
設定: MPIライブラリ(例:OpenMPI, Intel MPI)を使用する際に、Infinibandを利用するための設定が必要です。通常、mpirunコマンドに適切なフラグを追加します。
2. データ集約型アプリケーション
必要性: 大量のデータを高速に転送する必要がある場合、Infinibandの高帯域幅が役立ちます。
設定: データ転送ライブラリやファイルシステム(例:Lustre)でInfinibandを利用するための設定を行います。
3. 単一ノードでの利用
必要性: 単一ノード内での計算であれば、Infinibandの恩恵は少ないです。この場合、ノード内のメモリ帯域幅やCPU性能が重要です。
Mellanox Infinibandの設定
Mellanox製のInfinibandアダプタを使用する場合、以下の設定が必要です:
ドライバのインストール:
Mellanoxの公式サイトから最新のドライバをダウンロードし、インストールします。
bash
sudo dnf install mlnx-ofed-basic

ファームウェアの更新:
必要に応じて、ファームウェアを最新バージョンに更新します。
ネットワーク設定:
/etc/rdma/rdma.conf などの設定ファイルを編集し、Infinibandインターフェースを有効にします。
MPIライブラリの設定:
MPIライブラリでInfinibandを使用するための設定を行います。例えば、OpenMPIの場合:
bash
mpirun --mca btl openib,self,vader -np 4 ./my_mpi_program

まとめ
Epyc計算機を利用する場合、特に並列計算やデータ集約型アプリケーションを実行する際には、Infinibandを意識することが重要です。これにより、通信性能が向上し、全体の計算効率が大幅に改善されます。適切な設定とチューニングを行うことで、Infinibandの利点を最大限に活用できます。