【京都大学】スーパーコンピュータシステム 【意見招請締切 10/15】

機関名

京都大学

件名

スーパーコンピュータシステム

調達方式

借入

導入時期

2021年度10月以降

これまでの流れ

主な仕様(資料招請時)

スーパーコンピュータシステムは総容量1,800kVAの電源容量内で動作するシステムであり、３つの並列演算サーバーサブシステムとストレージ、及びこれらを有機的に連携し、安定かつ効率的に運用するために必要なその他の設備（ハードウェア及びソフトウェア）により構成されるものとする。

Ａ　サブシステムＡ

ａ　サブシステムＡは複数ノードで構成される高並列型計算機であること。ここでノードとは、主記憶を共有する48個以上のCPUコアから構成されるコンピュータシステムであると定義する。
ｂ　ノード単体あたりの理論ピーク演算性能が4.5TFLOPS以上（倍精度浮動小数点演算）であり、かつ理論ピーク演算性能の総和が10PFLOPS以上（倍精度浮動小数点演算）であること。実効演算性能については、ベンチマークにより評価する。
ｃ　CPUコアはx86-64アーキテクチャまたは、ARMv８アーキテクチャに基づくものであること。
ｄ　ノード単体あたりの主記憶容量は64GiByte以上であること。
ｅ　ノードあたりの主記憶アクセスバンド幅の理論ピーク値の総計が1,400GByte/秒以上であること。
ｆ　ノード間相互接続網のデータ転送速度の理論ピーク値は、ノードあたりのインジェクションバンド幅が24GByte/秒以上、バイセクションバンド幅が25TByte/秒以上であること。また、データ転送の状況により動的に適切な通信路を選択する適応的ルーティング機能があること。
ｇ　サブシステム全体のピーク消費電力が1,000kW以下であること。
ｈ　D.ソフトウェアスタックを備えること。

Ｂ　サブシステムＢ

ａ　サブシステムＢは複数ノードで構成される高並列型計算機であること。ここでノードとは、主記憶を共有する80個以上のCPUコアから構成されるコンピュータシステムであると定義する。
ｂ　ノードあたりの理論ピーク演算性能が5.0TFLOPS以上（倍精度浮動小数点演算）であり、かつ理論ピーク演算性能の総和が4.0PFLOPS以上（倍精度浮動小数点演算）であること。実効演算性能については、ベンチマークにより評価する。
ｃ　CPUコアはx86-64アーキテクチャに基づくものであること。
ｄ　ノードあたりの主記憶容量は256GiByte以上であること。
ｅ　ノードあたりの主記憶アクセスバンド幅の理論ピーク値の総計が500GByte/秒以上であること。
ｆ　一部のノードにおいて、ノードを構成する全てのCPUコアが主記憶の一部として利用可能な不揮発性メモリをノードあたり８TiByte以上有し、かつ総容量は128TiByte以上であること。
ｇ　ノード間相互接続網のデータ転送速度の理論ピーク値は、ノードあたりのインジェクションバンド幅が24GByte/秒以上、バイセクションバンド幅がインジェクションバンド幅にノード数を乗じたものの１/２以上であること。また、データ転送の状況により動的に適切な通信路を選択する適応的ルーティング機能があること。
ｈ　ノードごとに、総計１TByte以上の物理容量を有する１台または複数台のSSDを備えること。
ｉ　サブシステム全体のピーク消費電力が600kW以下であること。
ｊ　D.ソフトウェアスタックを備えること。

Ｃ　サブシステムＣ

ａ　サブシステムＣは複数ノードで構成される高並列型計算機であること。ここでノードとは、主記憶を共有する36個以上のCPUコアと４つ以上の演算加速器から構成されるコンピュータシステムであると定義する。
ｂ　CPUコアに関するノードあたりの理論ピーク演算性能がCPUは2.3TFLOPS 以上（倍精度浮動小数点演算）であること。
ｃ　演算加速器に関するノードあたりの理論ピーク演算性能が600TFLOPS以上（半精度浮動小数点演算）であり、理論ピーク演算性能の総和が10PFLOPS以上（半精度浮動小数点演算）であること。実効演算性能については、ベンチマークにより評価する。
ｄ　CPUコアはx86-64アーキテクチャに基づくものであること。
ｅ　ノードあたりの主記憶容量は128GiByte以上であり、演算加速器上の記憶容量の総計が128GiByte以上であること。
ｆ　ノードあたりの主記憶アクセスバンド幅の理論ピーク値の総計が300GByte/秒以上であり、演算加速器上の記憶アクセスバンド幅の総計が4,000GByte/秒以上であること。
ｇ　ノード間相互接続網のデータ転送速度の理論ピーク値は、ノードあたりのインジェクションバンド幅が24GByte/秒以上、バイセクションバンド幅がインジェクションバンド幅にノード数を乗じたものであること。また、データ転送の状況により動的に適切な通信路を選択する適応的ルーティング機能があること。
ｈ　サブシステム全体のピーク消費電力が50kW以下であること。
ｉ　D.ソフトウェアスタックを備えること。

Ｄ　ソフトウェアスタック

ａ　自動並列化機能を備えかつOpenMP 4.5以上に対応したFortran2008、C11、C++14あるいはそれらの後継規格に準拠した言語処理系を備えること。
ｂ　Java SE 13の処理系またはその後継版を備えること。
ｃ　MPI 3.1以上に準拠したMPI通信ライブラリを備えること。
ｄ　オペレーティングシステムはLinux (カーネル4.12以降)であること。
ｅ　以下の機能を持つジョブスケジューラを備えること。
①ユーザグループごとにジョブキューを設定できること。
②ユーザグループごとに最小資源量、標準資源量（１ジョブが利用可能な資源量の最大値）、最大資源量（同一ユーザグループに属するジョブが利用可能な資源量の総和の最大値）を設定できること。
③あるジョブは以下の条件が満たされた場合にのみ実行可能であること。ただし、各ユーザグループに属する実行中のジョブが利用している資源量の総和を当該グループの利用資源量と呼び、実行可能性の判断対象のジョブが属するユーザグループについては当該ジョブが利用する資源を含むものとする。また、最小資源量に対する利用資源量の余裕値を遊休資源量、サブシステム全体の資源量から全グループの利用資源量の総和を差し引いた値を残余資源量と呼ぶ。
・残余資源量が全グループの遊休資源量の総和未満である場合は、利用資源量が最小資源量以下であること。
・残余資源量が遊休資源量の総和以上である場合は、利用資源量が最大資源量以下であること。この条件を満たすジョブが複数存在する場合、異なるユーザグループ間での競合はフェアシェアスケジューリングにより調停されること。
④ジョブキューごとに、ジョブの投入時刻とユーザ間のフェアシェアを加味した優先順位付けがなされ、両者の重みが調整可能であること。
⑤④の優先順位とジョブの実行開始順序との関係について、ジョブキューごとに以下のポリシーを選択できること。
・最高の優先順位を持つジョブが最初に実行されるFCFSポリシー。
・ジョブ実行に必要な資源が割当可能なジョブの中で最高の優先順位を持つものが最初に実行される追い越し許容ポリシー。
・最高の優先順位を持つジョブの実行に必要な資源が割当不能である場合、その実行開始予測時刻以前に完了することが保証されるジョブの中で最高の優先順位を持つものが最初に実行されるバックフィルポリシー。
⑥ジョブの会話型実行及び会話型デバッグが可能であること。
ｆ　既存システムに含まれるものに準じた、多様なアプリケーションソフトウェア及び数値計算・科学計算ライブラリを備えること。
ｇ　TensorFlow、Keras、PyTorch及びApache MXNetなどの機械学習フレームワークを備えること。

Ｅ　ストレージサブシステム

ａ　総容量32PByte以上のディスクアレイ装置を有すること。
ｂ　E.(a)ディスクアレイ装置とA.サブシステムA、B.サブシステムB及びC.サブシステムCとの間のデータ転送速度の総計が300GByte/秒以上であること。
ｃ　総容量８PByte以上の高速ストレージ装置を有すること。
ｄ　E.(c)高速ストレージ装置とA.サブシステムA、B.サブシステムB及びC.サブシステムCとの間のデータ転送速度の総計が1,000GByte/秒以上であること。
Ｆ　その他
ａ　総通信容量100Gbps以上のイーサネットで学内ネットワークと接続できること。
ｂ　学外にあるデータセンターのプライベートネットワークと暗号化通信が可能なVPN（Virtual Private Network）により接続できること。
ｃ　課金、利用統計処理及びシステム間で統一的認証が可能なユーザ管理機能を備えること。
ｄ　システム全体の実消費電力を電源容量以下の設定値を超えないようにするパワーキャップ機能を有すること。

現在のシステム

関連リンク

京都大学学術情報メディアセンター
京都大学スーパーコンピュータシステム