Supercomputing Japan Conference
AIためのGPU基盤を支えるIDCフロンティア府中データセンター
ラック当たり20KVAまで搭載可能
AIためのGPU基盤を支えるIDCフロンティア府中データセンター
株式会社IDCフロンティアは、AIサービスの開発やAI技術の研究支援および推進を目的とした「AI開発推進プログラム」を2023年11月8日より開始しました。同社では、NVIDIA DGXプラットフォームのワークロードを運用できる電力と冷却能力を備え、GPUサーバー本来のパフォーマンスを発揮できる「高負荷ハウジングサービス」を提供しており、今後AI技術を本格的に活用していこうとしている企業を積極的に支援しようとしています。
ソフトバンクの子会社でデジタルインフラ専業会社のIDCフロンティアは、2001年6月にデータセンター事業に参入しています。2020年12月には、最大受電容量50メガワットのハイパースケールデータセンターである「東京府中データセンター」の運用を開始しています。今回は同社データセンターサービス本部 サービス企画部の菅野晋輔さんにお話を伺いました。
 |
| IDCフロンティア 東京府中データセンター |
GPUサーバーでも効率的に冷却できるリアドア型の空調機を採用
 |
|
| データセンターサービス本部 サービス企画部 菅野晋輔氏 |
|
東京府中データセンターは、AI時代を見据えたGPUサーバーを支える高負荷ハウジングサービスを2022年3月から提供しています。
当社では将来のAI活用時代を見据え、15kVAから20kVA程度の電力が必要なお客さまをターゲットに、高発熱機器を設置できるハウジングサービスの企画を2018年頃からスタートしました。
2020年には、NVIDIAからAIスーパーコンピューターとしてNVIDIA DGX™ A100がリリースされたのですが、この機器は1台あたり定格で6kVAの電力が消費されます。通常のIAサーバーですと、20台や30台程度を1ラックに積み上げても、トータルの消費電力は6kVA程度で間に合ったのですが、NVIDIA DGX™ A100の場合は1台で6kVA、また機器の使用率としては70％～90％の電力が必要となります。
その後、2022年3月から東京府中データセンターの専用フロアで最大20kVAの電力を提供できるハウジングサービスとして「高負荷ハウジングサービス」の提供を開始しているのですが、NVIDIA DGX™ A100に続き、NVIDIA H100 Tensor コア GPUを搭載したNVIDIA DGX™ H100もリリースされました。このモデルは1台あたり定格で約10kVAの電力が消費されますが、お客さまはこれらの機器を複数台搭載したいと考えられていらっしゃるので、1ラックの供給電力が20kVA、最新型のGPUサーバーが2台搭載可能というサービスになっています。
このようなGPUサーバーを1ラックに複数台設置した場合、従来型の空調ですと大風量の高温排気が対向ラックまで影響を与えてしまうようになります。そうすることで対向ラックに空気が押し込まれ、反対側のラックのサーバーがショートサーキットを起こすような事態になりかねません。
そこで「高負荷ハウジングサービス」では、リアドア型の空調機を採用してこの問題を解決しています。この方式は局所空調機をリアドアに設置することで、サーバーの排熱はリアドア型空調機を通過して冷やされた空気として排気されるようになっています。リアドア型空調機はサーバーラックの扉に対してファン4台＋予備1台の計5台の「N＋1」で構成しており、もし仮にファン1台が故障したとしても、稼働している残りのファンの出力を上げるために、ラックの冷却能力には影響はありません。
GPUサーバーは1台あたり数千万円以上と高価なものですので、熱暴走による故障は許されないものです。リアドア型空調機であれば、仮にGPUサーバー側のファンが停止したとしても、リアドア側から中の空気を強制的に吸い出す仕組みですので、GPUサーバー本体への影響は避けられます。
また2架列単位で配置したモール構成により、サーバーの排気をモール内で1つにミキシングする気流システムにより、温度が均質化されるようになっています。
 |
 |
| リアドア型空調機が設置されたラック | リアドア型空調機説明図 |
ラック間ケーブリングを狭くすることでコスト削減を実現
GPUサーバーは、当初研究機関のようなところでの利用が始まり、その後、企業への活用が広がり始めました。現状、最新のGPUサーバーをデータセンターに設置するには従来のデータセンターでは、必要な電力と冷却性能が足りません。電力を供給するだけであれば、複数のラックへ供給する電力を束ねればなんとかなるのですが、従来の空調方式では20kVAを要求するGPUサーバーを冷却することはかなり難しいです。
また、GPUサーバーは機種によっては1台あたり100kg以上の重量にもなります。ラックのマウント作業を人間の手だけでやるのは困難ですし何より危険です。手動のリフターを使えばできないこともないのですが、安全に作業を行っていただけるよう、府中データセンターでは電動リフターを導入しました。
 |
| サーバー用電動リフター |
「高負荷ハウジングサービス」では、隣接するラック間のケーブリングを行う場合には、側面のパネルを経由してお客さま自身でケーブリングをすることもできます。ケーブルの距離を短くできることでコストを抑えられることももちろんですが、隣接ラック同士で配線が容易になることも大きなメリットだと考えてます。
高負荷ハウジングサービスを支える東京府中データセンターの設備
その後、東京府中データセンター内の施設見学を行い、IDCフロンティアのカスタマー本部 サイトオペレーション部の片寄光大郎さんにお話を伺いました。
東京府中データセンターは最大受電容量50メガワットの電力が使用でき、約4,000ラックの収容が可能な大規模データセンターです。建物は基礎免震構造で、地震などで発生する揺れを免震ゴムで吸収し建物やサーバーラックへの影響を最小限に抑えるようになっています。
入館に際しては最新鋭のセキュリティを備えており、顔認証システムにより入館およびフロア入室、ラック解錠などを行うことが可能です。
また、万が一に備え、UPS（無停電電源装置）と自家発電機を備えており、商用電力の予期せぬ停電や入力電源異常が発生したときには、UPSのバッテリーからの給電に切り替り、その間に自家発電機を起動して、備蓄している燃料だけで48時間電力を供給し続けられるようになっています。
東京府中データセンターのサーバールームは水冷空調方式を採用しています。冷却水による壁吹き出し式の空調と、冷熱分離したキャッピングにより、サーバーから出る高温排気の再循環を防いで冷却効果を上げています。
地下に、水冷空調用のターボ冷凍機が設置されており、その冷水を、サーバーフロアの空調機や、高負荷ハウジングサービスのリアドア型空調機に送り出しています。
 |
 |
| 自家発電装置 | 冷却水設備 |
AIを支えるGPUクラウドを半年間無償で提供
IDCフロンティアは、「Empower your AI」をコンセプトに、AIサービスの開発やAI技術の研究支援・推進を目的とした「AI開発推進プログラム」を2023年11月8日より開始しています。
プログラムの第一弾として、新たなAIサービスの提供を企画・検討している新興企業や、AI技術の開発・研究を行う研究機関・アカデミックを対象に、AI技術の開発・研究やAIサービスのPoC（概念実証）の利用を想定したIDCフロンティアのGPUクラウド（NVIDIA製GPU搭載）の半年間無償提供を実施しています。
また、第二弾として、GPU/AIデータセンターツアーの申し込みを受け付けています。いずれも期間限定のため、詳細は下記URLをご確認の上、早めにご応募ください。
IDCフロンティア「AI開発推進プロジェクト」