メモリ中心のミッションを掲げるスタートアップMemVerge

Doug Black

コンピューティング界の中心に位置するメモリは、処理を置き換えることで、データセンターシステムのパフォーマンスを大幅に改善するための手段として長い間考えられてきた。高速化された処理（GPU、FPGAなど）、より高速な相互接続（NVLink、光）、より強力なネットワーク（5Gとその後継）と組み合わせることで、次世代のメモリを中心とした計算が可能になり、企業のAI、HPDA、HPCアプリケーションのワークロードを全く新しいクラスで実現できるようになる。いずれにしても、これが夢である。

従来のストレージからレイテンシの多いデータを取得するのではなく、より多くのデータをメモリに取り込むことである。2017年のISCカンファレンスで、HPEのSVP/最高技術責任者（CTO）、AI担当であるEng Lim Gohが、10年分の企業データがライブメモリに存在する未来について語った印象的なプレゼンテーションを思い出す。その未来への重要な一歩は、アプリケーションがペタバイトサイズのデータプールにアクセスできるようにするストレージクラスのメモリデバイス「Optane DC」をインテルが2019年4月に発表したことでもたらされた。

しかし、カリフォルニア州ミルピタスに本社を置く創業3年の新興企業MemVergeは、メモリ中心のビジョンをより現実に近づけるためには、データサービスソフトウェアのレイヤーが永続メモリハードウェアの上で動作する必要があると主張している。MemVergeは、DRAM、永続メモリ、およびMemVerge Memory Machineソフトウェア技術を組み合わせた、豊富で持続性があり、利用可能性の高いメモリを提供できるように設計されたビッグメモリコンピューティングと呼ばれる戦略を立ち上げた。

MemVerge社のCEOであるCharles Fanによると、インメモリコンピューティングが過去10年間で成長してきた一方で、DRAMは高コスト、小規模、揮発性の高さのため、パフォーマンスが重要なワークロードにはほとんど使われていない。しかし、彼は、今後5年間で全データの25％がリアルタイムデータになるというIDCの調査結果を引き合いに出し、次のように述べた。「ますます多くのミッションクリティカルなアプリケーションでは、データ量だけでなく、データを処理する速度も速くなる必要があるでしょう。そして、その答えはメモリ中心のアーキテクチャだと考えています。ストレージデバイスとメモリメディアの間でデータが常に移動している今日のI/Oの動作方法は、これらのユースケースの多くではもはや受け入れられないでしょう。それは、より大きく、より安価で、永続的な新しいメディアを生み出しているのです。」

現在、同社の提供する製品は、Fanが「画期的な技術」と呼んだOptaneによって実現されている。「また、この技術は、Intelや他のメモリメーカー製のものであっても、今後数年でさらに良くなると考えています。2022年までには、このメモリ中心のデータセンターを実現するという同じ目的のために、少なくとも2～3社のメモリメーカーが永続的なメモリを提供するようになると考えています。」

VMwareとEMCのベテランであるFanは、「クラウドに適切なハードウェアが搭載されれば」仮想マシンやクラウド上だけでなく、著名なハードウェアベンダーのサーバやサーバクラスタ上でもMachine Memoryソフトウェアが動作すると述べている。Fanによると、この製品は現在ベータ版で、今月後半に限られた数の顧客を対象とした早期アクセスプログラムに入り、今年後半に一般提供される予定とのことである。Intel Optane Gen 2が利用可能になれば、その製品がすぐに利用できるようそのままサポートするという。実際、Fanによると、IntelはすでにGen 2のサンプルをMemVergeに提供しているということである。

Fanは、メモリ中心のコンピューティングを広く普及させるには、次の3つの障害があるとのべている。それは既存のアプリケーションはプラグアンドプレイではなく永続的なメモリ用に書き直す必要がある、データサービスがないためシステムクラッシュからの回復が遅い、別々のサーバにサイロ化されたメモリのため共有メモリがない、ということだ。

Fanによると、Machine Memoryソフトウェアは、これら3つの問題をすべて解決してくれるという。

既存のアプリケーションの使用に関してFanは、通常、「バイトアドレス可能で永続的なビッグメモリを最大限に活用するために、それらをプログラムする必要があります。アプリケーションを変更して新しいAPIにプログラミングする必要がありますが、これは永続的なメモリAPIや永続的なメモリのプログラミングモデルです。この新しいインフラ上でどのように動作させるかが課題です」と述べている。

Fanによると、Memory Machineソフトウェアは、RDMAなどの低遅延ネットワークを介して、DRAMとPMM（永続的なメモリモジュール）を、ローカルでもサーバクラスタ全体でも仮想化するという。「我々はRDMA over Converged Ethernet(RoCE)とRDMA over InfiniBandの両方に対応しており、上記のアプリケーションに対応したメモリレイクを透過的に作成することができます。そのため、アプリケーションを変更する必要はありません。」

メモリの可用性に関してFanは、MemVergeのデータサービスには、ZeroIOデータのスナップショット、レプリケーション、ティアリングが含まれると述べている。Fanは、Memory Machineソフトウェアの中核をなすのは分散型の永続メモリエンジンであり、「我々の永続メモリアロケータを通じてメモリを処理するソフトウェアエンジンです。そして、当社のクラスタマネージャによって管理されたクラスタ間でRDMAトランスポートを介しそれらを接続します」と語った。

「これまでのメモリは、主にローカルプロパティであり、ローカルメモリにアクセスします。」「そして、新しいメモリはさらに大きくなり、CPUのソケットが2つあるサーバ1台あたり最大6テラバイトの永続的なメモリが必要になります。それ以上のメモリが必要な場合は、他のサーバにメモリをスケールアウトし、アプリケーションで利用できるメモリレイクにそれらをまとめることができるソフトウェアのレイヤーが必要になります。」

「これらは、ハードウェアだけでは完全なソリューションを提供できない3つの領域であり、ビッグメモリソフトウェアと呼ばれるものが必要となります。互換性を持たせ、データサービスを提供し、複数のサーバにメモリをプールしスケールアウトする必要があります。私たちのソフトウェアは、それを実現するのです。」

Fanによると、MemVergeは現在約40人で構成されており、最近では主な投資家であるIntel Capital、Cisco Investments、NetApp、SK Hynixなどから部分的に出資を受けた1,900万ドルの新規ベンチャーファンドの資金調達を完了、技術チームとセールス/マーケティングチームの両方を拡大する予定だという。

MemVerge CEOのCharles Fan

「IntelがOptaneメモリを発表したのと同じ約1年前に、我々はステルス状態から抜け出してきましたが、その時は製品がベータ版に入っていました。これは同じ技術ですが、現在はより成熟したものとなっています。我々は、顧客が本番環境で導入できるようにしています」とFanは述べた。

Fanは、3年前にフランクフルトで開催されたISCでのGohの発言を思い出し、気持ちが温かくなった。

「私たちのビジョンと非常に一致しているのです。私たちはこのビジョンで新しいことをしているわけではありません。人々は20年ほど前からこれを夢見ていたのです。しかし今、それは現実になる可能性があると考えています。HPC 開発者の視点から見ても、コンピューティング・ノードごとに何百テラバイトものメモリにアクセスできるとしたらどうでしょうか。そして、そのメモリはすべて永続的に保護されていますか。また、シミュレーションや分析、計算を開発する上で、さらにどのような可能性があるでしょうか。特に最先端を行く人にとって、新しい世界が開けるものとなるのではないでしょうか。」