メタのザッカーバーグ、60万GPUにAIの未来を託す

Agam Shah　オリジナル記事　「Meta’s Zuckerberg Puts Its AI Future in the Hands of 600,000 GPUs」

メタ社のCEOであるマーク・ザッカーバーグは、2分足らずで同社のAI計画を説明した。その中には、エヌビディアのGPU60万個分に相当する人工知能システムを構築する計画も含まれていた。

「一般的な知能を構築し、それを責任を持ってオープンソース化し、日常生活のあらゆる場面で誰もが利用でき、役立つようにするという長期的な目標をサポートするために、メタ社のAI研究努力をより緊密なものにしています」と、ザッカーバーグはツイッターに投稿されたビデオで語った。

	マーク・ザッカーバーグ、ツイッターでラマ3と360K GPUを発表 (https://twitter.com/altryne/status/1748057569816416451)

ザッカーバーグの発表は、メタのAI計画のロードマップを更新するもので、現在トレーニング中の次期Llama3を中心に構成されている。Llama3は、昨年リリースされたLlama2のモデルウェイトとトークナイザーの後継となるもので、Huggingfaceで合計200万弱のダウンロードを記録し、大きな成功を収めた。オープンソースの開発者たちは、何千ものLlama2のフォークもリリースしている。

Llama3は、最近リリースされたGoogleのGeminiモデル、OpenAIのGPT-4と今後リリースされるGPT-5モデルと競合する。OpenAIのCEOであるサム・アルトマンは、GPT-5についてまだ語っていないが、より多くのデータソースをサポートすることで、テキスト、音声、画像をより簡単に扱えるようになるとほのめかしている。

「我々は今年末までに、GPT-5をサポートするための膨大なインフラを構築する予定です。エヌビディアH100を約35万台、他のGPUを含めると約60万台のH100相当のコンピュートを持つことになります」と、ザッカーバーグは語った。

つまり、メタのGPU総数は約70カ国の人口を上回ることになる。メタ社はまた、AMDのMI300X GPUも使用する。実際、メタ社は記録的な速さでMI300X GPUを搭載したサーバーを導入した。

「MI300XはOCPモジュール、標準、プラットフォームを活用しているため、記録的な速さで採用することができました。実際、MI300Xはメタ社史上最速の導入ソリューションの1つです」と、メタ社のエンジニアリング担当シニア・ディレクターであるアジット・マシューズは、昨年のAMDイベントの壇上で述べた。

エヌビディアは来年、H100 GPUに代わるH200 GPUの出荷を開始する。エヌビディアがH200の出荷を拡大するのに合わせて、大きな需要があるH100 GPUの出荷を拡大する兆しがある。

企業はエヌビディアのGPUを受け取るために何四半期も待っており、メタの35万GPUは巨大な注文である。しかしエヌビディアは、大口顧客を優先しながらも、ビットコインからAIデータセンターに転身した企業による小規模な注文にも応じ、ゆっくりと出荷を進めている。

メタ社もまた、GPUコンピューティングに特化したデータセンターの再構築を進めている。メタ社は数千のアクセラレーターを備えたメガクラスタを構築している。コアのネットワークはメッシュ状に構成され、アクセラレーター間の帯域幅は毎秒1テラバイトだ。同社は世界に21のデータセンターを持ち、イリノイ州デカルブに開設された最新のデータセンターは再生可能エネルギーで稼働している。

しかし、ザッカーバーグの最終目標である、人間の脳のデジタル版ともいえる人工知能の構築には、さらに多くのGPUが必要になるだろう。

「次世代のサービスには、総合的な知能の構築、最高のAIアシスタントの構築、ビジネスとしてのクリエイターのためのAIなど、推論から計画、コーディング、記憶、その他の認知能力に至るまで、AIのあらゆる分野での進歩が必要であることが明らかになってきました」とザッカーバーグは語った。

ザッカーバーグは、メタバース戦略がどのようにAI計画と結びついているかを説明した。画像、音、音声など、人間からの感覚入力はすべてマルチモーダルAIに入力され、出力はメガネやヘッドセットのようなメタバースデバイスで行われる。現在、AIモデルはチャットボットやテキストから画像への生成などの形で分離されているが、最終的にはそれらすべてが統合され、人間が情報を処理する方法と同じ方法で情報を提示するようになるだろう。

「人々はAIのための新しいデバイスも必要とするだろうし、これはAIとメタバースを結びつけるものです。なぜなら、時間の経過とともに、私たちの多くが1日中AIと頻繁に話すようになると思うからです」とザッカーバーグは語った。

その一例が、クアルコムのチップを搭載したレイバンのスマートグラス「メタ」だ。この製品によって、メタは「日常的な機能という点で、スマートグラスの旗を掲げるようになった」と、Moor Insights and Strategyのアナリスト、アンシェル・サグは先月投稿した製品レビューで述べている。

「このメガネは、あなたが見ているものをAIに見せ、あなたが聞いているものをAIに聞かせるのに理想的なフォームファクターです。AIはいつでも助けてくれます」とザッカーバーグは語った。

ザッカーバーグは、Llama3がマルチメディアと音声入力をサポートするメタ初のマルチモーダルモデルになる可能性が高いことを示唆した。Llama2は、ユーザーが質問したりストーリーをまとめたりできるプロンプトを提供するチャットボットだった。

Llama3では、メタ社には配布上の利点がある。オープンソースの性質は、誰でもこのモデルをホストできることを意味し、Llama 2はGoogle、AWS、Microsoftによってクラウドサービスが提供された。メタ社はLlama2チャットボットのホスティングサービスを自社でリリースすることはなく、ユーザーはHuggingChatのようなサービスを利用するか、PCにダウンロードして利用することができた。

「このテクノロジーは非常に重要であり、チャンスは非常に大きいので、オープンソースにして、誰もが恩恵を受けられるように、責任を持ってできる限り広く利用できるようにすべきだ」とザッカーバーグは語った。

ザッカーバーグはまた、オープンソースAIの顔として台頭しており、AIへのクローズドなアプローチであるOpenAIとGoogleを間接的に非難した。OpenAIとGoogleは、AI戦略を構築するために公開研究とオープンソースの開発者を利用したが、AIで現金化するためにクローズドソースになった。

OpenAIとGoogleのトランスフォーマーモデルは、それぞれのウェブサイトを通じてのみ入手可能だ（OpenAIのGPTモデルでAI戦略を構築したマイクロソフトを除く）。

「メタには、誰もが使うPytorchのような共通のソフトウェア・プラットフォームがあります」と、先週ダボスで開催された世界経済フォーラムでのディスカッションで、チーフAIサイエンティストのヤン・ルクンはこう語った。

メタ社はそのAI技術において安全性と責任感を優先しており、それはすでにLlama2に搭載されている。同社はすでに多くの政治的論争に対処しており、世間や政治的反発を避けたいのかもしれない。Llama2には結果を計量するための教師あり学習技術が搭載されており、これは新型トランスフォーマーにおける教師なしモデルへの切り替えからの変更である。

ザッカーバーグは、同社がLlama3をリリースする時期についてコメントしなかった。しかし、同社は昨年Llama1と2を出荷しており、リリースは10ヶ月間隔だった。