科学におけるAIの一つの可能性

Alex Woodie オリジナル記事「One Possible Future for AI in Science」

科学界を含め、世界中の組織がAIの進歩を活用するための取り組みを強化している。しかし、AIの視点を通して科学の未来はどうなるのだろうか？偉大なヨギ・ベラの言葉を借りれば、AIを活用した科学イノベーションの未来は、かつてのようなものではない。

現在の生成AIの波がまだ3年も経っていないとは信じがたい。OpenAIが2022年後半にChatGPTを発表して世界の想像力に火をつけた直後、人々は私たちの働き方、遊び方、学び方を変えようと動き出した。マッキンゼーによれば、AIは年間4兆ドルの利益を生み出すという。

一方、科学者たちもAIへの取り組みを強化している。大規模言語モデル（LLM）が司法試験に合格するのに十分な量を法律の教科書から「学習」できるのであれば、LLMは科学的な記録から「学習」して、自明ではない科学的な疑問に答えられるようになるかもしれない。さらに重要なことは、もしLLMが十分な規模になり、十分な科学的データを使って訓練されれば、これまで科学的推論が及ばなかったような大きな科学的疑問に答えられるようになるかもしれないということだ。

これは、エネルギー省のアルゴンヌ国立研究所、バルセロナ・スーパーコンピューティング・センター、そして日本の理化学研究所が主導した、連邦研究所、研究機関、学界、産業界の科学者による世界的イニシアチブである「トリリオン・パラメーター・コンソーシアム」の当初の期待のひとつであった。2023年11月にANLがTPCの発足を発表した際、グループの目標は「科学用AIモデルの開発」「データのキュレーション」「エクサスケールプラットフォーム用AIライブラリの最適化」「評価プラットフォームの開発」という4つのテーマに絞られていた。

TPCのメンバーの中には、当初、AIモデルがスケールアップすれば、より大きな科学的疑問のいくつかを解明し始めるのではないかと期待していた者もいた。LLMがテキスト翻訳、コード補完、数学の分野で新たな能力を発揮することを示す当時の数多くの事例から、この希望は観察と経験的データに基づいていた。

	ChatGPTは2022年後半にLLM革命に火をつけた

グーグルブレイン、ディープマインド、スタンフォード大学、ノースカロライナ大学の研究者たちは、2022年8月に発表した論文 「Emergent Abilities of Large Language Models 」の中で、「言語モデルをスケールアップすることで、幅広い下流タスクのパフォーマンスとサンプル効率が予測通りに向上することが示されている」と述べている。著者らは、LLMの創発的能力を 「予測不可能な現象 」と表現している。

こうして、LLMのゴールドラッシュが始まった。ChatGPTのリリースからわずか4ヶ月後の2023年3月、OpenAIはGPT-4をリリースし、大きな反響を呼んだ。オープンAIはGPT-4のサイズを確認していないが、約1兆8000億のパラメータを持つと考えられている。これは、約1,750億のパラメーターを持つとされるGPT-3のおよそ10倍の規模だ。AIコミュニティーの多くは、このペースでスケーリングが進み、おそらく2025年までに18兆～20兆パラメータのモデルが可能になると考えていた。その先は誰にもわからない。100兆個、あるいは1兆個のモデルが登場するのだろうか？

可能性は魅力的だった。もし1兆8000億のLLMが博士号レベルの認知的研究を行えるなら、20兆のパラメーターを持つLLMは何ができるだろうか？パラメーターの数が増えるにつれて、どのような予期せぬ創発特性が見られるのだろうか？もちろん答えは誰にもわからなかったが、このような超大型モデルが、統一物理学理論への道筋を示すなど、科学の分野で真に驚くべきことを成し遂げるのではないかという希望の光が見えた。

しかし、そのような大きな期待は、いくつかの理由、いわゆるスケーリングの壁に阻まれ、現在では影を潜めているようだ。LLMの規模を拡大しても、それに匹敵するような収益の増加は期待できないことが判明したのだ。適切なトレーニングデータの供給が有限であることや、GPUにデータを供給する速度にアーキテクチャ上のボトルネックがあることなどだ。また、20兆ものパラメーターを持つLLMをトレーニングするのは法外に高価であり、おそらく地球上でそれを行える組織は5つもないだろう。幻覚もまた、克服するのが難しい問題であることが判明した。

世界で最も困難な科学的問題を解決できる超天才AIシステムの構築まであと数年という考えは、どうやら終わったようだ。LLMが2022年と2023年の数ヶ月間、予想外の出現能力で我々を驚かせていた頃は、追求する価値のある目標だった。非常に著名なテクノロジー・リーダーの中には、 汎用人工知能（AGI）の時代は近いと宣言した者もいたが、進歩のほとんどは非線形で進むことが判明した。

AGIは近い将来実現する可能性は低いと思われるが、だからといって科学的発見に対するAIの可能性が低下するわけではない！

TPCが最近開催した年次会議TPC25では、このような研究の方向性を示すことが大きな焦点となった。巨大なAIモデルが近い将来、魔法の回答マシンを生み出すことはないとしても、科学的探究の追求を強化するために新しいAI技術を活用する大きな可能性は残されている。

盛り上がりの多くは、推論モデルと呼ばれる新しいクラスのAIモデルを中心に展開されている。企業が自律的あるいは半自律的なAIエージェントを開発するために推論モデルの採用を検討しているのと同様に、科学者たちは、仮説の作成、実験の設定、実験の実行、結果の分析といった日々の作業を自動化するために推論モデルに注目している。

科学界をAIの未来へと導くために、TPCのリーダーたちは5つの主要なイニシアチブを設定した。TPCのチャールズ・キャトレット事務局長は、7月に開催されたTPC25の最終日に、これらの目標を発表した。その内容は以下の通りだ：

1. データと共有コンピュート・インフラ： このインフラは、AIモデルの訓練と改良に使用される科学データの保存と整理のためのリソースとしてだけでなく、基礎モデルやドメイン固有モデルの訓練に使用される共有計算リソース（サーバー、GPU、ストレージ、ツールを含む）も含む。
2. オープン・フロンティア・モデル： TPCは、OpenAIやGoogleなどのモデルのようにクローズドではなく、コミュニティが利用できるオープンな、非常に大規模なフロンティアスケールのAIモデルの開発に取り組んでいる。このモデルは、ステップ1の共有科学データで学習され、TPCコミュニティの総計算能力を使用する。
3. オープン・フロンティアAIシステム： TPCは、科学研究に特化したトップクラスのAIシステムを構築する。このシステムは、テスト用に使用される最先端の独自モデルからスタートするが、最終的には、AI推論モデルのホストと、ステップ2で開発された大きなオープンフロンティアモデルが使用される。
4. ソフトウェア・インフラ／フレームワーク： TPCは、ステップ2と3で説明した大規模なAIモデルやシステムを実行するために必要なソフトウェアやツールを構築したいと考えている。AI研究に必要な様々なミドルウェアやオペレーティングシステムを含み、実験、ラボ、機器、センサー、機器と統合された実世界の研究に使用される。
5. 挑戦的なアプリケーションを推進する： ソフトウェアとハードウェアの構築に加え、TPCは、創薬、気候モデリング、エネルギー研究、材料科学の分野で、AIシステムを使って取り組みたいインパクトの大きい科学的課題を特定している。

現在存在するAIは、一部の人々が期待したような科学的発見の特効薬ではないが、それでもイノベーションのペースを加速させる大きな可能性を秘めている。真に大きな問題については、AIは人間の独創性にすぐにはかなわないだろうし、それを上回ることもないだろうが、だからといって科学の助けにならないわけではない。既存のAI能力を活用する科学者は、既存の科学的タスクやワークフローの実行を加速させることで優位に立てるだろう。その結果、科学的に大きなブレークスルーがもたらされるとしても、それは人間の創意工夫によるブレークスルーであることに変わりはない。