新たな研究が大規模言語モデルにおける壊滅的な過学習を警告

Ali Azhar　　オリジナル記事「New Study Warns of Catastrophic Overtraining in Large Language Models」

より大規模な言語モデルを構築しようという競争は、「事前学習データが多ければ多いほど、より優れたパフォーマンスが得られる」という前提に基づいて進められている。AI企業がAIモデルの訓練に十分な高品質のデータを見つけようと躍起になっているのは当然であり、多くの場合、AIモデルの構築と微調整のために合成データの作成に頼っている。しかし、この中心的な前提に欠陥があるとしたらどうだろうか？

新たな研究では、事前学習データが多いほど常に優れたAIモデルが構築できるわけではないと警告している。カーネギーメロン大学、スタンフォード大学、ハーバード大学、プリンストン大学などの一流大学に所属する研究者らは、「過剰訓練による破滅」という現象を強調している。この問題に関する彼らの最近の研究では、事前学習を延長すると、実際にはモデルの微調整能力が低下し、実用アプリケーションでのパフォーマンスが低下することが示唆されている。

AIモデルのトレーニングに関しては、「多ければ多いほど良い」という考え方に疑問を投げかけている。「一般的に信じられていることとは逆に、事前トレーニングが長ければ長いほど、事後トレーニング後のモデルが良くなるとは限らない」と、arXivに掲載された研究論文の著者らは書いている。「これは、より多くのトークンで事前トレーニングを行うと、モデルが外乱に対してより敏感になるという、より広範な根本的な現象の結果であることを我々は示した。」

AIモデルに事前学習が必要なのはなぜか？ AI企業は事前学習を用いて、AIシステムにそのタスクに関連する基礎的なスキルを教える。 言語の理解、画像の分析、シーケンスの予測、データのパターン認識など、その内容は多岐にわたる。

事前学習は、モデルが知識を一般化し、多様な文脈に適応し、幅広いタスクで効果的に機能することを可能にするため、重要な役割を果たす。ここで明確にしておきたいのは、研究者は事前学習を否定しているのではなく、開発者に対して、どの程度の事前学習で十分なのかについて、より戦略的に考える必要があることを示唆しているということだ。

事前学習がAIモデルにどのような影響を与えるかを理解するために、研究者はAi2のオープンソースのOLMo-1Bモデルの2つのバージョンを比較した。一方は2兆3000億トークンで、もう一方は3兆トークンで学習させた。驚くべきことに、より多くのデータで学習させたモデルは、微調整後にパフォーマンスが低下した。ARC-Challenge、PIQA、AlpacaEvalなどの標準的なベンチマークでは、2～3%の精度低下が見られた。

著者らは、このパフォーマンスの低下を「進化的感度」と呼ぶものによって説明している。モデルのトレーニングが長引くにつれ、内部パラメータは、微調整や追加データの投入といった変化に対して敏感になっていく。この感度の高まりは、モデルがすでに学習した内容を、わずかな調整やデータのわずかなノイズによってさえも深刻に混乱させる可能性があることを意味する。

この研究では、複数の角度から得られた根拠によってその調査結果を裏付けている。研究者が事前学習済みのモデルにガウスノイズを追加したところ、事前学習トークンが増えるにつれてパフォーマンスが大幅に低下することが分かった。さらに、研究者は微調整されたベンチマークを含む異なる設定を使用して結果を検証し、同様の結果が得られた。

研究者は、この研究が示すように、壊滅的な過学習のリスクは小規模なモデルでより高いことから、この研究が普遍的なものではないことを認めている。また、タスクが適切に調整されていない場合、優れたテクニックがあってもオーバートレーニングを常に修正できるわけではないと強調している。

出典：Shutterstock

「特に事前トレーニングと微調整のタスクが適切に調整されていない場合、微調整プロセスが正規化されていても、破滅的なオーバートレーニングは避けられないかもしれません」と研究者は述べている。これは、トレーニングと微調整の目的を確実に調整することの重要性を強調している。

AIモデルの事前トレーニングは開発プロセスの重要な要素である。しかし、この研究結果では過剰トレーニングのリスクが強調されている。では、その「スイートスポット」とは何だろうか？研究者によると、それは基本モデルの品質とトレーニング後の適応性のバランスを取ることである。

開発者はAIモデルの構築方法を見直す必要があるかもしれない。研究者たちが指摘するように、焦点を単にデータとモデルの規模を拡大することから、トレーニングパイプライン全体を最適化することへと移行する必要がある。「我々の研究結果は、トレーニングパイプライン全体を考慮したモデルのスケーリングに改めて焦点を当てることを求めている」と研究者は強調している。

著者らは、破滅的な過学習がいつ、どのようにして発生するかを決定する要因を解明するためのさらなる研究の必要性を強調している。しかし、彼らの研究から得られる重要な教訓は、AI開発に賢明な戦略を採用することで、時には少ない方がより効果的になるということである。

元の記事は姉妹誌AIwireに掲載された。