ハイエンドのハードウェアがなくても強力なAIモデルが可能になったことを示唆する研究成果

Ali Azhar　　オリジナル記事「Research Suggests Powerful AI Models Now Possible Without High-End Hardware」

大規模言語モデル（LLM）は、多くの場合、相当なコンピューティングリソースを必要とし、通常はハイパフォーマンスハードウェアによって対応される。これらのシステムは、膨大な量のデータを処理し、これらのモデルを動かす複雑な計算を実行するために構築されている。

ほとんどの人にとって、高度なAI技術を日常的に使っているデバイスで実行することは非現実的に思えるだろう。しかし、マサチューセッツ工科大学（MIT）、キング・アブドラ科学技術大学（KAUST）、オーストリア科学技術研究所（ISTA）、ヤンデックス・リサーチ（Yandex Research）の研究者が最近行った共同研究により、品質を大きく損なうことなくLLMを高速に圧縮できる新しいAIアプローチが導入された。この画期的な技術により、スマートフォンやノートパソコンなどのコンシューマーグレードのデバイスで、これらの強力なシステムを利用できるようになる可能性がある。

LLMの導入は、一般的にリソース集約的で高価なプロセスであり、多くの場合、高性能のグラフィック・プロセッシング・ユニット（GPU）を必要とする。このようなハードウェア要件は、日常的なユーザや個人開発者、さらには予算が限られている小規模な組織にとって、高度なAIモデルを実験するための大きな障壁となっている。

	シャッターストック

このような特殊な機器の必要性は、コストを押し上げるだけでなく、プロセスに遅延をもたらし、基本的なユーザにとってはさらに困難なものとなっている。遅延の主な原因は、LLMSの導入に伴う大量の計算要件と長時間の量子化処理にある。

ユースケースや推論要求によっては、オープンソースの主要なAIモデルでさえ、大規模なハードウェアを必要とする。LLMを量子化することで、メモリと計算負荷を軽減することができるが、理論的な根拠がないため、最適な結果が得られない可能性がある。

新しいHIGGS((Hadamard Incoherence with Gaussian MSE-optimal GridS)法（ヒッグス粒子とは無関係）は、LLMを効率的に圧縮する際のいくつかの制限を克服するために研究者によって開発された。「ハダマード回転」を利用して内部の数値重みをベルカーブのような分布に再編成し、圧縮に適したものにするという新しいアプローチを導入している。

この方法では、圧縮時の誤差を最小化するためにMSE最適グリッドを使用し、ベクトル量子化によって値のグループをまとめて圧縮することができる。動的計画法は、各レイヤーの最適な圧縮設定を特定することで、プロセスをさらに洗練させる。

HIGGSはHugging FaceとGitHubで公開されている。このモデルの技術的な詳細は、arXivに掲載された論文で共有されている。

HIGGSモデルの主な特徴は、「データ不要」であることだ。研究者らは、HIGGSはキャリブレーション・データセットを必要とせずに動作するため、より汎用性が高く、日常的なデバイスに実用的だと主張している。

HIGGSは「線形性の定理」に基づいており、AIモデルのさまざまな部分の変化がその全体的な性能にどのように影響するかを説明している。これにより研究者は、機能性に影響を与える重要な部分を保護しながら、重要度の低い部分に圧縮を集中させることができる。

研究者らによると、HIGGSは単にLLMを圧縮するだけではない。研究者らは、HIGGS法のために開発された特殊なソフトウェア・カーネルが、圧縮モデルの性能を最適化すると主張している。FLUTEシステム上に構築されたこれらのカーネルにより、HIGGS圧縮モデルの実行速度は、非圧縮モデルよりも2～3倍速くなるという。

シャッターストック

HIGGSは、QwenファミリーのモデルとLlama 3.1および3.2ファミリーのモデルでテストされた。論文によると、HIGGSはこれらのモデルで優れた精度と圧縮性能を達成したという。主要なベンチマークにおいて、他の量子化手法を上回った。

研究者らは、ダイナミックHIGGSが「GPTQ（GPT Quantization）やAWQ（Activation-Aware Quantization）のようなキャリブレーションに基づく手法を、3～4ビット幅の範囲で上回ることさえある」と指摘している。このことは、キャリブレーション・データセットに依存することなく最先端の性能を達成するデータフリー技術の可能性を強調している。

データフリーの低ビット量子化と強力な理論的基盤により、HIGGSはインフラストラクチャーの必要性を減らすことを約束する。この手法には、特に異なるモデルについて、より多くのテストが必要ではあるが、AIツールをより身近なものにするための舞台は整った。

HIGGSの論文は、人工知能に関する世界的な主要会議のひとつであるNAACL（The North American Chapter of the Association for Computational Linguistics）で発表される予定だ。このイベントは2025年4月29日から5月4日まで、ニューメキシコ州アルバカーキで開催される。