AIの軽量化・省電力を実現する生成AI再構成技術を開発し、富士通の大規模言語モデル「Takane」を強化

メモリ消費量を最大94%削減する1ビット量子化による軽量化で、世界最高の精度維持率89%・推論3倍速を達成

当社は、AIサービス「Fujitsu Kozuchi」のコア技術として、大規模言語モデル（以下、LLM）の軽量化・省電力を実現するAI軽量化技術である生成AI再構成技術（以下、本技術）を開発し、当社のLLM「Takane」を強化することに成功しました。本技術は、AIの思考の基となる各ニューロン間の結合に割り当てられる重みを極限まで圧縮する世界最高精度の量子化技術（注1）と、軽量化と元のAIモデルを超える精度を両立させた世界初（注2）の特化型AI蒸留技術（注3）の2つのコア技術からなります。本技術のうち量子化技術を「Takane」に適用することで、1ビット量子化（メモリ消費量最大94%削減）で、量子化前と比較して世界最高（注4）の精度維持率である89%と、量子化前の3倍の高速化を実現しました。量子化における従来の主流手法（GPTQ）（注5）の精度維持率は20%以下であり、それを大きく上回るものです。これにより、ハイエンドのGPU4枚を必要とする大型の生成AIモデルを、ローエンドのGPU1枚で高速に実行することが可能となりました。
本技術による圧倒的な軽量化は、スマートフォンや工場の機械といったエッジデバイス上でのAIエージェントの実行を可能にします。これにより、リアルタイム応答性の向上とデータセキュリティの強化、そしてAI運用における抜本的な省電力化を実現し、サステナブルなAI社会に貢献します。当社は、量子化技術を適用した「Takane」のトライアル環境を2025年度下期（注6）より順次提供を開始します。さらにCohere社の研究用オープンウェイト「Command A」を本技術により量子化したモデルを、Hugging Face（注7）を通じて本日より順次公開します。