LLMの追加学習なしで決められた長さ以上のテキストを生成可能な技術を開発～独自の位置符号化機構によりLLMの学習コストの削減に貢献～

発表のポイント：

多くのLLMで採用されている位置符号化※1であるRotary Position Embedding(RoPE) ※2がウェーブレット変換の一種であることを解明し、ウェーブレット変換※3が位置符号化に有効である可能性を示しました。
ウェーブレット変換を応用した独自の位置符号化を開発しました。この位置符号化はLLMの生成性能を改善するだけでなく、LLMの処理可能な長さを超えたテキストも生成可能とします。