2025年02月17日10時00分 / 提供:valuepress
SambaNovaは、DeepSeek-R1 6710億パラメータモデルの推論を効率的に実行するためのハードウェア要件を40ラック(320基のGPU)から1ラック(SambaNova独自のAIアクセラレータであるRDUが16基)に集約し、最新GPUの3倍の速度、5倍の効率を実現
@カリフォルニア州パロアルト、2025年2月13日 — 最も効率的なAI半導体と最速のモデル(注2)を提供する生成AI企業であるSambaNovaは、本日DeepSeek-R1 671BがSambaNova Cloud上で198トークン/秒で稼働していることを発表しました。この速度と効率は他のプラットフォームでは実現できません。
[ 続きを読む ]