NEDOなど、次世代データベース向けの国産管理システム「劔」を公開

●
新エネルギー・産業技術総合開発機構(NEDO)、NEC、ノーチラス・テクノロジーズの3者は7月10日、NEDOの「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発」(以下「今回の事業」)において、NECとノーチラス・テクノロジーズが、世界最速レベルの性能を持つリレーショナルデータベース(RDB)管理システム「劔(Tsurugi)」を開発したことを共同で発表した。

CPUやメモリなどのハードウェアは進化し続けている一方で、データベース(DB)の管理ソフトウェアは、依然として旧来のハードウェア環境を前提として設計されている。つまり、現在のハードウェアが持つ優れた機能を利用できないため、大量のデータを高速かつ効率的に処理できないことが大きな課題となっているという。

また現在のDB管理システムは、海外企業製が主流であり、日本の情報産業の競争力を強化するためには、高い競争力を有する国産システムの普及が重要な一手となるとする。そこで今回の事業でNECとノーチラス・テクノロジーズの2社は、さらに高性能化が進むソフトウェアの次世代を見据え、独自のDB管理システムの開発を2018年度からスタート。そして今回、劔の開発に成功したことが発表された。

劔は、メニーコアや大容量メモリなど、次世代DBに用いられるハードウェア環境に適合したシステムであり、ハードウェア性能が向上するほどシステム性能も高まる特性を備えているとする。さらに、バッチ処理中にデータの編集や新規データの追加ができない制限がある既存のDBとは異なり、劔はDBの分散化を前提とし、ほとんどすべての構成要素を従来とは異なる方針で設計・実装することによって、世界最高レベルの性能を実現することに成功したとする。

劔は、大きく分けてつのコンポーネントで構成され、従来のRDBと同様のSQL実行インタフェースに加えて、目的別に最適なインタフェースを選択することが可能な設計となっている。

それぞれのコンポーネントについて独自の設計などが加えられており、ジョブスケジューラ、SQL実行エンジン、トランザクションエンジンが相互に連携して分散処理をすることで、データの記録や処理を高速に実施できるという。
○各コンポーネントの役割

アプリケーション基盤「Tateyama」:劔内部のサービスのライフサイクルを管理
SQL実行エンジン「Mizugaki」:SQLから分散処理用の実行計画を生成
トランザクションエンジン「Shirakami」:一貫性を担保するための並行性制御を高速に行う
ログデータストア「Limestone」:非同期での先行ログ書き込みを並列で行う

●
劔の性能検証では、DB用の代表的なベンチマークツールである「Yahoo! Cloud Serving Benchmark(YCSB)」が用いられた(処理時の負荷の大きさは、YCSB-A(Read:50%、Update:50%)として検証を実施)。その結果、1ノード112コアの環境において約456万TPSと、219ナノ秒の応答遅延が達成すると同時に、32コア以上の環境で一貫性を担保した実用前提のDBとしては世界最速レベルの応答性能・データ転送量も達成されたとする。

また実運用を想定した検証では、次世代DBのユースケースとして想定される、画像処理・超大規模データ解析・業務管理・災害対応の4領域において、それぞれ事業者の協力のもと、管理、収集、解析のためのシステム基盤に劔を使用し、検証を実施したという。
○次世代DBの想定ユースケースと検証内容(協力事業者)

画像処理:IoTデータのリアルタイムDBにおける運用(62Complex)
超大規模データ解析:e-Scienceへの適用(国立天文台)
業務管理:生産性向上への適用(アンデルセンサービス)
災害対応:災害発生後の初動・応急対策段階での活用(パスコ)

その結果、劔の世界最高レベルの処理性能に加えて、一貫性を担保した上でバッチ処理と短時間で処理が完了するショートトランザクションの併用を可能とするシステム構成がさまざまな利点を生み出し、4領域において、従来管理システム使用時に比べ、有用な結果を得ることができたとしている。

劔は現在、2023年7月10日にコミュニティサイトがオープンされ、そこから申し込むことで、希望者にアーリーアクセス版が直接提供されるようになっている。今後同コミュニティサイトでは、更新情報や活用事例の紹介など、劔が広く社会で活用されるための情報を公開するプラットフォームとして整備していくという。

さらに2023年9月下旬には、劔のオープンソース版が公開される予定だといい、公開版はインストーラとして自身でセットアップできるほか、検証を早く行えるようオープンプラットフォーム「Docker」でも各種情報を提供するとする。また一般公開版のリリースに合わせて、解説書も刊行する予定としている。