3D点群圧縮技術の国際標準に対応したリアルタイムエンコーダを開発、KDDI

KDDI総合研究所は10月24日、3D点群圧縮技術の国際標準方式であるV-PCC（Video-based point cloud compression）に対応したリアルタイムエンコーダを開発したことを発表した。これにより、人物などの3D点群のデータ品質を落とすことなくデータ量を削減し、効率的にモバイル回線でリアルタイムに伝送できるようになる。

高精細な3D映像は表情や仕草といった繊細な動きを表現できるため、現実世界と仮想世界をつなぐ技術として、今後はメタバースでのショーイベントなどにおける活用が期待されるとのことだ。

今回、KDDI総合研究所はV-PCCに対応したリアルタイムエンコーダの実現に向けて、従来の約400倍の高速化につながる下記の2つの技術を確立して、PCソフトウェアにより動作する、V-PCC対応リアルタイムエンコーダの開発に成功したという。

1つ目は3D点群を通常の映像と同じ形式へ高速に変換する技術だ。V-PCCでは、3D点群のフレーム群をパッチに分解して2D平面画像に投影し、通常の映像と同じ形式に変換する。この際、受信側で3D点群を復元できるように、パッチ情報とテクスチャ画像、深度画像、マスク画像の4種類を同時に生成し、それぞれに既存の映像符号化方式を適用することでビットストリームを生成する。

今回は、3D空間をパッチよりもさらに小さな空間に分割し、多数の点が含まれる小空間ごとに平面を判定する高速化手法を導入したという。さらに、KDDIが持つ映像圧縮に関する知見を、2D平面画像のうちテクスチャ画像と深度画像の変換処理に適用して、圧縮性能を損なうことなく変換処理にかかる時間を削減したとのことだ。

2つ目はV-PCCに適したタスクスケジューリング方式によるCPU使用率を改善する技術である。PCソフトウェアでのリアルタイム処理には、CPUの性能を活用する並列化実装が不可欠だ。V-PCCでは異なるフレーム種別を扱いさらにそれらの処理順序に一定のルールがあるが、CPUコアごとの使用率に偏りがあり、さらなる速度向上の余地が残されていた。

そこで、今回はフレーム種別間の処理順序およびフレーム種別に応じた処理量を考慮し、異なるフレーム種別にまたがる形での並列化にも対応できるタスクスケジューリングの仕組みを新たに導入した。その結果、CPU使用率を理想的な状態に近づけることで、これまでの約20倍の高速化を実現した。