NEDOとシャープ株式会社は，PythonコードからRTLコードを自動生成するソフトウェアツールをオープンソースとして公開した．
エッジにおけるAI処理の要求の高まりをうけ，画像認識や映像内の物体検出，あるいは超解像などのAI映像処理を想定して開発した．AI専用処理デバイスのほか，映像データ処理向けAI専用LSIの開発にも利用できる．
4K映像から8K映像への超解像処理について，生成されたRTLコードをFPGAに実装して実証したところ，GPUを搭載したエッジ端末に比べ40倍以上の高い電力効率が得られた．
下図のデータ処理フローを用いており，次の機能や特長を持っている．
●ツールの機能
PyTorchやONNXに対応できるフレームワークにより，多様なAI映像処理アルゴリズムからRTLコードを生成できる．
複数の演算処理を1つの処理に統合するレイヤ統合機能を搭載し，演算処理の効率化や高速化を実現する．
C言語で，RTLコードの機能検証が行えるCモデル生成機能も搭載した．専用デバイスでAI処理を行う際に必要となる学習済みパラメータを得るための，量子化対応したAIモデルもPythonコードで生成する．
●生成するRTLコードの特長
▲AI映像処理回路の消費電力削減できるRTLコードを生成する
映像データのフレームメモリを使用せず，ラインメモリで効率的に処理を行うフレームメモリレス構造を開発した．これにより，消費電力を削減し，データ入出力に必要な時間を短縮できる．
▲AI処理に特化した回路を生成
畳み込み演算などの代表的なAI演算に特化した4次元での処理に対応する演算器構成の回路を生成する．映像データの特性である2次元配列に最適な処理により，リアルタイムでの処理を可能とする．
▲重複処理を削減する境界バッファ
隣接するラインメモリの間に境界バッファを設定する．並列処理時に発生する重複処理が効果的に削減され，処理効率が向上することで全体のパフォーマンスも改善する．
▲量子化ツールの小数点位置の変化に対応した固定小数点数演算回路
浮動小数点数演算に近い精度でのデータ処理が可能となり，高度なAI映像処理にも対応できる．
＊ ＊ ＊
NEDOは「省エネAI半導体及びシステムに関する技術開発事業」の一環として，エッジ領域に適したAI半導体eデバイスの早期実現を目指した開発を進めている．
2023年度からエッジコンピューティングの産業応用に取り組んでおり，その一環として本事業をシャープと共同で進めてきた．
関連情報
（1）NEDO；映像データ処理用AIデバイス向け高位合成ツールを開発しました