新エネルギー・産業技術総合開発機構(NEDO)とOKIは6月21日、NEDOの事業「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発」において、AIの学習時に量子化値を最適に割り当てる低ビット量子化技術「LCQ(Learnable Companding Quantization)」を開発したと発表した。また、同技術を用いたディープニューラルネットワーク(DNN)の高精度モデルで、ビット数を32ビットから2ビットへと16分の1に圧縮しても、画像認識精度の劣化を従来の3％から1.7％に抑えることに成功したことも合わせて発表された。
同成果の詳細は、2021年6月19日～25日までオンライン開催中の国際学会「CVPR(IEEE/CVF Computer Vision and Pattern Recognition)」において、OKIが発表を行う予定としている。
ディープニューラルネットワーク(DNN)において高い精度を得ようとすると、大量の演算リソースを必要とし、結果として消費電力量も多くなるため、メモリや電力に制限のあるエッジデバイスへの組み込みには課題があった。
その演算負荷を下げるために、多くの乗算と加算により構成されるDNN演算の入出力を、細かい値から粗い値に近似することで演算負荷を低減する“低ビットへの量子化”を行い、FPGAなど、専用のハードウェア上で実行する技術の研究開発が行われている。
しかし、量子化する前の値に対する量子化後の値(量子化値)をあらかじめ固定値として割り当てられる点が問題で、2ビットといった超低ビットへ圧縮すると固定値との誤差により認識精度が劣化し、実用化への障壁となっていたという。
こうした背景のもと、NEDOとOKIは、2018～2020年度において「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発」事業を実施。同事業において、DNNの学習での推論時の認識精度を維持するのに最適な低ビット量子化値を割り当てることができる低ビット量子化技術「LCQ」を開発することに成功したという。
画像認識によるベンチマークとして、高精度モデルを32ビットから2ビットへと圧縮した場合、先行技術では認識精度に約3％の劣化が生じていたが、今回の技術では劣化を1.7％に抑えることに成功したとする。
-
LCQによる量子化時の認識精度 (出所:NEDO Webサイト)
さらに、LCQでは、音声符号化分野でよく扱われる非線形量子化技術「Companding」を応用することで、量子化値を柔軟に割り当てることに成功したという。具体的には、DNNの「誤差勾配」に基づいて圧縮関数と伸張関数を学習し、その学習情報を反映した量子化処理を行うことで、非線形な量子化関数が構築され、最適な量子化値を割り当てることが可能となるという仕組みだという。
-
LCQの概念図 (出所:NEDO Webサイト)
-
LCQによる量子化関数 (出所:NEDO Webサイト)
なお、今後、OKIでは今回の成果と、同じく今回の事業で開発されたDNN演算数の削減が可能なAI軽量化技術「PCAS」を組み合わせる計画としており、演算負荷低減と演算数削減の両方の効果を得る技術の開発に取り組んでいくとしている。そして、エッジ領域での高精細な画像認識、さらには工場のインフラ管理や機器の異常検知など、演算リソースの限られたデバイスでのAI実装を目指すとしている。
