工学院が開発したリアルタイム処理可能な超解像技術、富士通がスマホに搭載

工学院大学は11月17日、スマートフォン(スマホ)上で超解像技術を用いた映像のリアルタイム再生を可能とする技術を開発したと発表した。

同成果は、同大 情報学部情報デザイン学科の合志清一 教授らによるもので、同技術は、NTTドコモが11月下旬に発売する予定の2015-2016 冬春モデル「arrows NX F-02H」に搭載される。

「超解像という言葉は、日本ではテレビを売るためのマーケティング用語になってしまっている」。冒頭、合志教授は、日本では超解像技術に対する誤解が広まっていることを強調。「ハイビジョン(1920×1080)を4K(3840×2160)に表示しても、情報量だけを考えると、本来であれば1/4分しか映らない。実際はアップコンバートされるため、そうはならないが、アップコンバートと超解像は別物であり、分けて考える必要がある」と指摘する。

そもそも学術的な超解像技術は、大きく「再構成超解像」と「学習型超解像」の2つに分けることができ、近年の超解像技術採用テレビもいずれかの方式を採用しているとうたっている。こうした超解像技術は専用LSIなどを用いて実現されることが多いが、スマホでは、限られたサイズの中にさらにそうした専用LSIを追加で搭載することは基板スペース的な問題はもとより、消費電力的にも問題が生じるため、従来、搭載されているCPUやGPUでそれを実現する必要があった。そこで富士通が合志教授が研究を進めてきた第3の超解像の方式とも言える「非線形超解像」に注目。2015年3月より共同開発を開始し、このたび、製品への搭載にこぎつけたとする。

非線形超解像は、合志教授自らが「コロンブスの卵的な発想」と表現するもので、簡単に処理手順を説明すると、入力画像に対してハイパスフィルタをかけてエッジ(輪郭)を検出。さらに非線形信号処理を実施することで、信号波形が大きくなるので、それを元の画像に足し合わせるだけ、というだけのものである。これまで超解像技術分野において、非線形信号処理が用いられてきたことはなく、まさに発想の転換が生み出した技術といえ、処理時間も繰り返し処理がないため、従来技術比で1000倍以上の高速化を図ることができるとする。

実際に同大のオープンキャンパスで来校した一般人を対象に5台のスマホで5つのシーンを映し出す画質評価を実施。その結果、同技術を用いた端末が最も高い評価となり、2位となった市販されている一般的なスマホと比べて、統計的に99%以上の有意差が確認されたとしている。また、2次元FFT(高速フーリエ変換)の結果、元の画像が有していなかった解像度、つまりナイキスト周波数を超える高精細成分が確認されたとする。

では、実際にスマホ上で同技術を用いる場合、消費電力やプロセッサパワーをどの程度消費することになるのか。同氏は具体的な数値などについては富士通がどのようにシステムに落とし込んだかの詳細が分からないので、あくまで個人的な見解としながらも、「アルゴリズムが非常にシンプルなため、CPUパフォーマンスはほとんど使用していないはず。また、超解像により文字の輪郭などもくっきりと見えるようになるため、明るさを全体的に下げても視認性が向上することから、システムとしての消費電力は低減される傾向にあるはず」との見方を示し、この超解像技術によりバッテリーの持ちが悪化するといったことはないとした。

また、同氏は、「2012年から研究を進めてきたが、はじめからリアルタイム処理を実現することを考えて進めてきた」とコメント。「NHKに在籍していた当時から、数式に胡坐をかくな、実際に使えない技術はダメだ、ということを叩き込まれてきた。常にリアルタイムで動くものを実現するためにはどうしたら良いかを考えてきた」とのことで、スマホ分野のみならず、テレビや医療機器など、超解像技術と親和性の高い分野で活躍する日本企業に活用してもらうことで、日本のエレクトロニクス産業の成長の手助けをできればとしていた。