超解像における劣化関数で改善すべき2種類の劣化

それでは、ここからは劣化関数で改善すべき2種類の劣化「低解像度化」「低画質化」とその改善方法について紹介し、その後、「事前確率を用いたMAP推定」の仕組みについて見ていくことにします。

超解像により改善したい「2種類の画像の劣化」

ここでは、超解像の2つのメイン処理「高解像度化」「高画質化」が、劣化した入力画像が出来上がる2つの劣化要因とどのように対応しているかを考えます。その後、超解像がそれ2種類の画質の劣化を、それらを改善する技術をそれぞれ紹介したいと思います。以下の図をご覧ください

この図で示されているように、カメラでデジタル画像を撮影する際には主に以下の2種類の画質の劣化が生じます。

1. 「低解像度化」による画質の劣化

デジタルカメラは、実世界のアナログの(連続的な)光を、CCDなどのセンサで受光することでデジタルの(離散的な)ピクセル値に変換します。したがって、カメラの解像度が低ければ低いほど、低解像度化による画質の劣化が生じます。また、入力画像は解像度が低いわけで、そもそもの解像度の低さが由来の画質劣化(エイリアシングなど)も解決しなければなりません。

2. 「低画質化」による画質の劣化

デジタルカメラは、レンズに入ってきた光をCCDなどのデジタルセンサに集め、その集まった光をデジタル化することでデジタル画像として保存しています。カメラ撮影時には、レンズの絞りを手動やオートフォーカス機能で操作して焦点を合わせるわけですが、焦点がずれていたり手ぶれが生じたりすると、撮影した画像に「ボケ(Blur)」が生じます。カメラに近い物体ならレンズの焦点とほぼ一致させることも可能ですが、遠方の被写体の場合はそもそも焦点が届かない距離になると被写体に焦点を一致させた撮影は不可能なので、遠いものを撮影すればするほど、被写体はボケた状態でデジタル画像になるわけです。これがボケによる低画質化です。

超解像では以上の2つの劣化を克服していくことで、自然な見え方の高解像度の画像を作り出すことが可能になります。

超解像では高解像度で高画質な映像を、正解は手に入らないけれども入力映像を元に予測して復元します。ですので、ただ映像が綺麗になるだけではなく、入力映像ではボケたり解像度が粗くなっていて読めなくなってしまっている文字でも、超解像により人間が読めるくらいにまで復元することも可能です。

というわけで、次の節では、これら2つの劣化に対抗する「高解像度化」と「高画質化」に用いる技術を、順番に紹介して行きます。