1枚画の静止画における画像レジストレーション

超解像の処理その1:「画像レジストレーション」による位置合わせ

超解像において、低解像度の各入力画像から高解像度画像へ変換する際に、変形や移動を考慮して超解像画像を作る必要があります。この時に必要となる技術が「画像レジストレーション(Image Registration)」です。この技術は「変形や移動が生じた画像間で各画素間の対応を求めることにより、それらの画像を1つの座標系で正確に一致させる」という技術です。これにより超解像画像と各入力画像の間での変形量・移動量を求めることができ、画素単位での正確な位置合わせができるので、超解像する時に補間すべき画素の座標を計算するために画像レジストレーションが用いられています。

画像レジストレーションは「静止画」、「動画」のそれぞれの超解像において、用いられ方が変わってきます。ここからは「静止画」と「動画」のそれぞれについて、画像レジストレーションがどのように用いられるかを順に見ていこうと思います。

1:入力画像が1枚の場合(静止画)

超解像の入力データが静止画の場合、その一枚のデジタル画像をアップサンプリングすることで元画像にはなかったピクセルを「補間」することになります。これは劣化関数でのD(ダウンサンプリング)に対応する処理です。つまり、元画像が一枚なので、解像度をあげるために間のピクセルを自然な色で追加していくために画像レジストレーションを用います。

画像に限らず、デジタル信号の周波数(データの解像度)を上げることを「アップサンプリング」と呼びます(下げる場合は「ダウンサンプリング」です)。超解像で解像度を上げるためには、入力画像に存在しなかった座標にアップサンプリングにより新しく適当な値(色)を補間する必要があります。従って、超解像では、このアップサンプリング処理を、人間が見て変な見え方にならないように新たなピクセルをいかに補間できるかによって、超解像画像の自然さが決まることになります。

以下の図は、入力の複数の低解像の画像から、お互いに存在しないピクセルを補間しあって超解像画像を形成するという、位置合わせと補間の最も単純なケースを、各入力画像の画素を4つに色分けして図示した物です。

画像レジストレーションにより超解像画像と各入力画像の対応がすでに求まっているとして、まずは画像処理ソフトウェアに標準で付属しているような単純なフィルタ処理で行うアップサンプリングでの補間を行うことを考えてみます。この場合、画素を挿入したのちフィルタ処理でデータ全体を滑らかな形にするので、両隣の画素の色の中間くらいの色にはできますが、滑らかな形にするというフィルタ処理には「復元した画像の持つ波形どおりの凹凸ではない」という問題が残ります。このようなアップサンプリングでの補間手法には、「二アレストネイバー法」や「バイキュービック法」などがありますが、これらによる補間処理では低解像度化によるボケ具合の逆処理にはなっていないので、アニメやCGの補間には十分でも、超解像の入力映像のような自然画像だと、補間してもボケが残ったままの高解像度画像になってしまいます。

これに対して、超解像の場合は事前確率(事前情報)を用いることで「この入力の低解像度画像の波形なら、こういう高解像度の波形に復元するのが正しい」という処理を行います(「超解像の処理:MAP推定」にて後述)。これにより、超解像で補間を行うと、先ほどの単純なフィルタの処理では消えてしまうような「本当はこうであるべき波形の凹凸」がうまく復元されるわけです。