【連載】

コンピュータビジョンのセカイ - 今そこにあるミライ

41 iPhoneアプリ「漫画カメラ」で使われている画像処理手法その2

41/85

漫画カメラの処理の流れ

それではCannyエッジ検出器の説明も終わったところで、漫画カメラのようなモノクロ漫画のような画像を画像編集で作成する際の処理手順を考えていきましょう。便宜上、このような処理を「漫画風画像生成処理」とこれ以降呼ぶことにします。

漫画風画像生成処理では、以下のような3つの操作を行い、それを合成して結果画像を作成します。

  1. エッジ検出処理による輪郭画像の取得(Cannyエッジ検出器など)
  2. しきい値処理により3値画像を取得し、中間の値(灰色)に割り当てた領域をスクリーントーン画像で差し替える
  3. 上記2つの操作で生成されて画像を合成して、最終的な結果画像とする

図:漫画風画像生成処理の流れ

最初の「エッジ検出」処理については、代表的なものとしてCannyエッジ検出器の仕組みをすでに説明しました。というわけで、ここでは残る2番目の操作「3値値化処理」を説明します。

すでにCannyエッジ検出器でも登場した「しきい値」処理ですが、画像処理などの信号処理全般でこの処理が役に立つ場面は非常に多いです。今回のような漫画風画像生成処理の場合、筆者が黒のペンで描いた線や真っ黒に塗る黒髪などの領域以外の領域、すなわち『白と黒の中間の灰色くらいで色を塗りたい領域』をスクリーントーンで差し替えたいという動機または戦略が考えられます。ここでしきい値処理が威力を発揮します。

この時、元の入力画像を画素の値が、「(1)黒に近い」「(2)真ん中くらい」「(3)白に近い」という値の範囲に3分割してあげて、3つの値をそれぞれ黒、灰色、白という統一された画素値にしてあげると、上記の戦略どおり、黒っぽいところは黒(ペンで黒く塗りつぶした領域)、白っぽいところは白(原稿用紙のまま何も塗らない領域)、中間くらいの色合いは灰色(スクリーントーンを貼った場所)という画像を自動生成することができます。こうして3つの画素値だけをもつ3値化画像に、このあと灰色の画素だけをスクリーントーン画像のテンプレートで差し替えれば、うまく漫画原稿のような色領域の分割が可能になるわけです。

その他の発展的な応用「カラー画像での漫画風画像生成」と「動画での使用」

少し、発展的な内容なので詳細の説明は割愛しますが、この3値化処理のところで「Mean-Shift法」というクラスタリング手法を用いることも可能です。Mean-Shift法の場合は、各画素の3チャンネルの色の値を、処理を行うごとに例えば5つとか7つの色に自動分割してくれます。これにより、今回紹介した「輝度値の範囲を固定して3分割」という分け方ではなくて、カラー画像で自動的に適当な色ごとに分割し、それらの各領域を同じ色で塗ってくれるわけです。iTunes Storeなどのアプリストアで、「Cartoon」もしくは「Cartoonize」で検索するとこうした漫画風画像生成処理に関連するアプリが出てくると思います。また、今回は説明しませんが「鉛筆で描いたスケッチ画」の自動生成も似たような仕組みで行います。

また、漫画カメラは「カメラ」と言っているくらいで静止画1枚を処理していますが、動画を撮影して全体を漫画風に変える処理ももちろん可能です(その場合は白黒ではなくてカラーで行って「アニメ化」とするべきでしょうが)。

以下の動画は、カメラで撮影中の動画をリアルタイムに漫画風の映像に変換してくれるiPhoneのアプリ「ToonCamera」のデモ映像です。

ToonCamera: Live Cartoon and Art Effects

この動画を見ると、漫画カメラとは違って、このToonCameraではカラー画像に対して漫画風画像化を行って、しかも動画で行われていることがよくわかると思います。このような動画での漫画風画像化を専門用語では「ビデオアブストラクション(Video Abstraction)」と呼んだりします。

41/85

インデックス

連載目次
第85回 点群応用(建築編) - LIDARを用いた高精度/広域3Dスキャン
第84回 点群応用(建築編) - 3Dスキャンが活きる建築物の規模
第83回 点群応用(建築編) - 高精度かつ広域な建築物の3Dスキャン
第82回 まだまだ使える人が少ない3D点群処理
第81回 3Dデータで処理を行う利点とは?
第80回 点群データを取得・解析する技術「3D点群」はデプスセンサと何が違うのか?
第79回 動きに反応して映像が変わるインタラクティブなプロジェクションマッピング
第78回 プロジェクションマッピングの原理
第77回 「プロジェクションマッピング」とはどういったものか?
第76回 顔や視線でコントロール
第75回 手や指の動きだけでコントロール
第74回 3Dジェスチャー認識のおおまかな原理
第73回 全身の人物姿勢情報を活用したアプリ例 - 腕の動きからのジェスチャー認識
第72回 Kinectはどのように人物姿勢推定の性能を向上させたのか?
第71回 Kinectの人物姿勢推定手法は学習時にどのような処理を行っているのか?
第70回 どうやってKinectは人体パーツを識別しているのか?
第69回 「人体パーツ識別技術」により実現されているKinect向け人物姿勢推定技術
第68回 まだ完全には解けていない人物姿勢推定の問題
第67回 3D人物姿勢推定の仕組みとナチュラルユーザーインタフェース
第66回 3Dデプスセンサーーを用いた注目の新ベンチャー企業(後編)
第65回 3Dデプスセンサーを用いた注目の新ベンチャー企業(前編)
第64回 アクティブステレオ方式とは違う3D形状の動画計測方式 - ToF形式
第63回 Kinectで3D撮影を行うための条件
第62回 モーションセンサとして見た場合のKinect
第61回 Kinectセンサの動作原理を読み解く
第60回 kinectを用いたビジネスのアイデアを競う「Kinect for Windows Contest」
第59回 Kinectがもたらしたセンシング革命
第58回 Kinectの登場がもたらしたコンピュータビジョン革命
第57回 Kinectなどで使われるデプスセンサを用いた3Dコンピュータビジョン技術
第56回 組込分野でのコンピュータビジョンは使いやすくなったのか(後編)
第55回 組込分野でのコンピュータビジョンは使いやすくなったのか(前編)
第54回 デジタルビデオの安定化処理の注意点
第53回 デジタルビデオの安定化処理の手順
第52回 デジタルビデオの安定化技術の概要
第51回 2種類のオプティカルフローの計算手法
第50回 画素ごと独立した移動量パラメータを割り当てる「オプティカルフロー」
第49回 パラメトリックモーション - 特定の1つの動き表現モデル
第48回 デジタルビデオ安定化技術
第47回 動画に対するシーム・カービング
第46回 メッシュ変形ベースのリターゲティング手法
第45回 重要度マップへの「主観」の追加
第44回 自動作成を行うために用いられることの多い3つの重要度マップ手法
第43回 元画像を「縮小」する時に自然にリサイズする技術 - リターゲティング
第42回 漫画カメラで使われる漫画風画像生成とトゥーンシェーディングの違い
第41回 iPhoneアプリ「漫画カメラ」で使われている画像処理手法その2
第40回 iPhoneアプリ「漫画カメラ」で使われている画像処理手法その1
第39回 iPhoneアプリ「漫画カメラ」に見るコンピュータビジョンの実応用例
第38回 パッチマッチによる画像編集の1つ - リシャッフリング
第37回 パッチ探索をランダムに実行することで高速化を目指す「パッチマッチ」
第36回 インペインティングの手法の1つ - パッチベースの手法
第35回 2つの目的で使われるコンピュータビジョンのインペインティング
第34回 人工知能/ロボット応用で使われるコンピュータビジョン技術(後編)
第33回 人工知能/ロボット応用で使われるコンピュータビジョン技術(前編)
第32回 ホモグラフィ変換における画像間のレジストレーション処理
第31回 張り合わせ先の座標系モデルと移動量の算出
第30回 各画像の「移動量」と「変形量」の算出による特徴点の対応づけ
第29回 キーポイントの検出とSIFT記述子の計算
第28回 パノラマ画像の生成手順
第27回 "画像の張り合わせ"で手軽に作れるようになったパノラマ画像
第26回 身近になったコンピュータビジョン技術を用いた写真・映像の編集技術
第25回 進むステレオカメラのDepth Mapを用いた3D道路表面モデリングの研究
第24回 車線逸脱警告システムにおけるレーン検出の仕組み
第23回 パーティクルフィルタによる観測技術
第22回 前方衝突防止システム - 人物をトラッキングする手法
第21回 前方衝突防止システム - 「平行等位ステレオ」による3次元形状復元
第20回 ビジョンべースの自動車運転手支援システム - 前方衝突防止システム
第19回 MAP推定はどのように行われるのか
第18回 超解像の計算アルゴリズム「MAP推定」
第17回 超解像で高画質化処理を担当する「ボケ補正」
第16回 入力画像が2枚以上(動画)の場合における画像レジストレーション
第15回 1枚画の静止画における画像レジストレーション
第14回 画像の劣化に対する「高解像度化」と「高画質化」のための3つの技術
第13回 超解像における劣化関数で改善すべき2種類の劣化
第12回 高解像かつ高画質の映像を作り出す技術 - 超解像
第11回 「顔検出」を高速化する技術
第10回 顔検出の主流アルゴリズム「Viola-Jones法」
第9回 人間の顔があるかを判断する「顔検出」技術(2) - テンプレートマッチング
第8回 人間の顔があるかを判断する「顔検出」技術(1) - 「顔検出」と「顔認識」
第7回 拡張現実感「AR」(3) - 「ARToolkit」の登場によりARが一気に普及期へ
第6回 拡張現実感「AR」(2) - マーカ有りARとマーカレスARの仕組み
第5回 拡張現実感「AR」(1)
第4回 動画編集技術「マッチムーブ」(3)
第3回 動画編集技術「マッチムーブ」(2)
第2回 動画編集技術「マッチムーブ」(1)
第1回 身近なものとなってきたコンピュータビジョンの世界

もっと見る

関連キーワード


人気記事

一覧

イチオシ記事

新着記事