「漫画風画像生成」と「トゥーンシェーディング」の違い

結果的に出力されている物が似たようなもので紛らわしくなっている人が居るといけないのでここで説明しておきたいのが「トゥーンシェーディング」との違いです。

トゥーンシェーディングは3D CG向けのレンダリング手法で、こちらも漫画風の画像がレンダリングされます。今回紹介した3値化やクラスタリングと同じで、元の3D CGのままレンダリングするとリアルな色変化になるところを、漫画やアニメのように少ない色で平坦に分けるような処理を加えることで、最終的な映像をアニメ風にしているというのは共通しています。しかしトゥーンシェーディングは「3D CGが元データである」点が、カメラで撮影してきた映像を入力とする漫画風画像生成処理とは違うわけです。つまりは、トゥーンシェーディングはCG(コンピュータグラフィックス)の技術で、漫画風画総生成はCV(コンピュータビジョン)の技術であるというのが違う点です。

逆に言うと、後半の処理はほとんど似たようなものですので、例えば全編3D CGで描かれたリアルで精密な映像に(例:映画「アバター」)、今回紹介したビデオアブストラクション処理をあとで適用しても、トゥーンシェーディングを行ったような映像を取得できるわけです。ただし、直接3D CGからトゥーンシェーディングを行った方が当然、元のCGモデルどおりの綺麗な輪郭の漫画風映像になるという点には注意です(作為的に手間を書けてつくり出すCGの方が綺麗な輪郭になるのは当然といえば当然ですが)。

まとめ

今回は番外編として、iPhoneアプリ「漫画カメラ」の紹介を通して、基本的な画像処理を用いた「漫画風画像生成処理」という応用を紹介しました。また、動画でも同じような処理ができることも紹介しました。この連載では、比較的先端で高度なコンピュータビジョンのアルゴリズムとその応用先を紹介していますが、今回のように「フィルタ処理」や「エッジ抽出」といった基本的な画像処理だけでも、想像力次第で楽しいアプリが作れることが「漫画カメラ」を通してお分かりいただけたかと思います。また、普段紹介しているような標準的なコンピュータビジョンの処理でも、処理の性能を上げるには、このような基本的な画像処理を上手く使いこなせることが非常に重要です。

普段会社での開発や学校での研究などではあまりコンピュータビジョンを用いていないけどもソフトウェアを開発できる方で、今回の一連の記事を読んで「基本的な画像処理でも色々できそうだから、少し勉強してみようかな」と思っていただけたのであれば、紹介したような基礎的な画像処理にチャンレンジしてみて頂ければ幸いです。

最後に、こういった技術が今後どのように役に立っていって欲しいかについての個人的感覚を述べます。昔は漫画やアニメの作業といえばほとんどが手作業だったわけですが、このようにコンピュータビジョン技術が発展することで、少しずつ作業がコンピュータのソフトウェア上で行えるようにはなってきてはいるものの、まだこれらの漫画風生成処理が現場で大きく役に立つまでの状況には至ってはいないと思います。しかし、「漫画作家やアニメの作画担当本人の手書きでなくてもよい領域」で、こうしたコンピュータビジョンの処理で済むところが増えれば、作業効率も上がり、業界の活性化につながる可能性があります。

例えば今までは漫画家のアシスタントさんがすべて手書きしていた大きな背景絵なども、日本に実在する場所であれば、写真を取って来て漫画風画像生成処理をするだけで済む場合もあるかもしれません。もちろん、漫画家の方には「絶対に手書きの方が良い」と考えられている方も居るでしょうし、表現の都合から、そこに歪みを生じさせたりする場合もあるでしょう。そうした意志は尊重するべきものですが、少しでも作業をコンピュータに助けてもらいたいという、つまりは「こういう処理があったりしたら便利」という業界の方がいれば、筆者なり、コンピュータビジョンが専門の会社や大学の研究室などに、まずは気軽に「こういう物が欲しいと思っています」というご意見だけも良いので届けて頂ければと思います。そうしてリクエストされたものがすぐには作れなくても、現場からのリクエストがあれば、そういうニーズのある技術は必ず後に作られて市場に出てくるからです。

筆者も漫画がとても好きでたくさん読んでいる人間ですので、微力ながら漫画やアニメ関連に技術で貢献したいと思っています。以上、今回は漫画風画像生成処理について紹介しました。