領域分割(1) - 概要編

今回から、複数回にわたって「画像の領域分割(Segmentation)」について紹介していきたいと思います。領域分割って何? と思われる方がいらっしゃるかもしれませんが、すごくシンプルな課題で、画像のどこからどこまでが1つの領域なのかを判定する問題です。さらにSemantic Image Segmentationという分野では、図1のように画像のどの領域が1つの物体なのかを判定すると同時に、物体の種別も推定します。

領域分割の難しさ

これは人間にはすごくシンプルな問題でも、コンピュータにとってはものすごく難しい課題です。画像は、図2の通り四角い画素を2次元に並べたデータです。単純なプログラムを書くと、ある画素のRGB値が隣の画素のRGB値と類似していれば同じ物体に属すると判定し、しきい値以上の差異が生じていれば異なる物体に属すると判断する、という処理になります。図2の拡大画像で分かるように、同じ机の画素でも均一な値は取りません。木目調がよりはっきりしている場合や、影がある場合、テーブルクロスがかかっている場合などは、1つの机が数多くの領域に細分化されてしまいます。しきい値を緩く設定すれば良いのではないかと思われるかもしれませんが、しきい値を緩くすると机が奥の床と繋がってしまうのです。

Semantic Image Segmentationの例

深層学習(ディープラーニング)技術の進展に伴い、10年前では考えられない制度で領域分割と物体の種別認識ができるようになってきました。オックスフォード大学がSemantic Image Segmentationを試すことのできるWebサイトを公開しています。

図1のSUN RGB-Dデータセットの画像を処理して見た結果が図3です。輪郭は綺麗に抽出できていないものの、椅子(赤い領域)、テーブル(オレンジの領域)の種別を識別し、領域分割もそれなりにできています。

図4は、屋外の映像を処理した結果です。遠くの自転車は抽出できていませんが、人(ピンク色の領域)は抽出できています。そして、近くの自転車に乗った人は、自転車(緑の領域)と人を分離して抽出できています。

領域分割(Semantic Image Segmentationを含む)は、人間にはすごく簡単な問題ですが、コンピュータにとっては難題の1つです。近年、急速に技術が進歩している分野でもあり、応用範囲も広い技術ですので、是非いろいろと試して見てください。

著者プロフィール

樋口未来(ひぐち・みらい)
日立製作所 日立研究所に入社後、自動車向けステレオカメラ、監視カメラの研究開発に従事。2011年から1年間、米国カーネギーメロン大学にて客員研究員としてカメラキャリブレーション技術の研究に携わる。

日立製作所を退職後、2016年6月にグローバルウォーカーズ株式会社を設立し、CTOとして画像/映像コンテンツ×テクノロジーをテーマにコンピュータビジョン、機械学習の研究開発に従事している。また、東京大学大学院博士課程に在学し、一人称視点映像(First-person vision, Egocentric vision)の解析に関する研究を行っている。具体的には、頭部に装着したカメラで撮影した一人称視点映像を用いて、人と人のインタラクション時の非言語コミュニケーション(うなずき等)を観測し、機械学習の枠組みでカメラ装着者がどのような人物かを推定する技術の研究に取り組んでいる。

専門:コンピュータビジョン、機械学習