【連載】

機械の目が見たセカイ -コンピュータビジョンがつくるミライ

3 コンピュータビジョンの要素技術と応用範囲(後編)

3/40

4:工場の自動化(FA:Factory Automation)

  • 食品の異物自動選別

細かい大量の食品をカメラで撮影し、色彩情報等により異物か否かを判定します。異物と判定された場合は、エアガンの風圧により自動で除去されます。

120発のエアガンとカメラで食品の異物を除去する色彩選別機

  • 半導体の不良品検査

目に見えない程微細な半導体を、走査型電子顕微鏡(SEM)により撮影して、SEMの画像を処理することで不良品を自動で検出することができます。

5:医療

CTやMRIにより人体内部を可視化する技術や、撮影した画像から患部を見つける技術などが研究開発されています。さらに最近では、病気の診断だけでなく、薬剤の研究開発のために細胞の分裂過程を追跡する技術も研究されています。

6:人の生活支援(家電、Webサービス・スマートフォンアプリなど)

  • テレビ、レコーダー

最近のテレビやレコーダーには、低解像度の映像を、高精細な画像に変換し再生することができるものがあります。例えば、ハイビジョン画質の映像(横1080画素×縦720画素)を、フルハイビジョン画質の映像(横1920画素×縦1080画素)に変換して再生できます。

  • スキャナー

スキャナーには、印刷物を画像データとして保存するだけでなく、文字を読み取ってくれるものがあります。文字を読み取って、テキスト情報として電子化することで、文書の検索などに役立ちます。

  • インターネット上の画像・動画の検索

キーワードを元に画像を検索するだけでなく、画像を与えると類似した画像を探してくれるサービスがあります。具体的には、Googleの画像検索で、テキスト入力欄の右側にカメラのマークがあり、それをクリックすることで画像を入力として類似した画像を探すことができます。

  • Evernote

Evernoteでは、文字を含む画像をアップロードするとサーバ側で文字認識をしてくれ、画像中の文字をテキストで検索することができます。

  • パノラマ画像生成

スマートフォンのカメラアプリには、パノラマ撮影モードが搭載されています。カメラを動かし、複数枚の画像を撮影して、それらを結合することで視野の広い画像(パノラマ画像)を生成する機能です。

  • Hyperlapse

SIGGRAPH 2014で発表されたMicrosoft researchの"First-person Hyper-lapse Videos"という論文があります。これは、GoProなどで撮影した映像を、過度な動きを抑制しつつ、早送りした映像に変換する手法です。この手法では、Structure from motionという技術を用いてカメラの3次元的な動きを計算し、それをもとに過度な動きを抑制しています。

First-person Hyperlapse Videos

InstagramがHyperlapseというiPhoneアプリをリリースしています。このアプリでは、iPhoneに搭載されているジャイロセンサを用いてカメラの動きを求めることで補正処理を高速化しています。

Introducing Hyperlapse from Instagram

  • Adobe Photoshop

物体を消す、背景を消す、色調を変える、写真を合成する、顔や体の輪郭を修正する、といったさまざまな機能が組み込まれています。デザイン関係の職種では必須のソフトです。

PS:不要物を消す比較

  • Microsoft Office

背景を消す機能は、PowerPointにも入っています。写真をダブルクリックして、背景の除去というボタンを押すと、画像中央付近の物体が前景として自動で切り出されます。保持する領域(前景)と削除する領域(背景)を手で与えてやることで所望の領域をきれいに切り出せます。

7:ゲーム・エンターテイメント

  • 映画、テレビの撮影

映画「マトリックス」では、時間の流れが遅くなり、その瞬間の登場人物をいろいろな方向から映した映像が話題となりました。バレットタイム、タイムスライスと呼ばれる技術です。これは、俳優の周りに多数のカメラを配置し、それらのカメラで連続的に撮影することで、俳優の動きはスローモーションで、かつカメラワークは高速な映像を生成しています。複数のカメラで同時に撮影すると、被写体が静止した状態でカメラアングルが動く映像が生成できます。

Bullet Time Shot - Making of

スポーツ映像では、「EyeVision」という技術があります。アメリカンフットボールのスタジアムに複数のパンチルトカメラを設置し、それらのカメラを協調制御することで同一の被写体を同時に撮影します。そして、ある瞬間の選手(ボールをキャッチした瞬間など)をさまざまなカメラアングルで見ることができる映像を生成します(参考URL:https://www.ri.cmu.edu/events/sb35/tksuperbowl.html)。

他には、マッチムーブを用いたクロマキー合成があります。クロマキー合成とは、ブルースクリーンのスタジオで撮影した後に、背景を合成する技術です。カメラが静止していれば簡単なのですが、カメラが動いている場合は、マッチムーブという技術が用いられます。

ChromaKey

  • プロジェクションマッピング

アートアクアリウム2015では金魚を追跡し、金魚の動きに合わせて映像をプロジェクションする水槽が展示されました(著者注:センサにカメラが利用されているかは不明です)。また、動く顔にプロジェクションマッピングを行う「OMOTE」という作品があります。顔をレーザーで3次元スキャンし、さらに顔の動きを追跡することで、メイクなどのパターンを動く顔に投影する技術です。レーザで3次元スキャンする変わりに、ToFカメラやステレオカメラを使っても同様のことが実現可能でしょう。

OMOTE REAL TIME FACE TRACKING & PROJECTION MAPPING+ on Vimeo

  • 拡張現実感(AR:Augmented Reality)

ARは、カメラ映像をリアルタイムで表示しているディスプレイ上に、現実には存在しないものを、あたかもそこにあるかのように重畳表示する技術です。例えば、マーカーが印刷された平面をスマートフォンのカメラを通して見ることで、実際には存在しない恐竜を平面上に出現させることができます。技術的には、マーカーを用いて平面の3次元的な姿勢と、平面に対するカメラの位置を求め、その平面上に乗るように恐竜の位置と姿勢を計算します。

Augmented Reality Tutorial No. 26: Unity3D and Vuforia for Dinosaur Control with Arrow Keys

  • Xbox Kinect

Kinectは、Microsoftが開発した有名なセンサです。十字キー、ボタンといったコントローラを使わず、Kinectでプレーヤーの手足の動きを計測してゲームを楽しむことができます。原理を簡単に説明すると、目に見えない波長帯の光を照射し、カメラで撮影して各画素の3Dデータを計測します。その3Dデータを処理することで、人の手足の位置や動きを求め、その手足の動きを使ってゲームをプレイすることができるというものです。

New Xbox One: Kinect-Game|Life-WIRED Exclusive

いかがでしたか。前回と今回、2回に分けて、色々と紹介してきましたが、コンピュータビジョンがすでにさまざまな分野でいかに活用されているかをご理解いただけたでしょうか?

著者プロフィール

樋口未来(ひぐち・みらい)
日立製作所 日立研究所に入社後、自動車向けステレオカメラ、監視カメラの研究開発に従事。2011年から1年間、米国カーネギーメロン大学にて客員研究員としてカメラキャリブレーション技術の研究に携わる。

現在は、日立製作所を退職し、東京大学大学院博士課程に在学中。一人称視点映像(First-person vision, Egocentric vision)の解析に関する研究を行っている。具体的には、頭部に装着したカメラで撮影した一人称視点映像を用いて、人と人のインタラクション時の非言語コミュニケーション(うなずき等)を観測し、機械学習の枠組みでカメラ装着者がどのような人物かを推定する技術の研究に取り組んでいる。また、大学院での研究の傍ら、フリーランスとしてコンピュータビジョン技術の研究開発に従事している。

専門:コンピュータビジョン、機械学習

3/40

インデックス

連載目次
第40回 ハードウェアの基礎知識(4) - GPGPU
第39回 ハードウェアの基礎知識(3) - レンズ
第38回 ハードウェアの基礎知識 (2) - 電子シャッター
第37回 コンピュータビジョン分野で活躍する企業・フリーランサー インタビュー(3)
第36回 領域分割(3) - CRFを用いたSemantic Image Segmentation
第35回 領域分割(2) - Mean Shift法を用いたImage Segmentation
第34回 領域分割(1) - 概要編
第33回 見えないものを観る(3) - 目に見えない光「赤外線」を観る
第32回 見えないものを観る(2) - 絵画の下書きを観る
第31回 見えないものを観る(1) - 映像から音を復元する
第30回 動く人・物を追跡する(4) - OpenCVのトラッキング手法(後編)
第29回 動く人・物を追跡する(3) - OpenCVのトラッキング手法(中編)
第28回 動く人・物を追跡する(2) - OpenCVのトラッキング手法(前編)
第27回 動く人・物を追跡する(1) - OpenCVによるトラッキング
第26回 インターネット上の画像群からTime-lapse映像を自動生成する手法の概要
第25回 一人称視点(3) - Social Saliency
第24回 一人称視点(2) - Social Interaction
第23回 一人称視点(1) - 概要
第22回 行動認識(3) - Two-stream ConvNets
第21回 行動認識(2) - 動きの特徴量(HOF、MBH)
第20回 行動認識(1) - Dense Trajectories
第19回 視線計測(3) - カメラのみを用いた視線計測
第18回 視線計測(2) - 近赤外の点光源を用いた視線計測
第17回 視線計測(1) - 導入編
第16回 コンピュータビジョン分野における機械学習(4) - Deep Learning
第15回 コンピュータビジョン分野における機械学習(3) - 識別器
第14回 コンピュータビジョン分野における機械学習(2) - 顔検出・人検出
第13回 コンピュータビジョン分野における機械学習(1) - 導入編
第12回 コンピュータビジョン分野の市場分析(1) - 自動車編
第11回 コンピュータビジョン分野で活躍する企業・フリーランサー インタビュー(2)
第10回 カメラを用いた3次元計測(4) - Structure from Motion
第9回 カメラを用いた3次元計測(3) - サブピクセル推定
第8回 カメラを用いた3次元計測(2) - ステレオカメラ
第7回 コンピュータビジョン分野で活躍する企業・フリーランサー インタビュー(1)
第6回 カメラを用いた3次元計測(1)
第5回 意外と知らないカメラキャリブレーション
第4回 ハードウェアの基礎知識
第3回 コンピュータビジョンの要素技術と応用範囲(後編)
第2回 コンピュータビジョンの要素技術と応用範囲(前編)
第1回 普及期に入ったコンピュータビジョン

もっと見る

関連キーワード


人気記事

一覧

イチオシ記事

新着記事