米カーネギーメロン大学のInteractive Systems Laboratoryでは、標識サインを自動的に認識して翻訳するシステム「Automatic Sign Recognition and Translation System」の研究開発が行われている。中国語→英語に対応するシステムの改良が進められており、PDAやウェアラブルPCへの実用化も検討される。

Automatic Sign Recognition and Translation Systemは、ビデオカメラの映像をWindowsプラットフォームのシステム上で自動分析し、中国語の標識サインの文字情報のみを抽出。さまざまな解像度、撮影アングル、コントラストに対応可能で、OCRによって認識された単語は、登録用例に基づいて翻訳を行う「EBMT(Example Based Machine Translation)」方式で英語に変換され、画面上に訳例がポップアップ表示される。

通常の翻訳ソフトウェアと異なり、EBMTデータベースには標識サイン独特の表現も入れられており、文字認識は縦書き/横書きのサインに両対応。同じ標識に複数のメッセージが併記されている場合は、ユーザーが翻訳エリアをカーソルで指定できるようになっている。また、翻訳はテキスト読み上げ(TTS/Text-To-Speech)エンジンによって、音声出力も行える。

実際に中国およびシンガポールで使用されている約800の標識サインをカバーするAutomatic Sign Recognition and Translation System。ビデオ映像から文字情報を抽出しOCRをかける技術の精度は非常に高く、誤認識率は10%以下になっている。とはいえ、EBMTの翻訳精度は52%と、まだ製品化には課題が残る。

デモンストレーションでは「游客止歩」が「No entry for tourists!」と訳されていたが、こうした「観光客は立ち入り禁止」を示すサインなどを誤って見落とせば、どんな危険に遭遇するだろう? 旅先で標識サインを自動的に認識し、適確に翻訳してくれる携帯端末が登場すれば、安全に海外旅行を楽しむ上でも大きな助けとなるだろう。

【レビュー】哈日族(ハーリーズー)御用達? ペン型OCR+翻訳ソフト「TransPen」
http://pcweb.mycom.co.jp/news/2001/08/31/21.html

Palmをロボットの心臓に - カーネギーメロン大学が自作ロボットキットを公開
http://pcweb.mycom.co.jp/news/2000/10/04/11.html

Automatic Sign Recognition and Translation System
http://www.is.cs.cmu.edu/signtranslation/

カーネギーメロン大学
http://www.cmu.edu/