日立製作所は、手袋型の入力装置(サイバーグローブ)とビデオカメラを用いて手話を認識し、PC上で日本語文に変換する「手話―日本語翻訳技術」を開発したと発表した。同技術は、同社が、経済産業省のリアルワールド・コンピューティング(RWC)プロジェクトを実施する技術研究組合新情報処理開発機構(RWCP)に参画し、産業技術総合研究所の協力を得て開発した。

手話通訳システム

日本における手話には大きく分けて「日本語対応手話」と「日本手話」がある。前者が音声として話される日本語と同じ時系列で手話単語をつなぎ合わせるのに対し、後者は日本語とは異なる文法を持ち、主として手指動作で単語を、文法情報を手以外の動作で表す。1)文法(語順)が日本語と異なる、2)手指動作以外の動作が文法を決定するという2つの理由から、日本手話は、従来自動翻訳が困難であった。

たとえば、手指動作で「私・本・買う」と表現しても文章とはなっておらず、頷く頭部動作を加える位置によって「私はパソコンの本を買います」や「私はパソコンと本を買います」と意味が変わってくるのだ。

今回開発された翻訳技術は、サイバーグローブによる手指動作認識に加え、ビデオカメラによる頭部動作認識で、日本手話翻訳の翻訳精度を向上したという。開発は日本手話の文法の解析からはじまり、同社は2種類の手話文法ルールを作成した。すなわち、頭部動作が加わる位置で、手話文が句相当の意味的な単位に分割されることから「文構造規定ルール」を、頭部動作の種類と加わる位置により目的語などの単語の役割、否定文や命令文などの文の種類が決定されることから「意味属性変換ルール」を作成した。頭部動作認識は、頷き、頭振り、顎上げなど8種を識別可能で、手指動作認識と組み合わせることにより、日常会話300程度の翻訳ができるとのことだ。

2001年4月時点のRWC評価ワーキンググループの中間モニタリング評価報告書によれば、「うなずき画像認識と、サイバーグローブで入力した手話動作の認識システムの開発と手話文法ルールの抽出を実現した点で、期待通りの成果が達成された」とのこと。「手話学習者向け教材など、実用化の見通しは高い」とされている。ただし日本手話には頭部動作のほかに、視線や、表情などの非手指動作もあるため、今後の課題も残されている。

延べ10年計画のRWCプロジェクトは今年が最終年となるが、同社は今後、情報キヨスク端末への搭載に向け開発を続けていきたい、としている。

技術研究組合新情報処理開発機構
http://www.rwcp.or.jp/

経済産業省
http://www.meti.go.jp/

日立製作所
http://www.hitachi.co.jp/