自然言語処理とは？

現在、AI技術を活用することで、機械に人間の言語を理解させようという研究が進められています。

生活の中で人間が使っている日本語や英語などの言語を「自然言語」といいます。「自然言語処理」とは、機械がユーザーから話しかけられた自然言語に対し、人間のように反応することができる能力のことです。

主にチャットボットや、AppleのSiriやAmazon Alexaなどの音声アシスタント技術に使われており、その役割は大きく以下の3段階に分けられます。

1. 話しかけられた言葉の意味を理解する
2. 適切な行動を決定する
3. ユーザーが理解できる言語で反応する

また、自然言語処理の分野の1つに「自然言語理解」があります。自然言語理解は、人間の発言や書かれた文章から意図された意味を理解しようとするテクノロジーです。

人間の発話には、ニュアンスや微妙な意味、発音ミス、方言などが散りばめられており、自然言語理解は、こうした人間の複雑な発話に対応するように設計されております。「自然言語処理」から「自然言語理解」への移行は自然言語処理AIにおいて主要な研究分野の1つです。

自然言語処理の活用事例

それでは、自然言語処理を活用している事例を紹介しましょう。

音声アシスタント・スマートスピーカー

AppleのSiriやAmazon Alexaなどの音声アシスタントやスマートスピーカーは、自然言語処理AIによって動かされています。そのプロセスは以下となります。

1. ユーザーの話す言葉をフィルタにかける
2. ユーザーの音声を機械が読めるフォーマットにデジタル化する
3. ユーザーの音声の意味を分析する
4. これまで入力されたデータやアルゴリズムに基づいてユーザーのニーズを見極める

チャットボット

チャットボットは人間の会話を真似するため、自然言語処理AIに大きく依存します。問いかけに対応するまでに「言葉の理解」「適切な行動」「ユーザーへの反応」の3ステップを踏みます。

1. ユーザーから送られてきたメッセージの言葉を単語や文法レベルで処理し、意図する内容を文脈から言葉を理解する
2. 求められている適切な行動を実行する
3. ユーザーに適切な反応(返事)を返す

人間のような自然な会話ができるチャットボットを開発するには、以下の2つの技術が欠かせません。

意図認識

それぞれの文章や単語から関連する情報を抽出し、言葉に紐づけられた意図や意味を理解する技術を「意図認識」といいます。この能力により、チャットボットは1つの文章に含まれる複数の人を抽出・理解し、ユーザーが入力する長く複雑な文章にも正しく反応できるようになります。

文脈理解

会話に出てくるような要素(場所、時間、相手の好みなど)を組み合わせ、会話全体の概要をつかむ技術を「文脈理解」といいます。人間の会話において「文脈」を察知することが必要であるのと同じように、チャットボットも正確な会話を続けるために文脈理解が必要です。

自然言語処理AIに必要な学習データの種類

どうすれば自然言語処理AIを開発することができるのでしょうか。データを分解して整理する方法を以下に紹介しましょう。

エンティティ抽出・タグづけ

エンティティ抽出は、文章や構造化されていないデータから「情報のユニット」を抽出して、構造化させることです。こうしたユニットは、人物、組織、場所の名前などの、固有名詞が含まれることがあります。また時間や日付、お金、百分率といった数字表現の特定に使うこともできます。

意味的アノテーション

意味的アノテーションは、検索結果の評価に役立ちます。企業は常に検索エンジンで顧客が自社の製品を見つけてくれるようにするために、検索関連性を向上させる方法を探しているものです。

その時の問題は、製品説明の大半が情報ソースによって大きく異なり、不正確となることが多いことです。意味的アノテーションは、異なる製品名と検索クエリをタグ付けすることによって、検索結果の関連性を向上させます。各製品にどのカテゴリーが最適か判断できれば、eコマースのプロセスと製品分類が容易に、迅速に、そして正確になるでしょう。

言語的アノテーション

言語的アノテーションは、文章の主題を評価するためのアノテーションです。SNSの感情分析から決まり切った質問に答えるための自然言語処理テクノロジーまで、基本的にテキストの分析に関わることすべてを含む、幅広い分野に活用されます。

自然言語処理AIの未来

今後、チャットボットや音声アシスタントなどの自然言語処理AIはさまざまなサービスで活用されることでしょう。自然言語処理AIに求められていることは、ユーザーが気軽に使えて、素早く対応できるツールを提供することであって、ユーザーの満足度を下げないことではないでしょうか。

そのためには、ユーザーのどのような問いかけに対しても、自然な会話の流れを保ち、適切な対応・反応ができる自然言語処理AIを開発する必要があります。

人間のようなチャットボットや音声アシスタントを開発するには、高品質なデータが欠かせません。学習データが多ければ多いほど、自然言語処理エンジンは適切に機能し、より良いAI体験を実現することができます。そして、ユーザーに人間を相手に話している気分にさせることができる自然言語処理AIを完成することができるのです。

著者プロフィール

チャーリー・ワルター

Lionbridge AIプロダクト＆グロース担当バイスプレジデント

ベルリン出身。イエール大学卒業。
サンフランシスコでKPCB Product Fellow、Uber(Uber Advanced Technologies Group)のプロダクトマネージャーを経て2017年にGengoへ参画。Gengoは2018年12月にLionbridgeに株式取得されました。