「1898年5月にポルトガルはこの探検家のインド到着400周年を祝った」という問題文と知識の中にある「ゲリーはポルトガルで結婚記念日を祝った後、5月にインドに到着した」という文章は、多くのキーワードがマッチする。しかし、キーワードのマッチだけでは弱く、その他の証拠も検証が必要である (出典:Cool Chips 16における金山氏の講演資料)

「1898年5月にポルトガルはこの探検家のインド到着400周年を祝った」という問題文と知識の中にある「ゲリーはポルトガルで結婚記念日を祝った後、5月にインドに到着した」という文章は、多くのキーワードがマッチする。これから言うと、答えはゲリーということになるが、これは弱い証拠であり、より深い証拠を得る必要がある。

「1498年5月27日にバスコ・ダ・ガマがカッパド海岸に上陸した」という知識の中の文章はキーワードとしてはほとんどマッチしない。

知識の中に「1498年5月27日にバスコ・ダ・ガマがカッパド海岸に上陸した」という記述がある。1898年5月に400周年が1498年5月27日とマッチするという理解、さらにカッパド海岸がインドにあるという知識との組み合わせでバスコ・ダ・ガマが導かれ、探検家という条件にも一致する。前の図のゲリーより確からしい答え (出典:Cool Chips 16における金山氏の講演資料)

しかし、1898年5月に400周年が1498年5月27日とマッチするという日付の計算による一致、問題文のarrived inがlanded inの言い換えであること、カッパド海岸がインドにあるという地図的な知識を組み合わせると重要な証拠になる。

このように色々な知識を組み合わせてマッチングを見つけていくという方法で答えを導いており、金山氏は人間が文章を理解して答えを出すというプロセスとは異なるやり方であるという。

次の図はJoepardy!での勝者の回答率と正答率をプロットしたもので、高い回答率と正答率の赤い点は74回連続で勝利したという記録を持つグランドチャンピオンのKen Jennings氏の成績である。

横軸はボタンを押した率、縦軸は正答率で、中央の上の方の点が各回の勝者の分布で、右側に来ている赤い点はグランドチャンピオンのKen Jennings氏の成績。下の茶色の線が、2007年当時のコンピュータの成績 (出典:Cool Chips 16における金山氏の講演資料)

これに対して、下の茶色の線が2007年当時のコンピュータの成績で、70%の問題にボタンを押した場合の正答率は16%、10%の問題にしかボタンを押さない場合でも正答率は30%と人間の成績とは大きな差があった。

しかし、その後の研究で、Watsonの回答率と正答率は、2007年12月のv0.1では70%の回答率での正答率は38%となり、次の図に示すように、その後も改善が行われていった。そして、2010年11月のv0.8では70%回答率における正答率は86%に向上し、多くの人間の回答者の成績を凌駕するまでになった。

Watsonの回答率と正答率の推移 (出典:Cool Chips 16における金山氏の講演資料)

しかし、この時点でも、Ken Jennings氏の成績の点の80%はWatson v0.8の線よりも上にあり、成績だけでいうと、まだ、及ばなかったという。しかし、その他の要素も勘案して、Ken Jennings氏とBrad Rutter氏という過去最高のチャンピオンを相手にしても勝算があると判断して2011年2月に対決を行い、勝利を収めるという結果となった。

Watsonは90台のPower750サーバからなり、2880コアのコンピュータである。16TBのメインメモリを持ち、知識はメインメモリに格納されている。そして、文章の解析やビジネス的な解析、ビッグデータ処理、データベースなどのIBMの技術が詰まっている (出典:Cool Chips 16における金山氏の講演資料)

Jeopardy!のような広範な知識を必要とするクイズでグランドチャンピオンに勝つというのは歴史的な快挙であるが、それだけでは現実の生活には役に立たない。次の図のように、IBMはパートナと協力して、医療の診断や医師への情報提供を行うシステム、投資相談や退職金の運用相談などの金融サービス、テクニカルサポートのコールセンター業務、自治体の安全対策や効率的な広報のやり方の検討などの分野への適用を進めている。

IBMは、パートナと協力して医療、金融サービス、テクニカルサポートセンター、政府などの分野へのWatsonの技術の適用を進めている (出典:Cool Chips 16における金山氏の講演資料)

このためには、それぞれの適用分野で必要な知識をWatsonシステムに蓄積して教育する必要があるのは当然であるが、システムの機能としても色々な追加、改善が必要となるという。

Jeopardy!用のシステムは、問題は最大2つの文に制限されているが、実用には何ページもの入力ができる必要がある。また、テキストだけでなく、イメージや表なども扱う必要がある。実運用では、継続的に知識のアップデートが必要。セキュリティの強化なども必要となる (出典:Cool Chips 16における金山氏の講演資料)

Jeopardy!対応のシステムでは、入力はテキストで2つ以下の文であったが、医療では何ページものカルテを入力したり、テキストだけでなく、写真、図、表などのデータを扱う必要も出てくる。

また、実運用では知識のアップデートが継続的に行えることが必要であるし、Q&Aだけでなく会話能力も必要となる。扱う情報に対するセキュリティの確保も必要になるというように、単に知識の入れ替えでは済まないチャレンジが多く存在するという。