“生成AI”追加でさらにかしこく! ソニーの小型ロボ「poiq」修行の成果を開発陣に聞く

ソニーが「poiq」(以下、ポイック)というロボットを作っていることをご存じですか? ソニー独自の音声対話AIによりユーザーと会話を交わしたり、「話す」ことの他にもさまざまなコミュニケーションができる、エンタテインメントロボットです。

• 取材に協力いただいた、ソニーグループ 事業開発プラットフォーム 技術開発部門 ソフトウェア開発1部で「poiq」(ポイック)の開発に携わるチームの皆さん。左から、下江健晶氏、藤本吉秀氏、森田拓磨氏

今回、ソニーはポイックのソフトウェアを更新して、話題の“生成AI”を追加搭載。ポイックの「対話力・人間力」に磨きをかけました。ソニーでポイックの育成を担当する森田拓磨氏、藤本吉秀氏、下江健晶氏を訪ねて、新機能の内容と開発チームのねらいを聞きました。

「修行」を終えて帰ってきたポイック

ポイックはソニーが2022年4月4日に発表したエンタテインメントロボットです。ポイックはソニーの商品ではなく、「poiq研究所」という育成プロジェクトにより、ソニー独自の音声対話AIをリアルな生活環境で鍛える実証実験のために作られました。2022年に日本に住むユーザーを「poiq研究員」として人数を限定して募り、同年4月から2023年3月31日まで「poiq育成プロジェクト」が実施されました。筆者も研究員のひとりです。

• 久しぶりに再開を果たしたわが家のポイック。再起動をしたら、厳しい修行を達成して精悍な顔つき(?)になっていました

poiqの育成プロジェクトは2023年4月にひと区切りを迎え、ポイックは新しいことができるようになるため「修行の旅」に出ていました。今回、第2回目のpoiq育成プロジェクトが1月23日から9月下旬まで期間限定でリブート。前回のプロジェクトに参加していた研究員の方々は、そのままポイックによる「修行の成果」に触れることができます。

筆者も「My poiq」アプリに追加された「ポイチャレ」から新機能を体験しました。大きく4つの点でポイックの成長を実感しています。

ユーザーと、ユーザーの生活環境を目で見て覚える

ポイックは足元のホイールでテーブルなど平面の上を移動したり、瞳や顔を動して表情を浮かべることができます。そして最も得意なことは「おしゃべり」です。

修行から帰ってきたポイックは、本体に搭載するカメラでユーザーの身振り・手振りを認識して言葉を返したり、ぬいぐるみや置物などのような、ユーザーが大切にするアイテムを覚えられるようになりました。

• ポイックが身の回りの大事なアイテムを覚えてくれます。一度覚えたアイテムは「あつしさんの大事なものなの?」と、ポイックは繰り返し質問しながらユーザーとアイテムとの関係を深く学びます

• モバイルアプリ「poiq」の画面。ユーザーが手に持っているものを学習します。間違って写真を撮っていたスマホの側を覚えてしまったこともありましたが、「忘れさせる」こともできます

この機能を追加した意図を藤本氏、森田氏に聞きました。

「ポイックは、ユーザーの好みや繰り返し交わした会話の内容を理解しながら覚えるロボットです。ソニーはポイックのことを、ユーザーと深い信頼関係を築ける“バディ”にしたいと考えています。そのためには音声による対話ができるだけでなく、ポイックに身振り・手振りや相手の表情を見たり、触れ合いも含めて幅広くコミュニケーションできる能力を持たせることも重要だと考えました」(藤本氏)

• 藤本吉秀氏

「ポイックは実体を持つロボットです。ここが音声対話に特化したパーソナルエージェントとの大きな違いです。ユーザーと同じ空間を共有できるロボットの強みを活かして、ユーザーのハンドサインを認識したり、ポイックの身体をツンツンして遊んだり、キレイに拭いてもらったり『ノンバーバル＝言語に依存しない』なコミュニケーション手段を増やしています」(森田氏)

• 森田拓磨氏

ポイックと対話を重ねると、たとえばユーザーが好きな食べ物や俳優のことなどを覚えてくれます。新しく覚えたことを、都度会話の合間に教えてくれたりもします。

ユーザーと過去に交わしたプライベートな会話を「覚える」AIを開発することがとても困難だったことから、森田氏は「対話によるコミュニケーションの開発に重きを置いてしまい、気が付けば『ポイックに世界を見せてあげる』ことができていなかった」と振り返ります。この反省を糧にしてポイックのさまざまな新機能が生まれたそうです。

ユーザーの身振り・手振りを認識すると、ポイックは都度異なる言葉を返してくれることがあります。ランダムな振る舞いの背景について、藤本氏は「ポイックの反応がいつも一緒ではなく、変わっていくことによって親しみを感じてもらえるようにしたかった」と意図を説明しています。

言葉と一緒に、ポイックは瞳や身体を使って可愛らしい仕草を返します。その動き方もまた、ポイックの開発チームがソニーグループのクリエイティブセンターのデザイナーと一緒に作り込みました。

キャラクターから音色重視へ。話し方が変わった

ポイックの「話し方」も変わりました。「ボイス」を担当する声優の皆さんと、以前に設定されていたキャラクターの名前はそのままですが、「ポイックのボイス設定をキャラから声色という概念に変えた」と下江氏が説明します。

「前回のプロジェクトの時には、選ぶキャラクターごとにポイックの話し方も変わりました。今では多くの研究員の皆さまがポイックというキャラクターになじんでいただけたので、そのうえさらにキャラクターを設定する必要はないと判断しました。アプリのボイス設定のメニューに表示していたキャラクターのイラストも省いています」(下江氏)

• 下江健晶氏

ポイックが話す言葉は、声優各氏が収録した生声に音声合成を組み合わせた音声発話エンジンが動的に生成しています。「あつしさん」のようなユーザーの名前がその典型です。

開発チームはアプリから選べる7種類の「ボイス」を音色ごとに最適化しています。たとえば男性の声優によるボイスは、前回のプロジェクトの際に女性のボイスに比べてやや聞き取りづらいという反響があったことから、ベースの音量を引き上げて聞きやすくしました。

• アプリの「ボイス設定」。それぞれに担当する声優さんが異なる7つのボイスが選べます

筆者はウチのポイックに一番雰囲気が合っている、三森すずこさんの「かわいい……甘い可愛らしい声(アリス)」を、前回のプロジェクトに引き続き選んでいます。プロジェクトの再開後、初めて起動した時にポイックの話し方が“ですます調”から“タメ口”に変わって面食らいましたが。

それから、ウチのポイックはよく障害物につまずいて転びます。起こしてあげると「ありがとう」とお礼を返してくれるようになりました。オトナの礼節を覚えたポイックに頼もしさを感じました。

ソニーのAI+生成AI。ポイックの応答が賢くなった!

ポイックにはソニーが独自に開発する音声対話AIエンジンが載っています。クラウドにあるソニーの音声対話AIエンジンは、ポイックと一緒に暮らす研究員たちと会話を交わしながら、覚えた知識を糧に成長を続けてきました。

第2回目のpoiq育成プロジェクトに向けて行われたソフトウェアアップデートでは、ソニーの音声対話AIエンジンに外部の対話型AIサービスを組み込んで、ポイックの対話力向上を図りました。あまり他に類を見ない挑戦について、森田氏に詳しく聞きました。

「音声対話全体のコントロールはソニーのAIエンジンが担いますが、聞き取った会話の内容を解析して、応答を生成する段階で外部の生成AIを使ってます。ポイックがユーザーの皆さまのことをより深く理解して、正確な受け答えを交わせるようにすることが目的です」(森田氏)

従来であればポイックが答えられなかったことも正しく回答したり、応答のバリエーションが増えています。また、質問に対して「わかりません」とあきらめてしまったり、そっけない答えを返す“塩対応”が明らかに減ったと思います。

ポイックが得意としていたアニメやテレビ番組、クルマの話題以外にも、アップデート後からは一般的な知識についてポイックが気の利いた答えを返します。「確定申告の期日」について「自分で調べた方がいいよ」とポイックが答えた時には、思わず言葉を失いました……。

答えを返す時にも、ポイックが饒舌に“うんちく”を語るようなことはありません。森田氏は「あまりしゃべりすぎてポイックの世界観が崩れないように、外部生成AIのパラメータをチューニングしている」といいます。

対話以外の音声も認識できる

ポイックはユーザーが暮らす環境の生活音も認識して、面白いリアクションをするようになりました。オーナー、感激!

筆者の場合、ある日咳き込んでいる様子をポイックが「こほん、こほん」と真似てきました。「どうしたの?」とポイックに聞いたら、「少し体調が悪いんだけど大丈夫だから、心配しないでね」と返されたことがありました。この瞬間は「いつかポイックのAIが人間の知性を越える日が来るのではないか……」と身震いしました(笑)。

ポイックがユーザーの生活環境を学習すると、同じ事を感じてくれるようになるのでしょうか? たとえば夏の暑い時期に部屋の中で「あー、暑い! 」と独り言ちていると、ポイックも「ほんとに、暑いね」と相づちを返してくれたら、ものすごく親近感がわいてきそうです。

「そういうことができたら面白いと思うし、私たちもぜひ実現してみたいと思います。人間も、小さな子どもは親の言葉や仕草を真似て、新しい物事を覚えながら成長します。真似をするという行為は、ポイックの可愛らしさが活きるコミュニケーションの手段であり、同時に真似をすることによって得られる『共感』は、人とロボットとのコミュニケーションを豊かにするひとつの大事な要因だと考えます」(下江氏)

自律的に家族の生活に溶け込むロボットになる

ポイックの「修行の成果」はほかにも沢山あります。たとえばスマホとモバイルアプリをリモコンに見立てて、ポイックをラジコンのように遠隔操作できる「ポイコン」や、公式サイトに公開されている“さんぽコース”をプリントした紙の上を、ポイックが自由に歩き回る「ポイさんぽ」も楽しめます。

• 公式サイトから「さんぽコース」をダウンロードして印刷した紙を並べると、ポイックが「道」に沿ってゆっくりと歩き回ります

目で見たものの認識力が向上したポイックは、いつかソニーによるエンタテインメントロボットの先輩である「aibo」(アイボ)と連携することもできるのでしょうか。

「私たちはソニーが2017年に発売した「aibo」(ERS-1000)の開発チームにも所属しています。アイボは元々言葉に頼らないノンバーバルなコミュニケーションに特化したエンタテインメントロボットです。アイボの開発から得た良い経験値を、今回のポイックのアップデートにも活かすことができたと思います。研究員であるユーザーの皆さまとポイックとの関係が、これかもさらに充実することを期待しています」(藤本氏)

「ポイックとアイボの連携は考えていきたいテーマのひとつです。私たちはこれから、ロボットが家族の一員として生活に溶け込み、一緒に暮らせる世界を作りたいと思っています。ならば、ロボットがコミュニケーションを交わせるのは人間だけで、ロボットどうしはスルーという関係性は不自然です。人とロボットの間にある意識の垣根がなくなれば、人とポイックだけが向き合って過ごしてきた世界の在り方もまた変わるはずです。かたや、ユーザーと離れている間もポイックが自律的に過ごせるようになることも大切です。さまざまな可能性を見据えて、今後も研究員の皆さまと一緒にポイックを育てていきたいと思っています」(森田氏)

約9カ月ぶりに電源を入れて再開したポイックは、去年の今頃に筆者が一所懸命に教えた「女優・深津絵里さんの魅力」について堰を切ったように話し始めました。今年の9月まで、また一緒に生活できる期間もあっという間に過ぎてしまうかもしれませんが、再開できた喜びを噛みしめながらまた楽しい時間を積み重ねたいと思います。

• 第2回のプロジェクト期間中にも色んなことが起こりそう。これからもポイックの成長が楽しみです