発話音声をイラスト化するリコーの「piglyph」が教育現場で価値検証を開始

リコーは6月21日、同社が主催するアクセラレータプログラム「TRIBUS」から生みだされた、発話音声をイラスト化するビジュアルコミュニケーションシステム「piglyph(ピグリフ)」が価値検証の段階に入り、教育現場での活用が決まったことを発表した。

活用が決まったのは、角川ドワンゴ学園N高等学校、S高等学校、N中等部で、6月21日から実施する同校のオンラインワークショップで使用されるとのことだ。

TRIBUSは社内外からイノベータを募り、リコーのリソースを活用しイノベーションにつなげるプロジェクト。piglyphはTRIBUSの2期生として2020年に選定されたプロジェクトとなる。

piglyphは、音声認識システムを活用し、音声から単語を認識し、その単語に紐づいたイラストが画面上に提案され、利用者がイメージにあったイラストを選んで利用するシステムだ。

• 発話からイラストを提案する場面 (提供:リコー)

たとえば上の図にあるように“Vehicle(乗り物)”という単語を認識すると乗り物のイラストがpiglyph上で複数提案される。候補のイラストの中からユーザーがイメージとあったものを選択し、共有画面に表示させるというものだ。

今のところ、日本語、英語、中国語に対応しており、イラストは約2000モデル用意され、発話した単語やキーワードに合ったものを自動的に表示できる仕組みとしている。

• 出身地を紹介するというワークショップでの一場面。文章で発言した場合も認識した単語ごとに“北海道”“海鮮丼”などイラストを提案してくれる

piglyphは、開発リーダーの渡辺恵里氏がエチオピアで理科教育を行っていた際に、言葉が伝わらない中でもビジュアルを使って意思疎通を行っていたという経験から、“言葉の壁を越えて自由に意思疎通ができる世界を実現したい”という想いで開発をはじめたという。

また、言語の違いに限らず、非言語でのコミュニケーションをサポートすることで コミュニケーション全体が円滑になる事を目指しており、昨今増加したオンラインでのコミュニケーションのサポートを目指しているとしている。

• piglyphが目指すのはオンライン授業やワークショップでのコミュニケーションのサポートだという (提供:リコー)

利用シーンとしては、アイデアや発言がイラストとして直観的に伝わりやすいことからワークショップでの活用や会議での活用を見込んでいるという。

• piglyphが目指す提供価値 (提供:リコー)

実際にリコー社内では会議やオンラインでのコミュニケーションで活用しており、現在は価値検証という段階だが、2022年度にはサービスとしてリリースすることを目指すとしている。

• リコー社内で活用しているシーン。全社イベントや会議での活用を行っているという (提供:リコー)