TOPPAN、AI活用で絵本をハンズフリーで読み聞かせるサービス「Yondee!」提供

サービスの概要

同サービスは、対象の絵本を専用のウェアラブルデバイスのカメラで認識すると、絵本のページに合わせてタイムリーに読み聞かせの音声コンテンツを提供する。

同サービスは、TOPPANが2022年4月にTangent Design and Inventionの協力の下で開発し、これまでイベントにおける体験版の提供などでユーザビリティの実証を行ってきた。

今回、新たに絵本や雑誌など紙メディアの画像読み取りに有効な画像認識AIシステムを開発し、同サービスに実装することで、絵本の認識精度が向上。

複数の画像をもとに、あらゆる角度から見た紙面の状態をAIにより自動生成し教師データとして学習しているため、子どもの読書シーンにおけるさまざまな体勢下でも、絵本の画像を認識しコンテンツの起動が可能となっている。

• 

  読み聞かせサービス「Yondee!」イメージ

画像認識AIシステムの特徴

TOPPANは、書籍などの紙メディアに特化した、教師データ取得環境とAIモデル生成技術を開発。同技術では、複数の画像をもとにさまざまな角度から見た紙面の状態をAIにより自動生成し教師データとして学習する。そのため、あらゆる読み取り角度において、スムーズな画像認識とコンテンツの起動が可能となる。

また、絵本や雑誌の紙面への2次元バーコードやARリーダーの印刷などを必要とせず、画像のみに基づいてコンテンツを提供できるサービスとして提供可能なため、過去に発行された既刊本の画像認識によるコンテンツ拡張にも対応可能。

さらに、スマートフォンアプリ内で動作するAI画像認識エンジンと、カメラモジュールの組み合わせにより、幅広い用途に応用可能なシステムを開発。アナログメディアとデジタルコンテンツを掛け合わせたさまざまなサービス検討が可能となっている。

• 

  「Yondee!」に活用されている画像認識AIシステムのイメージ