コネクテッド・インク2022では、ペイントツールを提供するワコムがCLIP STUDIO PAINTを提供するセルシス、ディープラーニングの研究開発を行うPreferred Networksと協力して取り組んでいる『KISEKI ART（キセキ・アート）』プロジェクトの進捗も明かされました。

  • KISEKI ART 2022の進捗は？関係者が報告した

KISEKI ARTが目指すもの

KISEKI ARTは、デジタルツールで入力された『創作の軌跡』を可視化する取り組みです。アーティストが使用するタブレットとデジタルペンから得られた、筆圧、ペンの角度、ストロークのスピード、どんなブラシを使っているか、どこで描き直したか、といった創作に関わるすべてのデータについて、デジタル技術を介して記録し、セキュリティ、エンタメを含めたあらゆる方面に活用していくことを考えています。

KISEKI ART 2022でテーマに掲げられたのは『絵紋（えもん）』でした。指紋、声紋のような個人を特定する特徴を、アーティストの『創作の軌跡』から抽出することを目指しています。

Preferred Networksの福田昌昭氏は「ストロークには作者固有の特徴が含まれている、という仮説を立ててAIの解析（深層学習）を進めてきました。同じ作者なら常に同じ『創作の軌跡』の特徴が現れるのではないか？データから読み取れることはないか？そんな検証を重ねてきました」と切り出します。

  • （左から）Preferred Networksコンシューマプロダクト担当VP・PFNの福田昌昭氏、エンジニア・PFNの川尻亮真氏、エンジニア・PFNの加藤哲朗氏

  • デジタルインクから取得できる情報から、アーティストの特徴を抽出していく

そして検証の結果、ほぼ仮説通りであることが認められたそう。たとえばアーティストの文太さんには作風の異なる8つの作品を提供してもらいましたが、ログデータをAIで解析すると、いずれも右下にプロットが集まりました。これは文太さんならではの傾向とのこと。検証を進めていくにつれ、アーティストそれぞれに特有の傾向が現れることが分かってきました。

  • アーティスト・文太さんの作品群

  • これは1ストロークごとの情報を集めて『創作の軌跡』として可視化したもの。作品ごとに色分けしている。文太さんの『創作の軌跡』は右下に集中する傾向に

この結果にはセルシスの成島啓氏も「こんなに分かりやすくビジュアライズされるとは思っていませんでした。正直、驚いているところです」と応じます。プロジェクトでは『創作の軌跡』の2Dデータを球体状にマッピングしたものを『絵紋』としています。

  • （左から）セルシス代表取締役社長の成島啓氏、リードエンジニアの稲葉遼氏、アプリ開発マネージャーの小田直矢氏

  • 約6万本のストロークを検出した文太さんの作品（左）と、それを『絵紋』で表現したもの（右）

ここでMCを務めたワコムの井出信孝社長は「そのとき、アーティストの脳活動はどうなっているのか。気になるところですね」として、本プロジェクトに参画している国立研究開発法人 情報通信研究機構の成瀬康氏に話題を振ります。成瀬氏はアーティストの協力のもと、創作時の脳波を記録したと話し、その結果を次のように報告しました。

「創作時には脳波が増強されること、特に後頭葉の脳活動が活性化されることが分かりました。視覚情報処理を司る部分です。そして人がリラックスするときに発するアルファ波の帯域にも変化が見られました。アーティストさん特有のフロー状態の脳活動がデータで取れたのではないか、と分析しています」（成瀬氏）。

  • ワコム 代表取締役社長CEOの井出信孝氏（左）と、国立研究開発法人 情報通信研究機構 室長の成瀬康氏（右）

  • 脳波計測実験の結果、集中力が高まるフロー状態のようなものを確認した

これを受けてPreferred Networksの加藤氏は「脳波が変化したとき、それは創作のフェーズが変わったときだったのか？ストロークの特徴も変わったのか？今後、そんなことも照らし合わせて検証していきたいと思っています」とし、井手社長も「創作活動時にアルファ波が出るというのは、とても興味深いですよね。目を開けてはいるけれど、目の前の液タブを見ているのではなく、その先のイメージを見ている、そんな状態なのかも知れない」と興味津々の様子でした。

  • 今後、プロジェクトはどんな方向に展開していくの？――期待感を高めたところでセッションは終了

セッションの最後に、ワコム ビジネス開発マネージャのJeff Ko氏は「たとえば顔を描くとき、まずは丸十字から始めるということが長らく言われてきましたが、データを分析すると、アーティストさんによっては別の選択肢もあることが見えてきました。こうした、クリエイターの皆さんに役立つ情報を今後も発信していけたら」、ワコムExecutive Business Plannerの玉野浩氏は「弊社には、人はすべてクリエイターである、という考えかたがあります。来年のコネクテッド・インクでさらなる進捗が報告できるよう、引き続きKISEKI ARTのプロジェクトを進めてまいります」とまとめました。

  • 創作にかかった時間の情報、どこを描き直したかの情報まで入っている『絵紋』。今後、NFT（非代替性トークン）としての利用もありそうだ

『絵紋』がつむぐサービス色いろ

このあと、「Metamorphosis：VR空間を通じた新たな可能性の探求」と題したセッションでは、アーティストの作品と『絵紋』の点群データをVR空間のなかで立体的に楽しめる取り組みを紹介。コネクテッド・インク2022の会場には体験ブースも設置されました。

  • 体験ブースの様子

  • VR空間のなかで、アーティストの作品×『絵紋』の点群データを臨場感たっぷりに鑑賞できる趣向だった

また、「“Yuify”～クリエイターの創作の証や作品のストーリーを残し伝える～」というセッションでも、ワコムが開発中の取り組みが紹介されました。創作の証、ストロークの軌跡、そのときのサイドストーリーをデータとして残すことを目指したプロジェクトです。

現在、クローズドユーザーテストの実施中で、セルシスの協力を得てCLIP STUDIO PAINTからダイレクトに登録できる仕様にしています。

担当者は「創作時、アーティストはどんなことを考えていたのか、どこにこだわったのか。アーティストの思いを作品と紐づけてデータとして残すことで、アーティストにとっては後から見返せるメリットがあり、またファンにとっても作品鑑賞の幅を広げる効果が期待できます」と説明していました。

  • 創作の軌跡やストーリーも記録しておける、wacom Yuify。担当者は、2023年上半期には何らかのサービスとしてリリースできれば、と話していた