「マッキー」などの筆記具で知られるゼブラが、各種センサーを内蔵したデジタルペン「T-Pen」を用いて仮想空間に手書きできる新しいプラットフォーム「kaku lab.」（カクラボ）を発表。Meta QuestシリーズなどのXRゴーグルを用いると、空中に3Dの図形が描写でき、生成AIを利用して描いた図形を3Dイラスト化するといったことができます。

今回はkaku lab.の技術発表と位置づけており、kaku lab.とT-Penの技術を生かせるビジネスパートナーを探し、AI家庭教師や多言語翻訳、医療分野のDXなどのサービス化を進めていきたいとしました。当面、T-Penを一般向けに販売する予定はありません。

  • ゼブラが、仮想空間に3Dの図形を手書きできるプラットフォーム「kaku lab.」（カクラボ）を発表。手書きに使うのが、各種センサーを内蔵したデジタルペン「T-Pen」だ

kaku lab.は「カクを拡張する」をコンセプトに、ゼブラが開発を進めてきた新プラットフォーム。専用ペン「T-Pen」を使い、最先端の技術を用いて書くことの楽しさを伝えるとともに、手を動かすアナログの筆記具は想像力を発揮しやすいというメリットを生かすべく、プロジェクトがスタート。T-Penは各種センサーやBluetoothを搭載しながら、シャープペンシルとしても使え、アナログとデジタルが融合した新世代の筆記具と位置づけています。バッテリーも内蔵していますが、長さは146mm、重さは19.6gに抑えており、LAMYのサファリ万年筆（長さ140mm、重さ17g）ぐらいのサイズ感にまとめていました。

  • ゼブラが開発したT-Penは、各種センサーやバッテリー、ワイヤレス通信機能、シャープペンシルとしての機能を搭載しながら、とてもコンパクトに仕上がっている。サイズ感でいうと、低価格でなじみのあるLAMYのサファリ万年筆に近い印象だ

  • T-Penにはさまざまなセンサーを内蔵しており、筆圧や筆記の角度、筆記の速さなどのデータがリアルタイムに取得できる

kaku lab.を利用したサンプル的な機能として、Meta QuestシリーズやApple Vision ProなどのXRゴーグルを装着することで、空中へお絵描きできる機能を開発。右手にT-Penを持った場合、左手でジェスチャー操作をすることで描画や色の変更ができ、少し慣れれば自在に操れました。

  • 左手のジェスチャーを交えると、空中に絵が描ける。ゼブラだけに、絵はシマウマの絵だ

  • XRゴーグルを装着した本人は、このように見える。XRゴーグル内蔵のカメラが、手や指の状況を細かく把握しているのが分かる

  • 左手の親指と人差し指をくっつけると描く動作になり、指を離すと描画が止まる仕組み

単純に描くだけにとどまらず、生成AIと組み合わせた高度な機能も提供するのが特徴。絵を描いたあと、画面に現れるパネルのボタンを押すと、ラフに描いた絵の内容を解析してリアルなCG画像を生成してくれます。生成した画像は3D化されており、手のジェスチャーで向きや大きさを自在に変えられます。

  • 魚の絵を描いて生成AIでイラスト化し、3Dモデル化した。3Dモデルは仮想空間でつかんで向きや大きさを自在に変えられる

  • 空中にラフに描いた剣の絵をもとに生成AIでリアルな剣を生成し、それをもとにバトルする遊びも可能だという

kaku lab.を利用したサービスとして、エンタメ的なコンテンツのほか、AI家庭教師や多言語の翻訳機能、映像に合ったサウンドを自動で生成する機能などを、NTマイクロシステムズやインタラクティブラボラトリーなどの外部企業と連携して開発しています。

ゼブラは今回の発表を経て、さらなる外部パートナー企業との連携を深め、教育や医療などの分野でkaku lab.やT-Penを利用したサービスを生み出したいとしています。

  • T-Penを手にするゼブラの石川太郎社長（中央）