ソニー、スマホで使える小型モーションキャプチャ「mocopi」直販49,500円

ソニーは、手持ちのスマートフォンと組み合わせて自分の全身の動きを手軽にデータ化できるモバイルモーションキャプチャー「mocopi」(モコピ)を2023年1月下旬に発売する。直販サイト「ソニーストア」での直販価格は49,500円。予約販売を2022年12月中旬から開始予定だ。

• mocopi(型名：QM-SS1)

• mocopiの利用イメージ

加速度センサー(3Dof)と角速度センサー(3Dof)、バッテリーを内蔵した小型軽量のモーションキャプチャーで、専用のスマートフォン用アプリと組み合わせて使う。アプリ内でデータの収録・保存・送信まで完結するのを特徴としている。

• 身体に6つのセンサーを装着

• 専用アプリから、各センサーの装着箇所の詳細をチェックできる

センサーと手持ちのスマホだけで場所を選ばず使え、バーチャルキャラクターを使って自宅や屋外で動画を撮影し、どこでもVTuber動画を手軽に制作できるようになるという。

• 専用アプリの収録画面。表示されているアバターの名前は「レイノスちゃん」という。ソニーがデザインを起こした、mocopiのマスコットキャラクターとして展開する

• レイノスちゃんを活用したバーチャルキャラクターの動画撮影イメージ

全身用に6つのセンサーを同梱し、頭と両手首、両足首、腰に付属のバンドとクリップで体につけるだけで使える“完全ワイヤレス”仕様。Bluetooth LE Ver.5.2準拠で、最大10mまで離れて通信可能だ。専用スーツも必要ない。

• mocopiのセンサー。それぞれ装着部位が決まっている

ソニーの独自のアルゴリズムにより、“圧倒的な気軽さ”を実現。ソニーがこれまで培ってきたモーションデータ関連技術を使ったディープラーニングをかけることで、「センサーをつけていない関節に関しても一定以上の精度を担保する」とのこと。

なお、発売日時点では6つすべてのセンサーを身体に装着して使う必要があるが、「上半身の動きのみをオンライン配信に使う」といったユースケースやニーズがあることも想定し、今後鋭意検討を進めていく。

• 身体に装着するためのクリップとバンド

• センサーのクリップへの装着イメージ

1個あたりの本体サイズ/重さは約32mm×11.6mm(直径×厚さ)/8gと、500円玉(直径2.65cm/重さ7.1g)よりも少し大きいサイズ感。IPX5/IPX8相当の防水仕様と、IP6X相当の防塵仕様を兼ね備える。センサーの連続使用時間は最長10時間。付属の充電ケースはUSB-C充電対応で、充電時間は約1.5時間。

• 付属の充電ケースで充電しているところ

対応OSは、iOS 15.7.1以降とAndroid 11以降。ソニーでは対応スマートフォンとして以下の機種を挙げている。

iPhone

• iPhone 12、iPhone 12 Pro、iPhone 12 Pro Max
• iPhone 13、iPhone 13 Pro、iPhone 13 Pro Max
• iPhone 14、iPhone 14 Plus、iPhone 14 Pro、iPhone 14 Pro Max

Androidスマートフォン

• Xperia 1 II、Xperia 1 III、Xperia 1 IV
• Xperia 5 II、Xperia 5 III、Xperia 5 IV

専用アプリでは、MPEG-4 AVC/H.264(MP4)形式で最大1,920×1,080ドット/30fpsの動画として記録。音声収録はAAC形式。フレームレート50fpsのモーションデータ(BVH形式)として保存することもでき、外部ソフトウェアまたはサービスにもリアルタイムに送信できる。動画記録時はアバターや背景色を変更可能で、自身で所有する3Dアバターファイル(VRM形式)をアプリにインポートしての収録にも対応。

アバターの口元はスマホ側で収録した音声に合わせ、音声認識を活用したリップシンクが行える。なお、顔の表情や指といった細かな動きについては、別のソリューションと組み合わせて、身体全体の動きをソフトウェア上で合体させることもできるという。

• アプリ画面のイメージ

mocopiで簡単なセットアップを行うことで、VRChat上でアバター操作することもでき、全身の3DモーションデータをリアルタイムにPCなしでVRChatに送れるという。Meta Quest 2のVRチャットに直接モーションを流し込むことも可能。PCでは、開発者向けサイトからダウンロードできるmocopi Reciever Pluginが別途必要となる。

さらに、取得したモーションデータをUnityやMotion BuilderといったPC用の外部ソフトウェア(3D開発ソフト)に読み込ませ、各ソフトが持っているヒューマンモデルに適用して、手軽に3DCGアニメ制作に役立てられるとする。

ソニーでは、動作確認済みの外部ソフト・サービスとして、前出のVRChatやUnity、Motion Builderのほか、VR機器で3Dモデルをコントロールし、好きなアバターを使ってVRゲームに入ったような撮影が行えるオープンソースソフトウェア「Virtual Motion Capture」にも対応するとしている。

今後の展開として、ソニーではメタバース向けサービスや3D開発ソフトと連携するSDK(Software Development Kit)を12月15日に提供開始予定。mocopiのモーションデータをPCでリアルタイムに受信し、UnityやMotionBuilderなどで即時確認しながら編集でき、ソーシャルプラットフォームのアプリケーション経由で配信することもできるようになる。これにより、メタバースやフィットネスなどの領域での新たなサービス開発に寄与するとしている。

なお、mocopiはXR/メタバースをテーマとするテックカンファレンス「XR Kaigi2022」(主催：Mogura)へのオンライン/オフライン出展が決定。オフラインでは一般ユーザーに初めて披露する機会になるという。会期はオンラインが12月14～16日で、mocopiのオンラインプレゼンは2日目の15日に開催。オフラインでは12月22～23日に東京都立貿易センター浜松町館にて出展予定。