NTTは、11月14日～17日、東京都武蔵野市のNTT武蔵野研究開発センタにおいて、同社グループの研究開発成果を公開する「NTT R&D FORUM 2023」を開催した。
-
NTT R&D FORUM 2023が行われたNTT武蔵野研究開発センタ
次世代コミュニケーション基盤構想「IOWN」や、先ごろ発表した生成AI大規模言語モデル「tsuzumi」など、約100テーマの展示を行っている。
NTTの島田明社長は、「労働力不足、環境・エネルギー問題、高齢化や医療費の増大、ウェルビーイングの追求といった日本が抱える社会課題を解決するのが、IOWNやtsuzumiを中心としたNTTのR&Dになる」と語る。
-
NTTの島田明社長
展示会場は、tsuzumiの機能やユースケースを紹介する「IOWN Pick Up」、APN（オールフォトニクスネットワーク）による新たな世界を紹介「IOWN Now」、ネットワークを活用した新たな社会実現を提案する「IOWN Evolution」、サステナブルやウェルビーイングなどの観点から未来の社会を描いた「IOWN Future」で構成し、最新の研究成果を要素技術を公開したほか、サービスやユースケースも数多く展示している。
-
NTT R&D FORUM 2023の受付の様子
NTT R&D FORUM 2023の展示の内容をレポートする。
IOWN Pick Up
「IOWN Pick Up」では、tsuzumiに関する11種類の展示を行っていた。多くの人を集めていたのが、身体感覚を持つtsuzumiの展示だ。tsuzumi搭載ロボットが、ユーザーの要求に応じてメニューやテーブルの配置を考え、理由を説明しながら配膳を行うデモストレーションを実施。たとえば、寒い冬の日に温まる食事を作ってほしいというと、温まる食事メニューを選び、その理由を説明しながら配膳。ユーザーが左利きであることを理解すると、箸やスプーンの置き方にも配慮してくれる。
また、tsuzumiのマルチモーダルの特徴により、実世界を統合的に理解するデモストレーションでは、上司と部下のコミュニケーションの様子を読み込ませると、対話の内容を理解したり、相手の会話を遮って指導している様子などを、音声および表情を通じて把握。その分析をもとに、上司のパワハラを指摘したり、行動改善につなげるアドバイスを行ったりする。
そのほかにも、ショッピングサイトにレビュー機能を追加するためのソフトウェア開発を自然言語で行ったり、セキュリティ専門家に代わってインシデント対応を会話形式で実施したり、閲覧しているサイトがフィッシングサイトであることを判定したりといった展示も行っていた。
-
tsuzumiは、6億パラメータの超軽量版と、70億パラメータの軽量版を用意。世界トップレベルの日本語処理性能を持つ
-
tsuzumiに身体感覚を持たせた展示では、ロボットがユーザーの要求にあわせたメニューやテーブルの配置を考える様子をデモストレーションした
-
グラフィカルな文書も理解するtsuzumi。IOWNのロードマップの図表から、2025年にボード接続用デバイスを提供することを読み取っている
-
マルチモーダル基盤モデルによって、複合的なAIサービスを実現する。音声や映像などから状況把握や性格推定を行い、ニックネームを決めるデモストレーション
-
tsuzumiに聴覚や音声を持たせたデモ。声の様子から、相手の体調や感情を汲み取って最適な対応を行う。写真は、問い合わせた人が子供であることを認識し、子供に最適な観光地を表示している用意。ここでは、同時に子供との会話に適した音声で回答していた
-
tsuzumiは利用者の状況を理解することができる。好みや体調、時間的および地理的制約などを考慮した旅行スケジュールを立案。さらに対話によってスケジュールを自律的に修正する
IOWN Now
APN（オールフォトニクスネットワーク）によって実現するIOWNの世界を紹介していたのが「IOWN Now」である。IOWNの最新技術やそれによって実現されるユースケースなどを紹介していた。
ここでは、建設機械の遠隔操作システムにAPNを利用している例を、EARTHBRAINおよびジザイエ、竹中工務店との協業から紹介していた。建設業界では、労働力不足が深刻化しているが、低遅延、大容量のIOWNの特徴を生かし、遠隔操作によって、現場の建設機械を操作している環境を実現。建設業界が抱える課題解決に貢献している様子を示した。
-
EARTHBRAINとの協業によるデモストレーション。遠隔地から建設機械を操作することができる
-
ジザイエ、竹中工務店との協業による建設機械の遠隔操作。IOWN APNの低遅延、大容量伝送の強みを生かして操作性を向上させている
-
APN-Tに対応した通信事業者向けのNEC「WX-T 800Gトランスポンダ」も展示
-
2025年に商用化を目指しているIOWN 2.0を実現する光エンジンと、スイッチボード
-
400Gコヒーレント通信用のシリコンフォトニクス技術を用いた光学サブアセンブリ部品のCOSA2.0
-
超強力汎用ホワイトボックスのコントローラ技術をモックアップで展示。アクセラレータ専用プロセッサカード、メモリカード、光スイッチカード、電気スイッチカードを搭載している
-
データの生成から破棄までのすべてのフェーズで暗号化して保護するとともに、データ主権を保つことができるIOWN PEC for ソブリンハイブリッドクラウドを紹介
-
ドローン積載カメラや街頭カメラで撮影した高精細映像から物体などを低電力に検出する超高精細映像AI推論ハードウェア構成技術をデモストレーション
-
アプリケーションの性能を維持しながら、サーバーの消費電力を削減するパワーアウェア動的配置制御技術（PADAC）
IOWN Evolution
「IOWN Evolution」では、ネットワークを活用した新たな社会実現を提案。そのなかでも注目を集めていたのがパーソナライズドサウンドゾーン（PSZ）である。耳をふさがないオープンイヤー型イヤフォンを使用し、利用者にしか聞こえない音響と周囲の音とあわせて音を体験したり、スピーカーから必要な音を抽出して再現したりする技術だ。たとえば、オーケストラの演奏を楽しみながら、専門家による解説を聞くことができたり、自動車のヘッドレストにスピーカーを搭載し、車外の騒音をカットしながら、救急車のサイレン音だけを聞きやすくし、どの方向から来たのかもわかりやすく再現したりできる。
-
パーソナライズドサウンドゾーンの展示
-
パーソナライズドサウンドゾーンは音響XRと、能動騒音制御および所望音抽出技術などによって実現している
-
NTTドコモの5ミリ波を活用した高速大容量通信を高精細ARゲームで体験。スマホを操作して氷漬けのマンモスを助けだす。映像に遅延がない立体的な音も体験できる
-
APNを活用したリアルタイム映像コミュニケーションを実現する超低遅延分散型映像分割表示処理技術。離れた場所でダンスをしても合わせることができる
-
分散型映像分割表示処理装置。遅延することなく複数の拠点をつないだ分割表示を可能にする
-
マルチビット光伝送を可能とする超広帯域ベースバンドアナログICや、100ギガビット無線伝送を可能するサブテラヘルツ帯アナログICを展示
-
無線アクセスにおける高速大容量化技術の展示。100Gbps超の実現を目指すという。AIを活用したRF不完全性補償技術やTDD無線システムを収容するアナログRoF技術などを活用
-
HAPSをはじめとしたNTN（非地上ネットワーク）技術により、超カバレッジ拡張を実現。空、海、宇宙を含む様々な場所での通信が可能になる
-
水中ドローン。完全無線制御により、海底通信ケーブルの保守作業を効率化する
-
300m離れた浅海域エリアで1Mbpsの伝送を実現した海中音響通信技術を開発した
-
深部体温センサ。体の表面に貼ることで直腸温度センサと同等の測定が可能であり、生体リズムと生活リズムとのずれを可視化して、睡眠の質を改善できる
-
ウェアラブルグルコースセンサ。電波を用いて、針を刺さずに24時間血糖値のトレンドを測定できる
-
地図シェアリングシステムを活用することで、清掃ロボットと警備ロボット、配送ロボットなどの異なるロボットが、それぞれのロボットにあわせた地図データを変換したり、最新の地図情報を共有したりすることで、連携した動作が可能になる
-
Project Humanityの取り組み。わずかな筋肉の動きや脳波から意識を読み取る「身体能力転写技術」を活用し、ALS（筋萎縮性側索硬化症）の患者が、アバターを利用して身体の動きを表現。ALS患者がイベントを開催した事例も生まれている
-
脳波から運動命令を抽出し、車いすなどの各種デバイスやアバターの操作に活用するニューロサイバネティクスによる運動支援。脊髄への信号を抽出し、脊髄のメカニズムを模擬した刺激パターンを推定することに成功したという
-
鏡の前に座ると、自分のデジタルによる分身と、バーチャルエージェントが登場し、裸眼XR相席対話技術によって、リアルとバーチャルの境界や時空を超えた会話ができる「リアル・バーチャル融合体験」
-
メタレンズとAIを組み合わせたハイパースペクトル撮像技術を紹介
ハイパースペクトルデータ解析技術のデモ。ライティングとの組み合わせで対象物の見映えをシミュレーションし、それを可視化する
-
鏡に表示されていたアバターが鏡から飛び出して立体的に表示される超鏡空中像技術。リアルの世界とバーチャルの世界を交錯させている
-
自転車競技レースを再現したバーチャル世界において、選手と一緒に走ることができるXRスポーツ空間のデモストレーション。広域3D映像空間だけでなく、広域3D音響空間、広域振動空間も再現する
-
空間や動きをリアルタイムに計測し、3D点群による空間再現を遠隔地で行える動的3D点群再現技術
-
IOWNが実現する未来のクルマの様子も紹介していた
また、「IOWN Evolution」のエリアでは、トヨタ自動車の自動運転車であるe-Paletteを活用した無人車両販売「e-Palette Store」のデモストレーションも行っていた。NTTデータのデジタル店舗運営サービス「Catch & Go」により、専用アプリの2次元コードで認証して車内に入り、棚にあるスムージーを取り、車外に出ると、そのまま決済が完了する仕組みになっている。車内の天井などに設置したカメラと、棚に設置された重量センサによって、なにを購入したのかを把握する。また、デジタルHuman技術と対話型AIを用いて、無人店舗でありながらも対話ができたり、来店客との会話を通じて、AIの分析結果から最適な商品を勧めたりといったことができる。自動運転により目的の場所に移動し、自動決済し、自動で戻ってくるという仕組みだ。過疎地やイベント会場などでの販売にも適しているといえるだろう。
-
無人車両販売を行う「e-Palette Store」
-
専用アプリの2次元コードで認証して車内に入る
-
車内ではデジタルHuman技術を用いたアバターとの対話が可能だ
-
棚には重量センサが設置されており、棚割情報との組み合わせで、なにを購入したのかを把握する
-
天井には数多くのカメラが設置されている
-
無人車両を出ると自動的に決済が完了している
IOWN Future
「IOWN Future」では、IOWNによって実現する未来の社会を、サステナブルやウェルビーイングなどの観点から紹介していた。ユニークな展示のひとつが、眼から心を読むことができるマインドリーディング技術の展示だ。行動中の人の認知や心理状態の変化を解読。そのために時速300kmを超える極限下にあるカーレーサーの認知状態変化に着目し、カーレーサーが意識しない瞬きのパターンを検出して、認知状態の変化を解析したという。さらに、注意状態や聴覚への反応などでの瞳孔の変化を計測。それらから得られた知見をもとに、映像を見ている方向に目を向けると、その音を強く聞くことができるデモストレーションを行っていた。自分が聞きたいと思った音を、視線だけで聞きやすくするといったことが可能になる。
-
ヘルメットにカメラを装着してカーレーサーの瞬きから認知状態の変化を解析した
-
サックスを吹いている人に視線が行くと、サックスの音が強く聞こえる
-
NTT光ファイバ網による実証実験に使用した装置。関東圏内において超高精度格子時計ネットワークを構築。また、東北地方への1000km級長距離光格子時計ネットワークを構築したという
-
意味に基づいて音声を分離し、抽出することができるConcept Beam。関心のある話題の音声だけを取り出すことができるという
-
超広域大気海洋観測データにより、台風や線状降水帯などの予測精度を高める地球環境未来予測技術も展示した。観測技術とともに、気象気候再生モデルリング技術を活用している
-
過酷な宇宙放射線から宇宙インフラを防御するプロアクティブ宇宙放射線バリア技術
-
太陽光のエネルギーを利用して、二酸化炭素を気体のまま長時間にわたり削減し続ける人工光合成を展示。高品質な半導体光触媒に、劣化を抑制するための緻密な保護層を適用することで、数100時間以上の連続動作を実現した
-
海洋生物のCO2吸収能力や生育促進を向上させることで、環境問題と食料問題を解決できる生物学的変換技術を紹介
