Cortex-M55+Ethlos-U55でどのくらい性能が向上するのか？
ところで先ほどPhoto04で、Cortex-M55が15倍、Ethlos-U55が32倍の性能なので、組み合わせると15×32＝480倍、という謎の数字が出てきたわけだが、中島氏によれば「機械学習に関して言えばEthos-U55が利用できるが、その前処理とかはCortex-M55のDSP命令とかで行う形になり、これがオーバーラップして動作できるので、掛け算となる」という説明であったが、そうだとしてもこの数字にはならないだろう(DSPならそもそも5倍だろう、という話もある)。
もう少し現実的な数字として示されたのが、いわゆるVoice Assistant(音声アシスタント。スマートスピーカーのアレ)向けの処理をローカルで行った場合の性能である。Cortex-M7比で言えば、Cortex-M55+Heliumで6倍、Ethos-U55を組み合わせると50倍に高速化されるとしている。その一方で性能/消費電力比も25倍程度改善されるというもので、こちらはまだ納得できる数字だ。
-
Photo07:Voice Assistantの場合、まず音声処理(ノイズキャンセルやビームフォーミングその他)をDSPで処理し、その後AIの推論をHeliumなりEthos-U55なりで動かす形になる
Arm的には、いわゆるAIの負荷に応じた処理に関して、従来Cortex-Mだけで行ってきた、きわめてシンプルな処理と、Cortex-AやMali、Ethos-Nを利用して行われる高性能なアプリケーションの中間をここで狙いたいという意向であった(Photo08)。
-
Photo08:こちらの図と比べてみるとなかなか趣が深い。ここの右端に出ている"Real-time recognition"が、Ethos-Nシリーズの左端に出てくる"Smart Cameras"とほぼ同等(ということは、1TOPS程度の処理性能)ではないかと思われる。そう考えると、Ethos-U55の処理性能は最大でも0.6～0.7TOPS程度だろうか？
新たな開発環境が提供される予定
ちなみに開発環境に関して言えば、新しく統合開発環境を提供予定(Photo09)という話であるが、こちらはまだ詳細は明らかではない。とりあえずはKeil MDKをベースに提供されるようだが、GNU+Eclipseとか、IAREWとかはどうなのかと言った事は現状まだ決まっていないようだ。
-
Photo09:DSPコードはCMSISのライブラリを呼ぶ形で実装されるとして、ニューラルネットワークモデルについてはArmNNがこれをカバーする(とりあえず最初はTensorFlow Lite for MicrocontrollerをArmNNからサポートするそうで、今後順次対応ライブラリを増やしていくとの事)という話で、であれば統合開発環境もへったくりもないのでは？ という気もしなくはない
このCortex-M55+Ethos-U55、とりあえずALIF/BES/Cypress/NXP/STMicro/SamsungがIPライセンスを取得した事が今回明らかにされている(Photo10)。
-
Photo10:もっともこれらのメーカーが、両方ともライセンスを取得しているのかは明らかにされていないし、ライセンスを受けたからといって製品がそのまま出てくるかどうかはまた別の話である
また先ほどのPhoto04でも出てきたが、これらを全部統合したCorstone-300も今回提供されることになっている。すでにIPの提供は開始されているそうで、早ければ今年のArm TechConでは動作サンプルが展示され、来年あたりには出荷を始めるベンダーもありそうだ。
