評価作業部会では、提案された構成案は、Linpack 10ペタFlopsのターゲットを達成可能であると判断されたが、10ペタFlopsを実現すれば世界一になれるという保証は無いので、将来的なシステムの拡張に対応できる設計が望まれるというコメントが付いている。

また、当初は、Linpackと並んでスパコンの性能評価に用いられるHPC Challengeの28項目中の過半数で世界最高性能というターゲットが設定されていたが、HPC Challengeの中にはインターコネクトの最小、平均、最大レーテンシなどのシステムの部分的な性能を測るベンチマークがあり、単純に28項目の過半数というのは不適当ということで、HPC Challengeの表彰が行われる4種のベンチマークで最高性能を達成するというターゲットに変更された。

アプリケーションにより、スカラ向き、ベクトル向きということがあるのは理解できるが、Linpackや表彰対象のG-HPL、G-Random Access、EP-Stream、G-FFTの4種のプログラムは複雑系ではなく、単一の問題であり、これをスカラとベクトルの演算部に分散して同時実行したという例は、Top500やHPC Challengeには登録されていない。特性の違う2種のシステムに単一の仕事を分割することの困難さに加えて、それが可能であったとしても、それならば、ローレンスリバモアのBlueGene/LとASC Purpleを繋いで合計した性能を一つのシステムの性能としてTop500やHPC Challengeに登録できるのかどうかは疑問である。

評価報告書とそれに添付された参考資料には、スカラ部とベクトル部の性能の割り振りについては何も書かれていない。従って、推測するしかないのであるが、概念設計を行った専門家は、当然、このようなスカラ、ベクトルシステム間の処理分割の問題には気が付いている筈であると考えると、どちらか単独のシステムでもこれらのターゲットを達成する構成になっているのかも知れない。

また、評価には、このシステムの設計を基に、スケールダウンしたシステムを大学の計算センターに展開することが可能かという項目がある。次世代スパコンが全国1台の孤高のシステムではなく、プログラムのデバグや小規模の処理がこれらの計算センターで行えるようになれば便利であり、重要な配慮である。この点に関して、これらのセンターの大部分は設置面積が600平方メートル以下、供給電力は1.5MW以下であるが、この次世代スパコンの下方展開を行ったシステムは、この条件に合致するので妥当であるという判定になっている。

しかし、画期的な省電力と省スペースを実現すると書かれている、肝心の次世代スパコン本体については、報告書には、消費電力、設置面積の記述が無い。また、実アプリケーションの性能に関しては、概念設計の段階で、ナノ、バイオ、物理・天文、地球科学、工学の5分野の100本以上のアプリケーションの中からターゲット・アプリケーション21本を選定し、その中の主要なアプリケーション7本の実行性能を評価した結果、ペタFlops級の実行性能を有するので、実効性能は十分であるという評価である。

以上のように、概念設計に対する評価は、拡張可能性を検討すべきとか、システム全体の効率的な資源配分や高いユーザビリティの確保するためのトータルシステムソフトウェアの開発の検討を十分に行うべきであるなどのコメントが付けられているが、全体としては妥当な提案であり、今後、詳細設計を進めるべきであると評価された。

但し、この評価報告に付けられた参考資料の記述は、非常に高位レベルのシステムイメージしか含んでおらず、具体的なシステムのイメージは、まだ、不明な点が多い。世界トップを目指すことから、早い時期に米国に手の内を晒すことは得策ではないという配慮があるのかも知れないが、個人的な興味としては、もう少し具体的な内容を公開してもらいたいものである。