PCMark Vantage
さて、次はPCMark Vantageである。前回のPreviewでも簡単に触れたが、新ベンチマークだしもう少しじっくりと数字を検証してみたい。
 |
PCMark Vantageは、Windows Vista専用になった反面、64bitにも正式に対応した。そこで前回の結果に加えて64bit環境でもテストを行ってみた結果も反映した。まずOverallがグラフ42である。ここでどうも気になるのが、性能のバラつきである。Memories～HDDに関しては、まぁこんなものかと言って差し支えない傾向であるが、どうもPCMarkのOverall Scoreのバラつきが大きすぎる気がする。そこでためしに、全く別の環境(*1)で、PCMark VantageのPCMark Testのみを10回行ってみた結果を表1に示す。
 |
|
表1 |
ここで注目すべきは、一番右の「標準偏差」の項目である。PCMark Scoreで言えば±40程度のバラつきが平均的にある、という事がここから見て取れる。実際、最終的なスコアは正規分布から程遠い。
 |
グラフ43に値の分布をまとめてみた(平均値を中心として±0.5%刻みで、スコアがどこに含まれているかを勘定した)が、例えばProducivity 1とかGaming 2/Music 2などは平均値のあたりに値が集まっている一方、PCMark値やTV and Movies 2、Music 1、Communication 1あたりは平均値を挟んで両端に分布するという極端な事になっているのが判る。なるほどこれだけ値がぶれれば、標準偏差が異様に大きいものも理解できようというものだ。やっと最近になってFutureMarkからReviewer's Guide v1がリリースされたが、こちらでも大雑把になにをやっているかが示されているだけで、以前の様にスコアの算出方法などは示されていない。こちらのページにあるPCMark Vantage Whitepaperのリンク先は相変わらず404のままで、これが出てくるまでは正確なところはわからないようだ。
使い方としても、Professional Editionですらコマンドラインインタフェースが省かれてしまったようで、例えば勝手にバッチファイルで100回廻しておいて、後でまとめて統計を取るなんて使い方をするためには画面の前に張り付いて100回ぶん回さないといけなくなった。PCMark Suiteのみでも26分強、全Suiteを実行すると1時間半掛かるという代物だから、これで回数を増やすのはちょっと辛い。また最大で99回までのループ実行も出来るが、結果は勝手に平均値を取ってくれてしまうので、データの偏り具合とかを見ることも適わないから、これを使うのもちょっと怖い(あと勝手に止まることがあるので、あまり多い回数をまとめて回すと、止まったときのショックが大きい)。
そんなわけで、あまり厳密な比較というよりは、SYSmarkのサブセット的な使い方で、またOverall Scoreはあくまで参考値として使う位の感覚で扱うのが正しいようだ。
 |
以上の話を念頭において、以下もう少し見てみたい。まずPCMark SuiteのDetailをグラフ44に示す。各テストのRatingの桁が異なるので、グラフはKentsfield 32bitの値を100%とした相対グラフにしてある。さて結果を見ると64bitの値がやや暴れ気味である事を感じる。ただそれを差し引いても、CommunicationやProductivityの分野では、64bit化でそれなりのスコアアップは期待できそうだ。もっともKentsfield vs Yorkfieldという観点で見ると、大きな違いを見出すのはここからは難しい。
