3DMark Vantageのテスト項目については以上で大体網羅したわけだが、実際にテストに使う場合もう一つ確認しておくべきことがバラつき。つまり、同じ構成でベンチマークを廻した際に、結果がどの程度変化するか、は先に確かめておかないと、ある値をポンと出されたときに、それが構成の差なのか、ベンチ自身に起因するバラつきなのかを確認できないことになる。そこでCore 2 Extreme QX9770＋GeForce 9800 GTXという構成で、3DMark Vantageの4つのPRESETをそれぞれ10回ずつ廻し、結果を集計してみた。

表7～11がその結果である。まず平均値は単純に10回(CPU TestとFeature TestはPRESETを何にしても同じなので、40回)の平均。バラつきとは表にあるように、各々のテストにおける最大値と最小値の差、比率とはそのバラつきの値と平均値の比、分散とは標準偏差の二乗である。統計的には分散を使って見たほうが判りやすいが、直感的にはバラつきの比率の方が便利だろう。

表7
3DMark Overall Entry Perfor
mance		 High Extreme
平均値 19282.64 5926.98 3493.43 2082.92
バラつき(最大値－最小値) 147.20 43.71 37.97 81.77
バラつき比率 0.76% 0.74% 1.09% 3.93%
分散 2226.36 165.36 188.54 708.84
表8
Graphics Score Entry Perfor
mance		 High Extreme
平均値 22981.23 5013.89 3093.54 1994.74
バラつき(最大値－最小値) 35.10 41.47 33.63 79.00
バラつき比率 0.15% 0.83% 1.09% 3.96%
分散 143.67 128.89 154.44 659.31
表9
Game Test GT1 GT2
Entry Perfor
mance		 High Extreme Entry Perfor
mance		 High Extreme
平均値 57.0742 14.1715 8.8051 6.0994 77.9122 15.2192 9.3267 5.5775
バラつき(最大値－最小値) 0.2143 0.0640 0.0549 0.1532 0.1428 0.1851 0.1492 0.3657
バラつき比率 0.38% 0.45% 0.62% 2.51% 0.18% 1.22% 1.60% 6.56%
分散 0.0046 0.0003 0.0004 0.0029 0.0023 0.0033 0.0037 0.0116
表10
CPU Score Overall CPU1 CPU2
平均値 13036.75 1755.61 18.49
バラつき(最大値－最小値) 5692.70 28.33 1.76
バラつき比率 43.67% 1.61% 9.53%
分散 7499.00 62.30 0.13
表11
Features Test FT1 FT2 FT3 FT4 FT5 FT6
平均値 603.8330 3.2755 11.8122 21.7755 25.8183 24.1516
バラつき(最大値－最小値) 0.0830 0.0053 0.0320 0.0295 0.0133 0.0353
バラつき比率 0.01% 0.16% 0.27% 0.14% 0.05% 0.15%
分散 0.0007 0.0000 0.0000 0.0001 0.0000 0.0001

さて結果をみてみると、あれぇ? という気になる。大雑把に言えば、どんなテストでも1%前後のバラつきが見られるのはごく普通の事だ。以前、3DMark03を100回実施してバラつきを見る、というテストを行った事があるが(テストだけで8時間以上掛かった)、この時には3%前後の変動が見られた。今回の場合、3DMark Overallを見るとEntry～Highは1%以内とかなり優秀だが、Extremeのみなぜか突出して変動が大きい。これはOverallのみならず、Graphics Scoreでも言えることで、特にGame Test 2の結果はかなり大きいと言える。

またCPU Scoreについても、Overallでは43%ものスコア変動が見られる。ただし個別に見ればCPU 2でも9.53%とそれほど大きくない。これが43%にも膨らんだのは、やはりCPU Testの係数が非常に大きいため、変化が大きく出やすい事が挙げられよう。にも関わらず、3DMark Overallに反映されにくいのは、CPU TestのWeightが異様に小さいためと考えられる。特にExtremeの場合はWeightが5%でしかなく、ここで大きな変動があってもそれほど結果には反映されにくいという事だろう。