アンチウイルスの第三者評価って?

情報セキュリティにはさまざまな専門用語がありますが、その多くのワードは「詳しくわからない」「他人に説明できるほどではない」という方が多いのではないでしょうか。マイナビニュースでは、カスペルスキー エヴァンジェリスト前田氏に寄稿いただき、"ググってもわからない"というセキュリティ用語を一から解説します。第3回のテーマは「アンチウイルスの第三者評価」です。

著者プロフィール

前田 典彦(まえだ のりひこ)
カスペルスキー 情報セキュリティラボ チーフセキュリティ
エヴァンゲリスト

マルウェアを中心としたインターネット上のさまざまな脅威解析調査の結果をもとにし、講演や執筆活動を中心とした情報セキュリティ普及啓発活動に従事

アンチウイルスの第三者評価、見たことありますか?

今回は、アンチウイルスの性能を評価・比較するうえで参考となる「第三者評価」について解説します。

現在、有償無償を問わずに、アンチウイルスを開発する会社や組織は無数に存在します。全世界にいくつ存在して、どれだけの製品がリリースされているのか、正確な数を把握している人は、おそらくいないでしょう。そこで1つ、参考になるのが無料で多くのアンチウイルスソフトの検査ツールを利用できる「Virus Total」です。ここに参加している会社・組織・製品数が、今年9月の時点で「54」でしたので、少なくとも、これと同数以上のものが存在していると言って良いでしょう。

日本国内においては、リリースされているアンチウイルス製品すべてを入手できるとは限りませんが、それでも、店頭やオンライン販売、フリーのダウンロードソフトなどで入手できるアンチウイルスが、数十は存在しています。

価格以外でこれらを比較検討する時、性能は1つの大きな判断材料となるはずです。アンチウイルスの性能とは何かを考える際、前回・前々回で述べたような機能面の話は、重要な要素です。

しかし、本質的に考えれば、マルウェアを何らかの方法で検知することがアンチウイルスの主たる仕事ですから、その検出精度こそが、性能を語るうえで最も重要な要素になるでしょう。

ここで参考になるのが、今回の主題である「第三者評価」です。

実は、営利・非営利の差異はありますが、アンチウイルスをテストして評価する機関が欧米を中心に複数存在しています。残念ながら、筆者が知る限りでは、日本国内に存在していません。

ただ、国内で販売されているアンチウイルス製品を見ていると、「○○テストで1位獲得!」などといった表現をセールスポイントとしてアピールしているものを目にすることがあります。

1位になることは、素晴らしいことです。ですが、そのテストはどのような基準で何の評価を行っているのかなどを考慮せずに、単に「1位だから素晴らしいに違いない」ととらえるのは早計です。

以下に、いくつかの評価機関を紹介しましょう。

AV Comparatives(読み方:エーブイ コンパラティブス)

独立系の評価機関。評価テストで使用するマルウェア検体数が非常に多いことで有名。テスト評価項目が多彩で、典型的なファイル検知テストのほかにも、ヒューリスティック検知テスト・誤検知率テスト・マルウェア駆除テスト・ファイアウォール評価テスト・パフォーマンステスト・OS毎の検知テストなど十数種類を定期的に実施している。

AV Test(読み方:エーブイ テスト)

ドイツが本拠地の独立系評価機関。個人・法人・モバイル向けの製品ごとに、検知率テスト・パフォーマンステスト・駆除テストなどを実施。マルウェアとスパムメールの全世界規模の調査集計も行っている。

Virus Bulletin(読み方:ウイルス ブリテン)

マルウェア検知率テストである「VB100」と、スパム判定率テストである「VBSpam」を二本柱とする評価機関。

VB100では、Virus Bulletinが用意したマルウェアサンプルすべてを検知し、かつ誤検知をしないことが認証の条件。また、認証以外にRAP (Reactive and Proactive)テスト結果も公表している。

MRG Effitas (読み方:エムアールジー エフィタス)

360アセスメント(ItWテスト)とオンラインバンキングテストを二本柱とするイギリスの評価機関。2009年に設立されたMRG(Malware Research Group)が母体となっており、2つのセキュリティ製品を機能ごとに比較するVSテストも実施する。

上記の例以外にも、NSS LabsやMatousec、メディアの評価テスト、モバイル系に特化した評価テストなど、数十の機関が実に年間100以上の評価テストを行っています。評価テストの結果は、公表されるものもあれば有償で購入できるものもあり、さまざまです。また、評価テストにも一定のルールが必要ではないかという業界全体の課題意識から、AMTSO(Anti-Malware Testing Standard Organization)という組織が立ち上がり、評価テストに関する標準化を推進する動きもあります。

これら評価テストの結果を参考にする際、留意していただきたいポイントをいくつか紹介します。まず、それぞれの評価テストには、すべてのベンダーや製品が参加しているわけではないということです。各ベンダーが自主的に参加するエントリー方式を採用しているテストもあれば、テスト実施側が独自に評価対象製品を選択する場合もあり、中には製品をテストに使用することを禁じているベンダーも存在します。前述の4機関の紹介でも触れたように、テストの手法にも機関ごとに個性があることを知っておきましょう。

すべてのテストで最優秀、もしくは1位を常に獲得できる製品がこの世に存在すれば単純にそのソフトウェアを利用すれば良いのですが、現実はそうではありません。ある評価テストで好成績を修めた製品が、別の評価テストではあまり良い成績ではないこともしばしばです。

したがって、製品の比較検討を行う際の材料として評価テストを参考にするのであれば、複数の評価機関の継続したテスト結果を参考にするべきです。検知性能にムラがあるようでは安心してセキュリティを任せるわけにはいかないでしょう。さらに、テスト手法や条件、環境などを把握したうえでテスト結果を比較すれば、各製品の強みやクセが見えてくるかもしれません。

また、第三者機関と言いつつも、テストによっては、ベンダーがテストのスポンサーになっているケースもあるということを、頭の片隅にとどめておきましょう。そうすればベンダーが掲げる「No.1」というセールストークに惑わされずに済みます。最後に、評価機関が実施するテストは"棄権"こそできますが、現実の攻撃は"パス"できないことを忘れずに。