年間で5,000時間もの工数削減を実現。トレンドマイクロが進めた「創造的破壊」の取り組み

標準化したIT要件のもと世界各国で等しくシステムを整備することは、経営目線で大きなメリットがあります。しかし一方、リージョンごとに存在する特有の顧客要求に対応しづらくなるというジレンマも、そこには存在します。全世界でセキュリティ事業を展開するトレンドマイクロ株式会社では、このジレンマに対するアンサーともいうべき取り組みを進めています。

サイバー攻撃の件数が増加の一途をたどる中、セキュリティベンダーに求められる責任や要求は日々高まっています。こと日本においては、顧客へ提供するサービスは常に100%の稼動率を求められ、その要求レベルの高さは全世界でも突出しているといえます。これまで同社では、本国が定めるグローバル統一のルールに準拠してシステム調達や管理を遂行してきました。一方で日本の顧客から求められるさまざまな要件に対応するにはスピード感が必要と判断し、同社は2016年より「創造的破壊」をテーマとして、クラウド時代に求められる新しいテクノロジの導入を決断。これまで慣習的に行われてきた運用方法を破壊し、DevOps ITといわれる新たなIT運用に取り組んでいます。

トレンドマイクロ株式会社IT部門では外注業者に頼る比率を下げ正社員でこれを進めるべく、Premierサポートを契約。同サービスの支援をもって、SQL Server 2016への移行をはじめとするIT環境のDevOps IT化を進めたことで、年間で5,000時間もの工数削減を実現。1リージョン独自の取り組みが効果を成した事例はグローバルでも例がなく、同取り組みは本社機能を持つ海外IT部門や他のリージョンからも、注目を集めています。

プロファイル

トレンドマイクロ株式会は、より安全な情報社会とお客様の未来を創造する、インターネットセキュリティのグローバルリーダー企業です。最先端の技術を駆使した革新的なセキュリティ対策製品を通じて、お客様の情報資産を守ります。

導入の背景とねらい
日本国内からの要求スピードに応えつつ安定稼動を担保すべく、「創造的破壊」をテーマにDevOps ITに取り組む

コンピューターを経由して企業、個人に深刻な損害を与えるサイバー攻撃。その件数は近年、増加の一途をたどっています。個人が安心して生活する、また、企業が事業を継続していくうえで、今やセキュリティ対策は欠かすことができません。こうした背景から、全世界でセキュリティ事業を展開するトレンドマイクロ株式会社(以下、トレンドマイクロ) に求められる責任や要求は、日々高まっています。

「デジタルインフォメーションを安全に交換できる世界の実現」をヴィジョンに掲げるトレンドマイクロにおいて、同社のミッションである「お客様のデジタルライフやITインフラを脅威から守る」ことをインフラ管理で支援するIT部門への要求レベルは、社内、社外問わず非常に高いものといえます。トレンドマイクロ株式会社 インフォメーションサービス本部 インフォメーションテクノロジー部 部長代行 山田 剛氏はこの点について、次のように説明します。

「インフォメーションテクノロジー部では、社内ITに加え、当社サービスのライセンス管理や照合を担う商用基幹システムも運用管理しています。当社はグローバルで事業を展開していますが、売上の多くを日本市場が占めています。日本国内のお客様は世界的にみてもサービス品質の要求度が高く、提供するサービスにはきわめて高い稼動率が求められます。要求の内容自体も多様化する中、当部が管理するシステムは、ミッション クリティカル性が非常に高いといえるでしょう」(山田氏)。

これまでトレンドマイクロでは、本国が定めるグローバル統一のルールに準拠し、システムの調達や管理を行ってきました。標準化したIT要件のもと、世界各国で等しくシステムを整備することは、確かに経営目線では大きなメリットがあります。しかし一方、リージョンごとに存在する特有の顧客要求を、スピード感をもって実現し、同社サービスの品質を下げずに安定稼動も担保することは、2015年までのIT部門の業務方法では困難になりつつありました。

事実、日本の顧客から求められる「高い稼動性の維持」においては、従来の手法では不十分だったと、山田氏は語ります。

「トレンドマイクロでは、各国のデータセンターを海外の拠点に集約し、監視機能もグローバルの監視センターが管轄しています。日本のIT部門が管理するデータセンターも、同監視センターのエンジニアが日本のIT部門に連絡する形で障害対応を行っていました。しかし、監視拠点が海外にある場合、インシデントが発生した際、対応までのリードタイムに時間がかかるなど懸念があったのです。また、軽微な障害から深刻な障害に被害が拡大することを防ぐには、連絡経路を可能な限り最短にして迅速な対応を行うことが欠かせません。そこで、日本国内のリソースで運用、監視できる体制が整備できないかと考えました」(山田氏)。

さらに山田氏は、この取り組みについて、人員増加の要求ではなくテクノロジの導入というアプローチで進めたと続けます。

「既にある課題を解消するうえで、人員要求からこれを進めるのは本質的ではありません。むしろ、今現在の運用業務が正しく効率化されているのかを確認する必要があるのです。目指すべきは、これまでのIT部門の生産性を高めること、そしてこれをもって商用基幹システムを含む対象のITすべてを24時間365時間サポートすることだといえました。過去の慣習に縛られたままではならず、自分たちの運用をあえて否定、破壊し、新しい価値を創造する必要がありました。そこで2016年から、我々の果たしたいことが実現できるテクノロジについて調査を開始したのです」(山田氏)。

山田氏が語る「国内のリソースで運用、監視できる体制」の構築を進める場合、効率的、生産的にITを運用管理するための「環境の健全化」がまず欠かせません。

トレンドマイクロ株式会社 インフォメーションサービス本部 インフォメーションテクノロジー部 クラウドオペレーションデータベースアナリスト 渡邉 潤氏は、この取り組みを進めるうえでは、専門家によるアセスメントが必要だったと続けます。

「当部が管理するIT基盤には、ほとんどのシステムでWindows ServerやSQL Serverといったマイクロソフトのプラットフォームを利用しています。これらのシステムの総数は膨大で、データベースだけでも30インスタンス以上が常時稼動。サーバー台数にいたっては常時500インスタンス以上が稼動しており、当時はこれらシステムを定常運用するだけで手いっぱいだったのです。また、雪だるま式に増強してきたシステムも存在するため、一部システムはブラック ボックス化しており、管理業務の属人化も問題でした。このような環境を健全化する場合、当課だけでは知見とリソースの面で限界があります。導入製品の開発元によるアセスメントは必須だと考え、『Premier サポート』を利用することにしました」(渡邉氏)。

システム概要と導入の経緯、構築
基幹データベースへの適用に向け、運用負荷が課題となっていた分析データベースのSQL Server 2016への移行を決定

トレンドマイクロではIT基盤の多くでマイクロソフトプラットフォームを利用しています。IT環境の健全化を進めるうえで、マイクロソフトをアセスメントパートナーに選択したことは、同社にとって必然だったといえるでしょう。

旧態依然な体制から脱却すべく、トレンドマイクロでは2016年1月よりこの取り組みを開始。「創造的破壊」をスローガンに据えた同プロジェクトでは、まず6か月間かけて、現環境に存在する課題の洗い出しと、システム全体で共通する作業の最適化が進められました。

IT 環境の健全化に向けたロードマップ(2016年)
1月～6月	現環境に存在する課題の洗い出しと、システム全体で共通する作業の最適化
6月～12月	洗い出しで浮かび上がった、個々のシステムにおける課題の解消

トレンドマイクロ株式会社 インフォメーションサービス本部 インフォメーションテクノロジー部 クラウドオペレーションエンジニア 三宅 文彦氏は、この6か月の取り組みだけでも、相当数のリソースが削減できたと語ります。

「これまでセキュリティのパッチ処理にはWindows Server Update Services(WSUS)を利用してきました。しかし、対象のサーバー台数は500インスタンス以上あるため、毎月180時間ほどの労力をこのパッチ処理に費やす必要があったのです。これは1人の従業員が1か月で作業できる時間に匹敵します。Premierサポートのアセスメントでも、パッチ処理の改善は不可欠だという判断でした。そこで、マイクロソフトの支援のもと、System Center Configuration Manager(SCCM)によるパッチ処理へと手法を変更しました。SCCMでは多くのジョブが自動化でき、手作業を必要とする領域を劇的に削減できます。結果、パッチ処理の所要時間は、従来のおよそ1/5となる40時間にまで圧縮できました」(三宅氏)。

パッチ処理に限らず、トレンドマイクロではこれまで、定常運用の多くを手作業で対応してきました。当然その業務量は膨大であり、同部の人的リソースだけでは対応が追いつきません。毎年複数名の業務委託スタッフを雇用することで人海的に作業をこなしてきましたが、手作業についても、Windows PowerShellをもった自動化のシステムを構築したことで、少数で定常運用が遂行できるようになったといいます。

三宅氏は、Premierサポートの支援により、構築作業自体もスムーズに進行できたと語ります。

「これまで Visual Studioで多くの開発を手掛けてきたため、PowerShellの作業自体に抵抗はありませんでした。しかし、自己学習だけで進められる範囲にはどうしても限界があります。Premierサポートでは、アセスメントだけでなく、実際の構築作業においても密な技術支援が受けられます。専任担当へ連絡すれば即座に回答や支援が得られるため、精神的な安心感も大きいです。おかげで、着手からわずか6か月で、定常運用を自動化するしくみを構築することができました」(三宅氏)。

自動化のしくみをもって確保できるリソースは、IT環境の健全化に向けた新たな取り組みに割り当てることができます。トレンドマイクロでは同年6月より、このリソースをもって個々のシステムの改修についても着手を開始します。そこではまず、SQL ServerとWindows Serverのアップグレードを進める必要がありました。

インフォメーションテクノロジー部が管理するWindows Server、SQL Serverは、全体の約8割が2008以前のバージョンで稼動しています。これらのOSは2019年に延長サポート終了が控えているため、順次アップグレードを進める必要があります。その中でも、顧客のライセンス管理と照合を担う基幹データベースについては、早期に移行を進めねばなりませんでした。

「基幹データベースは当社のサービス提供において不可欠なシステムです。当課が管理するシステムの中でも特にミッションクリティカル性が高いものでした。単に延長サポート終了へ対応するというだけでなく、バージョン2012以降で実装するAlwaysOn機能などを活用し、これまで以上の稼動性が担保できないかと考えました。そこで、当時提供を控えていた SQL Server 2016への移行を検討したのです。しかし、ミッションクリティカルなシステムゆえに、万全を期すのであればまず別のデータベースで移行実績を作ることが適切といえます。そこで、基幹データベースからデータを集積し分析業務を行うデータベースでまず移行実績を作り、その経験をもって基幹データベースの移行に臨むことにしました」(山田氏)。

分析データベースでは、基幹データベースと連携し1日1回データの受け渡しが行われます。そこに集積された情報はレポート化の後、意思決定層やマーケティング部門、営業部門で活用されます。このデータベースは、ETL機能を担うSSIS(SQL Server Integration Services)のジョブ実行時間の長さやその作業の複雑性など、多くの課題を抱えていました。特にジョブ実行時間については、1日1回行われるデータ受け渡しに12～13時間ほどを要しており、長い時には24時間を超えることもあったのです。

こうした課題に対するSQL Server 2016の有効性を検証する意味でも、分析データベースの環境を移行する意義は大きかったと、渡邉氏は語ります。

「個別のシステムの中では、分析データベースが最も運用負荷が大きく、何かしらの対応が必要でした。ジョブを実行する間、CPUはほぼ100%の処理状況となるため、ハードウェアの寿命を縮めることも問題でした。集積するデータの容量的にいたし方がないと思っていたのですが、マイクロソフトからはSQL Server 2012以降で搭載するカラムストア機能や2016以降で搭載するクエリストア機能(クエリプランの変更によって生じるパフォーマンスの差異を可視化する機能)を活用し、データ配置モデルの変更も行うことで、ジョブ実行時間の短縮やそこでの作業がシンプルにできると説明を受けました。基幹データベースの移行へ向けた検証としても、また現在の業務負荷を圧縮するという意味でも非常に有効だと考え、分析データベースをSQL Server 2016へ移行することを決定しました」(渡邉氏)。

導入の効果
ジョブ実行時間を 1/6 にまで短縮。Premierサポートの支援をもったIT環境の整備により、年間で5,000時間の工数削減を実現

SQL Server 2012以降のバージョンはカラム指向型のデータベースを実装しています。これを利用することで、大量データの処理をこれまで以上に高速化することができ、オンライントランザクション処理(OLTP)と分析作業を同時に実行することも可能です。さらに、SQL Server 2016から搭載するクエリストア機能では、性能上のボトルネックが見える化できます。

実際にこれらの機能を活用して行われた 概念実証(POC)では、SQL Server 2016への移行が、ジョブ実行時間とデータベースの構成に劇的な変化を生み出すことが示されました。三宅氏と渡邉氏は、この点について次のように説明します。

「マイクロソフトから提示されたPOCでは、カラムストアの適用やクエリストアによるチューニングの結果、ジョブ実行時間が 12 時間から 2 時間と、およそ1/6にまで削減されることが示されました。これは劇的な変化だといえるでしょう。データベース全体の容量についても、従来比で約70%も削減できる見通しです。また、SSISパッケージをパッケージ配置モデルからプロジェクト配置モデルに変更することにより、本番環境への配置や変更などが簡略化され、運用面でもコストとヒューマンエラーの削減が期待できます」(三宅氏)。

「容量やファイル数の削減は、データベース構成のシンプル化につながります。そこでは運用作業も同様にシンプル化できるため、健全化に取り組むまで課題だった属人化の解消にもつながります。実は今回のPOCに際し、当社からは従来24コアのCPUを利用していた物理ホスト環境を8コア環境のものへ変更したいとマイクロソフトへ依頼しました。ハードウェアの性能を下げながら性能向上が見通せるというのは、SQL Server 2016へ移行する特筆すべきメリットだといえるでしょう。こうした効果は、SQL Server 2016自体の有効性もさることながら、深い知見を持つ Premierサポートのもとで設計とチューニングを支援いただけたことが大きく起因したと感じています」(渡邉氏)。

Premierサポートの支援のもとで基盤整備とSQL Serverへの移行を進めることで、IT環境の健全化を実現しつつあるトレンドマイクロ。2016年度は「創造的破壊」の取り組みをスタートさせた初年度ですが、既に年間で5,000時間もの工数削減が実現できていると、山田氏は笑顔で語ります。

「SCCMを利用したパッチ処理への変更、PowerShellによる手作業を要していた業務の自動化、そしてSQL Server 2016への移行で見通すジョブ実行時間の削減など、2016年にはさまざまな側面から、Premierサポートの支援のもと IT 環境の健全化を進めました。これらの取り組みで削減できた時間は、年間で5,000時間にも上る見込みです。Premierサポートは決して安価なサービスではありませんが、この5,000時間の業務を遂行するための業務委託スタッフを採用した場合と比較すると、投資に対してプラスの成果となっています。その中で、IT環境の劇的な変化を生み出せたこと、そこで生まれた人的リソースをもって今後、より高い稼動性とDevOps ITを突き詰めていく"攻めのIT"が実現できるようになったことは、大いに評価すべきだと考えています」(山田氏)。

今後の展望
日本国内の取り組みをグローバルへ波及させていく

2016年度に進めた取り組みの効果は、運用工数の削減だけに留まりません。これまで定常運用の作業に内包していた複雑性や属人性が緩和されたことで人的ミスが低減し、結果それがシステムの稼動率を向上させているのです。実際に2016年度においては、システムが停止するといった大きなインシデントの発生は大幅に削減され、海外IT部門からも一目置かれる存在となっています。

渡邉氏は今後、個別のシステムについても分析データベースと同様に最新バージョンへの移行を進めることで、IT環境の健全性をより高めていくと語ります。

「分析データベースについては、2017年3月でSQL Server 2016への移行を完了しています。この実績をもって、2017年度中には基幹データベースについてもSQL Server 2016へ移行する予定です。そこでは分析データベースと同様に、AlwaysOn可用性グループを活用することでより高い稼動性を目指すなど、発展を伴う形で移行を進めたいと考えています。その他のWindows Server、SQL Serverについても、2019年までに移行を完了すべく、作業を進めていきます。個々のシステムのボトルネックを改善していくことで、システムの健全性はより高められると考えています」(渡邉氏)。

ところで、2016年度の取り組みでは、ここまで説明してきた基盤整備と並行し、それを国内だけで監視、運用するためのしくみやルール作りも進められてきました。「日本独自」の取り組みは、海外のIT部門や他のリージョンITからも注目を集めており、日本のIT部門からの共有を受けて同じ手法を導入し始める海外部門も増えています。

山田 氏は、日本におけるこの取り組みを今後も発展させることで、そこでの効果をグローバルに波及させていきたいと意気込みます。

「監視や運用体制も強固にすべく、2016年度には、海外で実績のあるインシデント発見やIMなどのツールを整備しました。現在、当課では電子上のコミュニケーションにメールは用いず、基本的にIMを利用しています。基盤整備を進める過程で運用リソースに余裕が生まれたことも寄与し、何かインシデントが発生した場合には、速やかにチームとしてその対処を進められる体制が構築できました。日本のIT部門独自の取り組みが効果を成した事例はグローバルでもそれほど例がなく、各国から注目されています。2017年度以降でも、IT環境と運用監視の体制をより発展させることで、この効果を各国へと伝播させていきたいですね。そのためにも、マイクロソフトには引き続き、密なサポートを期待しています」(山田氏)。

「SCCMを利用したパッチ処理への変更、PowerShellによる手作業を要していた業務の自動化、そしてSQL Server 2016への移行で見通すジョブ実行時間の削減など、2016年にはさまざまな側面から、Premierサポートの支援のもとIT環境の健全化を進めました。これらの取り組みで削減できた時間は、年間で5,000時間にも上る見込みです。Premierサポートは決して安価なサービスではありませんが、この5,000時間の業務を遂行するための業務委託スタッフを採用した場合と比較すると、投資に対してプラスの成果となっています。その中で、IT環境の劇的な変化を生み出せたこと、そこで生まれた人的リソースをもって今後、より高い稼動性とDEVOPS ITを突き詰めていく"攻めのIT"が実現できるようになったことは、大いに評価すべきだと考えています」

トレンドマイクロ株式会社
インフォメーションサービス本部
インフォメーションテクノロジー部
部長代行
山田 剛氏

[PR]提供：日本マイクロソフト

マイクロソフト法人導入事例サイトはこちら

[PR]提供：