DMM.comのコンテンツ配信基盤としてScality RINGを採用 60Gbpsの高トラフィックにも耐える高速性能で、CDNコストを圧縮

動画や電子書籍、ゲームなどのデジタルコンテンツ配信をはじめ、証券や英会話、ロボット製作、3Dプリントサービスなど、多彩な事業を展開するDMM.comグループ。同グループにおいて、事業を運営するための基盤となるネットワーク、システム開発、マーケティング等を担っているのがDMM.comラボである。全体で2,000名強を擁するDMM.comグループのうちの約8割がDMM.comラボに所属しており、デジタル関連サービスを次々リリースするなど、グループ全体の成長を支えている。

DMM.comが配信しているデジタルコンテンツは、動画だけでも30万タイトルを超え、月間で数千タイトルほどが追加され続けている。配信コンテンツは、様々なデバイスから視聴可能であり、配信インフラ基盤だけで900台のサーバー、10PB(ペタバイト)を超えるストレージ容量を用意している。コンテンツ配信事業全体でのピーク時トラフィックは実に150Gbpsを超えることもあり、デバイスやその時々の通信速度に応じて最適なビットレートを選択することができる。

株式会社DMM.comラボインフラ本部配信インフラ構築運用部
マネージャ渡辺宣彦氏

DMM.comラボインフラ本部配信インフラ構築運用部のマネージャの渡辺宣彦氏は次のように説明する。「利用していただくお客様にストレスなくサービスを提供するためにも、高速なレスポンスや安定性について常に高いクオリティを維持しながら、さらなる向上を続けていくことが極めて重要だと考えています」

昨今では多くのユーザーが高画質を選ぶようになってきていることから、インフラのスループット要件にもさらに高いものが求められるようになってきている。さらに、同社のコンテンツ配信事業を特徴づけるものとして「ロングテール」が挙げられる。「もちろん、新作コンテンツには大量のアクセスが発生するのですが、実際には旧作コンテンツにも常に一定のアクセスがあり、積算すると決して無視することができない売り上げを生んでいます」

重要な点は、旧作だからといってサービスレベルを落としてもよいというわけではなく、ユーザーは新作と同じ水準のサービスレベルを旧作にも求めてくるということだ。つまり、DMM.comのコンテンツ配信事業を支える基盤には、日々追加されるコンテンツの格納を可能にする容量の拡張性と、新・旧作に関わらず高速かつ安定的に配信し続ける、高いスループット性能が同時に求められるのである。

DMM.comのコンテンツ配信事業が必要とする、容量の拡張性と高いスループット性能を備えた基盤

従来DMM.comラボでは、DMM.comのコンテンツ配信を支える基盤として、オープンソースのSDS(Software Defined Storage)を採用していた。しかし、実際の運用では、あるサイズを超えて拡張すると、SDSの性能が著しく劣化するという状況に悩まされた。そのためワンボリュームでの運用管理は諦め、100TB(テラバイト)程度の中規模システムにサイロ化して複数持つという設計に変更せざるを得なかった。

しかし、このような中規模ストレージ(サイロ)が増え続け、数百台ものサーバーの管理が必要となったことで、運用負荷として重くのしかかるようになっていった。「日々追加されるコンテンツを、いかに効率的に運用していくのか、これは、本当に頭の痛いテーマでした」と渡辺氏は振り返る。

また、既設の配信基盤では、同社の高トラフィックにも耐えうるスループット性能にも問題を抱えていた。特に定期的に実施している動画の格安セール時は、キャンペーン対象のコンテンツには通常の10倍程度のトラフィックが発生するため、一刻も早いピークトラフィック対応が求められたのである。

こういった状況のなかDMM.comラボでは、トラフィックが増大するたびに、キャンペーン専用のシステム構築やCDNの導入を通じて、そちらに処理をオフロードするというやり方を採用していた。「当然ながら手間とコストの掛かる方法ですが、対症療法としてCDNが必要だったのです」と渡辺氏は説明する。

ブロードバンドタワーのScality常設環境を用いた共同検証を通じ、実運用でのニーズを満たす性能を確認

この二つの課題を抱えていたDMM.comラボでは、パフォーマンスと拡張性、そしてコストメリットを兼ね備えたストレージシステムへの刷新へと踏み切ることとなる。そしてアプライアンス型ストレージ製品の採用など、様々な選択肢を検討した結果、DMM.comラボが注目したのが、ブロードバンドタワーが販売・保守パートナーを手掛けるペタバイト級のSoftware Defined Storage「Scality RING」だ。

導入の検討に当たりDMM.comラボでは、東京・大手町にあるブロードバンドタワーのデータセンター内に設置されている「Scality RING」専用の検証環境を用いて、両社共同による性能検証・耐障害性検証を実施。実運用テストなどを通じて、DMM.comラボが示す様々な条件を満たすストレージシステムであることを確認したうえで、正式に導入を決定した。

選定理由について渡辺氏はこう振り返る。「試しに容量の使用率をほぼ100%に近い状態にした上で性能劣化をチェックしてみたのですが、Scality RINGの場合ほとんどiowaitが発生することなく、安定した書き込み速度を記録しました。他にも、容量拡張時の性能への影響や一時的にノードが外れている場合での影響、1ラック単位でダウンしてもサービスを継続できるかなど気になる点は多々あったのですが、これらも問題ないことが確認でき、これならDMM.comのコンテンツ配信基盤としてScality RINGを安心して導入できるなと思いました。製品導入検討時に行う事前検証というのは非常に工数の掛かる作業なのですが、ブロードバンドタワーが手厚くサポートしてくれたお蔭で、円滑に進めることができました」

「Scality RING」の高速スループットを確認し、CDNコストを圧縮

そして2016年7月、DMM.comラボでは「Scality RING」を基盤とした新たなコンテンツ配信システムの実サービスでの運用を開始する。「Scality RING」は主に新作動画をはじめとするデジタルコンテンツの配信用ストレージとして利用され、60台のサーバーで2PBを運用している。日々新しいコンテンツが追加されることに起因する、ストレージ容量の確保・増設をはじめとした数々の課題の解決を「Scality RING」の導入によって解消することができたのである。

まず、パフォーマンスに関する課題については、キャンペーンによるピークトラフィック対応が不要となったことで、キャンペーン向けの特設システムが必要なくなった上、CDN利用も段階的に停止していった。

「Scality RING」導入後、キャンペーン対策目的でのCDN利用を停止していった理由について渡辺氏は次のように語る。

「従来のストレージにまつわる課題を生じさせていた最大の要因は、I/O負荷にありました。負荷を軽減するためにキャッシュ用にCDNを利用していたのですが、オリジン側の性能が低いためキャッシュ側の負荷もどうしても増大してしまい、どんどんコストが嵩んでいきました。しかし『Scality RING』では、高負荷なトラフィックにも十二分に耐えられるスループット性能を備えていることが確認できたため、導入後は順次CDNを減らしてゆき、11月にはキャンペーン対策目的でのCDNの利用を完全に停止したのです」

もう一つの課題だった拡張性に関しても、Scality RINGでは容量の使用率が高まっても性能劣化が生じる不安がないため、当初から行いたかった、一つの大容量ボリュームでの運用という形を実現している。これにより、従来のシステム運用に必要であった管理負荷を大幅に削減することができた。さらにこれらの効果に加え、Scality RINGはイレイジャーコーディングをサポートしていることから、データ保護の面だけでなく、ハードウェア利用効率の向上がもたらすシステムコスト圧縮効果も現われているという。

2016年末から2017年初めにかけて恒例の「年末年始動画50%OFFセール」を実施した際には、Scality RINGを使用したシステムでは60Gbpsにも及ぶトラフィックが生じたが、特別なオペレーションの必要は生じなかった。「従来であればCDNが確実に必要となっていた場面です。『Scality RING』の導入効果を改めて実感しましたね」と、渡辺氏は笑顔を見せる。

渡辺氏は「『Scality RING』を導入したことによりさまざまな側面で拡張性が大きく改善されたと感じています。現在は今後の増設だけでなく、管理運用の手間も削減できると考えているところです。そして今後のシステム拡張時にも、ブロードバンドタワーからの支援には大いに期待しています。スケールアウトストレージの専門家であるブロードバンドタワーの保守サポート体制はとても手厚く、我々にとって非常に心強いものなのですから」と語る。今後DMM.comラボでは、「Scality RING」をスケールアウトしながら、更なるコンテンツの拡充に対応し続けていく構えだ。

本事例で紹介されているペタバイト級のSDS「Scality RING」に関心をもたれた方は、ブロードバンドタワーの提供する「Scality RING製品概要」資料も併せてご覧ください。本資料では、Scality RINGの独自のアーキテクチャや特長が簡潔に説明されています。「Scality RING製品概要」は、以下のURLから無償でダウンロードすることができます。
⇒ Downloadはこちらから