LLMの推論をデル・テクノロジーズによるオンプレミスのインフラストラクチャ上で行った場合と、APIを介したネイティブ パブリッククラウド（IaaS）またはOpenAI GPT-4 Turbo LLMモデルサービスを使用した場合とで、予測コストを比較した調査結果がある。
これによると、オンプレミスはIaaSと比べて最大75%、APIサービスと比べて最大88%、コストパフォーマンスに優れたLLM推論を提供してくれるとのことだ。
デル・テクノロジーズ 提供資料
AIのROIを最大化：デル・テクノロジーズのオンプレミスでの推論により、パブリッククラウドと比較してコストパフォーマンスが75%向上
＞ ＞ 資料ダウンロードはこちら
LLMでサポートされる生成AIを開発・使用する際の戦略とは
実際のところ、LLMをゼロから開発するにはコストがかかり、複雑になる可能性がある。
LLMでサポートされる生成AIを開発・使用する際の最も一般的な戦略は、オープンソースのLLMを活用し、生成AIソリューションを社内で開発することだろう。
その際は強力なGPUに対応するエンタープライズ サーバーまたは同クラスのGPUに対応するクラウド インスタンス、そしてオープンソースLLMを実行するための機械学習プラットフォーム上に、独自のLLM推論ソリューションを構築して制御することになる。
* * *
リンク先から入手できる資料では、コストパフォーマンスに優れたLLM推論向けソリューションの詳細について解説している。デル・テクノロジーズのハードウェアとAmazon EC2インスタンス上のパブリッククラウド（IaaS）とで、LLMワークロードを実行した際のコストパフォーマンスの差を確認できる点も興味深い。ぜひとも参考にしてもらえれば幸いである。
ダウンロード資料のご案内
デル・テクノロジーズ 提供資料
AIのROIを最大化：デル・テクノロジーズのオンプレミスでの推論により、パブリッククラウドと比較してコストパフォーマンスが75%向上
＞ ＞ 資料ダウンロードはこちら
[PR]提供：デル・テクノロジーズ