Microsoft製ローカルLLM実行環境の「Foundry Local」が一般提供

MIcrosoftは現地時間4月9日、OSSモデルのLLMなどをローカル環境で動かせる「Foundry Local」の一般提供(GA)を発表した。「Foundry Local」は、同社が主導するOSS「ONNX Runtime」を活用するLLM動作環境でCPU/GPU/NPUを自動で使い分けたローカルでのLLM実行やSDKによるLLMの組み込みなどが可能。2025年5月に開催されたMicrosoft Build 2025で発表されて以来の正式版としての一般提供となる。

• 

  「Foundry Local」の概要(公式ブログより)

Windowsにインストールしてみる

Windows/MacではエンドユーザーとしてのローカルLLM活用、SDKを通じたLinux環境でのPython / Rust / C++などを用いたLLM組み込みといった使い方が可能だ。Windows環境では、

Winget install Microsoft.Foundrylocal

でインストール可能だ。

• 

  Wingetで「Foundry Local」をインストールしたところ

インストール後にはfoundryコマンドが使えるようになるので、

foundry model list

とすると、インストール可能なモデルが表示される。

• 

  foundry model listで表示されるLLM

ここでは、Microsoft 製の Small Language Model (SLM) からphi-3.5-miniをインストールしてみよう。foundry model runとListで表示されたテーブル左端のAlias名でモデルをインストールできるので、

foundry model run phi-3.5-mini

と入力するとCPU等の環境に応じた詳細なモデルをインストールしてロードする。

• 

  環境に応じた詳細なモデルをインストールしてロードしているところ

そのまま、Interactiveなチャットが可能に誘われる。

• 

  ローカル環境のphi-3.5-miniで日本語使用

Foundry Local ではOpenAI API 互換の HTTPリクエストを受け付けるので、ローカルでサービスを起動した状態でPowershellから呼び出すことも可能だ。

• 

  Powershellから起動中のサービスに"テストです。返事してください"と送ったところ

公式ブログでは、Python SDKを用いたシンプルなコードも掲載しており、モデルの充実やリアルタイム音声文字起こし、ハードウェアサポートなど次なる強化も示す。実行にクラウド環境は必要ないが、オンプレミス環境向けのAzure Localでの動作を前提にするFoundry Local は、顧客所有の分散インフラストラクチャでのエージェント型 AI (RAG、チャットなど) など今後さらに多くの機能を提供する予定だとしている。