米Googleは11月11日(現地時間)、データの分類や採点に特化したエンドポイント「Gemini Decisions API」を公開した。専用モデル「Gemini Decision 1」を使い、テキスト、画像、音声、動画、PDFを組み合わせた入力に対し、1回のリクエストで最大1,000問を個別に評価する。Gemini API経由で利用でき、Google AI Studioでは無料枠も用意されている。Google Cloud上のGeminiにも今後対応する予定である。

質問の形式は、条件が成立する確率を返す二択判定、2~255個の候補から1つを選ぶ選択式、段階ごとの基準に沿った採点の3種類である。1回のリクエストに異なる形式を混在させることができ、各回答には0~1の信頼度が付く。

  • Gemini Decision 1の判定デモ。休憩室の写真から「液体のこぼれの有無(Yes/No)」「適切な処置(布で拭く)」「汚れの深刻度(スコア)」の3問を、1回のリクエストで同時に判定・スコアリングしている様子。

    Gemini Decision 1の判定デモ。休憩室の写真から「液体のこぼれの有無(Yes/No)」「適切な処置(布で拭く)」「汚れの深刻度(スコア)」の3問を、1回のリクエストで同時に判定・スコアリングしている様子。

Googleによると、最大16Kトークンの入力を使った測定では、モデルの計算時間の中央値は50~100ミリ秒で、エンドツーエンドの応答時間は150~250ミリ秒だった。質問数が1~100問の範囲では、応答時間はほぼ横ばいだったという。APIの入力上限は256Kトークンである。

先行サービスとの違い

判断特化型では、TypeSafe AIが9月に「Jev」の提供を開始し、米OpenAIが10月に「GPT-6 Luna」を使う「Decisions API」のベータ版を公開した。Microsoftも10月に「Microsoft-Decision-1」を発表した。

一般提供に移行したOpenAIのAPIはテキスト、画像、JSONを受け付け、1回のリクエストで最大400問に対応する。GoogleのAPIは最大1,000問に対応し、音声、動画、PDFも直接判定できる。

入力100万トークン当たりの基本単価はGoogleとOpenAIが0.10ドル、JevとMicrosoft-Decision-1が0.042ドルで、いずれも出力への課金はない。

GoogleのAPIでは、複数の質問で共有する入力データは、同じリクエスト内で1回だけ課金対象となる。質問ごとに加算されるのは、指示や判定基準に使うトークンである。音声の文字起こしや文字認識(OCR)への個別の課金はない。

Googleが公表したベンチマークのうち、4モデル共通の7項目では、Gemini Decision 1がGPT-6 LunaのDecisions APIを全項目で上回った。例えば「JevBench」の正答率はGemini Decision 1が92.2%、GPT-6 Lunaが90.9%、Jev 1.14が90.0%だった。Jev 1.14との比較ではGemini Decision 1が5項目で上回り、Web画面を扱う「Mind2Web Multimodal」と、ツール呼び出しの要否を評価する「When2Call」の2項目ではJev 1.14が上回った。

予測の確信度と実際の正答率のずれを測る指標(Top1-ECE)では、Gemini Decision 1の誤差が4モデルで最も小さかった。