ドキュメント処理関数を選択する

このドキュメントでは、BigQuery ML で使用可能なドキュメント処理関数（ML.GENERATE_TEXT、ML.PROCESS_DOCUMENT）の比較を行います。

関数の機能が重複している場合は、このドキュメントの情報を使用して、使用する関数を決定できます。

概略を示すと、これらの関数の違いは次のとおりです。

  • ML.GENERATE_TEXT は、一部のコンテンツがドキュメントにある自然言語処理（NLP）タスクを実行する場合に適しています。この関数には次の利点があります。

    • コスト削減
    • 対応言語の追加
    • スループットの高速化
    • モデルのチューニング機能
    • マルチモーダル モデルの可用性

    このアプローチに最適なドキュメント処理タスクの例については、Gemini API でドキュメント処理機能を探索するをご覧ください。

  • ML.PROCESS_DOCUMENT は、ドキュメントの解析と事前定義された構造化レスポンスを必要とするドキュメント処理タスクを実行する場合に適しています。

サポートされているモデル

サポートされているモデルは次のとおりです。

  • ML.GENERATE_TEXT: Vertex AI Gemini モデルのサブセットを使用してテキストを生成できます。サポートされているモデルの詳細については、ML.GENERATE_TEXT 構文をご覧ください。
  • ML.PROCESS_DOCUMENT: Document AI API のデフォルト モデルを使用します。Document AI API を使用すると、請求書パーサー、レイアウト パーサー、フォーム パーサーなど、さまざまなドキュメント プロセッサにアクセスできます。これらのドキュメント プロセッサを使用すると、さまざまな構造の PDF ファイルを操作できます。

サポートされているタスク

サポートされているタスクは次のとおりです。

  • ML.GENERATE_TEXT: 入力がドキュメントである NLP タスクを実行できます。たとえば、会社の財務ドキュメントが与えられた場合、What is the quarterly revenue for each division? などのプロンプトを提供することで、ドキュメント情報を取得できます。
  • ML.PROCESS_DOCUMENT: 請求書、税務フォーム、財務諸表など、さまざまなドキュメント タイプに特化したドキュメント処理を行うことができます。ドキュメントのチャンキングも実行できます。このタスクで ML.PROCESS_DOCUMENT 関数を使用する方法の詳細については、取得拡張生成パイプラインで PDF を解析するをご覧ください。

料金

料金は次のとおりです。

  • ML.GENERATE_TEXT: この関数で使用する Vertex AI モデルの料金については、Vertex AI の料金をご覧ください。サポートされているモデルの教師ありチューニングに対しては、ノード時間あたりの料金で課金されます。詳細については、Vertex AI カスタム トレーニングの料金をご覧ください。
  • ML.PROCESS_DOCUMENT: この関数で使用する Cloud AI サービスの料金については、Document AI API の料金をご覧ください。

教師ありチューニング

教師ありチューニングのサポートは次のとおりです。

  • ML.GENERATE_TEXT: 一部のモデルで教師ありチューニングがサポートされています。
  • ML.PROCESS_DOCUMENT: 教師ありチューニングはサポートされていません。

1 分あたりのクエリ数（QPM）の上限

QPM の上限は次のとおりです。

  • ML.GENERATE_TEXT: gemini-1.5-pro モデルの場合はデフォルトの us-central1 リージョンで 60 QPM、gemini-1.5-flash モデルの場合はデフォルトの us-central1 リージョンで 200 QPM。詳細については、Vertex AI の生成 AI の割り当てをご覧ください。
  • ML.PROCESS_DOCUMENT: プロセッサ タイプごとに 120 QPM。プロジェクトあたりの合計上限は 600 QPM です。詳細については、割り当てリストをご覧ください。

割り当てを増やすには、割り当ての増加をリクエストするをご覧ください。

トークンの上限

トークンの上限は次のとおりです。

  • ML.GENERATE_TEXT: 700 個の入力トークンと 8, 196 個の出力トークン。
  • ML.PROCESS_DOCUMENT: トークンの上限はありません。ただし、この関数には、使用しているプロセッサに応じて異なるページ上限があります。詳細については、上限をご覧ください。

サポートされている言語

サポートされている言語は次のとおりです。

  • ML.GENERATE_TEXT: Gemini と同じ言語をサポートします。
  • ML.PROCESS_DOCUMENT: 言語のサポートはドキュメント プロセッサのタイプによって異なります。ほとんどは英語のみをサポートしています。詳細については、プロセッサのリストをご覧ください。

対象リージョン

ご利用対象のリージョンは次のとおりです。