Funktion für die Dokumentverarbeitung auswählen

In diesem Dokument werden die in BigQuery ML verfügbaren Funktionen zur Dokumentverarbeitung verglichen: ML.GENERATE_TEXT und ML.PROCESS_DOCUMENT.

Anhand der Informationen in diesem Dokument können Sie entscheiden, welche Funktion Sie verwenden sollten, wenn sich die Funktionen in ihren Capabilities überschneiden.

Grob gesagt unterscheiden sich diese Funktionen so:

  • ML.GENERATE_TEXT eignet sich gut für Aufgaben im Bereich der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP), bei denen sich einige der Inhalte in Dokumenten befinden. Diese Funktion bietet folgende Vorteile:

    • Geringere Kosten
    • Support in weiteren Sprachen
    • Höherer Durchsatz
    • Modellabstimmung
    • Verfügbarkeit multimodaler Modelle

    Beispiele für Aufgaben zur Dokumentverarbeitung, die sich am besten mit diesem Ansatz lösen lassen, finden Sie unter Dokumentverarbeitung mit der Gemini API.

  • ML.PROCESS_DOCUMENT eignet sich gut für die Ausführung von Dokumentverarbeitungsaufgaben, die das Parsen von Dokumenten und eine vordefinierte, strukturierte Antwort erfordern.

Unterstützte Modelle

Folgende Modelle werden unterstützt:

  • ML.GENERATE_TEXT: Sie können einen Teil der Vertex AI-Gemini-Modelle verwenden, um Text zu generieren. Weitere Informationen zu unterstützten Modellen finden Sie in der Syntax für ML.GENERATE_TEXT.
  • ML.PROCESS_DOCUMENT: Sie verwenden das Standardmodell der Document AI API. Mit der Document AI API erhalten Sie Zugriff auf viele verschiedene Dokumentprozessoren, z. B. den Rechnungsparser, den Layoutparser und den Formularparser. Mit diesen Dokumentenprozessoren können Sie mit PDF-Dateien mit vielen verschiedenen Strukturen arbeiten.

Unterstützte Aufgaben

Folgende Aufgaben werden unterstützt:

  • ML.GENERATE_TEXT: Sie können jede NLP-Aufgabe ausführen, bei der die Eingabe ein Dokument ist. Wenn Sie beispielsweise ein Finanzdokument für ein Unternehmen haben, können Sie Dokumentinformationen abrufen, indem Sie einen Prompt wie What is the quarterly revenue for each division? eingeben.
  • ML.PROCESS_DOCUMENT: Sie können eine spezielle Dokumentverarbeitung für verschiedene Dokumenttypen wie Rechnungen, Steuerformulare und Finanzberichte ausführen. Sie können auch Dokumente in mehrere Teile aufteilen. Weitere Informationen zur Verwendung der Funktion ML.PROCESS_DOCUMENT für diese Aufgabe finden Sie unter PDFs in einer Pipeline für die Retrieval-gestützte Generierung analysieren.

Preise

Die Kosten werden folgendermaßen berechnet:

Überwachte Abstimmung

Die überwachte Abstimmung wird so unterstützt:

  • ML.GENERATE_TEXT: Für einige Modelle wird die überwachte Abstimmung unterstützt.
  • ML.PROCESS_DOCUMENT: Die überwachte Abstimmung wird nicht unterstützt.

Limit für Abfragen pro Minute

Die Limits für die Anzahl der Aufrufe pro Minute sind:

  • ML.GENERATE_TEXT: 60 QPM in der Standardregion us-central1 für gemini-1.5-pro-Modelle und 200 QPM in der Standardregion us-central1 für gemini-1.5-flash-Modelle. Weitere Informationen finden Sie unter Kontingente für Generative AI in Vertex AI.
  • ML.PROCESS_DOCUMENT: 120 QPM pro Prozessortyp mit einem Gesamtlimit von 600 QPM pro Projekt. Weitere Informationen finden Sie in der Liste der Kontingente.

Informationen zum Erhöhen des Kontingents finden Sie unter Höheres Kontingent anfordern.

Tokenlimit

Die Tokenlimits sind:

  • ML.GENERATE_TEXT: 700 Eingabetokens und 8.196 Ausgabetokens.
  • ML.PROCESS_DOCUMENT: Kein Tokenlimit. Diese Funktion hat jedoch unterschiedliche Seitenlimits, je nachdem, welchen Prozessor Sie verwenden. Weitere Informationen finden Sie unter Beschränkungen.

Unterstützte Sprachen

Folgende Sprachen werden unterstützt:

  • ML.GENERATE_TEXT: unterstützt dieselben Sprachen wie Gemini.
  • ML.PROCESS_DOCUMENT: Die Sprachunterstützung hängt vom Typ des Dokumentverarbeiters ab. Die meisten unterstützen nur Englisch. Weitere Informationen finden Sie in der Liste der unterstützten Prozessoren.

Regionale Verfügbarkeit

Die regionale Verfügbarkeit ist so:

  • ML.GENERATE_TEXT: Verfügbar in allen Regionen, in denen generative KI für Vertex AI unterstützt wird.
  • ML.PROCESS_DOCUMENT: verfügbar in den Multiregionen EU und US für alle Prozessoren. Einige Prozessoren sind auch in bestimmten Regionen verfügbar. Weitere Informationen finden Sie unter Regionaler und mehrsprachiger Support.