Choisir une fonction de traitement de documents

Ce document compare les fonctions de traitement de documents disponibles dans BigQuery ML, à savoir ML.GENERATE_TEXT et ML.PROCESS_DOCUMENT.

Vous pouvez utiliser les informations de ce document pour vous aider à choisir la fonction à utiliser lorsque les fonctions se chevauchent.

De manière générale, la différence entre ces fonctions est la suivante :

  • ML.GENERATE_TEXT est un bon choix pour effectuer des tâches de traitement du langage naturel (TLN) lorsque certains contenus se trouvent dans des documents. Cette fonction offre les avantages suivants:

    • Réduction des coûts
    • Plus de langues disponibles
    • Débit plus élevé
    • Capacité de réglage du modèle
    • Disponibilité des modèles multimodaux

    Pour obtenir des exemples de tâches de traitement de documents qui fonctionnent le mieux avec cette approche, consultez la section Explorer les fonctionnalités de traitement de documents avec l'API Gemini.

  • ML.PROCESS_DOCUMENT est un bon choix pour effectuer des tâches de traitement de documents qui nécessitent l'analyse de documents et une réponse structurée prédéfinie.

Modèles compatibles

Les modèles compatibles sont les suivants :

  • ML.GENERATE_TEXT: vous pouvez utiliser un sous-ensemble des modèles Vertex AI Gemini pour générer du texte. Pour en savoir plus sur les modèles compatibles, consultez la page Syntaxe ML.GENERATE_TEXT.
  • ML.PROCESS_DOCUMENT: vous utilisez le modèle par défaut de l'API Document AI. L'utilisation de l'API Document AI vous permet d'accéder à de nombreux processeurs de documents différents, tels que l'analyseur de factures, l'analyseur de mise en page et l'analyseur de formulaires. Vous pouvez utiliser ces outils de traitement de documents pour travailler avec des fichiers PDF de nombreuses structures différentes.

Tâches disponibles

Les tâches suivantes sont acceptées :

  • ML.GENERATE_TEXT: vous pouvez effectuer n'importe quelle tâche de traitement du langage naturel dont l'entrée est un document. Par exemple, si vous disposez d'un document financier pour une entreprise, vous pouvez récupérer des informations sur le document en fournissant une requête telle que What is the quarterly revenue for each division?.
  • ML.PROCESS_DOCUMENT: vous pouvez effectuer un traitement spécialisé des documents pour différents types de documents, tels que les factures, les formulaires fiscaux et les relevés financiers. Vous pouvez également effectuer un découpage de document. Pour en savoir plus sur l'utilisation de la fonction ML.PROCESS_DOCUMENT pour cette tâche, consultez la section Analyser des fichiers PDF dans un pipeline de génération augmentée de récupération.

Tarifs

Les tarifs sont les suivants :

Réglage supervisé

La compatibilité du réglage supervisé est la suivante:

  • ML.GENERATE_TEXT : le réglage supervisé est compatible avec certains modèles.
  • ML.PROCESS_DOCUMENT: le réglage supervisé n'est pas compatible.

Limite de requêtes par minute (RPM)

Les limites de RPM sont les suivantes :

  • ML.GENERATE_TEXT: 60 RPM dans la région us-central1 par défaut pour les modèles gemini-1.5-pro et 200 RPM dans la région us-central1 par défaut pour les modèles gemini-1.5-flash. Pour en savoir plus, consultez la page Quotas de l'IA générative sur Vertex AI.
  • ML.PROCESS_DOCUMENT: 120 RPM par type de processeur, avec une limite globale de 600 RPM par projet. Pour en savoir plus, consultez la liste des quotas.

Pour augmenter votre quota, consultez la section Demander une augmentation de quota.

Limite de jetons

Les limites de jetons sont les suivantes :

  • ML.GENERATE_TEXT: 700 jetons d'entrée et 8 196 jetons de sortie.
  • ML.PROCESS_DOCUMENT : aucune limite de jetons. Toutefois, cette fonction a des limites de page différentes en fonction du processeur que vous utilisez. Pour en savoir plus, consultez la section Limites.

Langues disponibles

Les langues compatibles sont les suivantes :

  • ML.GENERATE_TEXT: compatible avec les mêmes langues que Gemini.
  • ML.PROCESS_DOCUMENT: la prise en charge des langues dépend du type de processeur de documents. La plupart ne prennent en charge que l'anglais. Pour en savoir plus, consultez la liste des processeurs.

Régions concernées

La disponibilité des régions est la suivante :