Escolher uma função de processamento de documentos

Neste documento, você encontra uma comparação das funções de processamento de documentos disponíveis no BigQuery ML, que são ML.GENERATE_TEXT e ML.PROCESS_DOCUMENT.

Use as informações deste documento para decidir qual função usar nos casos em que as funções têm recursos sobrepostos.

De modo geral, a diferença entre essas funções é a seguinte:

  • ML.GENERATE_TEXT é uma boa opção para executar tarefas de processamento de linguagem natural (PLN) em que parte do conteúdo está em documentos. Essa função oferece os seguintes benefícios:

    • Custos mais baixos
    • Mais idiomas disponíveis
    • Taxa de transferência mais rápida
    • Recurso de ajuste de modelos
    • Disponibilidade de modelos multimodais

    Para conferir exemplos de tarefas de processamento de documentos que funcionam melhor com essa abordagem, consulte Conhecer os recursos de processamento de documentos com a API Gemini.

  • ML.PROCESS_DOCUMENT é uma boa escolha para executar tarefas de processamento de documentos que exigem a análise de documentos e uma resposta estruturada predefinida.

Modelos compatíveis

Os modelos compatíveis são os seguintes:

  • ML.GENERATE_TEXT: é possível usar um subconjunto dos modelos Gemini da Vertex AI para gerar texto. Para mais informações sobre modelos compatíveis, consulte a sintaxe ML.GENERATE_TEXT.
  • ML.PROCESS_DOCUMENT: você usa o modelo padrão da API Document AI. O uso da API Document AI dá acesso a vários processadores de documentos diferentes, como o analisador de faturas, de layout e de formulários. É possível usar esses processadores de documentos para trabalhar com arquivos PDF com muitas estruturas diferentes.

Tarefas compatíveis

As tarefas com suporte são estas:

  • ML.GENERATE_TEXT: é possível realizar qualquer tarefa de PLN em que a entrada seja um documento. Por exemplo, dado um documento financeiro de uma empresa, é possível recuperar informações do documento fornecendo um comando, como What is the quarterly revenue for each division?.
  • ML.PROCESS_DOCUMENT: é possível realizar o processamento especializado de documentos para diferentes tipos, como faturas, declarações fiscais e extratos financeiros. Você também pode dividir documentos. Para mais informações sobre como usar a função ML.PROCESS_DOCUMENT para essa tarefa, consulte Extrair PDFs em um pipeline de geração com recuperação aprimorada.

Preços

O preço é o seguinte:

Ajuste supervisionado

O suporte a ajustes supervisionados é o seguinte:

  • ML.GENERATE_TEXT: o ajuste supervisionado é compatível com alguns modelos.
  • ML.PROCESS_DOCUMENT: não há suporte para o ajuste supervisionado.

Limite de consultas por minuto (QPM)

Os limites de QPM são os seguintes:

  • ML.GENERATE_TEXT: 60 QPM na região us-central1 padrão para modelos gemini-1.5-pro e 200 QPM na região us-central1 padrão para modelos gemini-1.5-flash. Para mais informações, consulte IA generativa em cotas da Vertex AI.
  • ML.PROCESS_DOCUMENT: 120 QPM por tipo de processador, com um limite geral de 600 QPM por projeto. Para mais informações, consulte a lista de cotas.

Para aumentar sua cota, consulte Solicitar uma cota maior.

Limite de tokens

Os limites de tokens são os seguintes:

  • ML.GENERATE_TEXT: 700 tokens de entrada e 8.196 tokens de saída.
  • ML.PROCESS_DOCUMENT: sem limite de tokens. No entanto, essa função tem limites de página diferentes, dependendo do processador usado. Para mais informações, consulte Limites.

Idiomas disponíveis

Os idiomas compatíveis são os seguintes:

  • ML.GENERATE_TEXT: oferece suporte aos mesmos idiomas do Gemini.
  • ML.PROCESS_DOCUMENT: o suporte a idiomas depende do tipo de processador de documentos. A maioria oferece suporte apenas ao inglês. Para mais informações, consulte a lista de processadores.

Disponibilidade por região

A disponibilidade por região é a seguinte:

  • ML.GENERATE_TEXT: disponível em todas as regiões de IA generativa para a Vertex AI.
  • ML.PROCESS_DOCUMENT: disponível nas multirregiões EU e US para todos os processadores. Alguns processadores também estão disponíveis em regiões específicas. Para mais informações, consulte Suporte regional e multirregional.