Instrução CREATE MODEL para modelos remotos em serviços de IA do Cloud

Neste documento, descrevemos a instrução CREATE MODEL para criar modelos remotos no BigQuery em serviços de IA do Cloud. Por exemplo, a API Cloud Natural Language.

Sintaxe de CREATE MODEL

{CREATE MODEL | CREATE MODEL IF NOT EXISTS | CREATE OR REPLACE MODEL}
`project_id.dataset.model_name`
REMOTE WITH CONNECTION `project_id.region.connection_id`
OPTIONS(REMOTE_SERVICE_TYPE = remote_service_type
[, DOCUMENT_PROCESSOR = document_processor]
[, SPEECH_RECOGNIZER = speech_recognizer]
);

CREATE MODEL

Cria e treina um modelo novo no conjunto de dados especificado. Se o nome do modelo existir, CREATE MODEL retornará um erro.

CREATE MODEL IF NOT EXISTS

Cria e treina um novo modelo somente quando ele não existe no conjunto de dados especificado.

CREATE OR REPLACE MODEL

Cria e treina um modelo e substitui um modelo atual com o mesmo nome no conjunto de dados especificado.

model_name

O nome do modelo que você está criando ou substituindo. O nome do modelo precisa ser exclusivo no conjunto de dados: nenhum outro modelo ou tabela pode ter o mesmo nome. O nome do modelo precisa seguir as mesmas regras de nomenclatura de uma tabela do BigQuery. Um nome de modelo pode:

• conter até 1.024 caracteres;
• conter letras (maiúsculas e minúsculas), números e sublinhados;

model_name não diferencia maiúsculas de minúsculas.

Se você não tiver um projeto padrão configurado, use o ID do projeto como prefixo no nome do modelo no seguinte formato, incluindo acentos graves:

`[PROJECT_ID].[DATASET].[MODEL]`

Por exemplo, "myproject.mydataset.mymodel".

REMOTE WITH CONNECTION

Sintaxe

`[PROJECT_ID].[LOCATION].[CONNECTION_ID]`

O BigQuery usa uma conexão de recursos do Cloud para interagir com o serviço de IA do Cloud.

Os elementos de conexão são estes:

• PROJECT_ID: o ID do projeto que contém a conexão.
• LOCATION: o local usado pela conexão. A conexão precisa estar no mesmo local que o conjunto de dados que contém o modelo.
• CONNECTION_ID: o ID da conexão. Por exemplo, myconnection.

  Para encontrar o ID da conexão, confira os detalhes da conexão no console do Google Cloud. O ID da conexão é o valor na última seção do ID da conexão totalmente qualificado mostrado em ID da conexão, por exemplo, projects/myproject/locations/connection_location/connections/myconnection.

Você precisa conceder a função de usuário da Vertex AI à conta de serviço da conexão no projeto em que você cria o modelo.

Exemplo

`myproject.us.my_connection`

REMOTE_SERVICE_TYPE

Sintaxe

REMOTE_SERVICE_TYPE = { 'CLOUD_AI_NATURAL_LANGUAGE_V1' | 'CLOUD_AI_TRANSLATE_V3' | 'CLOUD_AI_VISION_V1' | 'CLOUD_AI_DOCUMENT_V1' | 'CLOUD_AI_SPEECH_TO_TEXT_V2' }

Descrição

Especifica o serviço a ser usado para criar o modelo:

• API Cloud Natural Language
• API Cloud Translation
• API Cloud Vision
• API Document AI (pré-lançamento)
• API Speech-to-Text (pré-lançamento)

Depois de criar um modelo remoto baseado em um serviço de IA do Cloud, você pode usar o modelo com uma das seguintes funções do BigQuery ML para analisar os dados do BigQuery:

• Para modelos da API Cloud Natural Language, use ML.UNDERSTAND_TEXT
• Para modelos da API Cloud Translation, use ML.TRANSLATE
• Para modelos da API Cloud Vision, use ML.ANNOTATE_IMAGE
• Para modelos da API Document AI, use ML.PROCESS_DOCUMENT (pré-lançamento)
• Para modelos da API Speech-to-Text, use ML.TRANSCRIBE (pré-lançamento)

Exemplo

REMOTE_SERVICE_TYPE = 'CLOUD_AI_VISION_V1'

Observação: é possível criar um modelo remoto em um LLM da Vertex AI especificando o valor REMOTE_SERVICE_TYPE como "CLOUD_AI_LARGE_LANGUAGE_MODEL_V1" para o text-bison ou "CLOUD_AI_TEXT_animateDING_MODEL_V1" para o modelo textembedding-gecko. No entanto, o método preferencial para criar um modelo remoto em um LLM é especificar o LLM como um endpoint. O uso de um endpoint oferece mais opções em termos de versões de LLMs e LLM que você usa.

DOCUMENT_PROCESSOR

Visualização

Este produto ou recurso está sujeito aos "Termos das ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos do serviço. Os produtos e recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Observação: para enviar feedback ou solicitar suporte sobre esse recurso, envie um e-mail para [e-mail].

Essa opção identifica o processador de documentos a ser usado quando o valor REMOTE_SERVICE_TYPE for CLOUD_AI_DOCUMENT_V1. Use essa opção ao criar um modelo remoto na API Document AI. Não é possível usar essa opção com nenhum outro tipo de modelo remoto.

A Document AI fornece processadores pré-criados para extrair insights de vários tipos de documentos, como:

• Faturas
• Declarações fiscais
• Demonstrativos financeiros

Nem todos os tipos de processadores são compatíveis. Os processadores compatíveis extraem insights de documentos e têm descrições na galeria de processadores que começam com Extract. Por exemplo, a fatura, o holerite e os analisadores de extrato bancário. A instrução CREATE MODEL falhará se você especificar um processador não compatível.

O valor DOCUMENT_PROCESSOR precisa ser uma string no seguinte formato:

projects/PROJECT_NUMBER/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION

Substitua:

• PROJECT_NUMBER: o número do projeto que contém o processador de documentos. Para encontrar esse valor, confira os detalhes do processador, o Endpoint de previsão e pegue o valor após o elemento projects, por exemplo, https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
• LOCATION: o local usado pelo processador de documentos. Para encontrar esse valor, confira os detalhes do processador, o Endpoint de previsão e pegue o valor após o elemento locations, por exemplo, https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
• PROCESSOR_ID: o ID do processador de documentos. Para encontrar esse valor, confira os detalhes do processador, o Endpoint de previsão e pegue o valor após o elemento processors, por exemplo, https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
• PROCESSOR_VERSION: a versão do processador de documentos. Para encontrar esse valor, analise os detalhes do processador, selecione a guia Gerenciar versões e copie o valor ID da versão desejada.

SPEECH_RECOGNIZER

Visualização

Este produto ou recurso está sujeito aos "Termos das ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos do serviço. Os produtos e recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Observação: para enviar feedback ou solicitar suporte sobre esse recurso, envie um e-mail para [e-mail].

Essa opção identifica o reconhecedor de fala para uso opcional quando o valor REMOTE_SERVICE_TYPE é CLOUD_AI_SPEECH_TO_TEXT_V2. Se você não especificar essa opção, precisará especificar um valor para o argumento recognition_config da função ML.TRANSCRIBE se fizer referência ao modelo remoto. Não é possível usar essa opção com nenhum outro tipo de modelo remoto.

O valor SPEECH_RECOGNIZER precisa ser uma string no seguinte formato:

projects/PROJECT_NUMBER/locations/LOCATION/recognizers/RECOGNIZER_ID

Substitua:

• PROJECT_NUMBER: o número do projeto que contém o reconhecedor de fala. Esse valor está no card Informações do projeto na página Painel do console do Google Cloud.
• LOCATION: o local usado pelo reconhecedor de fala. Encontre esse valor no campo Local na página Listar reconhecedores do console do Google Cloud.
• RECOGNIZER_ID: o ID do reconhecedor de fala. Encontre esse valor no campo ID na página Listar reconhecedores do console do Google Cloud.

Exemplo

O exemplo a seguir cria um modelo remoto do BigQuery ML que usa a API Cloud Vision:

CREATE MODEL `project_id.mydataset.mymodel`
REMOTE WITH CONNECTION `myproject.us.test_connection`
 OPTIONS(REMOTE_SERVICE_TYPE = 'CLOUD_AI_VISION_V1')

A seguir

Para mais informações sobre o uso dos serviços do Cloud AI com o BigQuery ML, consulte Visão geral do aplicativo de IA.