Instrução CREATE MODEL para modelos remotos em serviços de IA do Cloud

Neste documento, descrevemos a instrução CREATE MODEL para criar modelos remotos no BigQuery em serviços de IA do Cloud. Por exemplo, a API Cloud Natural Language.

Sintaxe de CREATE MODEL

{CREATE MODEL | CREATE MODEL IF NOT EXISTS | CREATE OR REPLACE MODEL}
`project_id.dataset.model_name`
REMOTE WITH CONNECTION `project_id.region.connection_id`
OPTIONS(REMOTE_SERVICE_TYPE = remote_service_type
[, DOCUMENT_PROCESSOR = document_processor]
[, SPEECH_RECOGNIZER = speech_recognizer]
);

CREATE MODEL

Cria e treina um modelo novo no conjunto de dados especificado. Se o nome do modelo existir, CREATE MODEL retornará um erro.

CREATE MODEL IF NOT EXISTS

Cria e treina um novo modelo somente quando ele não existe no conjunto de dados especificado.

CREATE OR REPLACE MODEL

Cria e treina um modelo e substitui um modelo atual com o mesmo nome no conjunto de dados especificado.

model_name

O nome do modelo que você está criando ou substituindo. O nome do modelo precisa ser exclusivo no conjunto de dados: nenhum outro modelo ou tabela pode ter o mesmo nome. O nome do modelo precisa seguir as mesmas regras de nomenclatura de uma tabela do BigQuery. Um nome de modelo pode:

  • conter até 1.024 caracteres;
  • conter letras (maiúsculas e minúsculas), números e sublinhados;

model_name não diferencia maiúsculas de minúsculas.

Se você não tiver um projeto padrão configurado, use o ID do projeto como prefixo no nome do modelo no seguinte formato, incluindo acentos graves:

`[PROJECT_ID].[DATASET].[MODEL]`

Por exemplo, "myproject.mydataset.mymodel".

REMOTE WITH CONNECTION

Sintaxe

`[PROJECT_ID].[LOCATION].[CONNECTION_ID]`

O BigQuery usa uma conexão de recursos do Cloud para interagir com o serviço de IA do Cloud.

Os elementos de conexão são estes:

  • PROJECT_ID: o ID do projeto que contém a conexão.
  • LOCATION: o local usado pela conexão. A conexão precisa estar no mesmo local que o conjunto de dados que contém o modelo.
  • CONNECTION_ID: o ID da conexão. Por exemplo, myconnection.

    Para encontrar o ID da conexão, confira os detalhes da conexão no console do Google Cloud. O ID da conexão é o valor na última seção do ID da conexão totalmente qualificado mostrado em ID da conexão, por exemplo, projects/myproject/locations/connection_location/connections/myconnection.

Você precisa conceder a função de usuário da Vertex AI à conta de serviço da conexão no projeto em que você cria o modelo.

Exemplo

`myproject.us.my_connection`

REMOTE_SERVICE_TYPE

Sintaxe

REMOTE_SERVICE_TYPE = { 'CLOUD_AI_NATURAL_LANGUAGE_V1' | 'CLOUD_AI_TRANSLATE_V3' | 'CLOUD_AI_VISION_V1' | 'CLOUD_AI_DOCUMENT_V1' | 'CLOUD_AI_SPEECH_TO_TEXT_V2' }

Descrição

Especifica o serviço a ser usado para criar o modelo:

Depois de criar um modelo remoto baseado em um serviço de IA do Cloud, você pode usar o modelo com uma das seguintes funções do BigQuery ML para analisar os dados do BigQuery:

Exemplo

REMOTE_SERVICE_TYPE = 'CLOUD_AI_VISION_V1'

DOCUMENT_PROCESSOR

Essa opção identifica o processador de documentos a ser usado quando o valor REMOTE_SERVICE_TYPE for CLOUD_AI_DOCUMENT_V1. Use essa opção ao criar um modelo remoto na API Document AI. Não é possível usar essa opção com nenhum outro tipo de modelo remoto.

A Document AI fornece processadores pré-criados para extrair insights de vários tipos de documentos, como:

  • Faturas
  • Declarações fiscais
  • Demonstrativos financeiros

Nem todos os tipos de processadores são compatíveis. Os processadores compatíveis extraem insights de documentos e têm descrições na galeria de processadores que começam com Extract. Por exemplo, a fatura, o holerite e os analisadores de extrato bancário. A instrução CREATE MODEL falhará se você especificar um processador não compatível.

O valor DOCUMENT_PROCESSOR precisa ser uma string no seguinte formato:

projects/PROJECT_NUMBER/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION

Substitua:

  • PROJECT_NUMBER: o número do projeto que contém o processador de documentos. Para encontrar esse valor, confira os detalhes do processador, o Endpoint de previsão e pegue o valor após o elemento projects, por exemplo, https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
  • LOCATION: o local usado pelo processador de documentos. Para encontrar esse valor, confira os detalhes do processador, o Endpoint de previsão e pegue o valor após o elemento locations, por exemplo, https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
  • PROCESSOR_ID: o ID do processador de documentos. Para encontrar esse valor, confira os detalhes do processador, o Endpoint de previsão e pegue o valor após o elemento processors, por exemplo, https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process.
  • PROCESSOR_VERSION: a versão do processador de documentos. Para encontrar esse valor, analise os detalhes do processador, selecione a guia Gerenciar versões e copie o valor ID da versão desejada.

SPEECH_RECOGNIZER

Essa opção identifica o reconhecedor de fala para uso opcional quando o valor REMOTE_SERVICE_TYPE é CLOUD_AI_SPEECH_TO_TEXT_V2. Se você não especificar essa opção, precisará especificar um valor para o argumento recognition_config da função ML.TRANSCRIBE se fizer referência ao modelo remoto. Não é possível usar essa opção com nenhum outro tipo de modelo remoto.

O valor SPEECH_RECOGNIZER precisa ser uma string no seguinte formato:

projects/PROJECT_NUMBER/locations/LOCATION/recognizers/RECOGNIZER_ID

Substitua:

  • PROJECT_NUMBER: o número do projeto que contém o reconhecedor de fala. Esse valor está no card Informações do projeto na página Painel do console do Google Cloud.
  • LOCATION: o local usado pelo reconhecedor de fala. Encontre esse valor no campo Local na página Listar reconhecedores do console do Google Cloud.
  • RECOGNIZER_ID: o ID do reconhecedor de fala. Encontre esse valor no campo ID na página Listar reconhecedores do console do Google Cloud.

Exemplo

O exemplo a seguir cria um modelo remoto do BigQuery ML que usa a API Cloud Vision:

CREATE MODEL `project_id.mydataset.mymodel`
REMOTE WITH CONNECTION `myproject.us.test_connection`
 OPTIONS(REMOTE_SERVICE_TYPE = 'CLOUD_AI_VISION_V1')

A seguir

Para mais informações sobre o uso dos serviços do Cloud AI com o BigQuery ML, consulte Visão geral do aplicativo de IA.