Instrução CREATE MODEL para modelos remotos em serviços de IA do Cloud
Neste documento, descrevemos a instrução CREATE MODEL
para criar modelos remotos
no BigQuery em serviços de IA do Cloud. Por exemplo, a API Cloud Natural Language.
Sintaxe de CREATE MODEL
{CREATE MODEL | CREATE MODEL IF NOT EXISTS | CREATE OR REPLACE MODEL} `project_id.dataset.model_name` REMOTE WITH CONNECTION `project_id.region.connection_id` OPTIONS(REMOTE_SERVICE_TYPE = remote_service_type [, DOCUMENT_PROCESSOR = document_processor] [, SPEECH_RECOGNIZER = speech_recognizer] );
CREATE MODEL
Cria e treina um modelo novo no conjunto de dados especificado. Se o nome do modelo
existir, CREATE MODEL
retornará um erro.
CREATE MODEL IF NOT EXISTS
Cria e treina um novo modelo somente quando ele não existe no conjunto de dados especificado.
CREATE OR REPLACE MODEL
Cria e treina um modelo e substitui um modelo atual com o mesmo nome no conjunto de dados especificado.
model_name
O nome do modelo que você está criando ou substituindo. O nome do modelo precisa ser exclusivo no conjunto de dados: nenhum outro modelo ou tabela pode ter o mesmo nome. O nome do modelo precisa seguir as mesmas regras de nomenclatura de uma tabela do BigQuery. Um nome de modelo pode:
- conter até 1.024 caracteres;
- conter letras (maiúsculas e minúsculas), números e sublinhados;
model_name
não diferencia maiúsculas de minúsculas.
Se você não tiver um projeto padrão configurado, use o ID do projeto como prefixo no nome do modelo no seguinte formato, incluindo acentos graves:
`[PROJECT_ID].[DATASET].[MODEL]`
Por exemplo, "myproject.mydataset.mymodel".
REMOTE WITH CONNECTION
Sintaxe
`[PROJECT_ID].[LOCATION].[CONNECTION_ID]`
O BigQuery usa uma conexão de recursos do Cloud para interagir com o serviço de IA do Cloud.
Os elementos de conexão são estes:
PROJECT_ID
: o ID do projeto que contém a conexão.LOCATION
: o local usado pela conexão. A conexão precisa estar no mesmo local que o conjunto de dados que contém o modelo.CONNECTION_ID
: o ID da conexão. Por exemplo,myconnection
.Para encontrar o ID da conexão, confira os detalhes da conexão no console do Google Cloud. O ID da conexão é o valor na última seção do ID da conexão totalmente qualificado mostrado em ID da conexão, por exemplo,
projects/myproject/locations/connection_location/connections/myconnection
.
Você precisa conceder a função de usuário da Vertex AI à conta de serviço da conexão no projeto em que você cria o modelo.
Exemplo
`myproject.us.my_connection`
REMOTE_SERVICE_TYPE
Sintaxe
REMOTE_SERVICE_TYPE = { 'CLOUD_AI_NATURAL_LANGUAGE_V1' | 'CLOUD_AI_TRANSLATE_V3' | 'CLOUD_AI_VISION_V1' | 'CLOUD_AI_DOCUMENT_V1' | 'CLOUD_AI_SPEECH_TO_TEXT_V2' }
Descrição
Especifica o serviço a ser usado para criar o modelo:
- API Cloud Natural Language
- API Cloud Translation
- API Cloud Vision
- API Document AI (pré-lançamento)
- API Speech-to-Text (pré-lançamento)
Depois de criar um modelo remoto baseado em um serviço de IA do Cloud, você pode usar o modelo com uma das seguintes funções do BigQuery ML para analisar os dados do BigQuery:
- Para modelos da API Cloud Natural Language, use
ML.UNDERSTAND_TEXT
- Para modelos da API Cloud Translation, use
ML.TRANSLATE
- Para modelos da API Cloud Vision, use
ML.ANNOTATE_IMAGE
- Para modelos da API Document AI, use
ML.PROCESS_DOCUMENT
(pré-lançamento) - Para modelos da API Speech-to-Text, use
ML.TRANSCRIBE
(pré-lançamento)
Exemplo
REMOTE_SERVICE_TYPE = 'CLOUD_AI_VISION_V1'
DOCUMENT_PROCESSOR
Essa opção identifica o
processador de documentos a ser usado quando o
valor REMOTE_SERVICE_TYPE
for CLOUD_AI_DOCUMENT_V1
. Use essa opção ao criar um modelo remoto na API Document AI. Não
é possível usar essa opção com nenhum outro tipo de modelo remoto.
A Document AI fornece processadores pré-criados para extrair insights de vários tipos de documentos, como:
- Faturas
- Declarações fiscais
- Demonstrativos financeiros
Nem todos os tipos de processadores são compatíveis. Os processadores compatíveis extraem insights
de documentos e têm descrições na
galeria de processadores
que começam com Extract
. Por exemplo, a fatura, o holerite e os analisadores de extrato bancário. A instrução CREATE MODEL
falhará se você especificar um processador
não compatível.
O valor DOCUMENT_PROCESSOR
precisa ser uma string no seguinte formato:
projects/PROJECT_NUMBER/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION
Substitua:
PROJECT_NUMBER
: o número do projeto que contém o processador de documentos. Para encontrar esse valor, confira os detalhes do processador, o Endpoint de previsão e pegue o valor após o elemento projects, por exemplo,https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process
.LOCATION
: o local usado pelo processador de documentos. Para encontrar esse valor, confira os detalhes do processador, o Endpoint de previsão e pegue o valor após o elemento locations, por exemplo,https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process
.PROCESSOR_ID
: o ID do processador de documentos. Para encontrar esse valor, confira os detalhes do processador, o Endpoint de previsão e pegue o valor após o elemento processors, por exemplo,https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process
.PROCESSOR_VERSION
: a versão do processador de documentos. Para encontrar esse valor, analise os detalhes do processador, selecione a guia Gerenciar versões e copie o valor ID da versão desejada.
SPEECH_RECOGNIZER
Essa opção identifica o
reconhecedor de fala para uso opcional quando
o valor REMOTE_SERVICE_TYPE
é CLOUD_AI_SPEECH_TO_TEXT_V2
. Se você não
especificar essa opção, precisará especificar um valor para o
argumento recognition_config
da função ML.TRANSCRIBE
se fizer referência ao modelo remoto. Não é possível usar essa opção com nenhum outro tipo de modelo remoto.
O valor SPEECH_RECOGNIZER
precisa ser uma string no seguinte formato:
projects/PROJECT_NUMBER/locations/LOCATION/recognizers/RECOGNIZER_ID
Substitua:
PROJECT_NUMBER
: o número do projeto que contém o reconhecedor de fala. Esse valor está no card Informações do projeto na página Painel do console do Google Cloud.LOCATION
: o local usado pelo reconhecedor de fala. Encontre esse valor no campo Local na página Listar reconhecedores do console do Google Cloud.RECOGNIZER_ID
: o ID do reconhecedor de fala. Encontre esse valor no campo ID na página Listar reconhecedores do console do Google Cloud.
Exemplo
O exemplo a seguir cria um modelo remoto do BigQuery ML que usa a API Cloud Vision:
CREATE MODEL `project_id.mydataset.mymodel` REMOTE WITH CONNECTION `myproject.us.test_connection` OPTIONS(REMOTE_SERVICE_TYPE = 'CLOUD_AI_VISION_V1')
A seguir
Para mais informações sobre o uso dos serviços do Cloud AI com o BigQuery ML, consulte Visão geral do aplicativo de IA.