Pacote google.cloud.automl.v1beta1

Índice

AutoMl

API AutoML Server.

Os nomes dos recursos são atribuídos pelo servidor. O servidor jamais reutilizará nomes criados por ele depois que os recursos com esses nomes forem excluídos.

Um código de um recurso é o último elemento do nome do recurso do item. Para projects/{project_id}/locations/{location_id}/datasets/{dataset_id}, o código do item é {dataset_id}.

Atualmente, o único location_id aceito é "us-central1".

Qualquer um desses casos será aceito em qualquer entrada que esteja documentada para esperar um parâmetro de string em snake_case ou kebab-case.

CreateDataset

rpc CreateDataset(CreateDatasetRequest) retorna (Dataset)

Cria um conjunto de dados.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
CreateModel

rpc CreateModel(CreateModelRequest) retorna (Operation)

Cria um modelo. Retorna um modelo no campo response quando concluído. Quando você cria um modelo, diversas avaliações de modelo são criadas para ele: uma avaliação global e uma avaliação para cada especificação de anotação.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
DeleteDataset

rpc DeleteDataset(DeleteDatasetRequest) retorna (Operation)

Exclui um conjunto de dados e todo o conteúdo. Retorna a resposta vazia no campo response quando é concluída e delete_details no campo metadata.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
DeleteModel

rpc DeleteModel(DeleteModelRequest) retorna (Operation)

Exclui um modelo. Retorna google.protobuf.Empty no campo response quando estiver concluído e delete_details no campo metadata.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
DeployModel

rpc DeployModel(DeployModelRequest) retorna (Operation)

Implanta um modelo. Retorna uma resposta vazia no campo de response quando concluído.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
ExportData

rpc ExportData(ExportDataRequest) retorna (Operation)

Exporta os dados do conjunto de dados para um local de saída fornecido. Retorna uma resposta vazia no campo de response quando concluído.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
GetAnnotationSpec

rpc GetAnnotationSpec(GetAnnotationSpecRequest) retorna (AnnotationSpec)

Recebe uma especificação de anotação.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
GetDataset

rpc GetDataset(GetDatasetRequest) retorna (Dataset)

Recebe um conjunto de dados.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
GetModel

rpc GetModel(GetModelRequest) retorna (Model)

Recebe um modelo.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
GetModelEvaluation

rpc GetModelEvaluation(GetModelEvaluationRequest) retorna (ModelEvaluation)

Recebe uma avaliação de modelo.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
ImportData

rpc ImportData(ImportDataRequest) retorna (Operation)

Importa dados para um conjunto de dados.

Somente é possível chamar esse método para um conjunto de dados vazio.

Para mais informações, consulte Como importar itens para um conjunto de dados.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
ListDatasets

rpc ListDatasets(ListDatasetsRequest) retorna (ListDatasetsResponse)

Lista conjuntos de dados em um projeto.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
ListModelEvaluations

rpc ListModelEvaluations(ListModelEvaluationsRequest) retorna (ListModelEvaluationsResponse)

Lista avaliações de modelo.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
ListModels

rpc ListModels(ListModelsRequest) retorna (ListModelsResponse)

Lista modelos.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
UndeployModel

rpc UndeployModel(UndeployModelRequest) retorna (Operation)

Cancela a implantação de um modelo. Retorna uma resposta vazia no campo de response quando concluído.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.

PredictionService

API AutoML Prediction.

Qualquer um desses casos será aceito em qualquer entrada que esteja documentada para esperar um parâmetro de string em snake_case ou kebab-case.

BatchPredict

rpc BatchPredict(BatchPredictRequest) retorna (Operation)

Execute uma predição em lote e retorne o código de uma operação de longa duração. É possível solicitar o resultado da operação usando o método GetOperation. Quando a operação estiver concluída, chame GetOperation para recuperar um BatchPredictResult do campo response.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.
Predict

rpc Predict(PredictRequest) retorna (PredictResponse)

Não usado para o rastreamento de objetos do AutoML Video Intelligence.

Escopos de autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.

StreamingPredictionService

API AutoML Streaming Prediction.

Qualquer um desses casos será aceito em qualquer entrada que esteja documentada para esperar um parâmetro de string em snake_case ou kebab-case.

AnnotationPayload

Contém informações de anotação relevantes para AutoML.

Campos
annotation_spec_id

string

Apenas saída. O código do recurso da especificação de anotação a que essa anotação pertence. A especificação de anotação vem de um conjunto de dados ancestral ou do conjunto de dados que foi usado para treinar o modelo em uso.

display_name

string

Apenas saída. O valor de AnnotationSpec.display_name quando o modelo foi treinado. Como esse campo retorna um valor no tempo de treinamento de modelo, para modelos diferentes treinados usando o mesmo conjunto de dados, o valor retornado pode ser diferente, porque o proprietário do modelo pode atualizar o nome de exibição entre dois treinamentos de modelo quaisquer.

Campo de união detail. Apenas saída. Informações adicionais sobre a anotação específica da solução AutoML. detail só pode ser um destes:
classification

ClassificationAnnotation

Não usado para o rastreamento de objetos do AutoML Video Intelligence.

video_object_tracking

VideoObjectTrackingAnnotation

Detalhes da anotação para predições de rastreamento de objetos.

AnnotationSpec

Uma definição de anotação.

Campos
name

string

Apenas saída. Nome do recurso da especificação de anotação. Formulário:

'projects/{project_id}/locations/{location_id}/datasets/{dataset_id}/annotationSpecs/{annotation_spec_id}'
display_name

string

Obrigatório. O nome da especificação de anotação a ser exibido na interface. O nome pode ter até 32 caracteres e pode consistir apenas em letras latinas ASCII de A a Z e de a a z, sublinhados (_) e dígitos ASCII de 0 a 9.

example_count

int32

Apenas saída. O número de exemplos no conjunto de dados pai rotulados pela especificação da anotação.

BatchPredictInputConfig

Configuração de entrada para a ação BatchPredict. A entrada é um ou mais arquivos CSV armazenados no Google Cloud Storage, onde os arquivos CSV estão no seguinte formato:

GCS_FILE_PATH,TIME_SEGMENT_START,TIME_SEGMENT_END

  • GCS_FILE_PATH identifica o caminho do Google Cloud Storage para um vídeo de até 50 GB e até 3 horas de duração. Extensões compatíveis: .MOV, .MPEG4, .MP4, .AVI.

  • TIME_SEGMENT_START e TIME_SEGMENT_END precisam estar dentro do tamanho do vídeo, e o final precisa ser posterior ao início.

Três linhas de amostra:

gs://folder/video1.mp4,10,40
gs://folder/video1.mp4,20,60
gs://folder/vid2.mov,0,inf

Para mais informações, consulte Como anotar vídeos.

Campos
gcs_source

GcsSource

O local do Google Cloud Storage para o conteúdo de entrada.

BatchPredictOperationMetadata

Detalhes da operação BatchPredict.

Campos
input_config

BatchPredictInputConfig

Apenas saída. A configuração da entrada fornecida no início desta operação de predição em lote.

output_info

BatchPredictOutputInfo

Apenas saída. Informações adicionais que descrevem a saída de predição em lote.

BatchPredictOutputInfo

Descreve com mais detalhes a saída desta predição de lote. Suplementos

[BatchPredictionOutputConfig][google.cloud.automl.v1beta1.BatchPredictionOutputConfig].

Campos
Campo de união output_location. O local de saída em que a saída da predição é gravada. output_location pode ser apenas uma das seguintes opções:
gcs_output_directory

string

O caminho completo do diretório do Google Cloud Storage criado, em que a saída da predição é gravada.

bigquery_output_dataset

string

O caminho do conjunto de dados do BigQuery criado, no formato bq://projectId.bqDatasetId, em que a saída da predição é gravada.

BatchPredictOutputConfig

Configuração de saída para a ação BatchPredict.

O AutoML Video Intelligence cria um diretório especificado no [gcsDestination][google.cloud.automl.v1beta1.BatchPredictionOutputConfig.gcs_destination]. O nome do diretório é "prediction-<model-display-name>-<timestamp-of-prediction-call>", em que o carimbo de data/hora está no formato YYYY-MM-DDThh:mm:ss.sssZ ISO-8601.

O AutoML Video Intelligence cria um arquivo chamado video_classification.csv no novo diretório, além de um arquivo JSON para cada classificação de vídeo solicitada. Ou seja, cada linha no arquivo CSV de entrada.

O formato do arquivo video_classification.csv é o seguinte:

GCS_FILE_PATH,TIME_SEGMENT_START,TIME_SEGMENT_END,JSON_FILE_NAME,STATUS

  • GCS_FILE_PATH, TIME_SEGMENT_START, TIME_SEGMENT_END correspondem aos mesmos campos do arquivo CSV de entrada.

  • JSON_FILE_NAME é o nome do arquivo JSON no diretório de saída que contém respostas de predição para o segmento de tempo de vídeo.

  • STATUS contém "OK" se a predição foi concluída com sucesso. Caso contrário, contém informações de erro. Se STATUS não for "OK", o arquivo JSON para essa predição estará vazio ou será inexistente.

Cada arquivo JSON em que STATUS é "OK" contém uma lista de protos de AnnotationPayload no formato JSON, que são as predições para o segmento de tempo de vídeo ao qual o arquivo é atribuído em video_classification.csv. Todos os protos de AnnotationPayload têm um campo video_classification e são ordenados pelo campo video_classification.type. Os tipos retornados são determinados pelo parâmetro classifaction_types de BatchPredictRequest.params.

Campos
Campo de união destination. Obrigatório. O destino da saída. destination pode ser apenas uma das seguintes opções:
gcs_destination

GcsDestination

O local do Google Cloud Storage do diretório em que a saída precisa ser gravada.

bigquery_destination

BigQueryDestination

O local do BigQuery em que a saída precisa ser gravada.

BatchPredictRequest

Mensagem de solicitação de PredictionService..BatchPredict.

Campos
name

string

Nome do modelo solicitado para disponibilizar a predição em lote.

A autorização requer a seguinte permissão do Google IAM no recurso name especificado:

  • automl.models.predict
input_config

BatchPredictInputConfig

Obrigatório. A configuração de entrada para a predição em lote.

output_config

BatchPredictOutputConfig

Obrigatório. A configuração que especifica onde as predições de saída precisam ser gravadas.

params

map<string, string>

Será um dos seguintes valores:

score_threshold

 (flutuante): um valor de 0.0 até 1.0. Quando o modelo faz predições para um vídeo, ele só produz resultados que tenham pelo menos esse valor de confiança. O padrão é 0.

segment_classification

 (booleano): definido como verdadeiro para solicitar a classificação no nível de segmento. O AutoML Video Intelligence retorna rótulos e os valores de confiança para todo o segmento do vídeo especificado pelo usuário na configuração da solicitação. O padrão é "verdadeiro".

shot_classification

 (booleano): definido como verdadeiro para solicitar a classificação no nível de tomada. O AutoML Video Intelligence determina os limites de cada tomada de câmera em todo o segmento do vídeo especificado pelo usuário na configuração de solicitação. O AutoML Video Intelligence retorna rótulos e os valores de confiança para cada tomada detectada, com o horário de início e término da tomada. AVISO: a avaliação do modelo não é feita para esse tipo de classificação, a qualidade depende dos dados de treinamento, mas não há métricas fornecidas para descrever essa qualidade. O padrão é "falso".

1s_interval_classification

 (booleano): definido como verdadeiro para solicitar a classificação para um vídeo em intervalos de um segundo. O AutoML Video Intelligence retorna rótulos e os valores de confiança para cada segundo de todo o segmento do vídeo que o usuário especificou na configuração da solicitação. AVISO: a avaliação do modelo não é feita para esse tipo de classificação, a qualidade depende dos dados de treinamento, mas não há métricas fornecidas para descrever essa qualidade. O padrão é "falso".

Para mais informações, consulte Como anotar vídeos.

BatchPredictResult

Resultado da predição em lote.

Campos
metadata

map<string, string>

Outros metadados de resposta de predição específica do domínio.

BigQueryDestination

Não usado para o rastreamento de objetos do AutoML Video Intelligence.

Campos
output_uri

string

Obrigatório. URI do BigQuery para um projeto, com até 2.000 caracteres. Formulários aceitos: * caminho do BigQuery, por exemplo, bq://projectId

BoundingBoxMetricsEntry

Métricas de modelo de correspondência de caixa delimitadora de um único limite de interseção sobre união e vários limites de confiança de correspondência de rótulo.

Campos
iou_threshold

float

Apenas saída. O valor do limite de interseção sobre união usado para calcular a entrada dessa métrica.

mean_average_precision

float

Apenas saída. A precisão média, na maioria das vezes perto de au_prc.

confidence_metrics_entries[]

ConfidenceMetricsEntry

Apenas saída. Métricas para cada limite de confiança de correspondência de rótulo de 0,05,0,10,...,0,95,0,96,0,97,0,98,0,99. A curva de recuperação de precisão é derivada deles.

ConfidenceMetricsEntry

Métricas para um único limite de confiança.

Campos
confidence_threshold

float

Apenas saída. O valor do limite de confiança usado para calcular as métricas.

recall

float

Apenas saída. Recall dado o limite de confiança indicado.

precision

float

Apenas saída. Precisão sob o limite de confiança indicado.

f1_score

float

Apenas saída. A média harmônica de recall e precisão.

BoundingPoly

Um polígono delimitador de um objeto detectado em um plano. Na saída, são fornecidos ambos os vértices e normalized_vertices. O polígono é formado com a conexão dos vértices na ordem em que estão listados.

Campos
normalized_vertices[]

NormalizedVertex

Apenas saída. Os vértices normalizados do polígono delimitador.

ClassificationAnnotation

Contém detalhes da anotação específicos da classificação.

Campos
score

float

Apenas saída. Uma estimativa de confiança entre 0,0 e 1,0. Um valor mais alto significa mais confiança de que a anotação seja positiva. Se um usuário aprovar uma anotação como negativa ou positiva, o valor da pontuação permanecerá inalterado. Se um usuário criar uma anotação, o valor será 0 para negativo ou 1 para positivo.

CreateDatasetRequest

Mensagem de solicitação de AutoMl..CreateDataset.

Campos
parent

string

O nome do recurso do projeto para criação do conjunto de dados.

A autorização requer a seguinte permissão do Google IAM no recurso parent especificado:

  • automl.datasets.create
dataset

Dataset

O conjunto de dados a ser criado.

CreateModelOperationMetadata

Detalhes da operação CreateModel.

CreateModelRequest

Mensagem de solicitação de AutoMl..CreateModel.

Campos
parent

string

Nome do recurso do projeto pai em que o modelo está sendo criado.

A autorização requer a seguinte permissão do Google IAM no recurso parent especificado:

  • automl.models.create
model

Model

O modelo a ser criado.

Conjunto de dados

Um espaço de trabalho para resolver um problema de machine learning (ML, na sigla em inglês) em especial. Um espaço de trabalho contém exemplos que podem ser anotados.

Campos
name

string

Apenas saída. O nome do recurso do conjunto de dados. Formulário: projects/{project_id}/locations/{location_id}/datasets/{dataset_id}

display_name

string

Obrigatório. O nome do conjunto de dados a ser exibido na interface. O nome pode ter até 32 caracteres e pode consistir apenas em letras latinas ASCII de A a Z e de a a z, sublinhados (_) e dígitos ASCII de 0 a 9.

example_count

int32

Apenas saída. O número de exemplos no conjunto de dados.

create_time

Timestamp

Apenas saída. Carimbo de data/hora quando este conjunto de dados foi criado.

video_object_tracking_dataset_metadata

VideoObjectTrackingDatasetMetadata

Metadados de um conjunto de dados usado no rastreamento de objetos de vídeo.

DeleteDatasetRequest

Mensagem de solicitação de AutoMl..DeleteDataset.

Campos
name

string

O nome do recurso do conjunto de dados a ser excluído.

A autorização requer a seguinte permissão do Google IAM no recurso name especificado:

  • automl.datasets.delete

DeleteModelRequest

Mensagem de solicitação de AutoMl..DeleteModel.

Campos
name

string

Nome do recurso do modelo que está sendo excluído.

A autorização requer a seguinte permissão do Google IAM no recurso name especificado:

  • automl.models.delete

DeleteOperationMetadata

Detalhes das operações que realizam exclusões de quaisquer entidades.

DeployModelOperationMetadata

Detalhes da operação DeployModel.

DeployModelRequest

Mensagem de solicitação de AutoMl..DeployModel.

Campos
name

string

Nome do recurso do modelo a ser implantado.

A autorização requer a seguinte permissão do Google IAM no recurso name especificado:

  • automl.models.deploy

ExamplePayload

Dados de exemplo usados em treinamento ou predição.

ExportDataOperationMetadata

Detalhes da operação ExportData.

Campos
output_info

ExportDataOutputInfo

Apenas saída. Outras informações descrevendo a saída desses dados de exportação.

ExportDataOutputInfo

Descreve com mais detalhes a saída desses dados de exportação. Complementa OutputConfig.

Campos
Campo de união output_location. O local de saída em que os dados exportados são gravados. output_location pode ser apenas uma das seguintes opções:
gcs_output_directory

string

O caminho completo do diretório do Google Cloud Storage criado, em que os dados exportados são gravados.

bigquery_output_dataset

string

O caminho do conjunto de dados do BigQuery criado, no formato bq://projectId.bqDatasetId, em que os dados exportados são gravados.

ExportDataRequest

Mensagem de solicitação de AutoMl..ExportData.

Campos
name

string

Obrigatório. O nome do recurso do conjunto de dados.

A autorização requer a seguinte permissão do Google IAM no recurso name especificado:

  • automl.datasets.export
output_config

OutputConfig

Obrigatório. O local de saída desejado.

GcsDestination

O local do Google Cloud Storage em que a saída será gravada.

Campos
output_uri_prefix

string

Obrigatório. URI Google Cloud Storage para diretório de saída, até 2.000 caracteres de comprimento. Formulários aceitos: * Caminho do prefixo: gs://bucket/directory O usuário solicitante precisa ter permissão de gravação no intervalo. O diretório será criado se não existir.

GcsSource

O local do Google Cloud Storage para o conteúdo de entrada.

Campos
input_uris[]

string

Obrigatório. URIs do Google Cloud Storage para arquivos de entrada, até 2.000 caracteres. Formulários aceitos: * Caminho do objeto completo, por exemplo, gs://bucket/directory/object.csv

GetAnnotationSpecRequest

Mensagem de solicitação de AutoMl..GetAnnotationSpec.

Campos
name

string

O nome do recurso da especificação de anotação a ser recuperada.

A autorização requer a seguinte permissão do Google IAM no recurso name especificado:

  • automl.annotationSpecs.get

GetDatasetRequest

Mensagem de solicitação de AutoMl..GetDataset.

Campos
name

string

O nome do recurso do conjunto de dados a ser recuperado.

A autorização requer a seguinte permissão do Google IAM no recurso name especificado:

  • automl.datasets.get

GetModelEvaluationRequest

Mensagem de solicitação de AutoMl..GetModelEvaluation.

Campos
name

string

Nome do recurso para avaliação do modelo.

A autorização requer a seguinte permissão do Google IAM no recurso name especificado:

  • automl.modelEvaluations.get

GetModelRequest

Mensagem de solicitação de AutoMl..GetModel.

Campos
name

string

Nome do recurso do modelo.

A autorização requer a seguinte permissão do Google IAM no recurso name especificado:

  • automl.models.get

ImportDataOperationMetadata

Detalhes da operação ImportData.

ImportDataRequest

Mensagem de solicitação de AutoMl..ImportData.

Campos
name

string

Obrigatório. Nome do conjunto de dados. O conjunto de dados já precisa existir. Todas as anotações e os exemplos importados serão adicionados.

A autorização requer a seguinte permissão do Google IAM no recurso name especificado:

  • automl.datasets.import
input_config

InputConfig

Obrigatório. O local de entrada desejado com a semântica específica de domínio, se houver.

InputConfig

Configuração de entrada para a ação ImportData.

O formato da entrada depende do dataset_metadata do conjunto de dados em que a importação está acontecendo. Como a origem de entrada, o gcs_source é esperado, a menos que seja especificado de outra forma. Se um arquivo com conteúdo idêntico (mesmo que tivesse GCS_FILE_PATH diferente) for mencionado várias vezes, seu rótulo, caixas delimitadoras etc. serão anexados. O mesmo arquivo precisa ser sempre fornecido com os mesmos ML_USE e GCS_FILE_PATH. Se não for, esses valores serão selecionados de forma não determinada dos dados fornecidos.

Os formatos são representados em EBNF com vírgulas sendo literais e com símbolos não terminais definidos próximos ao fim desse comentário. Os formatos são estes:

Para mais informações, consulte Como preparar os dados de treinamento.

Um arquivo CSV com cada linha no formato:

ML_USE,GCS_FILE_PATH

  • ML_USE: identifica o conjunto de dados ao qual a linha atual (arquivo) se aplica. Esse valor pode ser um destes:

    • TRAIN: as linhas neste arquivo são usadas para treinar o modelo.
    • TEST: as linhas neste arquivo são usadas para testar o modelo durante o treinamento.
    • UNASSIGNED: as linhas neste arquivo não são categorizadas. Elas são automaticamente divididas em dados de treinamento e de teste, sendo 80% para treinamento e 20% para testes.

  • GCS_FILE_PATH: identifica um arquivo armazenado no Google Cloud Storage que contém as informações do treinamento de modelo.

Após a determinação do conjunto de dados de treinamento a partir dos arquivos CSV TRAIN e UNASSIGNED, os dados de treinamento são divididos em conjuntos de dados de validação e treinamento, sendo 70% para treinamento e 30% para validação.

Cada arquivo CSV especificado com o campo GCS_FILE_PATH tem o seguinte formato:

GCS_FILE_PATH,LABEL,TIME_SEGMENT_START,TIME_SEGMENT_END

  • GCS_FILE_PATH: o caminho para um vídeo armazenado no Google Cloud Storage. O vídeo pode ter duração de até 1h. Extensões compatíveis: .MOV, .MPEG4, .MP4, .AVI e qualquer formato de arquivo compatível com ffmpeg.

  • LABEL: um rótulo que identifica o objeto do segmento de vídeo.

  • TIME_SEGMENT_START e TIME_SEGMENT_END: os carimbos de data/hora de início e de término em segundos para o segmento de vídeo a ser anotado. Os valores precisam estar dentro do tamanho do vídeo e TIME_SEGMENT_END precisa estar depois de TIME_SEGMENT_START.

Qualquer frame de um vídeo que tenha um ou mais rótulos é considerado um negativo rígido para todos os outros rótulos. Um quadro sem rótulos por padrão é considerado desconhecido. Ele pode ser modificado pelo parâmetro is_exhaustively_labeled. Um rótulo especial de "-" pode ser usado para expressar que um determinado período é um negativo rígido para todos os rótulos, os segmentos marcados com "-" não podem se sobrepor a segmentos de nenhum outro rótulo.

Arquivo de amostra:

TRAIN,gs:folder/train_videos.csv
TEST,gs:folder/test_videos.csv
UNASSIGNED,gs:folder/other_videos.csv

Aqui está um exemplo do formato de um dos arquivos CSV identificados pelo arquivo "top level" do gcsSource.

 gs:folder/video1.avi,car,120,180.000021
 gs:folder/video1.avi,bike,150,180.000023
 gs:folder/video1.avi,-,180.000024,300.000999
 gs:folder/vid2.avi,car,0,60.5

Erros:

Se algum dos arquivos CSV fornecidos não puder ser analisado ou se mais de uma determinada porcentagem de linhas CSV não puder ser processada, a operação falhará e nada será importado. Independentemente do sucesso ou da falha geral, as falhas por linha, até um determinado limite de contagem, serão listadas em Operation.metadata.partial_failures.

Campos
gcs_source

GcsSource

O local do Google Cloud Storage para o conteúdo de entrada.

ListDatasetsRequest

Mensagem de solicitação de AutoMl..ListDatasets.

Campos
parent

string

O nome do recurso do projeto para listar conjuntos de dados.

A autorização requer a seguinte permissão do Google IAM no recurso parent especificado:

  • automl.datasets.list
filter

string

Uma expressão para filtrar os resultados da solicitação.

  • dataset_metadata: teste para a existência de metadados.

  • display_name: =, !=, e regex(). Usa a sintaxe re2.

Um exemplo de uso do filtro é:

  • video_object_tracking_dataset_metadata:* -> o conjunto de dados tem video_object_tracking_dataset_metadata.

  • regex(display_name, "^A") -> o nome de exibição do conjunto de dados começa com "A"
page_size

int32

Tamanho da página solicitada. O servidor pode retornar menos resultados do que o solicitado. Se não for especificado, o servidor escolherá um tamanho padrão.

page_token

string

Um token que identifica uma página de resultados para o servidor retornar. Normalmente recebido por meio de ListDatasetsResponse.next_page_token da chamada AutoMl.ListDatasets anterior.

ListDatasetsResponse

Mensagem de resposta de AutoMl.ListDatasets.

Campos
datasets[]

Dataset

Os conjuntos de dados lidos.

next_page_token

string

Token para recuperar a próxima página de resultados. Passe para ListDatasetsRequest.page_token para receber essa página.

ListModelEvaluationsRequest

Mensagem de solicitação de AutoMl..ListModelEvaluations.

Campos
parent

string

Nome do recurso do modelo para listar as avaliações de modelo. Se modelId for definido como "-", isso listará as avaliações de modelo de todos os modelos do local pai.

A autorização requer a seguinte permissão do Google IAM no recurso parent especificado:

  • automl.modelEvaluations.list
filter

string

Uma expressão para filtrar os resultados da solicitação.

  • annotation_spec_id - para =, != ou existência. Veja o exemplo abaixo para o último.

Alguns exemplos de uso do filtro são:

  • annotation_spec_id!=4 --> A avaliação do modelo foi feita para especificação de anotação com código diferente de quatro.
  • NOT annotation_spec_id:* --> A avaliação do modelo foi feita para agregação de todas as especificações de anotação.
page_size

int32

Tamanho da página solicitada.

page_token

string

Um token que identifica uma página de resultados para o servidor retornar. Normalmente recebido via ListModelEvaluationsResponse.next_page_token da chamada AutoMl.ListModelEvaluations anterior.

ListModelEvaluationsResponse

Mensagem de resposta de AutoMl.ListModelEvaluations.

Campos
model_evaluation[]

ModelEvaluation

Lista de avaliações de modelo na página solicitada.

next_page_token

string

Token para recuperar a próxima página de resultados. Passe para o campo ListModelEvaluationsRequest.page_token de uma nova solicitação AutoMl.ListModelEvaluations para receber essa página.

ListModelsRequest

Mensagem de solicitação de AutoMl..ListModels.

Campos
parent

string

Nome do recurso do projeto para listar os modelos.

A autorização requer a seguinte permissão do Google IAM no recurso parent especificado:

  • automl.models.list
filter

string

Uma expressão para filtrar os resultados da solicitação.

  • model_metadata: teste para a existência de metadados.

  • dataset_id: = ou != um código do conjunto de dados.

  • display_name: =, !=, e regex(). Usa a sintaxe re2.

Alguns exemplos de uso do filtro são:

  • video_object_tracking_model_metadata:* -> o modelo tem video_object_tracking_model_metadata.

  • dataset_id=5 --> o modelo foi criado com base em um conjunto de dados com código 5.

  • regex(display_name, "^A") -> o nome de exibição do modelo começa com "A".
page_size

int32

Tamanho da página solicitada.

page_token

string

Um token que identifica uma página de resultados para o servidor retornar. Normalmente recebido por meio de ListModelsResponse.next_page_token da chamada AutoMl.ListModels anterior.

ListModelsResponse

Mensagem de resposta de AutoMl.ListModels.

Campos
model[]

Model

Lista de modelos na página solicitada.

next_page_token

string

Token para recuperar a próxima página de resultados. Passe para ListModelsRequest.page_token para receber essa página.

Modelo

API proto que representa um modelo de machine learning treinado.

Campos
name

string

Apenas saída. Nome do recurso do modelo. Formato: projects/{project_id}/locations/{location_id}/models/{model_id}

display_name

string

Obrigatório. O nome do modelo a ser mostrado na interface. O nome pode ter até 32 caracteres e pode consistir apenas em letras latinas ASCII de A a Z e de a a z, sublinhados (_) e dígitos ASCII de 0 a 9. Precisa começar com uma letra.

dataset_id

string

Obrigatório. O código do recurso do conjunto de dados usado para criar o modelo. O conjunto de dados precisa vir do mesmo projeto e local ancestrais.

create_time

Timestamp

Apenas saída. Carimbo de data/hora quando esse modelo foi criado.

update_time

Timestamp

Apenas saída. Carimbo de data/hora quando esse modelo foi atualizado pela última vez.

deployment_state

DeploymentState

Apenas saída. Estado de implantação do modelo. Um modelo somente pode disponibilizar solicitações de predição após ser implantado.

video_object_tracking_model_metadata

VideoObjectTrackingModelMetadata

Metadados de modelos de rastreamento de objetos de vídeo.

DeploymentState

Estado de implantação do modelo.

Enums
DEPLOYMENT_STATE_UNSPECIFIED Não precisa ser usado, um enum sem definição tem esse valor por padrão.
DEPLOYED O modelo está implantado.
UNDEPLOYED O modelo não está implantado.

ModelEvaluation

Resultados da avaliação de um modelo.

Campos
name

string

Apenas saída. Nome do recurso da avaliação do modelo. Formato:

projects/{project_id}/locations/{location_id}/models/{model_id}/modelEvaluations/{model_evaluation_id}
annotation_spec_id

string

Apenas saída. O código da especificação de anotação a que a avaliação de modelo se aplica. O código está vazio para a avaliação geral do modelo. No caso da classificação de tabelas, são os valores distintos da coluna de destino no momento da avaliação. Para este problema, as especificações de anotação no conjunto de dados não existem. OBSERVAÇÃO: atualmente, não há como receber display_name da especificação de anotação do código. Para ver display_names, revise as avaliações do modelo na IU.

display_name

string

Apenas saída. O valor de AnnotationSpec.display_name quando o modelo foi treinado. Como esse campo retorna um valor no tempo de treinamento de modelo, para modelos diferentes treinados usando o mesmo conjunto de dados, o valor retornado pode ser diferente, porque o proprietário do modelo pode atualizar o nome de exibição entre dois treinamentos de modelo quaisquer. O display_name está vazio para a avaliação geral do modelo.

create_time

Timestamp

Apenas saída. Carimbo de data/hora quando essa avaliação de modelo foi criada.

evaluated_example_count

int32

Apenas saída. O número de exemplos usados para avaliação do modelo. As informações do horário da criação do modelo são comparadas com as anotações previstas criadas pelo modelo. Para ModelEvaluation geral (ou seja, com annotation_spec_id não definido), esse é o número total de todos os exemplos usados para avaliação. Caso contrário, essa é a contagem de exemplos que, de acordo com as informações, foram anotados pelo

annotation_spec_id.
video_object_tracking_evaluation_metrics

VideoObjectTrackingEvaluationMetrics

Métricas de avaliação para modelos de rastreamento de objetos.

NormalizedVertex

Um vértice representa um ponto 2D na imagem. As coordenadas do vértice normalizado estão entre 0 e 1 frações em relação ao plano original (imagem, vídeo). Por exemplo, se o plano (exemplo, imagem inteira) tivesse tamanho 10 x 20, então um ponto com coordenadas normalizadas (0,1, 0,3) estaria na posição (1, 6) naquele plano.

Campos
x

float

Obrigatório. Coordenada horizontal.

y

float

Obrigatório. Coordenada vertical.

OperationMetadata

Metadados usados em todas as operações de longa duração retornadas pela API AutoML.

Campos
progress_percent

int32

Apenas saída. Progresso da operação. Intervalo: [0, 100]. Não usado atualmente.

partial_failures[]

Status

Apenas saída. Falhas parciais encontradas. Por exemplo, arquivos únicos que não puderam ser lidos. Este campo jamais precisa exceder 20 entradas. O campo de detalhes do status conterá detalhes de erro padrão do GCP.

create_time

Timestamp

Apenas saída. Hora em que a operação foi criada.

update_time

Timestamp

Apenas saída. Hora em que a operação foi atualizada pela última vez.

Campo de união details. Saída apenas. Detalhes de operação específica. Mesmo se esse campo estiver vazio, a presença permite distinguir diferentes tipos de operações. details podem ser apenas um destes:
delete_details

DeleteOperationMetadata

Detalhes de uma operação de exclusão.

deploy_model_details

DeployModelOperationMetadata

Detalhes de uma operação DeployModel.

undeploy_model_details

UndeployModelOperationMetadata

Detalhes de uma operação UndeployModel.

create_model_details

CreateModelOperationMetadata

Detalhes da operação CreateModel.

import_data_details

ImportDataOperationMetadata

Detalhes da operação ImportData.

batch_predict_details

BatchPredictOperationMetadata

Detalhes da operação BatchPredict.

export_data_details

ExportDataOperationMetadata

Detalhes da operação ExportData.

OutputConfig

Configuração de saída para ExportData.

Defina gcs_destination como destino, a menos que seja especificado de outra forma para um domínio. Apenas as anotações de informações são exportadas. As anotações não aprovadas não são exportadas.

As saídas correspondem a como os dados foram importados e podem ser usados como entrada para importar dados. Os formatos de saída são representados como EBNF com vírgulas literais e as mesmas definições de símbolos não terminais de InputConfig dos dados de importação.

video_object_tracking.csv é um arquivo CSV, com cada linha no formato a seguir. Ele pode ter várias linhas por um único ML_USE:

ML_USE,GCS_FILE_PATH

Cada GCS_FILE_PATH leva a outro arquivo .csv que descreve exemplos que resultaram no ML_USE, usando o seguinte formato de linha:

GCS_FILE_PATH,LABEL,INSTANCE_ID,TIMESTAMP,BOUNDING_BOX

Aqui, os dados na coluna GCS_FILE_PATH apontam para os locais de origem dos vídeos importados.

Campos
Campo de união destination. Obrigatório. O destino da saída. destination pode ser apenas uma das seguintes opções:
gcs_destination

GcsDestination

O local do Google Cloud Storage em que a saída será gravada. Para o rastreamento de objetos de vídeo no diretório fornecido, um novo diretório é criado da seguinte maneira, em que o carimbo de data/hora está no formato AAAA-MM-DDThh: mm:ss.sssZ ISO-8601:


export_data-<dataset-display-name>-<timestamp-of-export-call>

Toda saída de exportação será gravada nesse diretório.
bigquery_destination

BigQueryDestination

O local do BigQuery em que a saída precisa ser gravada.

PredictRequest

Mensagem de solicitação de PredictionService..Predict.

Campos
name

string

Nome do modelo solicitado para disponibilizar a previsão.

A autorização requer a seguinte permissão do Google IAM no recurso name especificado:

  • automl.models.predict
payload

ExamplePayload

Obrigatório. Payload para realizar uma previsão. O payload precisa corresponder ao tipo de problema que o modelo foi treinado para resolver.

params

map<string, string>

Outros parâmetros específicos de domínio, qualquer string precisa ter até 25.000 caracteres de comprimento.

PredictResponse

Mensagem de resposta de PredictionService.Predict.

Campos
payload[]

AnnotationPayload

Resultado da previsão.

metadata

map<string, string>

Outros metadados de resposta de predição específica do domínio.

UndeployModelOperationMetadata

Detalhes da operação UndeployModel.

UndeployModelRequest

Mensagem de solicitação de AutoMl..UndeployModel.

Campos
name

string

Nome do recurso do modelo a ser removido da implantação.

A autorização requer a seguinte permissão do Google IAM no recurso name especificado:

  • automl.models.undeploy

VideoObjectTrackingAnnotation

Detalhes de anotação para rastreamento de objetos de vídeo.

Campos
instance_id

string

Opcional. A instância do objeto, expressa como um inteiro positivo. Usado para distinguir objetos do mesmo tipo (isto é, AnnotationSpec) quando vários estão presentes em um único exemplo. OBSERVAÇÃO: a qualidade de predição do código da instância não faz parte da avaliação do modelo e é feita como o melhor esforço. Especialmente nos casos em que uma entidade sai da tela por mais tempo (minutos), quando ela volta, pode receber um novo código de instância.

time_offset

Duration

Obrigatório. Um tempo (frame) de um vídeo ao qual esta anotação pertence. Representado como a duração desde o início do vídeo.

bounding_box

BoundingPoly

Obrigatório. O retângulo que representa o local do objeto no frame (ou seja, no time_offset do vídeo).

score

float

Apenas saída. A confiança de que essa anotação é positiva para o vídeo no time_offset, valor em [0, 1], maior significa maior confiança na positividade. Para anotações criadas pelo usuário, o valor é 1. Quando o usuário aprova uma anotação, o valor flutuante original é mantido e não é alterado para 1.

VideoObjectTrackingDatasetMetadata

Metadados do conjunto de dados específicos do rastreamento de objetos de vídeo.

VideoObjectTrackingEvaluationMetrics

Métricas de avaliação de modelo para problemas de rastreamento de objetos de vídeo. Avalia a qualidade de predição de caixas delimitadoras rotuladas e faixas rotuladas, ou seja, séries de caixas delimitadoras que compartilham o mesmo rótulo e código da instância.

Campos
evaluated_frame_count

int32

Apenas saída. O número de frames de vídeo usados para criar essa avaliação.

evaluated_bounding_box_count

int32

Apenas saída. O número total de caixas delimitadoras (isto é, somadas em todos os frames) que as informações usaram para criar essa avaliação.

evaluated_track_count

int32

Apenas saída. O número total de faixas (ou seja, como vistas em todos os frames) que as informações usaram para criar essa avaliação.

bounding_box_metrics_entries[]

BoundingBoxMetricsEntry

Apenas saída. As caixas delimitadoras correspondem às métricas para cada limite de interseção sobre união 0,05,0,10,...,0,95,0,96,0,97,0,98,0,99 e cada par de limite de confiança do rótulo 0,05,0,10,...,0,95,0,96,0,97,0,98,0,99.

bounding_box_mean_average_precision

float

Apenas saída. A única métrica para avaliação de caixas delimitadoras: a média de mean_average_precision calculada em todas as bounding_box_metrics_entries.

VideoObjectTrackingModelMetadata

Metadados de modelo específicos para rastreamento de objetos de vídeo.