Método: projects.locations.datasets.importData

Importa dados para um conjunto de dados.

Somente é possível chamar esse método para um conjunto de dados vazio.

Para mais informações, consulte Como importar itens para um conjunto de dados.

Solicitação HTTP

POST https://automl.googleapis.com/v1beta1/{name}:importData

Parâmetros de caminho

Parâmetros
name

string

Obrigatório. Nome do conjunto de dados. O conjunto de dados já precisa existir. Todas as anotações e os exemplos importados serão adicionados.

A autorização requer a seguinte permissão do Google IAM no recurso name especificado:

  • automl.datasets.import

Corpo da solicitação

O corpo da solicitação contém dados com a seguinte estrutura:

Representação JSON 

{
  "inputConfig": {
    object(InputConfig)
  }
}
Campos
inputConfig

object(InputConfig)

Obrigatório. O local de entrada desejado com a semântica específica de domínio, se houver.

Corpo da resposta

Se a solicitação for bem-sucedida, o corpo da resposta conterá uma instância de Operation.

Escopos da autorização

Requer o seguinte escopo OAuth:

  • https://www.googleapis.com/auth/cloud-platform

Para mais informações, consulte a Visão geral da autenticação.

InputConfig

Configuração de entrada para ação datasets.importData.

O formato da entrada depende do dataset_metadata do conjunto de dados em que a importação está acontecendo. Como origem de entrada, o gcsSource é esperado, a menos que seja especificado de outra forma. Se um arquivo com conteúdo idêntico (mesmo que tivesse GCS_FILE_PATH diferente) for mencionado várias vezes, seu rótulo, caixas delimitadoras etc. serão anexados. O mesmo arquivo precisa ser sempre fornecido com os mesmos ML_USE e GCS_FILE_PATH. Se não for, esses valores serão selecionados de forma não determinada dos dados fornecidos.

Os formatos são representados em EBNF com vírgulas sendo literais e com símbolos não terminais definidos próximos ao fim desse comentário. Os formatos são estes:

Para mais informações, consulte Como preparar os dados de treinamento.

Um arquivo CSV com cada linha no formato:

ML_USE,GCS_FILE_PATH

  • ML_USE: identifica o conjunto de dados ao qual a linha atual (arquivo) se aplica. Esse valor pode ser um destes:

    • TRAIN: as linhas neste arquivo são usadas para treinar o modelo.
    • TEST: as linhas neste arquivo são usadas para testar o modelo durante o treinamento.
    • UNASSIGNED: as linhas neste arquivo não são categorizadas. Elas são automaticamente divididas em dados de treinamento e de teste, sendo 80% para treinamento e 20% para testes.

  • GCS_FILE_PATH: identifica um arquivo armazenado no Google Cloud Storage que contém as informações do treinamento de modelo.

Após a determinação do conjunto de dados de treinamento a partir dos arquivos CSV TRAIN e UNASSIGNED, os dados de treinamento são divididos em conjuntos de dados de validação e treinamento, sendo 70% para treinamento e 30% para validação.

Cada arquivo CSV especificado com o campo GCS_FILE_PATH tem o seguinte formato:

GCS_FILE_PATH,LABEL,TIME_SEGMENT_START,TIME_SEGMENT_END

  • GCS_FILE_PATH: o caminho para um vídeo armazenado no Google Cloud Storage. O vídeo pode ter duração de até 1h. Extensões compatíveis: .MOV, .MPEG4, .MP4, .AVI e qualquer formato de arquivo compatível com ffmpeg.

  • LABEL: um rótulo que identifica o objeto do segmento de vídeo.

  • TIME_SEGMENT_START e TIME_SEGMENT_END: os carimbos de data/hora de início e de término em segundos para o segmento de vídeo a ser anotado. Os valores precisam estar dentro do tamanho do vídeo e TIME_SEGMENT_END precisa estar depois de TIME_SEGMENT_START.

Qualquer frame de um vídeo que tenha um ou mais rótulos é considerado um negativo rígido para todos os outros rótulos. Um quadro sem rótulos por padrão é considerado desconhecido. Ele pode ser modificado pelo parâmetro is_exhaustively_labeled. Um rótulo especial de "-" pode ser usado para expressar que um determinado período é um negativo rígido para todos os rótulos, os segmentos marcados com "-" não podem se sobrepor a segmentos de nenhum outro rótulo.

Arquivo de amostra:

TRAIN,gs:folder/train_videos.csv
TEST,gs:folder/test_videos.csv
UNASSIGNED,gs:folder/other_videos.csv

Aqui está um exemplo do formato de um dos arquivos CSV identificados pelo arquivo "top level" do gcsSource.

 gs:folder/video1.avi,car,120,180.000021
 gs:folder/video1.avi,bike,150,180.000023
 gs:folder/video1.avi,-,180.000024,300.000999
 gs:folder/vid2.avi,car,0,60.5

Erros:

Se algum dos arquivos CSV fornecidos não puder ser analisado ou se mais de uma determinada porcentagem de linhas CSV não puder ser processada, a operação falhará e nada será importado. Independentemente do sucesso ou da falha geral, as falhas por linha, até um determinado limite de contagem, serão listadas em Operation.metadata.partial_failures.

Representação JSON 

{
  "gcsSource": {
    object(GcsSource)
  }
}
Campos
gcsSource

object(GcsSource)

O local do Google Cloud Storage para o conteúdo de entrada.