- Solicitação HTTP
- Parâmetros de caminho
- Corpo da solicitação
- Corpo da resposta
- Escopos de autorização
- InputConfig
Importa dados para um conjunto de dados.
Somente é possível chamar esse método para um conjunto de dados vazio.
Para mais informações, consulte Como importar itens para um conjunto de dados.
Solicitação HTTP
POST https://automl.googleapis.com/v1beta1/{name}:importData
Parâmetros de caminho
Parâmetros | |
---|---|
name |
Obrigatório. Nome do conjunto de dados. O conjunto de dados já precisa existir. Todas as anotações e os exemplos importados serão adicionados. A autorização requer a seguinte permissão do Google IAM no recurso
|
Corpo da solicitação
O corpo da solicitação contém dados com a seguinte estrutura:
Representação JSON | |
---|---|
{
"inputConfig": {
object( |
Campos | |
---|---|
inputConfig |
Obrigatório. O local de entrada desejado com a semântica específica de domínio, se houver. |
Corpo da resposta
Se a solicitação for bem-sucedida, o corpo da resposta conterá uma instância de Operation
.
Escopos da autorização
Requer o seguinte escopo OAuth:
https://www.googleapis.com/auth/cloud-platform
Para mais informações, consulte a Visão geral da autenticação.
InputConfig
Configuração de entrada para ação datasets.importData
.
O formato da entrada depende do dataset_metadata do conjunto de dados em que a importação está acontecendo. Como origem de entrada, o gcsSource
é esperado, a menos que seja especificado de outra forma. Se um arquivo com conteúdo idêntico (mesmo que tivesse GCS_FILE_PATH
diferente) for mencionado várias vezes, seu rótulo, caixas delimitadoras etc. serão anexados. O mesmo arquivo precisa ser sempre fornecido com os mesmos ML_USE
e GCS_FILE_PATH
. Se não for, esses valores serão selecionados de forma não determinada dos dados fornecidos.
Os formatos são representados em EBNF com vírgulas sendo literais e com símbolos não terminais definidos próximos ao fim desse comentário. Os formatos são estes:
Para mais informações, consulte Como preparar os dados de treinamento.
Um arquivo CSV com cada linha no formato:
ML_USE,GCS_FILE_PATH
ML_USE
: identifica o conjunto de dados ao qual a linha atual (arquivo) se aplica. Esse valor pode ser um destes:TRAIN
: as linhas neste arquivo são usadas para treinar o modelo.TEST
: as linhas neste arquivo são usadas para testar o modelo durante o treinamento.UNASSIGNED
: as linhas neste arquivo não são categorizadas. Elas são automaticamente divididas em dados de treinamento e de teste, sendo 80% para treinamento e 20% para testes.
GCS_FILE_PATH
: identifica um arquivo armazenado no Google Cloud Storage que contém as informações do treinamento de modelo.
Após a determinação do conjunto de dados de treinamento a partir dos arquivos CSV TRAIN
e UNASSIGNED
, os dados de treinamento são divididos em conjuntos de dados de validação e treinamento, sendo 70% para treinamento e 30% para validação.
Cada arquivo CSV especificado com o campo GCS_FILE_PATH
tem o seguinte formato:
GCS_FILE_PATH,LABEL,TIME_SEGMENT_START,TIME_SEGMENT_END
GCS_FILE_PATH
: o caminho para um vídeo armazenado no Google Cloud Storage. O vídeo pode ter duração de até 1h. Extensões compatíveis: .MOV, .MPEG4, .MP4, .AVI e qualquer formato de arquivo compatível com ffmpeg.LABEL
: um rótulo que identifica o objeto do segmento de vídeo.TIME_SEGMENT_START
eTIME_SEGMENT_END
: os carimbos de data/hora de início e de término em segundos para o segmento de vídeo a ser anotado. Os valores precisam estar dentro do tamanho do vídeo eTIME_SEGMENT_END
precisa estar depois deTIME_SEGMENT_START
.
Qualquer frame de um vídeo que tenha um ou mais rótulos é considerado um negativo rígido para todos os outros rótulos. Um quadro sem rótulos por padrão é considerado desconhecido. Ele pode ser modificado pelo parâmetro is_exhaustively_labeled
. Um rótulo especial de "-" pode ser usado para expressar que um determinado período é um negativo rígido para todos os rótulos, os segmentos marcados com "-" não podem se sobrepor a segmentos de nenhum outro rótulo.
Arquivo de amostra:
TRAIN,gs:folder/train_videos.csv
TEST,gs:folder/test_videos.csv
UNASSIGNED,gs:folder/other_videos.csv
Aqui está um exemplo do formato de um dos arquivos CSV identificados pelo arquivo "top level" do gcsSource
.
gs:folder/video1.avi,car,120,180.000021
gs:folder/video1.avi,bike,150,180.000023
gs:folder/video1.avi,-,180.000024,300.000999
gs:folder/vid2.avi,car,0,60.5
Erros:
Se algum dos arquivos CSV fornecidos não puder ser analisado ou se mais de uma determinada porcentagem de linhas CSV não puder ser processada, a operação falhará e nada será importado. Independentemente do sucesso ou da falha geral, as falhas por linha, até um determinado limite de contagem, serão listadas em Operation.metadata.partial_failures.
Representação JSON | |
---|---|
{
"gcsSource": {
object( |
Campos | |
---|---|
gcsSource |
O local do Google Cloud Storage para o conteúdo de entrada. |