Criar um conjunto de dados usando a API

Para criar um modelo de aprendizado de máquina, primeiro é preciso ter uma coleção representativa de dados para treinar. Use a API (ou console) para criar um conjunto de dados vazio e importar seus dados para o conjunto de dados. Depois de importar os dados, é possível fazer modificações e iniciar o treinamento do modelo.

Crie um conjunto de dados

Use as amostras a seguir para criar um conjunto de dados para seus dados.

Selecione seu tipo de dados abaixo:

Image

O esquema do conjunto de dados especificado depende do tipo de dados que você treinará: imagem, tabular, texto ou vídeo. Um único conjunto de dados de imagem pode ser usado para vários objetivos, como classificação ou identificação de objetos.

REST e LINHA DE CMD

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

LOCATION: região onde o conjunto de dados será armazenado. Precisa se. uma região compatível com recursos do conjunto de dados. Por exemplo, us-central1. Consulte a Lista de locais disponíveis.
PROJECT: o ID do projeto
DATASET_NAME: nome do conjunto de dados.

Método HTTP e URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets

Corpo JSON da solicitação:

{
  "display_name": "DATASET_NAME",
  "metadata_schema_uri": "gs://google-cloud-aiplatform/schema/dataset/metadata/image_1.0.0.yaml"
}

Para enviar a solicitação, escolha uma destas opções:

curl

Salve o corpo da solicitação em um arquivo chamado request.json e execute o comando a seguir:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets"

PowerShell

Salve o corpo da solicitação em um arquivo chamado request.json e execute o comando a seguir:

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
  -Method POST `
  -Headers $headers `
  -ContentType: "application/json; charset=utf-8" `
  -InFile request.json `
  -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets" | Select-Object -Expand Content

Será exibido um código semelhante a este. Use OPERATION_ID na resposta para ver o status da operação.

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateDatasetOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-07-07T21:27:35.964882Z",
      "updateTime": "2020-07-07T21:27:35.964882Z"
    }
  }
}

Java

Saiba como instalar e usar a biblioteca de cliente para Vertex AI em Bibliotecas de cliente da Vertex AI. Consulte a documentação de referência da API Vertex AI Java.

Abrir no Editor Ver no GitHub Feedback


import com.google.api.gax.longrunning.OperationFuture;
import com.google.cloud.aiplatform.v1.CreateDatasetOperationMetadata;
import com.google.cloud.aiplatform.v1.Dataset;
import com.google.cloud.aiplatform.v1.DatasetServiceClient;
import com.google.cloud.aiplatform.v1.DatasetServiceSettings;
import com.google.cloud.aiplatform.v1.LocationName;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class CreateDatasetImageSample {

  public static void main(String[] args)
      throws IOException, InterruptedException, ExecutionException, TimeoutException {
    // TODO(developer): Replace these variables before running the sample.
    String project = "YOUR_PROJECT_ID";
    String datasetDisplayName = "YOUR_DATASET_DISPLAY_NAME";
    createDatasetImageSample(project, datasetDisplayName);
  }

  static void createDatasetImageSample(String project, String datasetDisplayName)
      throws IOException, InterruptedException, ExecutionException, TimeoutException {
    DatasetServiceSettings datasetServiceSettings =
        DatasetServiceSettings.newBuilder()
            .setEndpoint("us-central1-aiplatform.googleapis.com:443")
            .build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources.
    try (DatasetServiceClient datasetServiceClient =
        DatasetServiceClient.create(datasetServiceSettings)) {
      String location = "us-central1";
      String metadataSchemaUri =
          "gs://google-cloud-aiplatform/schema/dataset/metadata/image_1.0.0.yaml";
      LocationName locationName = LocationName.of(project, location);
      Dataset dataset =
          Dataset.newBuilder()
              .setDisplayName(datasetDisplayName)
              .setMetadataSchemaUri(metadataSchemaUri)
              .build();

      OperationFuture<Dataset, CreateDatasetOperationMetadata> datasetFuture =
          datasetServiceClient.createDatasetAsync(locationName, dataset);
      System.out.format("Operation name: %s\n", datasetFuture.getInitialFuture().get().getName());
      System.out.println("Waiting for operation to finish...");
      Dataset datasetResponse = datasetFuture.get(120, TimeUnit.SECONDS);

      System.out.println("Create Image Dataset Response");
      System.out.format("Name: %s\n", datasetResponse.getName());
      System.out.format("Display Name: %s\n", datasetResponse.getDisplayName());
      System.out.format("Metadata Schema Uri: %s\n", datasetResponse.getMetadataSchemaUri());
      System.out.format("Metadata: %s\n", datasetResponse.getMetadata());
      System.out.format("Create Time: %s\n", datasetResponse.getCreateTime());
      System.out.format("Update Time: %s\n", datasetResponse.getUpdateTime());
      System.out.format("Labels: %s\n", datasetResponse.getLabelsMap());
    }
  }
}

Node.js

Saiba como instalar e usar a biblioteca de cliente para Vertex AI em Bibliotecas de cliente da Vertex AI. Consulte a documentação de referência da API Vertex AI Node.js.

Abrir no Editor Ver no GitHub Feedback

/**
 * TODO(developer): Uncomment these variables before running the sample.\
 * (Not necessary if passing values as arguments)
 */

// const datasetDisplayName = "YOUR_DATASTE_DISPLAY_NAME";
// const project = 'YOUR_PROJECT_ID';
// const location = 'YOUR_PROJECT_LOCATION';

// Imports the Google Cloud Dataset Service Client library
const {DatasetServiceClient} = require('@google-cloud/aiplatform');

// Specifies the location of the api endpoint
const clientOptions = {
  apiEndpoint: 'us-central1-aiplatform.googleapis.com',
};

// Instantiates a client
const datasetServiceClient = new DatasetServiceClient(clientOptions);

async function createDatasetImage() {
  // Configure the parent resource
  const parent = `projects/${project}/locations/${location}`;
  // Configure the dataset resource
  const dataset = {
    displayName: datasetDisplayName,
    metadataSchemaUri:
      'gs://google-cloud-aiplatform/schema/dataset/metadata/image_1.0.0.yaml',
  };
  const request = {
    parent,
    dataset,
  };

  // Create Dataset Request
  const [response] = await datasetServiceClient.createDataset(request);
  console.log(`Long running operation: ${response.name}`);

  // Wait for operation to complete
  await response.promise();
  const result = response.result;

  console.log('Create dataset image response');
  console.log(`Name : ${result.name}`);
  console.log(`Display name : ${result.displayName}`);
  console.log(`Metadata schema uri : ${result.metadataSchemaUri}`);
  console.log(`Metadata : ${JSON.stringify(result.metadata)}`);
  console.log(`Labels : ${JSON.stringify(result.labels)}`);
}
createDatasetImage();

Python

Saiba como instalar e usar a biblioteca de cliente para Vertex AI em Bibliotecas de cliente da Vertex AI. Consulte a documentação de referência da API Vertex AI Python.

A amostra a seguir usa o SDK do Vertex AI para Python para criar um conjunto de dados e importar dados. Se você executar esse código de amostra, poderá pular a seção Importar dados deste guia.

Esta amostra em particular importa dados para a classificação de rótulo único. Se o modelo tiver um objetivo diferente, será necessário ajustar o código.

Abrir no Editor Ver no GitHub Feedback

from typing import List, Union

from google.cloud import aiplatform

def create_and_import_dataset_image_sample(
    project: str,
    location: str,
    display_name: str,
    src_uris: Union[str, List[str]],
    sync: bool = True,
):
    """
    src_uris -- a string or list of strings, e.g.
        ["gs://bucket1/source1.jsonl", "gs://bucket7/source4.jsonl"]
    """

    aiplatform.init(project=project, location=location)

    ds = aiplatform.ImageDataset.create(
        display_name=display_name,
        gcs_source=src_uris,
        import_schema_uri=aiplatform.schema.dataset.ioformat.image.single_label_classification,
        sync=sync,
    )

    ds.wait()

    print(ds.display_name)
    print(ds.resource_name)
    return ds

Tabular

Quando você cria um conjunto de dados, também o associa à fonte de dados dele. O código necessário para criar um conjunto de dados depende se os dados de treinamento residem no Cloud Storage ou no BigQuery. Se a fonte de dados residir em um projeto diferente, configure as permissões necessárias.

Como criar um conjunto de dados com dados no Cloud Storage

REST e linha de comando

Use o método datasets.create para criar um conjunto de dados.

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

LOCATION: região onde o conjunto de dados será armazenado. Precisa se. uma região compatível com recursos do conjunto de dados. Por exemplo, us-central1. Consulte a Lista de locais disponíveis.
PROJECT: o ID do projeto
DATASET_NAME: nome de exibição do conjunto de dados.
METADATA_SCHEMA_URI: o URI do arquivo de esquema do objetivo. gs://google-cloud-aiplatform/schema/dataset/metadata/tabular_1.0.0.yaml
URI: caminhos (URIs) para os buckets do Cloud Storage que contêm os dados de treinamento. Pode haver mais de um. Cada URI tem o seguinte formato:
```
gs://GCSprojectId/bucketName/fileName
```
PROJECT_NUMBER: número do projeto para o seu projeto.

Método HTTP e URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets

Corpo JSON da solicitação:

{
  "display_name": "DATASET_NAME",
  "metadata_schema_uri": "METADATA_SCHEMA_URI",
  "metadata": {
    "input_config": {
      "gcs_source": {
        "uri": [URI1, URI2, ...]
      }
    }
  }
}

Para enviar a solicitação, escolha uma destas opções:

curl

Salve o corpo da solicitação em um arquivo chamado request.json e execute o comando a seguir:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets"

PowerShell

Salve o corpo da solicitação em um arquivo chamado request.json e execute o comando a seguir:

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
  -Method POST `
  -Headers $headers `
  -ContentType: "application/json; charset=utf-8" `
  -InFile request.json `
  -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateDatasetOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-07-07T21:27:35.964882Z",
      "updateTime": "2020-07-07T21:27:35.964882Z"
    }
}

Java

Saiba como instalar e usar a biblioteca de cliente para Vertex AI em Bibliotecas de cliente da Vertex AI. Consulte a documentação de referência da API Vertex AI Java.

Criar um conjunto de dados usando a API

Crie um conjunto de dados

Image

REST e LINHA DE CMD

curl

PowerShell

Java

Node.js

Python

Tabular

Como criar um conjunto de dados com dados no Cloud Storage

REST e linha de comando

curl

PowerShell

Java

Node.js

Python

Como criar um conjunto de dados com dados no BigQuery

REST e linha de comando

curl

PowerShell

Java

Node.js

Python

Texto

REST e LINHA DE CMD

curl

PowerShell

Java

Node.js

Python

Vídeo

REST e LINHA DE CMD

curl

PowerShell

Java

Node.js

Python

Importar dados

Imagem

Classificação de rótulo único

REST e LINHA DE CMD

curl

PowerShell

Java

Node.js

Python

Classificação de vários rótulos

REST e LINHA DE CMD

curl

PowerShell

Python

Detecção de objetos

REST e LINHA DE CMD

curl

PowerShell

Java

Node.js

Python

Tabular

Texto

Classificação de rótulo único

REST e LINHA DE CMD

curl

PowerShell

Java

Node.js

Python

Classificação de vários rótulos

REST e LINHA DE CMD

curl

PowerShell

Extração de entidade

REST e LINHA DE CMD

curl

PowerShell

Java

Node.js

Python

Análise de sentimento