Dataset mit der API erstellen

Zum Erstellen eines Modells für maschinelles Lernen benötigen Sie zuerst eine repräsentative Sammlung von Daten, mit denen trainiert werden soll. Verwenden Sie die API (oder Console), um ein leeres Dataset zu erstellen und Ihre Daten in das Dataset zu importieren. Nachdem Sie Daten importiert haben, können Sie Änderungen vornehmen und mit dem Modelltraining beginnen.

Dataset erstellen

In den folgenden Beispielen wird ein Dataset für Ihre Daten erstellt.

Wählen Sie unten den Datentyp aus:

Bild

Das Dataset-Schema, das Sie für Ihr Dataset angeben, hängt vom Datentyp ab, mit dem Sie trainieren: Bild, Tabelle, Text oder Video. Ein einzelnes Bild-Dataset kann für mehrere Ziele verwendet werden, z. B. zur Klassifizierung oder Objekterkennung.

REST UND BEFEHLSZEILE

Ersetzen Sie dabei folgende Werte für die Anfragedaten:

LOCATION: Region, in der das Dataset gespeichert wird. Dies muss eine Region sein, die Dataset-Ressourcen unterstützt. Beispiel: us-central1. Siehe Liste der verfügbaren Standorte.
PROJECT: Ihre Projekt-ID.
DATASET_NAME: Name des Datasets.

HTTP-Methode und URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets

JSON-Text der Anfrage:

{
  "display_name": "DATASET_NAME",
  "metadata_schema_uri": "gs://google-cloud-aiplatform/schema/dataset/metadata/image_1.0.0.yaml"
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets"

PowerShell

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
  -Method POST `
  -Headers $headers `
  -ContentType: "application/json; charset=utf-8" `
  -InFile request.json `
  -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets" | Select-Object -Expand Content

Die Ausgabe sieht in etwa so aus: Sie können OPERATION_ID in der Antwort verwenden, um den Status des Vorgangs abzurufen.

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateDatasetOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-07-07T21:27:35.964882Z",
      "updateTime": "2020-07-07T21:27:35.964882Z"
    }
  }
}

Java

Informationen zum Installieren und Verwenden der Clientbibliothek für Vertex AI finden Sie unter Vertex AI-Clientbibliotheken. Weitere Informationen erhalten Sie in der Referenzdokumentation zur Vertex AI Java API.

Im Editor öffnen Auf GitHub ansehen Feedback


import com.google.api.gax.longrunning.OperationFuture;
import com.google.cloud.aiplatform.v1.CreateDatasetOperationMetadata;
import com.google.cloud.aiplatform.v1.Dataset;
import com.google.cloud.aiplatform.v1.DatasetServiceClient;
import com.google.cloud.aiplatform.v1.DatasetServiceSettings;
import com.google.cloud.aiplatform.v1.LocationName;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class CreateDatasetImageSample {

  public static void main(String[] args)
      throws IOException, InterruptedException, ExecutionException, TimeoutException {
    // TODO(developer): Replace these variables before running the sample.
    String project = "YOUR_PROJECT_ID";
    String datasetDisplayName = "YOUR_DATASET_DISPLAY_NAME";
    createDatasetImageSample(project, datasetDisplayName);
  }

  static void createDatasetImageSample(String project, String datasetDisplayName)
      throws IOException, InterruptedException, ExecutionException, TimeoutException {
    DatasetServiceSettings datasetServiceSettings =
        DatasetServiceSettings.newBuilder()
            .setEndpoint("us-central1-aiplatform.googleapis.com:443")
            .build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources.
    try (DatasetServiceClient datasetServiceClient =
        DatasetServiceClient.create(datasetServiceSettings)) {
      String location = "us-central1";
      String metadataSchemaUri =
          "gs://google-cloud-aiplatform/schema/dataset/metadata/image_1.0.0.yaml";
      LocationName locationName = LocationName.of(project, location);
      Dataset dataset =
          Dataset.newBuilder()
              .setDisplayName(datasetDisplayName)
              .setMetadataSchemaUri(metadataSchemaUri)
              .build();

      OperationFuture<Dataset, CreateDatasetOperationMetadata> datasetFuture =
          datasetServiceClient.createDatasetAsync(locationName, dataset);
      System.out.format("Operation name: %s\n", datasetFuture.getInitialFuture().get().getName());
      System.out.println("Waiting for operation to finish...");
      Dataset datasetResponse = datasetFuture.get(120, TimeUnit.SECONDS);

      System.out.println("Create Image Dataset Response");
      System.out.format("Name: %s\n", datasetResponse.getName());
      System.out.format("Display Name: %s\n", datasetResponse.getDisplayName());
      System.out.format("Metadata Schema Uri: %s\n", datasetResponse.getMetadataSchemaUri());
      System.out.format("Metadata: %s\n", datasetResponse.getMetadata());
      System.out.format("Create Time: %s\n", datasetResponse.getCreateTime());
      System.out.format("Update Time: %s\n", datasetResponse.getUpdateTime());
      System.out.format("Labels: %s\n", datasetResponse.getLabelsMap());
    }
  }
}

Node.js

Im Editor öffnen Auf GitHub ansehen Feedback

/**
 * TODO(developer): Uncomment these variables before running the sample.\
 * (Not necessary if passing values as arguments)
 */

// const datasetDisplayName = "YOUR_DATASTE_DISPLAY_NAME";
// const project = 'YOUR_PROJECT_ID';
// const location = 'YOUR_PROJECT_LOCATION';

// Imports the Google Cloud Dataset Service Client library
const {DatasetServiceClient} = require('@google-cloud/aiplatform');

// Specifies the location of the api endpoint
const clientOptions = {
  apiEndpoint: 'us-central1-aiplatform.googleapis.com',
};

// Instantiates a client
const datasetServiceClient = new DatasetServiceClient(clientOptions);

async function createDatasetImage() {
  // Configure the parent resource
  const parent = `projects/${project}/locations/${location}`;
  // Configure the dataset resource
  const dataset = {
    displayName: datasetDisplayName,
    metadataSchemaUri:
      'gs://google-cloud-aiplatform/schema/dataset/metadata/image_1.0.0.yaml',
  };
  const request = {
    parent,
    dataset,
  };

  // Create Dataset Request
  const [response] = await datasetServiceClient.createDataset(request);
  console.log(`Long running operation: ${response.name}`);

  // Wait for operation to complete
  await response.promise();
  const result = response.result;

  console.log('Create dataset image response');
  console.log(`Name : ${result.name}`);
  console.log(`Display name : ${result.displayName}`);
  console.log(`Metadata schema uri : ${result.metadataSchemaUri}`);
  console.log(`Metadata : ${JSON.stringify(result.metadata)}`);
  console.log(`Labels : ${JSON.stringify(result.labels)}`);
}
createDatasetImage();

Python

Im folgenden Beispiel werden mit dem Vertex AI SDK für Python ein Dataset erstellt und Daten importiert. Wenn Sie diesen Beispielcode ausführen, können Sie den Abschnitt Daten importieren dieses Leitfadens überspringen.

In diesem Beispiel werden Daten für die Klassifizierung mit einem einzigen Label importiert. Wenn Ihr Modell ein anderes Ziel hat, müssen Sie den Code anpassen.

Im Editor öffnen Auf GitHub ansehen Feedback

from typing import List, Union

from google.cloud import aiplatform

def create_and_import_dataset_image_sample(
    project: str,
    location: str,
    display_name: str,
    src_uris: Union[str, List[str]],
    sync: bool = True,
):
    """
    src_uris -- a string or list of strings, e.g.
        ["gs://bucket1/source1.jsonl", "gs://bucket7/source4.jsonl"]
    """

    aiplatform.init(project=project, location=location)

    ds = aiplatform.ImageDataset.create(
        display_name=display_name,
        gcs_source=src_uris,
        import_schema_uri=aiplatform.schema.dataset.ioformat.image.single_label_classification,
        sync=sync,
    )

    ds.wait()

    print(ds.display_name)
    print(ds.resource_name)
    return ds

Tabellarisch

Wenn Sie ein Dataset erstellen, verknüpfen Sie es auch mit der Datenquelle. Der Code zum Erstellen eines Datasets hängt davon ab, ob sich die Trainingsdaten in Cloud Storage oder BigQuery befinden. Liegt die Datenquelle in einem anderen Projekt, müssen Sie die erforderlichen Berechtigungen einrichten.

Dataset mit Daten in Cloud Storage erstellen

REST UND BEFEHLSZEILE

Zum Erstellen eines Datasets verwenden Sie die Methode datasets.create.

Ersetzen Sie dabei folgende Werte für die Anfragedaten:

LOCATION: Region, in der das Dataset gespeichert wird. Dies muss eine Region sein, die Dataset-Ressourcen unterstützt. Beispiel: us-central1. Siehe Liste der verfügbaren Standorte.
PROJECT: Ihre Projekt-ID.
DATASET_NAME: Anzeigename für das Dataset.
METADATA_SCHEMA_URI: Der URI zur Schemadatei für Ihr Ziel. gs://google-cloud-aiplatform/schema/dataset/metadata/tabular_1.0.0.yaml
URI: Pfade (URIs) zu den Cloud Storage-Buckets mit den Trainingsdaten. Es können mehrere sein. Jeder URI hat das folgende Format:
```
gs://GCSprojectId/bucketName/fileName
```
PROJECT_NUMBER: Projektnummer für Ihr Projekt.

HTTP-Methode und URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets

JSON-Text der Anfrage:

{
  "display_name": "DATASET_NAME",
  "metadata_schema_uri": "METADATA_SCHEMA_URI",
  "metadata": {
    "input_config": {
      "gcs_source": {
        "uri": [URI1, URI2, ...]
      }
    }
  }
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets"

PowerShell

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
  -Method POST `
  -Headers $headers `
  -ContentType: "application/json; charset=utf-8" `
  -InFile request.json `
  -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/datasets" | Select-Object -Expand Content

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateDatasetOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-07-07T21:27:35.964882Z",
      "updateTime": "2020-07-07T21:27:35.964882Z"
    }
}

Dataset mit der API erstellen

Dataset erstellen

Bild

REST UND BEFEHLSZEILE

curl

PowerShell

Java

Node.js

Python

Tabellarisch

Dataset mit Daten in Cloud Storage erstellen

REST UND BEFEHLSZEILE

curl

PowerShell

Java

Node.js

Python

Dataset mit Daten in BigQuery erstellen

REST UND BEFEHLSZEILE

curl

PowerShell

Java

Node.js

Python

Text

REST UND BEFEHLSZEILE

curl

PowerShell

Java

Node.js

Python

Video

REST UND BEFEHLSZEILE

curl

PowerShell

Java

Node.js

Python

Daten importieren

Bild

Klassifizierung mit einem einzigen Label

REST UND BEFEHLSZEILE

curl

PowerShell

Java

Node.js

Python

Klassifizierung mit mehreren Labels

REST UND BEFEHLSZEILE

curl

PowerShell

Python

Objekterkennung

REST UND BEFEHLSZEILE

curl

PowerShell

Java

Node.js

Python

Tabellarisch

Text

Klassifizierung mit einem einzigen Label

REST UND BEFEHLSZEILE

curl

PowerShell

Java

Node.js

Python

Klassifizierung mit mehreren Labels

REST UND BEFEHLSZEILE

curl

PowerShell

Entitätsextraktion

REST UND BEFEHLSZEILE

curl

PowerShell

Java

Node.js

Python

Sentimentanalyse