Datasets erstellen

In diesem Dokument wird beschrieben, wie Sie Datasets in BigQuery erstellen.

Datasets können folgendermaßen erstellt werden:

  • Google Cloud Console verwenden
  • SQL-Abfrage verwenden.
  • Mit dem Befehl bq mk im bq-Befehlszeilentool.
  • Durch Aufruf der API-Methode datasets.insert
  • Mithilfe der Clientbibliotheken
  • Durch Kopieren eines vorhandenen Datasets

Unter Datasets kopieren erfahren Sie, wie Sie ein Dataset kopieren, auch regionenübergreifend.

In diesem Dokument wird beschrieben, wie Sie mit regulären Datasets arbeiten, die Daten in BigQuery speichern. Informationen zum Arbeiten mit externen Spanner-Datasets finden Sie unter Externe Spanner-Datasets erstellen. Informationen zur Arbeit mit föderierten AWS Glue-Datasets finden Sie unter Föderierte AWS Glue-Datasets erstellen.

Informationen zum Abfragen von Tabellen in einem öffentlichen Dataset finden Sie unter Öffentliches Dataset mit der Google Cloud Console abfragen.

Dataset-Einschränkungen

BigQuery-Datasets unterliegen den folgenden Einschränkungen:

  • Der Dataset-Speicherort kann nur zum Zeitpunkt der Erstellung festgelegt werden. Nachdem ein Dataset erstellt wurde, kann sein Standort nicht mehr geändert werden.
  • Alle in einer Abfrage referenzierten Tabellen müssen in Datasets an demselben Standort gespeichert werden.

  • Externe Datasets unterstützen keine Ablaufzeit für Tabellen, Repliken, Zeitreisen, Standardsortierung, Standardabrundungsmodus oder die Option zum Aktivieren oder Deaktivieren der Unterscheidung zwischen Groß- und Kleinschreibung bei Tabellennamen.

  • Wenn Sie eine Tabelle kopieren, müssen sich die Datasets mit der Quell- und Zieltabelle am selben Speicherort befinden.

  • Datasetnamen müssen für jedes Projekt eindeutig sein.

  • Wenn Sie das Speicherabrechnungsmodell eines Datasets geändert haben, müssen Sie 14 Tage warten, bevor Sie das Speicherabrechnungsmodell wieder ändern können.

  • Sie können ein Dataset nicht für die physische Speicherabrechnung registrieren, wenn sich Legacy-Slot-Zusicherungen zum Pauschalpreis in derselben Region wie das Dataset befinden.

Hinweise

Erteilen Sie IAM-Rollen (Identity and Access Management), die Nutzern die erforderlichen Berechtigungen zum Ausführen der einzelnen Aufgaben in diesem Dokument geben.

Erforderliche Berechtigungen

Sie benötigen die IAM-Berechtigung bigquery.datasets.create, um ein Dataset zu erstellen.

Jede der folgenden vordefinierten IAM-Rollen enthält die Berechtigungen, die Sie zum Erstellen eines Datasets benötigen:

  • roles/bigquery.dataEditor
  • roles/bigquery.dataOwner
  • roles/bigquery.user
  • roles/bigquery.admin

Weitere Informationen zu IAM-Rollen in BigQuery finden Sie unter Vordefinierte Rollen und Berechtigungen.

Datasets benennen

Wenn Sie ein Dataset in BigQuery erstellen, darf dessen Name innerhalb eines Projekts nur einmal vorhanden sein. Der Name des Datasets kann Folgendes enthalten:

  • Bis zu 1.024 Zeichen
  • Buchstaben (Groß- oder Kleinbuchstaben), Ziffern und Unterstriche.

Bei Dataset-Namen wird standardmäßig die Groß-/Kleinschreibung beachtet. mydataset und MyDataset können im selben Projekt gleichzeitig vorhanden sein, es sei denn, bei einem davon ist die Beachtung der Groß-/Kleinschreibung deaktiviert.

Dataset-Namen dürfen keine Leerzeichen oder Sonderzeichen wie -, &, @ oder % enthalten.

Ausgeblendete Datasets

Ein ausgeblendetes Dataset ist ein Dataset, dessen Name mit einem Unterstrich beginnt. Sie können Tabellen und Ansichten in ausgeblendeten Datasets genauso wie in jedem anderen Dataset abfragen. Für ausgeblendete Datasets gelten folgende Einschränkungen:

  • Sie werden im Bereich Explorer in der Google Cloud Console ausgeblendet.
  • Sie werden nicht in INFORMATION_SCHEMA-Ansichten angezeigt.
  • Sie können nicht mit verknüpften Datasets verwendet werden.
  • Sie werden nicht in Data Catalog angezeigt.

Datasets erstellen

So erstellen Sie ein Dataset:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite "BigQuery".

    Zur Seite "BigQuery"

  2. Wählen Sie im Bereich Explorer das Projekt aus, in dem Sie das Dataset erstellen möchten.

  3. Maximieren Sie die Option Aktionen und klicken Sie auf Dataset erstellen.

    Verwenden Sie das Aktionsmenü des Projekts, um ein Dataset zu erstellen.

  4. Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:

    • Geben Sie als Dataset-ID einen eindeutigen Dataset-Namen ein.

    • Wählen Sie unter Standorttyp einen geografischen Standort für das Dataset aus. Nach der Erstellung des Datasets kann der Standort nicht mehr geändert werden.

    • Optional: Wenn Sie möchten, dass die Tabellen in diesem Dataset ablaufen, wählen Sie Tabellenablauf aktivieren und geben Sie dann das standardmäßige Höchstalter für Tabellen in Tagen an.

    • Optional: Wenn Sie einen vom Kunden verwalteten Verschlüsselungsschlüssel (CMEK) verwenden möchten, maximieren Sie Erweiterte Optionen und wählen Sie dann Vom Kunden verwalteter Verschlüsselungsschlüssel (CMEK) aus..

    • Optional: Wenn Sie Tabellennamen verwenden möchten, bei denen die Groß-/Kleinschreibung nicht berücksichtigt wird, maximieren Sie Erweiterte Optionen und wählen Sie dann Tabellennamen aktivieren, bei denen die Groß-/Kleinschreibung nicht berücksichtigt wird aus.

    • Optional: Wenn Sie eine Standardsortierung verwenden möchten, maximieren Sie Erweiterte Optionen, wählen Sie Standardsortierung aktivieren und wählen Sie dann Standardsortierung aus.

    • Optional: Wenn Sie einen Standard-Rundungsmodus verwenden möchten, maximieren Sie Erweiterte Optionen und wählen Sie den Standard-Rundungsmodus aus.

    • Optional: Wenn Sie das Abrechnungsmodell für physischen Speicher aktivieren möchten, maximieren Sie Erweiterte Optionen und wählen Sie dann Abrechnungsmodell für physischen Speicher aktivieren aus.

      Wenn Sie das Abrechnungsmodell eines Datasets ändern, dauert es 24 Stunden, bis die Änderung wirksam wird.

      Nachdem Sie das Speicherabrechnungsmodell eines Datasets geändert haben, müssen Sie 14 Tage warten, bevor Sie das Speicherabrechnungsmodell wieder ändern können.

    • Optional: Wenn Sie das Zeitfenster für das Dataset festlegen möchten, maximieren Sie Erweiterte Optionen und wählen Sie das Zeitreisefenster aus.

    • Klicken Sie auf Dataset erstellen.

SQL

Verwenden Sie die Anweisung CREATE SCHEMA.

Wenn Sie ein Dataset in einem anderen Projekt als dem Standardprojekt erstellen möchten, fügen Sie die Projekt-ID im Format PROJECT_ID.DATASET_ID der Dataset-ID hinzu.

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    BigQuery aufrufen

  2. Geben Sie im Abfrageeditor die folgende Anweisung ein:

    CREATE SCHEMA PROJECT_ID.DATASET_ID
  OPTIONS (
    default_kms_key_name = 'KMS_KEY_NAME',
    default_partition_expiration_days = PARTITION_EXPIRATION,
    default_table_expiration_days = TABLE_EXPIRATION,
    description = 'DESCRIPTION',
    labels = [('KEY_1','VALUE_1'),('KEY_2','VALUE_2')],
    location = 'LOCATION',
    max_time_travel_hours = HOURS,
    storage_billing_model = BILLING_MODEL);

    Dabei gilt:

    • PROJECT_ID: Ihre Projekt-ID
    • DATASET_ID: der Name des zu erstellenden Datasets.
    • KMS_KEY_NAME: der Name des standardmäßigen Cloud Key Management Service-Schlüssels, der zum Schutz neu erstellter Tabellen in diesem Dataset verwendet wird, sofern beim Erstellen kein anderer Schlüssel angegeben wird. Wenn dieser Parameter gesetzt ist, können Sie in einem Dataset keine von Google verschlüsselte Tabelle erstellen.
    • PARTITION_EXPIRATION: die Standardlebensdauer (in Tagen) für Partitionen in neu erstellten partitionierten Tabellen. Für den Standardpartitionsablauf gibt es keinen Mindestwert. Die Ablaufzeit entspricht dem Datum der Partition plus dem ganzzahligen Wert. Jede Partition, die in einer partitionierten Tabelle im Dataset erstellt wurde, wird PARTITION_EXPIRATION Tage nach dem Datum der Partition gelöscht. Wenn Sie beim Erstellen oder Aktualisieren einer partitionierten Tabelle die Option time_partitioning_expiration angeben, hat der Partitionsablauf auf Tabellenebene Vorrang vor dem Standardpartitionsablauf auf Dataset-Ebene.
    • TABLE_EXPIRATION: die Standardlebensdauer (in Tagen) für neu erstellte Tabellen. Der Mindestwert beträgt 0,042 Tage (eine Stunde). Die Ablaufzeit entspricht der aktuellen Zeit plus dem ganzzahligen Wert. Jede im Dataset erstellte Tabelle wird TABLE_EXPIRATION Tage nach dem Erstellen gelöscht. Der Wert wird angewendet, wenn Sie beim Erstellen der Tabelle keine Ablaufzeit für die Tabelle festlegen.
    • DESCRIPTION: eine Beschreibung des Datasets
    • KEY_1:VALUE_1: das Schlüssel/Wert-Paar, das Sie als erstes Label für dieses Dataset festlegen möchten
    • KEY_2:VALUE_2: das Schlüssel/Wert-Paar, das Sie als zweites Label festlegen möchten
    • LOCATION: Speicherort des Datasets. Nachdem ein Dataset erstellt wurde, kann der Standort nicht mehr geändert werden.
    • HOURS: die Dauer des Zeitreisefensters für das neue Dataset in Stunden. Der Wert HOURS muss eine Ganzzahl sein, die als Vielfaches von 24 (48, 72, 96, 120, 144, 168) zwischen 48 (2 Tagen) und 168 (7 Tage) ausgedrückt wird. Wenn diese Option nicht angegeben ist, wird als Standardeinstellung 168 Stunden verwendet.
    • BILLING_MODEL: legt das Speicherabrechnungsmodell für das Dataset fest. Legen Sie den Wert BILLING_MODEL auf PHYSICAL fest, um physische Bytes bei der Berechnung der Speichergebühren zu verwenden, oder auf LOGICAL, um logische Byte zu verwenden. Standardmäßig ist LOGICAL ausgewählt.

      Wenn Sie das Abrechnungsmodell eines Datasets ändern, dauert es 24 Stunden, bis die Änderung wirksam wird.

      Nachdem Sie das Speicherabrechnungsmodell eines Datasets geändert haben, müssen Sie 14 Tage warten, bevor Sie das Speicherabrechnungsmodell wieder ändern können.

  3. Klicken Sie auf Ausführen.

Informationen zum Ausführen von Abfragen finden Sie unter Interaktive Abfrage ausführen.

bq

Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk mit dem Flag --location. Eine vollständige Liste der möglichen Parameter finden Sie in der bq mk --dataset-Befehlsreferenz.

Wenn Sie ein Dataset in einem anderen Projekt als dem Standardprojekt erstellen möchten, fügen Sie die Projekt-ID im Format PROJECT_ID:DATASET_ID dem Dataset-Namen hinzu.

bq --location=LOCATION mk \
    --dataset \
    --default_kms_key=KMS_KEY_NAME \
    --default_partition_expiration=PARTITION_EXPIRATION \
    --default_table_expiration=TABLE_EXPIRATION \
    --description="DESCRIPTION" \
    --label=KEY_1:VALUE_1 \
    --label=KEY_2:VALUE_2 \
    --add_tags=KEY_3:VALUE_3[,...] \
    --max_time_travel_hours=HOURS \
    --storage_billing_model=BILLING_MODEL \
    PROJECT_ID:DATASET_ID

Dabei gilt:

  • LOCATION: Speicherort des Datasets. Nachdem ein Dataset erstellt wurde, kann der Standort nicht mehr geändert werden. Mit der Datei .bigqueryrc können Sie für den Standort einen Standardwert festlegen.

  • KMS_KEY_NAME: der Name des standardmäßigen Cloud Key Management Service-Schlüssels, der zum Schutz neu erstellter Tabellen in diesem Dataset verwendet wird, sofern beim Erstellen kein anderer Schlüssel angegeben wird. Wenn dieser Parameter gesetzt ist, können Sie in einem Dataset keine von Google verschlüsselte Tabelle erstellen.

  • PARTITION_EXPIRATION: die Standardlebensdauer von Partitionen in neu erstellten partitionierten Tabellen in Sekunden. Für den Standardpartitionsablauf gibt es keinen Mindestwert. Die Ablaufzeit entspricht dem Datum der Partition plus dem ganzzahligen Wert. Jede Partition, die in einer partitionierten Tabelle im Dataset erstellt wurde, wird PARTITION_EXPIRATION Sekunden nach dem Datum der Partition gelöscht. Wenn Sie beim Erstellen oder Aktualisieren einer partitionierten Tabelle das Flag --time_partitioning_expiration angeben, hat der Ablauf der Partition auf Tabellenebene Vorrang vor dem Standardablauf der Partition auf Dataset-Ebene.

  • TABLE_EXPIRATION: die Standardlebensdauer neu erstellter Tabellen in Sekunden. Der Mindestwert beträgt 3.600 Sekunden bzw. eine Stunde. Die Ablaufzeit entspricht der aktuellen Zeit plus dem ganzzahligen Wert. Jede im Dataset erstellte Tabelle wird TABLE_EXPIRATION Sekunden nach dem Erstellen gelöscht. Der Wert wird angewendet, wenn Sie beim Erstellen der Tabelle keine Ablaufzeit für die Tabelle festlegen.

  • DESCRIPTION: eine Beschreibung des Datasets

  • KEY_1:VALUE_1: das Schlüssel/Wert-Paar, das Sie als erstes Label für dieses Dataset festlegen möchten; KEY_2:VALUE_2 ist das Schlüssel/Wert-Paar, das Sie als zweites Label festlegen möchten.

  • KEY_3:VALUE_3: das Schlüssel/Wert-Paar, das Sie als Tag für das Dataset festlegen möchten. Fügen Sie mehrere Tags unter demselben Flag hinzu und trennen Sie die Schlüssel/Wert-Paare durch Kommas.

  • HOURS: die Dauer des Zeitreisefensters für das neue Dataset in Stunden. Der Wert HOURS muss eine Ganzzahl sein, die als Vielfaches von 24 (48, 72, 96, 120, 144, 168) zwischen 48 (2 Tagen) und 168 (7 Tage) ausgedrückt wird. Wenn diese Option nicht angegeben ist, wird als Standardeinstellung 168 Stunden verwendet.

  • BILLING_MODEL: legt das Speicherabrechnungsmodell für das Dataset fest. Legen Sie den Wert BILLING_MODEL auf PHYSICAL fest, um physische Bytes bei der Berechnung der Speichergebühren zu verwenden, oder auf LOGICAL, um logische Byte zu verwenden. Standardmäßig ist LOGICAL ausgewählt.

    Wenn Sie das Abrechnungsmodell eines Datasets ändern, dauert es 24 Stunden, bis die Änderung wirksam wird.

    Nachdem Sie das Speicherabrechnungsmodell eines Datasets geändert haben, müssen Sie 14 Tage warten, bevor Sie das Speicherabrechnungsmodell wieder ändern können.

  • PROJECT_ID ist Ihre Projekt-ID.

  • DATASET_ID: der Name des zu erstellenden Datasets.

Mit dem folgenden Befehl wird beispielsweise ein Dataset namens mydataset mit dem Standort US für die Daten, einem Standardtabellenablauf von 3.600 Sekunden (1 Stunde) und der Beschreibung This is my dataset erstellt. Anstelle des Flags --dataset verwendet der Befehl die verkürzte Form -d. Wenn Sie -d und --dataset auslassen, wird standardmäßig ein Dataset erstellt.

bq --location=US mk -d \
    --default_table_expiration 3600 \
    --description "This is my dataset." \
    mydataset

Mit dem Befehl bq ls können Sie prüfen, ob das Dataset erstellt wurde. Sie können auch eine Tabelle erstellen, wenn Sie ein neues Dataset mit dem Format bq mk -t dataset.table erstellen. Weitere Informationen zum Erstellen von Tabellen finden Sie unter Tabelle erstellen.

Terraform

Verwenden Sie die Ressource google_bigquery_dataset:

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.

Dataset erstellen

Im folgenden Beispiel wird ein Dataset mit dem Namen mydataset erstellt:

resource "google_bigquery_dataset" "default" {
  dataset_id                      = "mydataset"
  default_partition_expiration_ms = 2592000000  # 30 days
  default_table_expiration_ms     = 31536000000 # 365 days
  description                     = "dataset description"
  location                        = "US"
  max_time_travel_hours           = 96 # 4 days

  labels = {
    billing_group = "accounting",
    pii           = "sensitive"
  }
}

Wenn Sie ein Dataset mit der Ressource google_bigquery_dataset erstellen, wird automatisch allen Konten, die zu einfachen Rollen auf Projektebene gehören, Zugriff auf das Dataset gewährt. Wenn Sie nach dem Erstellen des Datasets den Befehl terraform show ausführen, sieht der access-Block für das Dataset etwa so aus:

Zugriffsblock für ein Dataset, das mit Terraform erstellt wurde

Wenn Sie Zugriff auf das Dataset gewähren möchten, empfehlen wir die Verwendung einer google_bigquery_iam-Ressource, wie im folgenden Beispiel gezeigt, sofern Sie keine autorisierten Objekte erstellen möchten, z. B. als autorisierte Ansichten innerhalb des Datasets. Nutzen Sie in diesem Fall die Ressource google_bigquery_dataset_access. Beispiele finden Sie in dieser Dokumentation.

Dataset erstellen und Zugriff darauf gewähren

Im folgenden Beispiel wird ein Dataset mit dem Namen mydataset erstellt und dann mit der Ressource google_bigquery_dataset_iam_policy Zugriff darauf gewährt.

resource "google_bigquery_dataset" "default" {
  dataset_id                      = "mydataset"
  default_partition_expiration_ms = 2592000000  # 30 days
  default_table_expiration_ms     = 31536000000 # 365 days
  description                     = "dataset description"
  location                        = "US"
  max_time_travel_hours           = 96 # 4 days

  labels = {
    billing_group = "accounting",
    pii           = "sensitive"
  }
}

# Update the user, group, or service account
# provided by the members argument with the
# appropriate principals for your organization.
data "google_iam_policy" "default" {
  binding {
    role = "roles/bigquery.dataOwner"
    members = [
      "user:raha@altostrat.com",
    ]
  }
  binding {
    role = "roles/bigquery.admin"
    members = [
      "user:raha@altostrat.com",
    ]
  }
  binding {
    role = "roles/bigquery.user"
    members = [
      "group:analysts@altostrat.com",
    ]
  }
  binding {
    role = "roles/bigquery.dataViewer"
    members = [
      "serviceAccount:bqcx-1234567891011-abcd@gcp-sa-bigquery-condel.iam.gserviceaccount.com",
    ]
  }
}

resource "google_bigquery_dataset_iam_policy" "default" {
  dataset_id  = google_bigquery_dataset.default.dataset_id
  policy_data = data.google_iam_policy.default.policy_data
}

Dataset mit einem vom Kunden verwalteten Verschlüsselungsschlüssel erstellen

Im folgenden Beispiel wird ein Dataset mit dem Namen mydataset erstellt. Außerdem werden die google_kms_crypto_key und google_kms_key_ring verwendet, um einen Cloud Key Management Service-Schlüssel für das Dataset anzugeben. Sie müssen die Cloud Key Management Service API aktivieren, bevor Sie dieses Beispiel ausführen.

resource "google_bigquery_dataset" "default" {
  dataset_id                      = "mydataset"
  default_partition_expiration_ms = 2592000000  # 30 days
  default_table_expiration_ms     = 31536000000 # 365 days
  description                     = "dataset description"
  location                        = "US"
  max_time_travel_hours           = 96 # 4 days

  default_encryption_configuration {
    kms_key_name = google_kms_crypto_key.crypto_key.id
  }

  labels = {
    billing_group = "accounting",
    pii           = "sensitive"
  }
  depends_on = [google_project_iam_member.service_account_access]
}

resource "google_kms_crypto_key" "crypto_key" {
  name     = "example-key"
  key_ring = google_kms_key_ring.key_ring.id
}

resource "random_id" "default" {
  byte_length = 8
}

resource "google_kms_key_ring" "key_ring" {
  name     = "${random_id.default.hex}-example-keyring"
  location = "us"
}

# Enable the BigQuery service account to encrypt/decrypt Cloud KMS keys
data "google_project" "project" {
}

resource "google_project_iam_member" "service_account_access" {
  project = data.google_project.project.project_id
  role    = "roles/cloudkms.cryptoKeyEncrypterDecrypter"
  member  = "serviceAccount:bq-${data.google_project.project.number}@bigquery-encryption.iam.gserviceaccount.com"
}

Führen Sie die Schritte in den folgenden Abschnitten aus, um Ihre Terraform-Konfiguration auf ein Google Cloud-Projekt anzuwenden.

Cloud Shell vorbereiten

  1. Rufen Sie Cloud Shell auf.

  2. Legen Sie das Google Cloud-Standardprojekt fest, auf das Sie Ihre Terraform-Konfigurationen anwenden möchten.

    Sie müssen diesen Befehl nur einmal pro Projekt und in jedem beliebigen Verzeichnis ausführen.

    export GOOGLE_CLOUD_PROJECT=PROJECT_ID

    Umgebungsvariablen werden überschrieben, wenn Sie in der Terraform-Konfigurationsdatei explizite Werte festlegen.

Verzeichnis vorbereiten

Jede Terraform-Konfigurationsdatei muss ein eigenes Verzeichnis haben (auch als Stammmodul bezeichnet).

  1. Erstellen Sie in Cloud Shell ein Verzeichnis und eine neue Datei in diesem Verzeichnis. Der Dateiname muss die Erweiterung .tf haben, z. B. main.tf. In dieser Anleitung wird die Datei als main.tf bezeichnet. 
    mkdir DIRECTORY && cd DIRECTORY && touch main.tf

  2. Wenn Sie einer Anleitung folgen, können Sie den Beispielcode in jedem Abschnitt oder Schritt kopieren.

    Kopieren Sie den Beispielcode in das neu erstellte main.tf.

    Kopieren Sie optional den Code aus GitHub. Dies wird empfohlen, wenn das Terraform-Snippet Teil einer End-to-End-Lösung ist.

  3. Prüfen und ändern Sie die Beispielparameter, die auf Ihre Umgebung angewendet werden sollen.
  4. Speichern Sie die Änderungen.
  5. Initialisieren Sie Terraform. Dies ist nur einmal für jedes Verzeichnis erforderlich. 
    terraform init

    Fügen Sie optional die Option -upgrade ein, um die neueste Google-Anbieterversion zu verwenden: 

    terraform init -upgrade

Änderungen anwenden

  1. Prüfen Sie die Konfiguration und prüfen Sie, ob die Ressourcen, die Terraform erstellen oder aktualisieren wird, Ihren Erwartungen entsprechen: 
    terraform plan

    Korrigieren Sie die Konfiguration nach Bedarf.

  2. Wenden Sie die Terraform-Konfiguration an. Führen Sie dazu den folgenden Befehl aus und geben Sie yes an der Eingabeaufforderung ein: 
    terraform apply

    Warten Sie, bis Terraform die Meldung „Apply complete“ anzeigt.

  3. Öffnen Sie Ihr Google Cloud-Projekt, um die Ergebnisse aufzurufen. Rufen Sie in der Google Cloud Console Ihre Ressourcen in der Benutzeroberfläche auf, um sicherzustellen, dass Terraform sie erstellt oder aktualisiert hat.

API

Rufen Sie die Methode datasets.insert mit einer definierten Dataset-Ressource auf.

C#

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der C#-Einrichtungsanleitung in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery C# API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten. 


using Google.Apis.Bigquery.v2.Data;
using Google.Cloud.BigQuery.V2;

public class BigQueryCreateDataset
{
    public BigQueryDataset CreateDataset(
        string projectId = "your-project-id",
        string location = "US"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        var dataset = new Dataset
        {
            // Specify the geographic location where the dataset should reside.
            Location = location
        };
        // Create the dataset
        return client.CreateDataset(
            datasetId: "your_new_dataset_id", dataset);
    }
}

Go

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten. 

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// createDataset demonstrates creation of a new dataset using an explicit destination location.
func createDataset(projectID, datasetID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	ctx := context.Background()

	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	meta := &bigquery.DatasetMetadata{
		Location: "US", // See https://cloud.google.com/bigquery/docs/locations
	}
	if err := client.Dataset(datasetID).Create(ctx, meta); err != nil {
		return err
	}
	return nil
}

Java

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Java API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten. 

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;
import com.google.cloud.bigquery.DatasetInfo;

public class CreateDataset {

  public static void runCreateDataset() {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    createDataset(datasetName);
  }

  public static void createDataset(String datasetName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      DatasetInfo datasetInfo = DatasetInfo.newBuilder(datasetName).build();

      Dataset newDataset = bigquery.create(datasetInfo);
      String newDatasetName = newDataset.getDatasetId().getDataset();
      System.out.println(newDatasetName + " created successfully");
    } catch (BigQueryException e) {
      System.out.println("Dataset was not created. \n" + e.toString());
    }
  }
}

Node.js

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Node.js in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Node.js API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten. 

// Import the Google Cloud client library and create a client
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function createDataset() {
  // Creates a new dataset named "my_dataset".

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = "my_new_dataset";

  // Specify the geographic location where the dataset should reside
  const options = {
    location: 'US',
  };

  // Create a new dataset
  const [dataset] = await bigquery.createDataset(datasetId, options);
  console.log(`Dataset ${dataset.id} created.`);
}
createDataset();

PHP

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von PHP in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery PHP API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten. 

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $datasetId = 'The BigQuery dataset ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->createDataset($datasetId);
printf('Created dataset %s' . PHP_EOL, $datasetId);

Python

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Python API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten. 

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set dataset_id to the ID of the dataset to create.
# dataset_id = "{}.your_dataset".format(client.project)

# Construct a full Dataset object to send to the API.
dataset = bigquery.Dataset(dataset_id)

# TODO(developer): Specify the geographic location where the dataset should reside.
dataset.location = "US"

# Send the dataset to the API for creation, with an explicit timeout.
# Raises google.api_core.exceptions.Conflict if the Dataset already
# exists within the project.
dataset = client.create_dataset(dataset, timeout=30)  # Make an API request.
print("Created dataset {}.{}".format(client.project, dataset.dataset_id))

Ruby

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Ruby in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Ruby API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten. 

require "google/cloud/bigquery"

def create_dataset dataset_id = "my_dataset", location = "US"
  bigquery = Google::Cloud::Bigquery.new

  # Create the dataset in a specified geographic location
  bigquery.create_dataset dataset_id, location: location

  puts "Created dataset: #{dataset_id}"
end

Dataset-Sicherheit

Informationen zum Steuern des Zugriffs auf Datasets in BigQuery finden Sie unter Zugriff auf Datasets steuern. Informationen zur Datenverschlüsselung finden Sie unter Verschlüsselung inaktiver Daten.

Nächste Schritte

Jetzt testen

Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit von BigQuery in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

BigQuery kostenlos testen