Tabellen verwalten

In diesem Dokument wird beschrieben, wie in BigQuery Tabellen verwaltet werden. Sie haben folgende Möglichkeiten zum Verwalten Ihrer BigQuery-Tabellen:

Tabellenattribute aktualisieren:
Tabelle umbenennen (kopieren)
Tabelle kopieren
Tabelle löschen
Gelöschte Tabelle wiederherstellen

Weitere Informationen zum Erstellen und Verwenden von Tabellen, darunter auch zum Abrufen von Tabelleninformationen, Auflisten von Tabellen und Steuern des Zugriffs auf Tabellendaten, finden Sie unter Tabellen erstellen und verwenden.

Hinweis

Weisen Sie IAM-Rollen (Identity and Access Management) zu, die Nutzern die erforderlichen Berechtigungen zum Ausführen der einzelnen Aufgaben in diesem Dokument gewähren. Die Berechtigungen, die zum Ausführen einer Aufgabe erforderlich sind (sofern zutreffend), werden im Abschnitt „Erforderliche Berechtigungen“ der Aufgabe aufgelistet.

Tabellenattribute aktualisieren

Sie können die folgenden Elemente einer Tabelle aktualisieren:

Beschreibung
Ablaufzeit
Schemadefinition
Labels
Tabellenname

Erforderliche Berechtigungen

Bitten Sie Ihren Administrator, Ihnen für eine Tabelle die IAM-Rolle Data Editor (roles/bigquery.dataEditor) zuzuweisen, damit Sie die Berechtigungen erhalten, die Sie zum Aktualisieren von Tabellenattributen benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Aktualisieren von Tabellenattributen erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Aktualisieren von Tabellenattributen erforderlich:

bigquery.tables.update
bigquery.tables.get

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Wenn Sie die Berechtigung bigquery.datasets.create haben, können Sie außerdem die Attribute der Tabellen für die Datasets aktualisieren, die Sie erstellen.

Die Beschreibung einer Tabelle aktualisieren

Sie können die Beschreibung einer Tabelle auf folgenden Wegen aktualisieren:

Google Cloud Console verwenden
Durch Senden einer ALTER TABLE-DDL-Anweisung (Data Definition Language, Datendefinitionssprache)
Den Befehl bq update des bq-Befehlszeilentools verwenden
Durch Aufruf der API-Methode tables.patch
Mithilfe der Clientbibliotheken

So aktualisieren Sie die Beschreibung einer Tabelle:

Console

Sie können keine Beschreibung hinzufügen, wenn Sie eine Tabelle mit der Google Cloud Console erstellen. Nachdem die Tabelle erstellt wurde, können Sie auf der Seite Details eine Beschreibung hinzufügen.

Maximieren Sie im Bereich Explorer Ihr Projekt und das Dataset und wählen Sie dann die Tabelle aus.
Klicken Sie im Detailbereich auf Details.
Klicken Sie im Abschnitt Description (Beschreibung) auf das Stiftsymbol, um die Beschreibung zu bearbeiten.
Geben Sie eine Beschreibung in das Feld ein und klicken Sie zum Speichern auf Aktualisieren.

SQL

Verwenden Sie die Anweisung ALTER TABLE SET OPTIONS. Im folgenden Beispiel wird die Beschreibung einer Tabelle mit dem Namen mytable aktualisiert:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen

Geben Sie im Abfrageeditor die folgende Anweisung ein:

ALTER TABLE mydataset.mytable
  SET OPTIONS (
    description = 'Description of mytable');

Klicken Sie auf Ausführen.

Informationen zum Ausführen von Abfragen finden Sie unter Interaktive Abfragen ausführen.

bq

Aktivieren Sie Cloud Shell in der Google Cloud Console.

Cloud Shell aktivieren

Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.
Führen Sie den Befehl bq update mit dem Flag --description aus. Wenn Sie eine Tabelle in einem anderen Projekt als Ihrem Standardprojekt aktualisieren, fügen Sie dem Dataset-Namen die Projekt-ID im folgenden Format hinzu: project_id:dataset.
```
bq update \
--description "description" \
project_id:dataset.table
```
Ersetzen Sie Folgendes:
- description: der Text zur Beschreibung der Tabelle in Anführungszeichen
- project_id: Ihre Projekt-ID
- dataset: der Name des Datasets, das die zu aktualisierende Tabelle enthält
- table: der Name der zu aktualisierenden Tabelle
Beispiele:

Geben Sie den folgenden Befehl ein, um die Beschreibung der Tabelle mytable im Dataset mydataset in „Description of mytable” (Beschreibung von mytable) zu ändern. Das Dataset mydataset befindet sich in Ihrem Standardprojekt.
```
bq update --description "Description of mytable" mydataset.mytable
```
Geben Sie den folgenden Befehl ein, um die Beschreibung der Tabelle mytable im Dataset mydataset in „Description of mytable” (Beschreibung von mytable) zu ändern. Das Dataset mydataset befindet sich im Projekt myotherproject, nicht in Ihrem Standardprojekt.
```
bq update \
--description "Description of mytable" \
myotherproject:mydataset.mytable
```

API

Rufen Sie die Methode tables.patch auf und verwenden Sie das Attribut description in der Tabellenressource, um die Beschreibung der Tabelle zu aktualisieren. Da die Methode tables.update die gesamte Tabellenressource ersetzt, ist die Methode tables.patch zu bevorzugen.

Go

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.

Auf GitHub ansehen Feedback

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// updateTableDescription demonstrates how to fetch a table's metadata and updates the Description metadata.
func updateTableDescription(projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// tableID := "mytable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	tableRef := client.Dataset(datasetID).Table(tableID)
	meta, err := tableRef.Metadata(ctx)
	if err != nil {
		return err
	}
	update := bigquery.TableMetadataToUpdate{
		Description: "Updated description.",
	}
	if _, err = tableRef.Update(ctx, update, meta.ETag); err != nil {
		return err
	}
	return nil
}

Java

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Java API.

Auf GitHub ansehen Feedback

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Table;

public class UpdateTableDescription {

  public static void runUpdateTableDescription() {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    String newDescription = "this is the new table description";
    updateTableDescription(datasetName, tableName, newDescription);
  }

  public static void updateTableDescription(
      String datasetName, String tableName, String newDescription) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Table table = bigquery.getTable(datasetName, tableName);
      bigquery.update(table.toBuilder().setDescription(newDescription).build());
      System.out.println("Table description updated successfully to " + newDescription);
    } catch (BigQueryException e) {
      System.out.println("Table description was not updated \n" + e.toString());
    }
  }
}

Python

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Python API.

Konfigurieren Sie das Attribut Table.description und rufen Sie Client.update_table() auf, um die Aktualisierung an die API zu senden.

Auf GitHub ansehen Feedback

# from google.cloud import bigquery
# client = bigquery.Client()
# project = client.project
# dataset_ref = bigquery.DatasetReference(project, dataset_id)
# table_ref = dataset_ref.table('my_table')
# table = client.get_table(table_ref)  # API request

assert table.description == "Original description."
table.description = "Updated description."

table = client.update_table(table, ["description"])  # API request

assert table.description == "Updated description."

Ablaufzeit einer Tabelle aktualisieren

Sie können Standardablaufzeiten für Tabellen auf Dataset-Ebene festlegen oder die Ablaufzeit bei Erstellung der Tabelle festlegen. Die Ablaufzeit einer Tabelle wird auch als Gültigkeitsdauer oder TTL (Time To Live) bezeichnet.

Wenn eine Tabelle abläuft, wird sie mit allen enthaltenen Daten gelöscht. Bei Bedarf können Sie die abgelaufene Tabelle innerhalb des für das Dataset angegebenen Zeitreisefensters wiederherstellen. Weitere Informationen finden Sie unter Gelöschte Tabellen wiederherstellen.

Wenn Sie die Ablaufzeit einer Tabelle beim Erstellen festlegen, wird die Standardablaufzeit für Tabellen des Datasets ignoriert. Wenn Sie keine Standardablaufzeit für Tabellen auf Dataset-Ebene und keine Ablaufzeit beim Erstellen der Tabelle festlegen, läuft die Tabelle nie ab und Sie müssen die Tabelle manuell löschen.

Nachdem die Tabelle erstellt wurde, können Sie die Ablaufzeit jederzeit auf folgenden Wegen aktualisieren:

Google Cloud Console verwenden
Durch Senden einer ALTER TABLE-DDL-Anweisung (Data Definition Language, Datendefinitionssprache)
Den Befehl bq update des bq-Befehlszeilentools verwenden
Durch Aufruf der API-Methode tables.patch
Mithilfe der Clientbibliotheken

So aktualisieren Sie die Ablaufzeit einer Tabelle:

Console

Sie können keine Ablaufzeit hinzufügen, wenn Sie eine Tabelle mit der Google Cloud Console erstellen. Nachdem eine Tabelle erstellt wurde, können Sie den Ablauf der Tabelle auf der Seite Details hinzufügen oder aktualisieren.

Maximieren Sie im Bereich Explorer Ihr Projekt und das Dataset und wählen Sie dann die Tabelle aus.
Klicken Sie im Detailbereich auf Details.
Klicken Sie auf das Stiftsymbol neben Tabelleninformationen.
Wählen Sie bei Tabellenablauf die Option Datum angeben aus. Wählen Sie dann mit dem Kalender-Widget weiter unten das Ablaufdatum aus.
Klicken Sie zum Speichern auf Aktualisieren. Die aktualisierte Ablaufzeit wird im Abschnitt Tabelleninformationen angezeigt.

SQL

Verwenden Sie die Anweisung ALTER TABLE SET OPTIONS. Im folgenden Beispiel wird die Ablaufzeit einer Tabelle mit dem Namen mytable aktualisiert:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen

Geben Sie im Abfrageeditor die folgende Anweisung ein:

ALTER TABLE mydataset.mytable
  SET OPTIONS (
    -- Sets table expiration to timestamp 2025-02-03 12:34:56
    expiration_timestamp = TIMESTAMP '2025-02-03 12:34:56');

Klicken Sie auf Ausführen.

Informationen zum Ausführen von Abfragen finden Sie unter Interaktive Abfragen ausführen.

bq

Aktivieren Sie Cloud Shell in der Google Cloud Console.

Cloud Shell aktivieren

Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.
Führen Sie den Befehl bq update mit dem Flag --expiration aus. Wenn Sie eine Tabelle in einem anderen Projekt als Ihrem Standardprojekt aktualisieren, fügen Sie dem Dataset-Namen die Projekt-ID im folgenden Format hinzu: project_id:dataset.
```
bq update \
--expiration integer \
project_id:dataset.table
```
Ersetzen Sie Folgendes:
- integer: die Standardlebensdauer der Tabelle in Sekunden. Der Mindestwert beträgt 3.600 Sekunden (eine Stunde). Die Ablaufzeit entspricht der aktuellen Zeit plus dem ganzzahligen Wert. Wenn Sie 0 angeben, wird der Tabellenablauf entfernt und die Tabelle läuft nie ab. Tabellen ohne Ablauf müssen manuell gelöscht werden.
- project_id: Ihre Projekt-ID.
- dataset: der Name des Datasets, das die zu aktualisierende Tabelle enthält.
- table: der Name der zu aktualisierenden Tabelle.
Beispiele:

Geben Sie den folgenden Befehl ein, um die Ablaufzeit der Tabelle mytable im Dataset mydataset auf 5 Tage (432000 Sekunden) zu aktualisieren. Das Dataset mydataset befindet sich in Ihrem Standardprojekt.
```
bq update --expiration 432000 mydataset.mytable
```
Geben Sie den folgenden Befehl ein, um die Ablaufzeit der Tabelle mytable im Dataset mydataset auf 5 Tage (432000 Sekunden) zu aktualisieren. Das Dataset mydataset befindet sich im Projekt myotherproject, nicht in Ihrem Standardprojekt.
```
bq update --expiration 432000 myotherproject:mydataset.mytable
```

API

Rufen Sie die Methode tables.patch auf und verwenden Sie das Attribut expirationTime in der Tabellenressource, um die Ablaufzeit der Tabelle in Millisekunden zu ändern. Da die Methode tables.update die gesamte Tabellenressource ersetzt, ist die Methode tables.patch zu bevorzugen.

Go

Auf GitHub ansehen Feedback

import (
	"context"
	"fmt"
	"time"

	"cloud.google.com/go/bigquery"
)

// updateTableExpiration demonstrates setting the table expiration of a table to a specific point in time
// in the future, at which time it will be deleted.
func updateTableExpiration(projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// tableID := "mytable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	tableRef := client.Dataset(datasetID).Table(tableID)
	meta, err := tableRef.Metadata(ctx)
	if err != nil {
		return err
	}
	update := bigquery.TableMetadataToUpdate{
		ExpirationTime: time.Now().Add(time.Duration(5*24) * time.Hour), // table expiration in 5 days.
	}
	if _, err = tableRef.Update(ctx, update, meta.ETag); err != nil {
		return err
	}
	return nil
}

Java

Auf GitHub ansehen Feedback

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Table;
import java.util.concurrent.TimeUnit;

public class UpdateTableExpiration {

  public static void runUpdateTableExpiration() {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    // Update table expiration to one day.
    Long newExpiration = TimeUnit.MILLISECONDS.convert(1, TimeUnit.DAYS);
    updateTableExpiration(datasetName, tableName, newExpiration);
  }

  public static void updateTableExpiration(
      String datasetName, String tableName, Long newExpiration) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Table table = bigquery.getTable(datasetName, tableName);
      bigquery.update(table.toBuilder().setExpirationTime(newExpiration).build());

      System.out.println("Table expiration updated successfully to " + newExpiration);
    } catch (BigQueryException e) {
      System.out.println("Table expiration was not updated \n" + e.toString());
    }
  }
}

Node.js

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Node.js in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Node.js API.

Auf GitHub ansehen Feedback

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function updateTableExpiration() {
  // Updates a table's expiration.

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = 'my_dataset', // Existing dataset
  // const tableId = 'my_table', // Existing table
  // const expirationTime = Date.now() + 1000 * 60 * 60 * 24 * 5 // 5 days from current time in ms

  // Retreive current table metadata
  const table = bigquery.dataset(datasetId).table(tableId);
  const [metadata] = await table.getMetadata();

  // Set new table expiration to 5 days from current time
  metadata.expirationTime = expirationTime.toString();
  const [apiResponse] = await table.setMetadata(metadata);

  const newExpirationTime = apiResponse.expirationTime;
  console.log(`${tableId} expiration: ${newExpirationTime}`);
}

Python

Konfigurieren Sie das Attribut Table.expires und rufen Sie Client.update_table() auf, um die Aktualisierung an die API zu senden.

Auf GitHub ansehen Feedback

from google.cloud import bigquery

client = bigquery.Client()

# TODO(dev): Change table_id to the full name of the table you want to update.
table_id = "your-project.your_dataset.your_table_name"

# TODO(dev): Set table to expire for desired days days from now.
expiration = datetime.datetime.now(datetime.timezone.utc) + datetime.timedelta(
    days=5
)
table = client.get_table(table_id)  # Make an API request.
table.expires = expiration
table = client.update_table(table, ["expires"])  # API request

print(f"Updated {table_id}, expires {table.expires}.")

So aktualisieren Sie die Standardablaufzeit für Dataset-Partitionen:

Java

Auf GitHub ansehen Feedback

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;
import java.util.concurrent.TimeUnit;

// Sample to update partition expiration on a dataset.
public class UpdateDatasetPartitionExpiration {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    // Set the default partition expiration (applies to new tables, only) in
    // milliseconds. This example sets the default expiration to 90 days.
    Long newExpiration = TimeUnit.MILLISECONDS.convert(90, TimeUnit.DAYS);
    updateDatasetPartitionExpiration(datasetName, newExpiration);
  }

  public static void updateDatasetPartitionExpiration(String datasetName, Long newExpiration) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Dataset dataset = bigquery.getDataset(datasetName);
      bigquery.update(dataset.toBuilder().setDefaultPartitionExpirationMs(newExpiration).build());
      System.out.println(
          "Dataset default partition expiration updated successfully to " + newExpiration);
    } catch (BigQueryException e) {
      System.out.println("Dataset partition expiration was not updated \n" + e.toString());
    }
  }
}

Python

Auf GitHub ansehen Feedback


from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set dataset_id to the ID of the dataset to fetch.
# dataset_id = 'your-project.your_dataset'

dataset = client.get_dataset(dataset_id)  # Make an API request.

# Set the default partition expiration (applies to new tables, only) in
# milliseconds. This example sets the default expiration to 90 days.
dataset.default_partition_expiration_ms = 90 * 24 * 60 * 60 * 1000

dataset = client.update_dataset(
    dataset, ["default_partition_expiration_ms"]
)  # Make an API request.

print(
    "Updated dataset {}.{} with new default partition expiration {}".format(
        dataset.project, dataset.dataset_id, dataset.default_partition_expiration_ms
    )
)

Rundungsmodus einer Tabelle aktualisieren

Sie können den Standard-Rundungsmodus einer Tabelle mit der DDL-Anweisung ALTER TABLE SET OPTIONS aktualisieren. Im folgenden Beispiel wird der Standard-Rundungsmodus für mytable auf ROUND_HALF_EVEN aktualisiert:

ALTER TABLE mydataset.mytable
SET OPTIONS (
  default_rounding_mode = "ROUND_HALF_EVEN");

Wenn Sie das Feld NUMERIC oder BIGNUMERIC zu einer Tabelle hinzufügen und keinen Rundungsmodus angeben, wird der Rundungsmodus automatisch auf den Standard-Rundungsmodus der Tabelle eingestellt. Durch das Ändern des Standardmodus für Rundungen einer Tabelle wird der Rundungsmodus vorhandener Felder nicht geändert.

Schemadefinition einer Tabelle aktualisieren

Weitere Informationen zum Aktualisieren der Schemadefinition einer Tabelle finden Sie unter Tabellenschemas ändern.

Tabelle umbenennen

Sie können eine Tabelle mit der Anweisung ALTER TABLE RENAME TO umbenennen, nachdem sie erstellt wurde. Im folgenden Beispiel wird mytable in mynewtable umbenannt:

ALTER TABLE mydataset.mytable
RENAME TO mynewtable;

Einschränkungen beim Umbenennen von Tabellen

Wenn Sie eine Tabelle umbenennen möchten, die Daten-Streaming enthält, müssen Sie das Streaming beenden und warten, bis BigQuery anzeigt, dass das Streaming nicht verwendet wird.
Eine Tabelle kann normalerweise innerhalb von 72 Stunden nach dem letzten Streamingvorgang umbenannt werden, aber es kann länger dauern.
Tabellen-ACLs und Zeilenzugriffsrichtlinien werden nach dem Umbenennen einer Tabelle nicht immer beibehalten.
Sie können nicht gleichzeitig eine Tabelle umbenennen und eine DML-Anweisung dafür ausführen.
Durch das Umbenennen einer Tabelle werden alle Data Catalog-Tags aus der Tabelle entfernt.
Externe Tabellen können nicht umbenannt werden.

Tabelle kopieren

In diesem Abschnitt wird beschrieben, wie Sie eine vollständige Kopie einer Tabelle erstellen. Informationen zu anderen Arten von Tabellenkopien finden Sie unter Tabellenklone und Tabellen-Snapshots.

Sie können eine Tabelle auf folgenden Wegen kopieren:

Google Cloud Console verwenden.
Führen Sie den Befehl bq cp aus.
Eine CREATE TABLE COPY-DDL-Anweisung (Data Definition Language, Datendefinitionssprache) verwenden
Rufen Sie die API-Methode jobs.insert auf und konfigurieren Sie einen copy-Job.
Verwenden Sie die Client-Bibliotheken.

Einschränkungen beim Kopieren von Tabellen

Tabellenkopierjobs unterliegen den folgenden Einschränkungen:

Für die Zieltabelle gelten beim Kopieren dieselben Namenskonventionen wie beim Erstellen.
Tabellenkopien unterliegen den BigQuery-Limits für Kopierjobs.
Die Google Cloud Console unterstützt das Kopieren von jeweils nur einer Tabelle gleichzeitig. Sie können eine vorhandene Tabelle im Ziel-Dataset nicht überschreiben. Die Tabelle muss im Ziel-Dataset einen eindeutigen Namen haben.
Das Kopieren mehrerer Quelltabellen in eine Zieltabelle wird von der Google Cloud Console nicht unterstützt.
Wenn Sie mehrere Quelltabellen mit der API, dem bq-Befehlszeilentool oder den Clientbibliotheken in eine Zieltabelle kopieren, müssen alle Quelltabellen identische Schemas haben, einschließlich Partitionierung oder Clustering.
Die Zeit, die BigQuery zum Kopieren von Tabellen benötigt, kann in verschiedenen Ausführungen erheblich variieren, da der zugrunde liegende Speicher dynamisch verwaltet wird.
Sie können eine Quelltabelle nicht kopieren und an eine Zieltabelle anfügen, die mehr Spalten als die Quelltabelle hat. Zusätzliche Spalten haben Standardwerte. Stattdessen können Sie INSERT destination_table SELECT * FROM source_table ausführen, um die Daten zu kopieren.

Erforderliche Rollen

Zum Ausführen der Aufgaben in diesem Dokument benötigen Sie die folgenden Berechtigungen.

Rollen zum Kopieren von Tabellen und Partitionen

Bitten Sie Ihren Administrator, Ihnen für die Quell- und Ziel-Datasets die IAM-Rolle Data Editor (roles/bigquery.dataEditor) zu erteilen, damit Sie die Berechtigungen erhalten, die Sie zum Kopieren von Tabellen und Partitionen benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Kopieren von Tabellen und Partitionen erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Kopieren von Tabellen und Partitionen erforderlich:

bigquery.tables.getData für die Quell- und Ziel-Datasets
bigquery.tables.get für die Quell- und Ziel-Datasets
bigquery.tables.create für das Ziel-Dataset
bigquery.tables.update für das Ziel-Dataset

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Berechtigung zum Ausführen eines Kopierjobs

Bitten Sie Ihren Administrator, Ihnen für die Quell- und Ziel-Datasets die IAM-Rolle Job User (roles/bigquery.jobUser) zu gewähren, damit Sie die Berechtigung zum Ausführen eines Kopierjobs erhalten. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierte Rolle enthält die Berechtigung bigquery.jobs.create, die zum Ausführen eines Kopierjobs erforderlich ist.

Sie können diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Tabelle mit einer einzelnen Quelle kopieren

Sie können eine Tabelle auf folgenden Wegen kopieren:

Google Cloud Console verwenden
Den Befehl bq cp des bq-Befehlszeilentools verwenden
Durch Senden einer CREATE TABLE COPY-DDL-Anweisung (Data Definition Language, Datendefinitionssprache)
Durch Aufrufen der API-Methode jobs.insert, Konfigurieren eines copy-Jobs und Angeben des Attributs sourceTable
Mithilfe der Clientbibliotheken

Die Google Cloud Console und die CREATE TABLE COPY-Anweisung unterstützen pro Kopierjob nur eine Quelltabelle und eine Zieltabelle. Sie müssen das bq-Befehlszeilentool oder die API verwenden, um mehrere Quelldateien in eine Zieltabelle zu kopieren.

So kopieren Sie eine einzelne Quelltabelle:

Console

Maximieren Sie im Bereich Explorer Ihr Projekt und das Dataset und wählen Sie dann die Tabelle aus.
Klicken Sie im Detailfeld auf Tabelle kopieren.
Im Dialogfeld Copy table (Tabelle kopieren) unter Destination (Ziel):
- Wählen Sie bei Projektname das Projekt aus, in dem die kopierte Tabelle gespeichert wird.
- Wählen Sie bei Dataset-Name das Dataset aus, in dem die kopierte Tabelle gespeichert werden soll. Die Quell- und Ziel-Datasets müssen sich am selben Standort befinden.
- Geben Sie bei Tabellenname einen Namen für die neue Tabelle ein. Der Name darf im Ziel-Dataset nur einmal vorkommen. Sie können eine vorhandene Tabelle im Ziel-Dataset nicht mit der Google Cloud Console überschreiben. Weitere Informationen zu den Anforderungen für Tabellennamen finden Sie unter Tabellennamen.
Klicken Sie auf Kopieren, um den Kopierjob zu starten.

SQL

Verwenden Sie die Anweisung CREATE TABLE COPY, um eine Tabelle mit dem Namen table1 in eine neue Tabelle mit dem Namen table1copy zu kopieren:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen

Geben Sie im Abfrageeditor die folgende Anweisung ein:

CREATE TABLE myproject.mydataset.table1copy
COPY myproject.mydataset.table1;

Klicken Sie auf Ausführen.

Informationen zum Ausführen von Abfragen finden Sie unter Interaktive Abfragen ausführen.

bq

Aktivieren Sie Cloud Shell in der Google Cloud Console.

Cloud Shell aktivieren

Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.
Führen Sie den Befehl bq cp aus. Sie können optionale Flags verwenden, um die Schreibanordnung für die Zieltabelle zu steuern:
- Mit -a oder --append_table werden die Daten aus der Quelltabelle an eine vorhandene Tabelle im Ziel-Dataset angefügt.
- -f oder --force überschreibt eine vorhandene Tabelle im Ziel-Dataset, ohne eine Bestätigung von Ihnen anzufordern.
- Wenn sich die Tabelle im Ziel-Dataset befindet, gibt -n oder --no_clobber die folgende Fehlermeldung aus: Table 'project_id:dataset.table' already exists, skipping.. Wenn -n nicht angegeben ist, werden Sie standardmäßig gefragt, ob die Zieltabelle ersetzt werden soll.
- --destination_kms_key ist der vom Kunden verwaltete Cloud KMS-Schlüssel, der zum Verschlüsseln der Zieltabelle verwendet wird.
--destination_kms_key wird hier nicht angewendet. Weitere Informationen finden Sie unter Daten mit Cloud KMS-Schlüsseln schützen.

Wenn sich das Quell- oder Ziel-Dataset in einem anderen Projekt als Ihrem Standardprojekt befindet, fügen Sie die Projekt-ID im folgenden Format dem Dataset-Namen hinzu: project_id:dataset.

Optional: Geben Sie das Flag --location an und legen Sie als Wert Ihren Standort fest.
```
bq --location=location cp \
-a -f -n \
project_id:dataset.source_table \
project_id:dataset.destination_table
```
Ersetzen Sie Folgendes:
- location: Name Ihres Standorts. Das Flag --location ist optional. Wenn Sie BigQuery z. B. in der Region Tokio verwenden, können Sie für das Flag den Wert asia-northeast1 festlegen. Mit der Datei .bigqueryrc können Sie einen Standardwert für den Standort festlegen.
- project_id: Ihre Projekt-ID.
- dataset: der Name des Quell- oder Ziel-Datasets.
- source_table: die Tabelle, die Sie kopieren.
- destination_table: der Name der Tabelle im Ziel-Dataset.
Beispiele:

Geben Sie den folgenden Befehl ein, um die Tabelle mydataset.mytable in die Tabelle mydataset2.mytable2 zu kopieren. Beide Datasets befinden sich in Ihrem Standardprojekt.
```
bq cp mydataset.mytable mydataset2.mytable2
```
Geben Sie den folgenden Befehl ein, um die Tabelle mydataset.mytable zu kopieren und eine Zieltabelle mit demselben Namen zu überschreiben. Das Quell-Dataset befindet sich in Ihrem Standardprojekt. Das Ziel-Dataset befindet sich im Projekt myotherproject. Mit dem Kürzel -f wird die Zieltabelle ohne Eingabeaufforderung überschrieben.
```
bq cp -f \
mydataset.mytable \
myotherproject:myotherdataset.mytable
```
Geben Sie den folgenden Befehl ein, um die Tabelle mydataset.mytable zu kopieren und einen Fehler zurückzugeben, wenn das Ziel-Dataset eine Tabelle mit demselben Namen enthält. Das Quell-Dataset befindet sich in Ihrem Standardprojekt. Das Ziel-Dataset befindet sich im Projekt myotherproject. Mit dem Kürzel -n wird das Überschreiben einer Tabelle mit demselben Namen verhindert.
```
bq cp -n \
mydataset.mytable \
myotherproject:myotherdataset.mytable
```
Geben Sie den folgenden Befehl ein, um die Tabelle mydataset.mytable zu kopieren und die Daten an eine Zieltabelle mit demselben Namen anzufügen. Das Quell-Dataset befindet sich in Ihrem Standardprojekt. Das Ziel-Dataset befindet sich im Projekt myotherproject. Das Kürzel - a wird zum Anfügen an die Zieltabelle verwendet.
```
bq cp -a mydataset.mytable myotherproject:myotherdataset.mytable
```

API

Sie können eine vorhandene Tabelle über die API kopieren, indem Sie die Methode bigquery.jobs.insert aufrufen und einen copy-Job konfigurieren. Geben Sie Ihren Standort im Attribut location im Abschnitt jobReference der Jobressource an.

Geben Sie die folgenden Werte in der Jobkonfiguration an:

"copy": {
      "sourceTable": {       // Required
        "projectId": string, // Required
        "datasetId": string, // Required
        "tableId": string    // Required
      },
      "destinationTable": {  // Required
        "projectId": string, // Required
        "datasetId": string, // Required
        "tableId": string    // Required
      },
      "createDisposition": string,  // Optional
      "writeDisposition": string,   // Optional
    },

Dabei gilt: Mit sourceTable werden Informationen über die zu kopierende Tabelle und mit destinationTable Informationen über die neue Tabelle bereitgestellt. Mit createDisposition wird angegeben, ob die Tabelle erstellt werden soll, falls sie noch nicht vorhanden ist. Mit writeDisposition wird angegeben, ob eine vorhandene Tabelle überschrieben werden soll oder die Daten an eine vorhandene Tabelle angefügt werden sollen.

C#

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der C#-Einrichtungsanleitung in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery C# API.

Auf GitHub ansehen Feedback


using Google.Apis.Bigquery.v2.Data;
using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryCopyTable
{
    public void CopyTable(
        string projectId = "your-project-id",
        string destinationDatasetId = "your_dataset_id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        TableReference sourceTableRef = new TableReference()
        {
            TableId = "shakespeare",
            DatasetId = "samples",
            ProjectId = "bigquery-public-data"
        };
        TableReference destinationTableRef = client.GetTableReference(
            destinationDatasetId, "destination_table");
        BigQueryJob job = client.CreateCopyJob(
            sourceTableRef, destinationTableRef)
            .PollUntilCompleted() // Wait for the job to complete.
            .ThrowOnAnyError();

        // Retrieve destination table
        BigQueryTable destinationTable = client.GetTable(destinationTableRef);
        Console.WriteLine(
            $"Copied {destinationTable.Resource.NumRows} rows from table "
            + $"{sourceTableRef.DatasetId}.{sourceTableRef.TableId} "
            + $"to {destinationTable.FullyQualifiedId}."
        );
    }
}

Einfach loslegen (Go)

Auf GitHub ansehen Feedback

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// copyTable demonstrates copying a table from a source to a destination, and
// allowing the copy to overwrite existing data by using truncation.
func copyTable(projectID, datasetID, srcID, dstID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// srcID := "sourcetable"
	// dstID := "destinationtable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	dataset := client.Dataset(datasetID)
	copier := dataset.Table(dstID).CopierFrom(dataset.Table(srcID))
	copier.WriteDisposition = bigquery.WriteTruncate
	job, err := copier.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}
	if err := status.Err(); err != nil {
		return err
	}
	return nil
}

Java

Auf GitHub ansehen Feedback

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.CopyJobConfiguration;
import com.google.cloud.bigquery.Job;
import com.google.cloud.bigquery.JobInfo;
import com.google.cloud.bigquery.TableId;

public class CopyTable {

  public static void runCopyTable() {
    // TODO(developer): Replace these variables before running the sample.
    String destinationDatasetName = "MY_DESTINATION_DATASET_NAME";
    String destinationTableId = "MY_DESTINATION_TABLE_NAME";
    String sourceDatasetName = "MY_SOURCE_DATASET_NAME";
    String sourceTableId = "MY_SOURCE_TABLE_NAME";

    copyTable(sourceDatasetName, sourceTableId, destinationDatasetName, destinationTableId);
  }

  public static void copyTable(
      String sourceDatasetName,
      String sourceTableId,
      String destinationDatasetName,
      String destinationTableId) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      TableId sourceTable = TableId.of(sourceDatasetName, sourceTableId);
      TableId destinationTable = TableId.of(destinationDatasetName, destinationTableId);

      // For more information on CopyJobConfiguration see:
      // https://googleapis.dev/java/google-cloud-clients/latest/com/google/cloud/bigquery/JobConfiguration.html
      CopyJobConfiguration configuration =
          CopyJobConfiguration.newBuilder(destinationTable, sourceTable).build();

      // For more information on Job see:
      // https://googleapis.dev/java/google-cloud-clients/latest/index.html?com/google/cloud/bigquery/package-summary.html
      Job job = bigquery.create(JobInfo.of(configuration));

      // Blocks until this job completes its execution, either failing or succeeding.
      Job completedJob = job.waitFor();
      if (completedJob == null) {
        System.out.println("Job not executed since it no longer exists.");
        return;
      } else if (completedJob.getStatus().getError() != null) {
        System.out.println(
            "BigQuery was unable to copy table due to an error: \n" + job.getStatus().getError());
        return;
      }
      System.out.println("Table copied successfully.");
    } catch (BigQueryException | InterruptedException e) {
      System.out.println("Table copying job was interrupted. \n" + e.toString());
    }
  }
}

Node.js

Auf GitHub ansehen Feedback

// Import the Google Cloud client library and create a client
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function copyTable() {
  // Copies src_dataset:src_table to dest_dataset:dest_table.

  /**
   * TODO(developer): Uncomment the following lines before running the sample
   */
  // const srcDatasetId = "my_src_dataset";
  // const srcTableId = "my_src_table";
  // const destDatasetId = "my_dest_dataset";
  // const destTableId = "my_dest_table";

  // Copy the table contents into another table
  const [job] = await bigquery
    .dataset(srcDatasetId)
    .table(srcTableId)
    .copy(bigquery.dataset(destDatasetId).table(destTableId));

  console.log(`Job ${job.id} completed.`);

  // Check the job's status for errors
  const errors = job.status.errors;
  if (errors && errors.length > 0) {
    throw errors;
  }
}

PHP

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von PHP in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery PHP API.

Auf GitHub ansehen