In diesem Dokument wird beschrieben, wie Datasets in BigQuery verwaltet werden. Wenn Sie ein Dataset erstellt haben, können Sie es so verwalten:
Datasets umbenennen
Derzeit können Sie den Namen eines vorhandenen Datasets nicht ändern, aber Sie können ein Dataset kopieren. Siehe Datasets kopieren.
Datasets kopieren
Unter Datasets kopieren erfahren Sie, wie Sie ein Dataset kopieren, auch regionenübergreifend.
Dataset verschieben
Wenn Sie ein Dataset manuell von einem Standort an einen anderen verschieben möchten, gehen Sie so vor:
-
Exportieren Sie die Daten aus Ihren BigQuery-Tabellen in einen regionalen oder multiregionalen Cloud Storage-Bucket, der sich am selben Standort wie das Dataset befindet. Wenn sich Ihr Dataset zum Beispiel am multiregionalen Standort "EU" befindet, exportieren Sie Ihre Daten in einen regionalen oder multiregionalen Bucket in der EU.
Beim Exportieren von Daten aus BigQuery fallen keine Gebühren an. Dies ist jedoch anders, wenn Sie die exportierten Daten in Cloud Storage speichern. BigQuery-Exporte unterliegen den Limits für Exportjobs.
-
Kopieren oder verschieben Sie die Daten aus Ihrem Cloud Storage-Bucket in einen regionalen oder multiregionalen Bucket am neuen Standort. Wenn Sie zum Beispiel Ihre Daten vom multiregionalen Standort „US“ an den regionalen Standort „Tokio“ verschieben, werden die Daten in einen regionalen Bucket in Tokio übertragen. Weitere Informationen zum Übertragen von Cloud Storage-Objekten finden Sie in der Cloud Storage-Dokumentation unter Objekte kopieren, umbenennen und verschieben.
Beim Übertragen von Daten zwischen Regionen fallen in Cloud Storage Gebühren für ausgehenden Netzwerktraffic an.
-
Nachdem Sie die Daten in einen Cloud Storage-Bucket am neuen Standort übertragen haben, erstellen Sie dort ein neues BigQuery-Dataset. Laden Sie Ihre Daten dann aus dem Cloud Storage-Bucket in BigQuery.
Beim Laden der Daten in BigQuery fallen keine Kosten an. Das gilt jedoch nicht für das Speichern von Daten in Cloud Storage. Hier werden Gebühren berechnet, bis Sie die Daten oder den Bucket löschen. Es fallen außerdem Kosten an, wenn Sie die Daten in BigQuery speichern, nachdem sie geladen wurden. Das Laden von Daten in BigQuery unterliegt den Limits für Ladejobs.
Sie können auch Cloud Composer verwenden, um große Datasets programmatisch zu verschieben und zu kopieren.
Weitere Informationen zur Verwendung von Cloud Storage zum Speichern und Verschieben großer Datasets finden Sie unter Cloud Storage mit Big Data verwenden.
Existenz eines Datasets prüfen
Java
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery Java API.
Python
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API.
Datasets löschen
Sie können ein Dataset auf folgenden Wegen löschen:
- Mit der Cloud Console
- Mit dem Befehl
bq rm
imbq
-Befehlszeilentool - Durch Aufruf der API-Methode
datasets.delete
- Mithilfe der Clientbibliotheken
Erforderliche Berechtigungen
Zum Löschen eines Datasets benötigen Sie Berechtigungen vom Typ bigquery.datasets.delete
. Wenn das Dataset Tabellen oder Ansichten enthält, benötigen Sie auch bigquery.tables.delete
. Diese vordefinierten IAM-Rollen enthalten die Berechtigungen bigquery.datasets.delete
und bigquery.tables.delete
:
bigquery.dataOwner
bigquery.admin
Wenn ein Nutzer mit Berechtigungen vom Typ bigquery.datasets.create
ein Dataset erstellt, hat er dafür außerdem bigquery.dataOwner
-Zugriff.
Mit dem bigquery.dataOwner
-Zugriff hat der Nutzer die Möglichkeit, erstellte Datasets und Tabellen zu löschen.
Weitere Informationen zu IAM-Rollen und Berechtigungen in BigQuery finden Sie unter Vordefinierte Rollen und Berechtigungen.
Dataset löschen
Wenn Sie ein Dataset über die Cloud Console löschen, werden die Tabellen und Ansichten im Dataset (sowie die darin enthaltenen Daten) gelöscht. Wenn Sie ein Dataset mit dem bq
-Befehlszeilentool löschen, müssen Sie das Flag -r
verwenden, um die Tabellen und Ansichten des Datasets zu löschen.
So löschen Sie ein Dataset:
Console
Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie ein Dataset aus.
Klicken Sie auf Dataset löschen.
Geben Sie im Dialogfeld Delete dataset (Dataset löschen) den Namen des Datasets in das Textfeld ein und klicken Sie auf Delete (Löschen).
bq
Verwenden Sie den Befehl bq rm
mit dem optionalen Flag --dataset
oder -d
, um ein Dataset zu löschen. Wenn Sie ein Dataset mit dem bq
-Befehlszeilentool entfernen, müssen Sie den Befehl bestätigen. Sie können die Bestätigung mit dem Flag -f
überspringen.
Wenn das Dataset außerdem Tabellen enthält, müssen Sie das Flag -r
verwenden, um alle Tabellen im Dataset zu entfernen. Wenn Sie eine Tabelle in einem anderen Projekt als Ihrem Standardprojekt löschen, fügen Sie dem Dataset-Namen die Projekt-ID im folgenden Format hinzu: project_id:dataset
.
bq rm -r -f -d project_id:dataset
Ersetzen Sie Folgendes:
project_id
ist die Projekt-ID.dataset
ist der Name des zu löschenden Datasets.
Beispiele:
Geben Sie den folgenden Befehl ein, um mydataset
und alle darin enthaltenen Tabellen aus Ihrem Standardprojekt zu entfernen. Für den Befehl wird das optionale Flag -d
verwendet.
bq rm -r -d mydataset
Geben Sie bei entsprechender Aufforderung y
ein und drücken Sie die Eingabetaste.
Geben Sie den folgenden Befehl ein, um mydataset
und alle darin enthaltenen Tabellen aus myotherproject
zu entfernen. Für den Befehl wird nicht das optionale Flag -d
verwendet.
Das Flag -f
wird zum Überspringen der Bestätigung verwendet.
bq rm -r -f myotherproject:mydataset
API
Rufen Sie die Methode datasets.delete
auf, um das Dataset zu löschen. Setzen Sie dann den Parameter deleteContents
auf true
, um die darin enthaltenen Tabellen zu löschen.
C#
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von C# in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery C# API.
Go
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.
Java
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery Java API.
Node.js
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Node.js in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Node.js API.
PHP
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von PHP in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery PHP API.
Python
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API.
Ruby
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Ruby in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery Ruby API.
Tipp
- Datasets erstellen
- Datasets aktualisieren
- Weitere Informationen zum Kopieren von Datasets, auch regionsübergreifend, finden Sie unter Datasets kopieren.