Dataset-Standorte

Auf dieser Seite werden das Konzept des Datenstandorts sowie die verschiedenen Standorte zum Erstellen von Datasets erläutert. Informationen zum Festlegen eines Speicherorts für Datasets finden Sie unter Datasets erstellen.

Informationen zur Preisgestaltung nach Region für BigQuery finden Sie in der Preisübersicht.

Wichtige Konzepte

Standorte oder Regionstypen

Es gibt zwei Arten von Standorten:

  • Eine Region ist ein bestimmter geografischer Ort wie London.

  • Eine Multiregion ist ein großes geografisches Gebiet (beispielsweise die USA), das mindestens zwei geografische Orte enthält.

Dataset-Standort

Beim Erstellen eines Datasets müssen Sie den Standort angeben, an dem Ihre BigQuery-Daten gespeichert werden sollen. Nachdem Sie das Dataset erstellt haben, kann der Standort nicht mehr geändert werden. Sie können aber das Dataset an einen anderen Standort kopieren oder es manuell verschieben, d. h. an einem anderen Standort neu erstellen.

BigQuery verarbeitet Abfragen am selben Standort wie das Dataset, das die Tabellen enthält, die Sie abfragen.

BigQuery speichert Ihre Daten am ausgewählten Standort in Übereinstimmung mit den dienstspezifischen Nutzungsbedingungen.

Unterstützte Regionen

Regionale Standorte

Beschreibung der Region Name der Region
Amerika
Las Vegas us-west4
Los Angeles us-west2
Montreal northamerica-northeast1
Nord-Virginia us-east4
Oregon us-west1
Salt Lake City us-west3
São Paulo southamerica-east1
South Carolina us-east1
Europa
Belgien europe-west1
Finnland europe-north1
Frankfurt europe-west3
London europe-west2
Niederlande europe-west4
Zürich europe-west6
Asiatisch-pazifischer Raum
Hongkong asia-east2
Jakarta asia-southeast2
Mumbai asia-south1
Osaka asia-northeast2
Seoul asia-northeast3
Singapur asia-southeast1
Sydney australia-southeast1
Taiwan asia-east1
Tokio asia-northeast1

Multiregionale Standorte

Beschreibung des multiregionalen Standorts Name des multiregionalen Standorts
Rechenzentren in Mitgliedsstaaten der Europäischen Union1 EU
Rechenzentren in den USA US

1 Daten in der Multiregion EU werden nicht in den Rechenzentren europe-west2 (London) oder europe-west6 (Zürich) gespeichert.

Standort angeben

Beim Laden, Abfragen oder Exportieren von Daten bestimmt BigQuery anhand der in der Anfrage referenzierten Datasets, wo der Job ausgeführt wird. Verweist beispielsweise eine Abfrage auf eine Tabelle in einem Dataset, das in der Region asia-northeast1 gespeichert ist, wird der Abfragejob in dieser Region ausgeführt. Wenn keine Zieltabelle bereitgestellt wurde und eine Abfrage nicht auf Tabellen oder andere Ressourcen in einem Dataset verweist, wird der Abfragejob in der Region US ausgeführt. Wenn das Projekt eine Pauschalreservierung in einer anderen Region als US hat und die Abfrage nicht auf Tabellen oder andere Ressourcen in Datasets verweist, müssen Sie den Standort der Pauschalreservierung explizit angeben, wenn Sie den Job senden.

Sie können den Speicherort, an dem ein Job ausgeführt werden soll, auf folgenden Wegen explizit angeben:

  • Wenn Sie Daten mit der Cloud Console abfragen, klicken Sie auf Mehr > Abfrageeinstellungen. Wenn Sie den Verarbeitungsstandort angeben möchten, klicken Sie auf Automatische Auswahl und wählen Sie den Standort Ihrer Daten aus.
  • Wenn Sie das bq-Befehlszeilentool verwenden, geben Sie das globale Flag --location an und legen Sie den Wert auf Ihren Standort fest.
  • Wenn Sie die API verwenden, geben Sie Ihre Region im Attribut location des Abschnitts jobReference der Jobressource an.

BigQuery gibt einen Fehler zurück, wenn der angegebene Standort nicht mit dem Standort der Datasets in der Anfrage übereinstimmt.

Überlegungen zum Standort

Beachten Sie Folgendes, wenn Sie einen Standort für Ihre Daten auswählen:

  • Platzieren Sie das BigQuery-Dataset und die externen Datenquellen am selben Standort.

    • Wenn Sie Daten in einer externen Datenquelle wie Cloud Storage abfragen, müssen sich die abgefragten Daten am selben Standort wie das BigQuery-Dataset befinden. Befindet sich Ihr BigQuery-Dataset beispielsweise an einem multiregionalen Standort in der EU, muss der Cloud Storage-Bucket mit den von Ihnen abgefragten Daten in einem multiregionalen Bucket in der EU vorhanden sein. Wenn sich Ihr Dataset hingegen am multiregionalen Standort in den USA befindet, muss Ihr Cloud Storage-Bucket in einem multiregionalen Bucket in den USA gespeichert sein.
    • Ist Ihr Dataset an einem regionalen Standort gespeichert, muss sich der Cloud Storage-Bucket, der die abgefragten Daten enthält, in einem regionalen Bucket am selben Speicherort befinden. Wenn sich Ihr Dataset zum Beispiel in der Region "Tokio" befindet, muss der Cloud Storage-Bucket ein regionaler Bucket in Tokio sein.
    • Wenn sich Ihr externes Dataset in Cloud Bigtable befindet, muss sich das Dataset am multiregionalen Standort "US" oder "EU" befinden. Die Cloud Bigtable-Daten müssen an einem der unterstützten Cloud Bigtable-Standorte gespeichert sein.
    • Standortüberlegungen gelten nicht für externe Datenquellen von Google Drive.
  • Platzieren Sie die Cloud Storage-Buckets zum Laden von Daten am selben Standort.
    • Wenn sich Ihr BigQuery-Dataset an einem multiregionalen Standort befindet, muss sich der Cloud Storage-Bucket mit den Daten, die Sie laden, in einem regionalen oder multiregionalen Bucket am selben Standort befinden. Wenn sich Ihr BigQuery-Dataset zum Beispiel in der EU befindet, muss sich der Cloud Storage-Bucket in einem regionalen oder multiregionalen Bucket in der EU befinden.
    • Wenn sich Ihr Dataset an einem regionalen Standort befindet, muss der Cloud Storage-Bucket ein regionaler Bucket am selben Standort sein. Wenn sich Ihr Dataset zum Beispiel in der Region "Tokio" befindet, muss der Cloud Storage-Bucket ein regionaler Bucket in Tokio sein.
    • Ausnahme: Wenn sich Ihr Dataset am multiregionalen Standort "US" befindet, können Sie Daten aus einem Cloud Storage-Bucket laden, der sich an einem beliebigen regionalen oder multiregionalen Standort befindet.
  • Platzieren Sie die Cloud Storage-Buckets zum Exportieren von Daten am selben Standort.
    • Wenn Sie Daten exportieren, muss sich der regionale oder multiregionale Cloud Storage-Bucket am selben Standort wie das BigQuery-Dataset befinden. Wenn sich Ihr BigQuery-Dataset zum Beispiel am multiregionalen Standort "EU" befindet, muss sich der Cloud Storage-Bucket mit den Daten, die Sie exportieren, an einem regionalen oder multiregionalen Standort in der EU befinden.
    • Wenn sich Ihr Dataset an einem regionalen Standort befindet, muss der Cloud Storage-Bucket ein regionaler Bucket am selben Standort sein. Wenn sich Ihr Dataset zum Beispiel in der Region "Tokio" befindet, muss der Cloud Storage-Bucket ein regionaler Bucket in Tokio sein.
    • Ausnahme: Wenn sich Ihr Dataset am multiregionalen Standort "US" befindet, können Sie Daten in einen Cloud Storage-Bucket exportieren, der sich an einem beliebigen regionalen oder multiregionalen Standort befindet.
  • Entwickeln Sie einen Plan zur Datenverwaltung:
    • Wenn Sie eine regionale Speicherressource wie ein BigQuery-Dataset oder einen Cloud Storage-Bucket auswählen, sollten Sie einen Plan für die geografische Verwaltung Ihrer Daten entwickeln.

Weitere Informationen zu Cloud Storage-Standorten finden Sie unter Bucket-Standorte in der Cloud Storage-Dokumentation.

BigQuery-Daten zwischen Standorten verschieben

Der Standort eines Datasets lässt sich nach seiner Erstellung nicht mehr ändern. Sie können aber eine Kopie des Datasets anlegen. Ein Dataset lässt sich auch nicht von einem Standort an einen anderen verschieben. Sie haben jedoch die Möglichkeit, ein Dataset manuell zu verschieben, d. h. neu zu erstellen. Mit dem BigQuery Data Transfer Service lassen sich Daten in ein BigQuery-Dataset in vielen Regionen übertragen.

Datasets kopieren

Unter Datasets kopieren erfahren Sie, wie Sie ein Dataset kopieren, auch regionenübergreifend.

Dataset verschieben

Wenn Sie ein Dataset manuell von einem Standort an einen anderen verschieben möchten, gehen Sie so vor:

  1. Exportieren Sie die Daten aus Ihren BigQuery-Tabellen in einen regionalen oder multiregionalen Cloud Storage-Bucket, der sich am selben Standort wie das Dataset befindet. Wenn sich Ihr Dataset zum Beispiel am multiregionalen Standort "EU" befindet, exportieren Sie Ihre Daten in einen regionalen oder multiregionalen Bucket in der EU.

    Beim Exportieren von Daten aus BigQuery fallen keine Gebühren an. Dies ist jedoch anders, wenn Sie die exportierten Daten in Cloud Storage speichern. BigQuery-Exporte unterliegen den Limits für Exportjobs.

  2. Kopieren oder verschieben Sie die Daten aus Ihrem Cloud Storage-Bucket in einen regionalen oder multiregionalen Bucket am neuen Standort. Wenn Sie zum Beispiel Ihre Daten vom multiregionalen Standort „US“ an den regionalen Standort „Tokio“ verschieben, werden die Daten in einen regionalen Bucket in Tokio übertragen. Weitere Informationen zum Übertragen von Cloud Storage-Objekten finden Sie in der Cloud Storage-Dokumentation unter Objekte kopieren, umbenennen und verschieben.

    Beim Übertragen von Daten zwischen Regionen fallen in Cloud Storage Gebühren für ausgehenden Netzwerktraffic an.

  3. Nachdem Sie die Daten in einen Cloud Storage-Bucket am neuen Standort übertragen haben, erstellen Sie dort ein neues BigQuery-Dataset. Laden Sie Ihre Daten dann aus dem Cloud Storage-Bucket in BigQuery.

    Beim Laden der Daten in BigQuery fallen keine Kosten an. Das gilt jedoch nicht für das Speichern von Daten in Cloud Storage. Hier werden Gebühren berechnet, bis Sie die Daten oder den Bucket löschen. Es fallen außerdem Kosten an, wenn Sie die Daten in BigQuery speichern, nachdem sie geladen wurden. Das Laden von Daten in BigQuery unterliegt den Limits für Ladejobs.

Sie können auch Cloud Composer verwenden, um große Datasets programmatisch zu verschieben und zu kopieren.

Weitere Informationen zur Verwendung von Cloud Storage zum Speichern und Verschieben großer Datasets finden Sie unter Cloud Storage mit Big Data verwenden.

Daten in BigQuery-Datasets übertragen

Der BigQuery Data Transfer Service überträgt (kopiert) Daten aus einer Quelle in ein Ziel-Dataset in BigQuery. Ebenso wie BigQuery ist auch BigQuery Data Transfer Service eine multiregionale Ressource.

Der Standort eines BigQuery-Datasets wird angegeben, wenn Sie ein Ziel-Dataset erstellen, um die vom BigQuery Data Transfer Service übertragenen Daten zu speichern. Wenn Sie eine Übertragung einrichten, wird für die Übertragungskonfiguration derselbe Standort wie für das Ziel-Dataset festgelegt. Daten werden vom BigQuery Data Transfer Service am selben Standort verarbeitet und bereitgestellt wie das BigQuery-Ziel-Dataset.

Auch die Daten, die Sie in BigQuery übertragen möchten, können eine Region haben. In den meisten Fällen sind die Region, in der Ihre Daten gespeichert sind, und der Standort des Ziel-Datasets in BigQuery irrelevant. Bei anderen Übertragungen müssen das Dataset und die Quelldaten in derselben Region oder in einer kompatiblen Region befinden.

Ausführliche Informationen zu Übertragungen und zur Regionskompatibilität finden Sie unter Dataset-Standorte und Übertragungen.

Tipp