Auf dieser Seite wird beschrieben, wie Sie Spanner-Datenbanken mit der Google Cloud Console exportieren.
Spanner-Datenbank mit der REST API exportieren oder die Google Cloud CLI verwenden, führen Sie die Schritte in der Vorbereitung und sehen Sie sich die Eine ausführliche Anleitung finden Sie unter Spanner to Cloud Storage Avro in der Dataflow-Dokumentation Beim Exportvorgang werden die Daten mithilfe von Dataflow in einen Ordner in einem Cloud Storage-Bucket. Dieser Ordner enthält eine Reihe von Avro-Dateien und JSON-Manifestdateien.
Hinweise
Zum Exportieren einer Spanner-Datenbank müssen Sie zuerst die APIs für Spanner, Cloud Storage, Compute Engine und Dataflow aktivieren:
Außerdem brauchen Sie ein ausreichend großes Kontingent und die erforderlichen IAM-Berechtigungen.
Kontingentanforderungen
Für Exportjobs gelten folgende Kontingentanforderungen:
- Spanner: Keine zusätzlichen Rechenkapazität ist erforderlich, um eine Datenbank zu exportieren, Zum Hinzufügen weiterer Rechenkapazität, damit Ihr Job in einem angemessenen Rahmen abgeschlossen wird der Zeit. Weitere Informationen finden Sie unter Jobs optimieren.
- Cloud Storage: Für den Export müssen Sie einen Bucket für die exportierten Dateien erstellen, wenn haben Sie noch keines. Sie können dies in der Google Cloud Console tun. entweder über die Cloud Storage-Seite oder beim Erstellen des Exports über die Spanner-Seite. Sie müssen keine Größe für den Bucket festlegen.
- Dataflow: Bei Exportjobs gelten die gleichen Compute Engine-Kontingente für CPU, Laufwerksauslastung und IP-Adressen wie bei anderen Dataflow-Jobs.
Compute Engine: Bevor Sie den Exportjob ausführen, müssen Sie zuerst Kontingente für Compute Engine einrichten, die von Dataflow verwendet werden. Diese Kontingente stellen die maximale Anzahl an Ressourcen dar, die Dataflow für Ihren Job verwenden darf. Empfohlene Anfangswerte sind:
- CPUs: 200
- Verwendete IP-Adressen: 200
- Nichtflüchtiger Standardspeicher: 50 TB
In der Regel sind keine weiteren Anpassungen erforderlich. Dataflow bietet Autoscaling, sodass Sie nur für die Ressourcen zahlen, die beim Export tatsächlich verwendet werden. Wenn Ihr Job mehr Ressourcen verwenden kann, wird in der Dataflow-UI ein Warnsymbol angezeigt. Der Job sollte trotz dieses Warnsymbols beendet werden.
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Dataflow-Arbeiterdienstkonto zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Exportieren einer Datenbank benötigen:
-
Cloud Spanner-Betrachter (
roles/spanner.viewer) -
Dataflow-Worker (
roles/dataflow.worker) -
Storage-Administrator (
roles/storage.admin) -
Spanner-Datenbankleser (
roles/spanner.databaseReader) -
Datenbankadministrator (
roles/spanner.databaseAdmin)
So verwenden Sie die unabhängigen Rechenressourcen von Spanner Data Boost während eines Exports:
Sie benötigen außerdem die IAM-Rolle spanner.databases.useDataBoost
Berechtigung. Weitere Informationen finden Sie unter Data Boost-Übersicht.
Datenbank exportieren
Wenn Sie die beschriebenen Kontingent- und IAM-Anforderungen erfüllen eine vorhandene Spanner-Datenbank exportieren können.
So exportieren Sie Ihre Spanner-Datenbank in einen Cloud Storage-Bucket:
Rufen Sie die Seite Spanner-Instanzen auf.
Klicken Sie auf den Namen der Instanz, die die Datenbank enthält.
Klicken Sie im linken Bereich auf den Menüpunkt Import/Export und dann auf das Schaltfläche Exportieren:
Klicken Sie unter Speicherort für den Export auswählen auf Durchsuchen.
Wenn Sie noch keinen Cloud Storage-Bucket für den Export haben:
- Klicken Sie auf Neuer Bucket
. - Geben Sie einen Namen für den Bucket ein. Bucket-Namen in Cloud Storage dürfen nur einmal vorkommen.
- Wählen Sie eine Standardspeicherklasse und einen Speicherort aus und klicken Sie auf Erstellen.
- Klicken Sie auf den Bucket, um ihn auszuwählen.
Wenn bereits ein Bucket vorhanden ist, wählen Sie ihn entweder aus der angezeigten Liste aus oder klicken Sie auf Suchen
, damit Sie die Liste filtern können. Klicken Sie dann auf den entsprechenden Bucket, um ihn auszuwählen.- Klicken Sie auf Neuer Bucket
Klicken Sie auf Auswählen.
Wählen Sie im Drop-down-Menü Datenbank für den Export auswählen die zu exportierende Datenbank aus.
Optional: Wenn Sie die Datenbank von einem früheren Zeitpunkt exportieren möchten, klicken Sie das Kästchen an und geben Sie einen Zeitstempel ein.
Wählen Sie im Drop-down-Menü Region für den Exportjob auswählen eine Region aus.
Optional: So verschlüsseln Sie den Dataflow-Pipelinestatus mit einem vom Kunden verwalteten Verschlüsselungsschlüssel:
- Klicken Sie auf Verschlüsselungsoptionen anzeigen.
- Wählen Sie Vom Kunden verwalteten Verschlüsselungsschlüssel (CMEK) verwenden aus.
- Wählen Sie Ihren Schlüssel aus der Drop-down-Liste aus.
Diese Option wirkt sich nicht auf die Verschlüsselung auf Cloud Storage-Zielebene aus. Informationen zum Aktivieren von CMEK für den Cloud Storage-Bucket finden Sie unter CMEK mit Cloud Storage verwenden.
Optional: Wählen Sie für den Export mit Spanner Data Boost die Option Kästchen Spanner Data Boost verwenden an. Weitere Informationen finden Sie unter Data Boost-Übersicht.
Klicken Sie das Kästchen unter Belastungen bestätigen an, um zu bestätigen, dass Gebühren zusätzlich zu den Gebühren für Ihre vorhandene Spanner-Instanz.
Klicken Sie auf Exportieren.
In der Google Cloud Console sehen Sie jetzt die Seite Datenbankimport/-export, in der jetzt eine Position für Ihren Exportjob in der Liste der Import-/Exportjobs angezeigt wird, einschließlich der verstrichenen Zeit:
Wenn der Job beendet oder abgebrochen wird, wird der Status in der Import-/Exportliste aktualisiert. Wenn der Job erfolgreich ausgeführt wurde, wird der Status Succeeded (Erfolgreich) angezeigt:
Wenn der Job fehlgeschlagen ist, wird der Status Fehlgeschlagen angezeigt:
Klicken Sie auf den Namen des Jobs in der Spalte Dataflow-Jobname, um die Details des Dataflow-Vorgangs für Ihren Job aufzurufen.
Falls der Job fehlschlägt, sehen Sie sich die Fehlerdetails in den Dataflow-Logs des Jobs an.
Löschen Sie den Ordner und die Dateien, die durch den fehlgeschlagenen Exportjob erstellt wurden, um Cloud Storage-Gebühren für diese Dateien zu vermeiden. Weitere Informationen finden Sie unter Anzeigen exportieren.
Hinweis zum Exportieren generierter Spalten und Änderungsstreams
Die Werte in einer gespeicherten generierten Spalte werden nicht exportiert. Die Spaltendefinition wird als Eintragsfeld vom Typ Null als Teil des Avro-Schemas exportiert, wobei die Spaltendefinition als benutzerdefinierte Attribute des Felds angegeben wird. Bis zum Abschluss des Backfill-Vorgangs für eine neu hinzugefügte Spalte wird die generierte Spalte ignoriert, als wäre sie im Schema nicht vorhanden.
Als Avro-Dateien exportierte Änderungsstreams enthalten nur das Schema des Änderungsstreams und keine Datenänderungseinträge.
Hinweis zum Exportieren von Sequenzen
Sequenzen (GoogleSQL, PostgreSQL) sind Schemaobjekte, mit denen Sie eindeutige Ganzzahlwerte generieren.
Spanner exportiert jedes Schemaobjekt als Eintragsfeld in das Avro-Schema, wobei die Sequenzsorte, der übersprungene Bereich und der Zähler als Eigenschaften des Felds angegeben werden. Um zu verhindern, dass eine Sequenz zurückgesetzt und generiert wird,
Doppelte Werte nach dem Import, während des Schemaexports,
GET_INTERNAL_SEQUENCE_STATE() (GoogleSQL,
PostgreSQL)
erfasst den Sequenzzähler. Spanner fügt dem Zähler einen Puffer von 1.000 hinzu und schreibt den neuen Zählerwert in das Datensatzfeld. So lassen sich Fehler bei doppelten Werten vermeiden, die nach dem Import auftreten können.
Wenn während des Datenexports mehr Schreibvorgänge in der Quelldatenbank ausgeführt werden, sollten Sie den tatsächlichen Sequenzzähler mit der Anweisung ALTER SEQUENCE (GoogleSQL, PostgreSQL) anpassen.
Beim Import beginnt die Sequenz bei diesem neuen Zähler anstelle des Zählers.
aus dem Schema. Alternativ können Sie die ALTER SEQUENCE verwenden
(GoogleSQL,
PostgreSQL)
-Anweisung, um die Sequenz mit einem neuen Zähler zu aktualisieren.
Export in Cloud Storage ansehen
So rufen Sie den Ordner mit der exportierten Datenbank auf: Google Cloud Console öffnen Sie den Cloud Storage-Browser und wählen Sie den zuvor ausgewählten Bucket aus:
Der Bucket enthält jetzt einen Ordner mit der exportierten Datenbank. Der Ordnername beginnt mit der ID Ihrer Instanz, dem Datenbanknamen und dem Zeitstempel des Exportjobs. Der Ordner enthält:
- Eine
spanner-export.json-Datei - Eine
TableName-manifest.json-Datei für jede Tabelle in der Datenbank, die Sie exportiert haben. Mindestens eine
TableName.avro-#####-of-#####-Datei. Die erste Zahl in der Erweiterung.avro-#####-of-#####steht für den Index der Avro-Datei, beginnend bei null, und die zweite Zahl steht für die Anzahl der Avro-Dateien, die für jede Tabelle generiert werden.Songs.avro-00001-of-00002ist beispielsweise die zweite von zwei Dateien, die die Daten der TabelleSongsenthalten.Eine
ChangeStreamName-manifest.json-Datei für jeden Änderungsstream in der von Ihnen exportierten Datenbank.Ein
ChangeStreamName.avro-00000-of-00001für jeden Änderungsstream. Diese Datei enthält nur leere Daten mit dem Avro-Schema des Änderungsstreams.
Region für den Importjob auswählen
Welche Region Sie auswählen, hängt vom Speicherort Ihres Cloud Storage-Buckets ab. Um Kosten für ausgehende Datenübertragungen zu vermeiden, wählen Sie eine Region aus, die mit dem Speicherort Ihres Cloud Storage-Buckets übereinstimmt.
Wenn der Speicherort Ihres Cloud Storage-Buckets eine Region ist, können Sie von der kostenlosen Netzwerknutzung profitieren, indem Sie dieselbe Region auch für den Importjob auswählen, sofern diese Region verfügbar ist.
Wenn der Speicherort Ihres Cloud Storage-Bucket eine Dual-Region ist, können Sie die kostenlose Netzwerknutzung nutzen, indem Sie einer der beiden Regionen, aus denen die Dual-Region für Ihren Importjob besteht, vorausgesetzt, eine der Regionen ist verfügbar.
Wenn für Ihren Importjob keine Region mit demselben Standort verfügbar ist oder sich der Speicherort Ihres Cloud Storage-Buckets in einer multiregionalen Region befindet, fallen Gebühren für ausgehende Datenübertragungen an. Weitere Informationen finden Sie unter „Cloud Storage“. Datenübertragungspreise, um eine Region auszuwählen, in der der die niedrigsten Kosten für die Datenübertragung.
Teilmenge von Tabellen exportieren
Wenn Sie nur die Daten aus bestimmten Tabellen und nicht das können Sie diese Tabellen beim Export angeben. In In diesem Fall exportiert Spanner das gesamte Schema der Datenbank, einschließlich Daten der von Ihnen angegebenen Tabellen und lassen Sie alle anderen Tabellen erhalten, ist in der exportierten Datei leer.
Sie können eine Teilmenge der zu exportierenden Tabellen angeben, indem Sie entweder die Dataflow-Seite in der Google Cloud Console oder im gcloud CLI verwenden können. Auf der Spanner-Seite ist diese Aktion nicht verfügbar.
Wenn Sie die Daten einer Tabelle exportieren, die einer anderen Tabelle untergeordnet ist, sollte sein übergeordnetes Element exportieren Tabellendaten verwenden. Wenn übergeordnete Elemente nicht exportiert werden, schlägt der Exportjob fehl.
Wenn Sie eine Teilmenge von Tabellen exportieren möchten, starten Sie den Export mit der Spanner to Cloud Storage Avro-Vorlage von Dataflow und geben Sie die Tabellen entweder auf der Dataflow-Seite in der Google Cloud Console oder mit der gcloud-Befehlszeile an, wie unten beschrieben:
Console
Wenn Sie die Dataflow-Seite in der Google Cloud Console verwenden, Der Parameter Cloud Spanner-Tabellenname(n) befindet sich in der Abschnitt Optionale Parameter auf der Seite Job aus Vorlage erstellen. Es können mehrere Tabellen in einem kommagetrennten Format angegeben werden.
gcloud
Führen Sie den gcloud dataflow jobs run aus.
und geben Sie das Argument tableNames an. Beispiel:
gcloud dataflow jobs run my-export-job \
--gcs-location='gs://dataflow-templates/latest/Cloud_Spanner_to_GCS_Avro' \
--region=us-central1 \
--parameters='instanceId=test-instance,databaseId=example-db,tableNames=table1,outputDir=gs://my-gcs-bucket' \
--max-workers=10 \
--network=network-123
Wenn Sie mehrere Tabellen in gcloud angeben möchten, müssen Sie Argumente vom Typ „Dictionary“ aussparen.
Im folgenden Beispiel wird „|“ verwendet als Escape-Zeichen verwenden:
gcloud dataflow jobs run my-export-job \
--gcs-location='gs://dataflow-templates/latest/Cloud_Spanner_to_GCS_Avro' \
--region=us-central1 \
--parameters='^|^instanceId=test-instance|databaseId=example-db|tableNames=table1,table2|outputDir=gs://my-gcs-bucket' \
--max-workers=10 \
--network=network-123
Der Parameter shouldExportRelatedTables ist eine praktische Option,
automatisch alle übergeordneten Tabellen exportieren
der ausgewählten Tabellen. In dieser Schemahierarchie mit den Tabellen Singers, Albums und Songs müssen Sie beispielsweise nur Songs angeben. Mit der Option shouldExportRelatedTables werden auch Singers und Albums exportiert, da Songs ein Abkömmling beider ist.
gcloud dataflow jobs run my-export-job \
--gcs-location='gs://dataflow-templates/latest/Cloud_Spanner_to_GCS_Avro' \
--region=us-central1 \
--parameters='instanceId=test-instance,databaseId=example-db,tableNames=Songs,shouldExportRelatedTables=true,outputDir=gs://my-gcs-bucket' \
--max-workers=10 \
--network=network-123
Jobs in der Dataflow-UI ansehen und Probleme beheben
Nachdem Sie einen Exportjob gestartet haben, können Sie Details zu diesem Job aufrufen, einschließlich Logs im Abschnitt "Dataflow" der Google Cloud Console.
Dataflow-Jobdetails ansehen
So rufen Sie Details zu Import- oder Exportjobs auf, die Sie in der letzten Woche ausgeführt haben: einschließlich aller Jobs, die jetzt ausgeführt werden:
- Wechseln Sie zur Seite Datenbanküberblick für die Datenbank.
- Klicken Sie im linken Bereich auf den Menüpunkt Import/Export. Auf der Datenbankseite Import/Export wird eine Liste der letzten Jobs angezeigt.
Klicken Sie auf der Seite Import/Export der Datenbank in der Spalte Dataflow-Jobname auf den Jobnamen:
Die Google Cloud Console zeigt Details des Dataflow-Jobs an.
So rufen Sie einen Job auf, den Sie vor mehr als einer Woche ausgeführt haben:
Rufen Sie in der Google Cloud Console die Seite „Dataflow-Jobs“ auf.
Suchen Sie den Job in der Liste und klicken Sie auf seinen Namen.
In der Google Cloud Console werden Details zum Dataflow angezeigt. Job.
Dataflow-Logs für Ihren Job ansehen
Rufen Sie die Detailseite des Jobs auf und klicken Sie rechts neben dem Jobnamen auf Protokolle, um die Protokolle eines Dataflow-Jobs anzusehen.
Wenn ein Job fehlschlägt, suchen Sie in den Logs nach Fehlern. Falls Fehler aufgetreten sind, ist neben Logs die Fehleranzahl zu sehen:
So sehen Sie sich Jobfehler genauer an:
Klicken Sie auf die Fehleranzahl neben Logs.
In der Google Cloud Console können Sie die Logs des Jobs ansehen. Unter Umständen müssen Sie scrollen, um die Fehler einzublenden.
Suchen Sie nach Einträgen mit dem Fehlersymbol
.Klicken Sie auf einen Logeintrag, um ihn zu maximieren.
Weitere Informationen zur Fehlerbehebung bei Dataflow-Jobs finden Sie unter Pipelinefehler beheben.
Fehlerbehebung bei fehlgeschlagenen Exportjobs
Wenn in Ihren Joblogs die folgenden Fehler angezeigt werden:
com.google.cloud.spanner.SpannerException: NOT_FOUND: Session not found --or-- com.google.cloud.spanner.SpannerException: DEADLINE_EXCEEDED: Deadline expired before operation could complete.
Prüfen Sie die 99 %-Leselatenz auf dem Tab Monitoring Ihrer Spanner-Datenbank in der Google Cloud Console. Wenn hohe Werte angezeigt werden (mehrere Sekunden), bedeutet dies, dass die Instanz überlastet ist, was zu Lesefehlern führt.
Eine Ursache für eine hohe Latenz ist, dass der Dataflow-Job mit zu vielen Workern ausgeführt wird und die Spanner-Instanz zu stark belastet wird.
Um ein Limit für die Anzahl der Dataflow-Worker anstelle von über den Tab „Importieren/Exportieren“ auf der Seite „Instanzdetails“ Ihres Spanner-Datenbank in der Google Cloud Console erstellen, müssen Sie Export mit Dataflow starten Vorlage für Spanner für Cloud Storage Avro und geben Sie die maximale Anzahl von Workern wie beschrieben an:Console
Wenn Sie die Dataflow-Konsole verwenden, ist der Wert Max. Worker befindet sich im Bereich Optionale Parameter der Seite Job aus Vorlage erstellen aus.
gcloud
Führen Sie den gcloud dataflow jobs run aus.
und geben Sie das Argument max-workers an. Beispiel:
gcloud dataflow jobs run my-export-job \
--gcs-location='gs://dataflow-templates/latest/Cloud_Spanner_to_GCS_Avro' \
--region=us-central1 \
--parameters='instanceId=test-instance,databaseId=example-db,outputDir=gs://my-gcs-bucket' \
--max-workers=10 \
--network=network-123
Netzwerkfehler beheben
Der folgende Fehler kann beim Exportieren von Spanner auftreten Datenbanken:
Workflow failed. Causes: Error: Message: Invalid value for field 'resource.properties.networkInterfaces[0].subnetwork': ''. Network interface must specify a subnet if the network resource is in custom subnet mode. HTTP Code: 400
Dieser Fehler tritt auf, da Spanner davon ausgeht, dass Sie
Ein VPC-Netzwerk im automatischen Modus namens default im selben Projekt wie das
Dataflow-Job. Wenn Sie kein Standard-VPC-Netzwerk
oder wenn sich Ihr VPC-Netzwerk
in einem benutzerdefinierten Modus befindet,
einen Dataflow-Job erstellen und
ein alternatives Netzwerk oder Subnetzwerk angeben.
Langsam ausgeführte Exportjobs optimieren
Wenn Sie die Vorschläge für die Anfangseinstellungen befolgt haben, sollten in der Regel keine weiteren Anpassungen nötig sein. Falls der Job jedoch langsam ausgeführt wird, können Sie einige andere Optimierungen versuchen:
Job und Datenspeicherort optimieren: Dataflow-Job ausführen in derselben Region, in der sich auch die Spanner-Instanz und Cloud Storage-Bucket befinden.
Auf ausreichende Dataflow-Ressourcen achten: Wenn der relevante Compute Engine-Kontingente die Ressourcen Ihres Dataflow-Jobs, die Seite „Dataflow“ in der Google Cloud Console zeigt ein Warnsymbol an
und protokollieren
Nachrichten:
In diesem Fall kann das Erhöhen der Kontingente für CPUs, verwendete IP-Adressen und nichtflüchtigen Standardspeicher die Ausführungszeit des Jobs verkürzen, aber auch höhere Compute Engine-Gebühren zur Folge haben.
Spanner-CPU-Auslastung prüfen: Wenn Sie feststellen, dass die CPU-Auslastung Auslastung der Instanz über 65 % liegt, können Sie Erhöhen Sie die Rechenkapazität in dieser Instanz. Die zusätzliche Kapazität liefert mehr Spanner-Ressourcen, damit der Job schneller ausgeführt wird, aber es fallen auch höhere Spanner-Gebühren an.
Faktoren, die sich auf die Leistung von Exportjobs auswirken
Mehrere Faktoren beeinflussen die Zeit, die für einen Exportjob benötigt wird.
Größe der Spanner-Datenbank: Die Verarbeitung von mehr Daten erfordert mehr Zeit und Ressourcen.
Spanner-Datenbankschema, einschließlich:
- Anzahl der Tabellen
- Größe der Zeilen
- Die Anzahl der sekundären Indexe
- Die Anzahl der Fremdschlüssel
- Anzahl der Änderungsstreams
Datenspeicherort: Daten werden zwischen Spanner und Cloud Storage mit Dataflow. Idealerweise befinden sich alle drei Komponenten in derselben Region. Wenn das nicht der Fall ist, dauert das regionsübergreifende Verschieben der Daten länger.
Anzahl der Dataflow-Worker: Optimale Dataflow-Worker sind für eine gute Leistung erforderlich. Mithilfe von Autoscaling wählt Dataflow die Anzahl der Worker für einen Job abhängig vom Arbeitsumfang aus. Diese Anzahl wird jedoch durch die Kontingente für CPUs, verwendete IP-Adressen und nichtflüchtigen Standardspeicher begrenzt. In der Dataflow-UI ist ein Warnsymbol zu sehen, wenn Kontingentobergrenzen erreicht werden. In diesem Fall dauert die Verarbeitung länger, aber der Job sollte dennoch abgeschlossen werden.
Bestehende Auslastung von Spanner: Ein Exportjob stellt in der Regel eine geringe Last für einen Spanner dar. Instanz. Wenn die Instanz jedoch bereits eine erhebliche bestehende Auslastung aufweist, wird der Job langsamer ausgeführt.
Menge der Spanner-Rechenkapazität: Wenn die CPU-Auslastung für die Instanz bei über 65 % liegt, wird der Job langsamer ausgeführt.