Die Vorlage "Spanner für Avro-Dateien in Cloud Storage" ist eine Batchpipeline, die eine vollständige Spanner-Datenbank im Avro-Format nach Cloud Storage exportiert. Beim Exportieren einer Spanner-Datenbank wird ein Ordner in dem von Ihnen ausgewählten Bucket erstellt. Der Ordner enthält:
- Eine
spanner-export.json
-Datei - Eine
TableName-manifest.json
-Datei für jede Tabelle in der Datenbank, die Sie exportiert haben - Mindestens eine
TableName.avro-#####-of-#####
-Datei
Wenn Sie beispielsweise eine Datenbank mit den zwei Tabellen Singers
und Albums
exportieren, wird die folgende Dateigruppe erstellt:
Albums-manifest.json
Albums.avro-00000-of-00002
Albums.avro-00001-of-00002
Singers-manifest.json
Singers.avro-00000-of-00003
Singers.avro-00001-of-00003
Singers.avro-00002-of-00003
spanner-export.json
Pipelineanforderungen
- Die Spanner-Datenbank muss vorhanden sein.
- Der Cloud Storage-Ausgabe-Bucket muss vorhanden sein.
- Zusätzlich zu den IAM-Rollen (Identity and Access Management), die zum Ausführen von Dataflow-Jobs erforderlich sind, benötigen Sie auch die entsprechenden IAM-Rollen zum Lesen Ihrer Spanner-Daten und zum Schreiben in Ihren Cloud Storage-Bucket.
Vorlagenparameter
Erforderliche Parameter
- instanceId : Die Instanz-ID der Cloud Spanner-Datenbank, die Sie exportieren möchten.
- databaseId : Die Datenbank-ID der Cloud Spanner-Datenbank, die Sie exportieren möchten.
- outputDir : Der Cloud Storage-Pfad, in den die Avro-Dateien exportiert werden sollen. Unter diesem Pfad wird ein neues Verzeichnis erstellt, das den Export enthält. (Beispiel: gs://your-bucket/your-path).
Optionale Parameter
- avroTempDirectory : Der Cloud Storage-Pfad, in dem die temporären Avro-Dateien erstellt werden können. Beispiel: gs://your-bucket/your-path.
- spannerHost : Der Cloud Spanner-Endpunkt, der in der Vorlage aufgerufen werden soll. Wird nur zum Testen verwendet. (Beispiel: https://batch-spanner.googleapis.com). Die Standardeinstellung ist https://batch-spanner.googleapis.com.
- snapshotTime : Gibt die Snapshot-Zeit im RFC 3339-Format in UTC-Zeit ohne Zeitzonenversatz an(endet immer auf „Z“). Der Zeitstempel muss in der Vergangenheit liegen und die maximale Zeitstempelveralterung gilt. Weitere Informationen finden Sie unter https://cloud.google.com/spanner/docs/timestamp-bounds#maximum_timestamp_staleness (Example: 1990-12-31T23:59:59Z). Die Standardeinstellung ist leer.
- spannerProjectId : Die Projekt-ID der Cloud Spanner-Instanz.
- shouldExportTimestampAsLogicalType : Wenn "true", werden Zeitstempel als Zeitstempel-micros-Typ exportiert. Zeitstempel werden standardmäßig als ISO8601-Strings mit einer Genauigkeit im Nanosekundenbereich exportiert.
- tableNames : Wenn angegeben, wird nur diese durch Kommas getrennte Liste von Tabellen exportiert. Ancestor-Tabellen und -Tabellen, auf die über Fremdschlüssel verwiesen wird, sind erforderlich. Wenn das Flag
shouldExportRelatedTables
nicht explizit aufgeführt ist, muss es für einen erfolgreichen Export gesetzt sein. Die Standardeinstellung ist leer. - shouldExportRelatedTables : Wird in Verbindung mit
tableNames
verwendet. Bei Einstellung auf "true" fügen Sie verwandte Tabellen hinzu, die für den Export erforderlich sind, z. B. verschränkte übergeordnete Tabellen und Fremdschlüsseltabellen. WenntableNames
angegeben ist, aber keine zugehörigen Tabellen enthält, muss diese Option für einen erfolgreichen Export auf „true“ gesetzt werden. Die Standardeinstellung ist "false". - spannerPriority : Die Anfragepriorität für Cloud Spanner-Aufrufe. Der Wert muss einer der folgenden sein:[HIGH,MEDIUM,LOW].
- dataBoostEnabled : Verwenden Sie das On-Demand-Computing von Spanner, damit der Exportjob auf unabhängigen Rechenressourcen ausgeführt wird und keine Auswirkungen auf aktuelle Spanner-Arbeitslasten hat. Dadurch fallen in Spanner zusätzliche Gebühren an. Die Standardeinstellung ist "false".
Führen Sie die Vorlage aus.
Console
- Rufen Sie die Dataflow-Seite Job aus Vorlage erstellen auf. Zur Seite "Job aus Vorlage erstellen“
- Geben Sie im Feld Jobname einen eindeutigen Jobnamen ein.
Damit der Job auf der Seite Instanzen für Spanner in der Google Cloud Console angezeigt wird, muss der Jobname dem folgenden Format entsprechen:
cloud-spanner-export-SPANNER_INSTANCE_ID-SPANNER_DATABASE_NAME
Ersetzen Sie Folgendes:
SPANNER_INSTANCE_ID
: ID Ihrer Spanner-InstanzSPANNER_DATABASE_NAME
: Name der Spanner-Datenbank
- Optional: Wählen Sie für Regionaler Endpunkt einen Wert aus dem Drop-down-Menü aus. Die Standardregion ist
us-central1
.Eine Liste der Regionen, in denen Sie einen Dataflow-Job ausführen können, finden Sie unter Dataflow-Standorte.
- Wählen Sie im Drop-down-Menü Dataflow-Vorlage die Option the Cloud Spanner to Avro Files on Cloud Storage templateaus.
- Geben Sie Ihre Parameterwerte in die Parameterfelder ein.
- Klicken Sie auf Job ausführen.
gcloud
Führen Sie die Vorlage in der Shell oder im Terminal aus:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Spanner_to_GCS_Avro \ --region REGION_NAME \ --staging-location GCS_STAGING_LOCATION \ --parameters \ instanceId=INSTANCE_ID,\ databaseId=DATABASE_ID,\ outputDir=GCS_DIRECTORY
Ersetzen Sie Folgendes:
JOB_NAME
: ein eindeutiger Jobname Ihrer WahlDamit der Job im Spanner-Bereich der Google Cloud Console angezeigt wird, muss der Jobname folgendes Format haben:
cloud-spanner-export-INSTANCE_ID-DATABASE_ID
.VERSION
: Die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
REGION_NAME
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
GCS_STAGING_LOCATION
: Der Pfad zum Schreiben temporärer Dateien, z. B.gs://mybucket/temp
INSTANCE_ID
: Ihre Spanner-Instanz-IDDATABASE_ID
: Ihre Spanner-Datenbank-IDGCS_DIRECTORY
: Der Cloud Storage-Pfad, in den die Avro-Dateien exportiert werden,
API
Senden Sie eine HTTP-POST-Anfrage, um die Vorlage mithilfe der REST API auszuführen. Weitere Informationen zur API und ihren Autorisierungsbereichen finden Sie unter projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Spanner_to_GCS_Avro { "jobName": "JOB_NAME", "parameters": { "instanceId": "INSTANCE_ID", "databaseId": "DATABASE_ID", "outputDir": "gs://GCS_DIRECTORY" } }
Ersetzen Sie Folgendes:
PROJECT_ID
: die ID des Google Cloud-Projekts, in dem Sie den Dataflow-Job ausführen möchtenJOB_NAME
: ein eindeutiger Jobname Ihrer WahlDamit der Job im Spanner-Bereich der Google Cloud Console angezeigt wird, muss der Jobname folgendes Format haben:
cloud-spanner-export-INSTANCE_ID-DATABASE_ID
.VERSION
: Die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
LOCATION
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
GCS_STAGING_LOCATION
: Der Pfad zum Schreiben temporärer Dateien, z. B.gs://mybucket/temp
INSTANCE_ID
: Ihre Spanner-Instanz-IDDATABASE_ID
: Ihre Spanner-Datenbank-IDGCS_DIRECTORY
: Der Cloud Storage-Pfad, in den die Avro-Dateien exportiert werden,
Nächste Schritte
- Dataflow-Vorlagen
- Sehen Sie sich die Liste der von Google bereitgestellten Vorlagen an.