Die Vorlage "Spanner für Avro-Dateien in Cloud Storage" ist eine Batchpipeline, die eine vollständige Spanner-Datenbank im Avro-Format nach Cloud Storage exportiert. Beim Exportieren einer Spanner-Datenbank wird ein Ordner in dem von Ihnen ausgewählten Bucket erstellt. Der Ordner enthält:
- Eine
spanner-export.json
-Datei - Eine
TableName-manifest.json
-Datei für jede Tabelle in der Datenbank, die Sie exportiert haben - Mindestens eine
TableName.avro-#####-of-#####
-Datei
Wenn Sie beispielsweise eine Datenbank mit den zwei Tabellen Singers
und Albums
exportieren, wird die folgende Dateigruppe erstellt:
Albums-manifest.json
Albums.avro-00000-of-00002
Albums.avro-00001-of-00002
Singers-manifest.json
Singers.avro-00000-of-00003
Singers.avro-00001-of-00003
Singers.avro-00002-of-00003
spanner-export.json
Pipelineanforderungen
- Die Spanner-Datenbank muss vorhanden sein.
- Der Cloud Storage-Ausgabe-Bucket muss vorhanden sein.
- Zusätzlich zu den IAM-Rollen (Identity and Access Management), die zum Ausführen von Dataflow-Jobs erforderlich sind, benötigen Sie auch die entsprechenden IAM-Rollen zum Lesen Ihrer Spanner-Daten und zum Schreiben in Ihren Cloud Storage-Bucket.
Vorlagenparameter
Parameter | Beschreibung | |
---|---|---|
instanceId |
Die Instanz-ID der Spanner-Datenbank, die Sie exportieren möchten. | |
databaseId |
Die Datenbank-ID der Spanner-Datenbank, die Sie exportieren möchten. | |
outputDir |
Der Cloud Storage-Pfad, in den Sie Avro-Dateien exportieren möchten. Der Exportjob erstellt unter diesem Pfad ein neues Verzeichnis, das die exportierten Dateien enthält. | |
snapshotTime |
(Optional) Der Zeitstempel für die Version der Spanner-Datenbank, die Sie lesen möchten. Der Zeitstempel muss im RFC 3339-UTC-"Zulu"-Format angegeben werden.
Beispiel: 1990-12-31T23:59:60Z . Der Zeitstempel muss in der Vergangenheit liegen und die maximale Zeitstempelveralterung gilt. |
|
shouldExportTimestampAsLogicalType |
(Optional) Wenn "true", werden Zeitstempel als long -Typ mit dem logischen Typ timestamp-micros exportiert. Standardmäßig werden Zeitstempel als ISO-8601-Strings mit einer Genauigkeit im Nanosekundenbereich exportiert. | |
tableNames |
(Optional) Eine durch Kommas getrennte Liste von Tabellen, die die Teilmenge der zu exportierenden Spanner-Datenbank angeben. Wenn Sie diesen Parameter festlegen, müssen Sie alle zugehörigen Tabellen (übergeordnete Tabellen und mit Fremdschlüsseln referenzierte Tabellen) angeben oder den Parameter shouldExportRelatedTables auf true setzen. | |
shouldExportRelatedTables |
(Optional) Gibt an, ob verwandte Tabellen berücksichtigt werden sollen. Dieser Parameter wird in Verbindung mit dem tableNames -Parameter verwendet. | |
spannerProjectId |
(Optional) Die Google Cloud-Projekt-ID der Spanner-Datenbank, aus der Daten gelesen werden sollen. | |
dataBoostEnabled |
(Optional) Legen Sie true fest, damit die Rechenressourcen von Spanner Data Boost verwendet werden, um den Job mit praktisch keinen Auswirkungen auf Spanner OLTP-Workflows auszuführen.
Hierfür ist die IAM-Berechtigung spanner.databases.useDataBoost erforderlich. Weitere Informationen finden Sie unter Data Boost – Übersicht.
|
|
avroTempDirectory |
(Optional) Der Cloud Storage-Pfad, in den temporäre Avro-Dateien geschrieben werden. | |
spannerPriority |
(Optional) Die Anfragepriorität für Spanner-Aufrufe. Folgende Werte sind möglich: HIGH ,
MEDIUM , LOW . Der Standardwert ist MEDIUM . |
Führen Sie die Vorlage aus.
Console
- Rufen Sie die Dataflow-Seite Job aus Vorlage erstellen auf. Zur Seite "Job aus Vorlage erstellen“
- Geben Sie im Feld Jobname einen eindeutigen Jobnamen ein.
Damit der Job auf der Seite Instanzen für Spanner in der Google Cloud Console angezeigt wird, muss der Jobname dem folgenden Format entsprechen:
cloud-spanner-export-SPANNER_INSTANCE_ID-SPANNER_DATABASE_NAME
Ersetzen Sie Folgendes:
SPANNER_INSTANCE_ID
: ID Ihrer Spanner-InstanzSPANNER_DATABASE_NAME
: Name der Spanner-Datenbank
- Optional: Wählen Sie für Regionaler Endpunkt einen Wert aus dem Drop-down-Menü aus. Die Standardregion ist
us-central1
.Eine Liste der Regionen, in denen Sie einen Dataflow-Job ausführen können, finden Sie unter Dataflow-Standorte.
- Wählen Sie im Drop-down-Menü Dataflow-Vorlage die Option the Cloud Spanner to Avro Files on Cloud Storage template aus.
- Geben Sie Ihre Parameterwerte in die Parameterfelder ein.
- Klicken Sie auf Job ausführen.
gcloud
Führen Sie die Vorlage in der Shell oder im Terminal aus:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Spanner_to_GCS_Avro \ --region REGION_NAME \ --staging-location GCS_STAGING_LOCATION \ --parameters \ instanceId=INSTANCE_ID,\ databaseId=DATABASE_ID,\ outputDir=GCS_DIRECTORY
Dabei gilt:
JOB_NAME
: ein eindeutiger Jobname Ihrer WahlDamit der Job im Spanner-Bereich der Google Cloud Console angezeigt wird, muss der Jobname folgendes Format haben:
cloud-spanner-export-INSTANCE_ID-DATABASE_ID
.VERSION
: Die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
REGION_NAME
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
GCS_STAGING_LOCATION
: Der Pfad zum Schreiben temporärer Dateien, z. B.gs://mybucket/temp
INSTANCE_ID
: Ihre Spanner-Instanz-IDDATABASE_ID
: Ihre Spanner-Datenbank-IDGCS_DIRECTORY
: Der Cloud Storage-Pfad, in den die Avro-Dateien exportiert werden,
API
Senden Sie eine HTTP-POST-Anfrage, um die Vorlage mithilfe der REST API auszuführen. Weitere Informationen zur API und ihren Autorisierungsbereichen finden Sie unter projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Spanner_to_GCS_Avro { "jobName": "JOB_NAME", "parameters": { "instanceId": "INSTANCE_ID", "databaseId": "DATABASE_ID", "outputDir": "gs://GCS_DIRECTORY" } }
Dabei gilt:
PROJECT_ID
: die ID des Google Cloud-Projekts, in dem Sie den Dataflow-Job ausführen möchtenJOB_NAME
: ein eindeutiger Jobname Ihrer WahlDamit der Job im Spanner-Bereich der Google Cloud Console angezeigt wird, muss der Jobname folgendes Format haben:
cloud-spanner-export-INSTANCE_ID-DATABASE_ID
.VERSION
: Die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
LOCATION
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
GCS_STAGING_LOCATION
: Der Pfad zum Schreiben temporärer Dateien, z. B.gs://mybucket/temp
INSTANCE_ID
: Ihre Spanner-Instanz-IDDATABASE_ID
: Ihre Spanner-Datenbank-IDGCS_DIRECTORY
: Der Cloud Storage-Pfad, in den die Avro-Dateien exportiert werden,
Nächste Schritte
- Informationen zu Dataflow-Vorlagen
- Sehen Sie sich die Liste der von Google bereitgestellten Vorlagen an.