Die Vorlage "Cloud Storage Avro für Spanner" ist eine Batchpipeline, die aus Spanner exportierte und in Cloud Storage gespeicherte Avro-Dateien liest und in eine Spanner-Datenbank importiert.
Pipelineanforderungen
- Die Spanner-Zieldatenbank muss vorhanden und leer sein.
- Sie benötigen Leseberechtigungen für den Cloud Storage-Bucket und Schreibberechtigungen für die Spanner-Zieldatenbank.
- Der Cloud Storage-Eingabepfad muss vorhanden sein und die Datei
spanner-export.json
mit einer JSON-Beschreibung der zu importierenden Dateien enthalten. - Wenn die Avro-Quelldatei keinen Primärschlüssel enthält, müssen Sie vor der Ausführung der Vorlage eine leere Spanner-Tabelle mit einem Primärschlüssel erstellen. Dieser Schritt ist nicht erforderlich, wenn die Avro-Datei den Primärschlüssel definiert.
Vorlagenparameter
Erforderliche Parameter
- instanceId : Die Instanz-ID der Cloud Spanner-Datenbank, in die Sie importieren möchten.
- databaseId : Die Datenbank-ID der Cloud Spanner-Datenbank, in die Sie importieren möchten (muss bereits vorhanden sein).
- inputDir: Der Cloud Storage-Pfad, aus dem die Avro-Dateien importiert werden sollen.
Optionale Parameter
- spannerHost : Der Cloud Spanner-Endpunkt, der in der Vorlage aufgerufen werden soll. Wird nur zum Testen verwendet. (Beispiel: https://batch-spanner.googleapis.com). Die Standardeinstellung ist https://batch-spanner.googleapis.com.
- waitForIndexes : Standardmäßig wird die Importpipeline beim Erstellen des Index nicht blockiert. Sie kann auch abgeschlossen werden, wenn Indexe noch im Hintergrund erstellt werden. Bei "true" wartet die Pipeline, bis Indexe erstellt wurden.
- waitForForeignKeys : Standardmäßig wird die Importpipeline beim Erstellen von Fremdschlüsseln nicht blockiert. Sie kann auch abgeschlossen werden, wenn Fremdschlüssel noch im Hintergrund erstellt werden. Bei "true" wartet die Pipeline, bis Fremdschlüssel erstellt wurden.
- waitForChangeStreams : Standardmäßig wird die Importpipeline beim Erstellen des Änderungsstreams blockiert. Wenn "false", wird der Vorgang möglicherweise abgeschlossen, sodass Änderungsstreams noch im Hintergrund erstellt werden.
- waitForSequences : Standardmäßig wird die Importpipeline beim Erstellen der Sequenz blockiert. Wenn „false“, wird der Vorgang möglicherweise abgeschlossen, sodass Sequenzen noch im Hintergrund erstellt werden.
- earlyIndexCreateFlag : Flag, um die frühzeitige Indexerstellung zu deaktivieren, wenn viele Indexe vorhanden sind. Indexe und Fremdschlüssel werden nach dem Laden der Daten erstellt. Wenn nach dem Laden der Daten mehr als 40 DDL-Anweisungen ausgeführt werden sollen, sollten die Indexe vor dem Laden der Daten erstellt werden. Dies ist das Flag zum Deaktivieren der Funktion. Die Standardeinstellung ist "true".
- spannerProjectId : Die Projekt-ID der Cloud Spanner-Instanz.
- ddlCreationTimeoutInMinutes : Zeitüberschreitung bei der DDL-Erstellung in Minuten. Die Standardeinstellung ist 30.
- spannerPriority : Die Anfragepriorität für Cloud Spanner-Aufrufe. Der Wert muss einer der folgenden sein:[HIGH,MEDIUM,LOW].
Führen Sie die Vorlage aus.
Console
- Rufen Sie die Dataflow-Seite Job aus Vorlage erstellen auf. Zur Seite "Job aus Vorlage erstellen“
- Geben Sie im Feld Jobname einen eindeutigen Jobnamen ein.
Damit der Job auf der Seite Instanzen für Spanner in der Google Cloud Console angezeigt wird, muss der Jobname dem folgenden Format entsprechen:
cloud-spanner-import-SPANNER_INSTANCE_ID-SPANNER_DATABASE_NAME
Ersetzen Sie Folgendes:
SPANNER_INSTANCE_ID
: ID Ihrer Spanner-InstanzSPANNER_DATABASE_NAME
: Name der Spanner-Datenbank
- Optional: Wählen Sie für Regionaler Endpunkt einen Wert aus dem Drop-down-Menü aus. Die Standardregion ist
us-central1
.Eine Liste der Regionen, in denen Sie einen Dataflow-Job ausführen können, finden Sie unter Dataflow-Standorte.
- Wählen Sie im Drop-down-Menü Dataflow-Vorlage die Option the Avro Files on Cloud Storage to Cloud Spanner templateaus.
- Geben Sie Ihre Parameterwerte in die Parameterfelder ein.
- Klicken Sie auf Job ausführen.
gcloud
Führen Sie die Vorlage in der Shell oder im Terminal aus:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/GCS_Avro_to_Cloud_Spanner \ --region REGION_NAME \ --staging-location GCS_STAGING_LOCATION \ --parameters \ instanceId=INSTANCE_ID,\ databaseId=DATABASE_ID,\ inputDir=GCS_DIRECTORY
Ersetzen Sie Folgendes:
JOB_NAME
: ein eindeutiger Jobname Ihrer WahlVERSION
: Die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
REGION_NAME
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
INSTANCE_ID
: Die ID der Spanner-Instanz, die die Datenbank enthältDATABASE_ID
: Die ID der Spanner-Datenbank, in die importiert werden sollGCS_DIRECTORY
: Der Cloud Storage-Pfad, aus dem die Avro-Dateien importiert werden, z. B.gs://mybucket/somefolder
API
Senden Sie eine HTTP-POST-Anfrage, um die Vorlage mithilfe der REST API auszuführen. Weitere Informationen zur API und ihren Autorisierungsbereichen finden Sie unter projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/GCS_Avro_to_Cloud_Spanner { "jobName": "JOB_NAME", "parameters": { "instanceId": "INSTANCE_ID", "databaseId": "DATABASE_ID", "inputDir": "gs://GCS_DIRECTORY" }, "environment": { "machineType": "n1-standard-2" } }
Ersetzen Sie Folgendes:
PROJECT_ID
: die ID des Google Cloud-Projekts, in dem Sie den Dataflow-Job ausführen möchtenJOB_NAME
: ein eindeutiger Jobname Ihrer WahlVERSION
: Die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
LOCATION
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
INSTANCE_ID
: Die ID der Spanner-Instanz, die die Datenbank enthältDATABASE_ID
: Die ID der Spanner-Datenbank, in die importiert werden sollGCS_DIRECTORY
: Der Cloud Storage-Pfad, aus dem die Avro-Dateien importiert werden, z. B.gs://mybucket/somefolder
Nächste Schritte
- Dataflow-Vorlagen
- Sehen Sie sich die Liste der von Google bereitgestellten Vorlagen an.