In diesem Dokument wird beschrieben, wie Sie eine kleine Menge an Daten im CSV-Dateiformat in Spanner laden. Sie können Beispieldaten laden, bevor Sie Produktionsdaten migrieren, um Schemas, Abfragen und Anwendungen zu testen.
Hinweis
Installieren Sie die Google Cloud CLI oder verwenden Sie Cloud Shell, in der alle erforderlichen Tools vorinstalliert sind.
-
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Exportieren von BigQuery-Daten nach Spanner benötigen:
-
Daten aus einer BigQuery-Tabelle exportieren:
BigQuery-Datenbetrachter (
roles/bigquery.dataViewer
) -
Exportjob ausführen:
BigQuery-Nutzer (
roles/bigquery.user
) -
Daten in eine Spanner-Tabelle schreiben:
Spanner-Datenbank-Nutzer (
roles/spanner.databaseUser
)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
-
Daten aus einer BigQuery-Tabelle exportieren:
BigQuery-Datenbetrachter (
Beispieldaten in Spanner laden
In der folgenden Anleitung wird der BigQuery-Reverse-ETL-Workflow und die Google Cloud CLI verwendet.
Legen Sie mit dem folgenden Befehl ein Standardprojekt in der gcloud CLI fest:
gcloud config set project PROJECT_ID
Exportieren Sie die Quelldaten im CSV-Dateiformat. Verwenden Sie
pg_dump
für PostgreSQL-Datenbanken odermysqldump
für MySQL-Datenbanken, um Ihre Beispieldaten in das CSV-Dateiformat zu konvertieren.Laden Sie die Daten mit den folgenden
bq
-Befehlen in BigQuery:BigQuery-Dataset erstellen
bq mk BQ_DATASET
Laden Sie die Daten per Batch in eine neue BigQuery-Tabelle.
bq load \ --source_format=CSV \ --autodetect \ --allow_quoted_newlines \ BQ_DATASET.BQ_TABLE /path/to/file
Alternativ können Sie die Daten per Batch aus einer Cloud Storage-Datei laden.
bq load \ --source_format=CSV \ --autodetect \ --allow_quoted_newlines \ BQ_DATASET.BQ_TABLE gs://BUCKET/FILE
Erstellen Sie mit dem folgenden Befehl ein Spanner-Schema, das der importierten BQ_TABLE entspricht:
gcloud spanner databases ddl update SPANNER_DATABASE \ --instance=SPANNER_INSTANCE \ --ddl="CREATE TABLE SPANNER_TABLE ..."
Weitere Informationen finden Sie unter Spanner-Schema aktualisieren.
Exportieren Sie Daten mit dem folgenden Befehl aus BigQuery nach Spanner:
bq --use_legacy_sql=false 'EXPORT DATA OPTIONS( uri="https://spanner.googleapis.com/projects/PROJECT_ID/instances/SPANNER_INSTANCE/databases/SPANNER_DATABASE" format='CLOUD_SPANNER' spanner_options="""{ "table": "SPANNER_TABLE" }""" ) AS SELECT * FROM BQ_DATASET.BQ_TABLE;'