Beispieldaten laden

In diesem Dokument wird beschrieben, wie Sie eine kleine Menge an Daten im CSV-Dateiformat in Spanner laden. Sie können Beispieldaten laden, bevor Sie Produktionsdaten migrieren, um Schemas, Abfragen und Anwendungen zu testen.

Hinweis

  1. Installieren Sie die Google Cloud CLI oder verwenden Sie Cloud Shell, in der alle erforderlichen Tools vorinstalliert sind.

  2. Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Exportieren von BigQuery-Daten nach Spanner benötigen:

    • Daten aus einer BigQuery-Tabelle exportieren: BigQuery-Datenbetrachter (roles/bigquery.dataViewer)
    • Exportjob ausführen: BigQuery-Nutzer (roles/bigquery.user)
    • Daten in eine Spanner-Tabelle schreiben: Spanner-Datenbank-Nutzer (roles/spanner.databaseUser)

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Beispieldaten in Spanner laden

In der folgenden Anleitung wird der BigQuery-Reverse-ETL-Workflow und die Google Cloud CLI verwendet.

  1. Legen Sie mit dem folgenden Befehl ein Standardprojekt in der gcloud CLI fest:

     gcloud config set project PROJECT_ID

  2. Exportieren Sie die Quelldaten im CSV-Dateiformat. Verwenden Sie pg_dump für PostgreSQL-Datenbanken oder mysqldump für MySQL-Datenbanken, um Ihre Beispieldaten in das CSV-Dateiformat zu konvertieren.

  3. Laden Sie die Daten mit den folgenden bq-Befehlen in BigQuery:

    1. BigQuery-Dataset erstellen

      bq mk BQ_DATASET

    2. Laden Sie die Daten per Batch in eine neue BigQuery-Tabelle.

      bq load \
--source_format=CSV \
--autodetect \
--allow_quoted_newlines \
BQ_DATASET.BQ_TABLE /path/to/file

      Alternativ können Sie die Daten per Batch aus einer Cloud Storage-Datei laden.

      bq load \
--source_format=CSV \
--autodetect \
--allow_quoted_newlines \
BQ_DATASET.BQ_TABLE gs://BUCKET/FILE

  4. Erstellen Sie mit dem folgenden Befehl ein Spanner-Schema, das der importierten BQ_TABLE entspricht:

     gcloud spanner databases ddl update SPANNER_DATABASE \
 --instance=SPANNER_INSTANCE \
 --ddl="CREATE TABLE SPANNER_TABLE ..."

    Weitere Informationen finden Sie unter Spanner-Schema aktualisieren.

  5. Exportieren Sie Daten mit dem folgenden Befehl aus BigQuery nach Spanner:

       bq --use_legacy_sql=false 'EXPORT DATA OPTIONS(
     uri="https://spanner.googleapis.com/projects/PROJECT_ID/instances/SPANNER_INSTANCE/databases/SPANNER_DATABASE"
     format='CLOUD_SPANNER'
     spanner_options="""{ "table": "SPANNER_TABLE" }"""
     ) AS
     SELECT *
     FROM BQ_DATASET.BQ_TABLE;'

Nächste Schritte