Template Spanner ke Avro Cloud Storage

Template Spanner ke File Avro di Cloud Storage adalah pipeline batch yang mengekspor seluruh database Spanner ke Cloud Storage dalam format Avro. Mengekspor database Spanner akan membuat folder di bucket yang Anda pilih. Folder ini berisi:

  • File spanner-export.json
  • File TableName-manifest.json untuk setiap tabel dalam database yang Anda ekspor.
  • Satu atau beberapa file TableName.avro-#####-of-#####.

Misalnya, mengekspor database dengan dua tabel, Singers dan Albums, akan membuat kumpulan file berikut:

  • Albums-manifest.json
  • Albums.avro-00000-of-00002
  • Albums.avro-00001-of-00002
  • Singers-manifest.json
  • Singers.avro-00000-of-00003
  • Singers.avro-00001-of-00003
  • Singers.avro-00002-of-00003
  • spanner-export.json

Persyaratan pipeline

  • Database Spanner harus ada.
  • Bucket Cloud Storage output harus ada.
  • Selain peran Identity and Access Management (IAM) yang diperlukan untuk menjalankan tugas Dataflow, Anda juga harus memiliki peran IAM yang sesuai untuk membaca data Spanner dan menulis ke bucket Cloud Storage.

Parameter template

Parameter yang diperlukan

  • instanceId : ID instance database Spanner yang ingin Anda ekspor.
  • databaseId : ID database database Spanner yang ingin Anda ekspor.
  • outputDir : Jalur Cloud Storage tempat file Avro diekspor. Tugas ekspor akan membuat direktori baru di jalur ini yang berisi file yang diekspor. (Contoh: gs://bucket-anda/jalur-anda).

Parameter opsional

  • avroTempDirectory : Jalur Cloud Storage tempat file Avro sementara ditulis.
  • spannerHost : Endpoint Cloud Spanner yang akan dipanggil dalam template. Hanya digunakan untuk pengujian. (Contoh: https://batch-spanner.googleapis.com). Secara default: https://batch-spanner.googleapis.com.
  • snapshotTime : Stempel waktu yang sesuai dengan versi database Spanner yang ingin Anda baca. Stempel waktu harus ditentukan menggunakan format Zulu UTC RFC 3339. Stempel waktu harus berada di masa lalu, dan keusangan stempel waktu maksimum berlaku. (Contoh: 1990-12-31T23:59:60Z). Default-nya adalah kosong.
  • spannerProjectId : ID project Google Cloud yang berisi database Spanner yang datanya ingin Anda baca.
  • shouldExportTimestampAsLogicalType : Jika benar, stempel waktu diekspor sebagai jenis long dengan jenis logika timestamp-micros. Secara default, parameter ini ditetapkan ke false dan stempel waktu diekspor sebagai string ISO-8601 dengan presisi nanosekon.
  • tableNames : Daftar tabel yang dipisahkan koma yang menentukan subset database Spanner yang akan diekspor. Jika menetapkan parameter ini, Anda harus menyertakan semua tabel terkait (tabel induk dan tabel yang direferensikan kunci asing) atau menetapkan parameter shouldExportRelatedTables ke true.Jika tabel berada dalam skema bernama, gunakan nama yang sepenuhnya memenuhi syarat. Misalnya: sch1.foo dengan sch1 adalah nama skema dan foo adalah nama tabel. Default-nya adalah kosong.
  • shouldExportRelatedTables : Apakah akan menyertakan tabel terkait. Parameter ini digunakan bersama dengan parameter tableNames. Defaultnya adalah: false.
  • spannerPriority : Prioritas permintaan untuk panggilan Spanner. Nilai yang mungkin adalah HIGH, MEDIUM, dan LOW. Nilai defaultnya adalah MEDIUM.
  • dataBoostEnabled : Tetapkan ke true untuk menggunakan resource komputasi Spanner Data Boost guna menjalankan tugas dengan dampak yang hampir tidak ada pada alur kerja OLTP Spanner. Jika ditetapkan ke true, Anda juga memerlukan izin IAM spanner.databases.useDataBoost. Untuk informasi selengkapnya, lihat ringkasan Data Boost (https://cloud.google.com/spanner/docs/databoost/databoost-overview). Defaultnya adalah: false.

Menjalankan template

Konsol

  1. Buka halaman Create job from template Dataflow.
  2. Buka Buat tugas dari template
  3. Di kolom Nama tugas, masukkan nama tugas yang unik.

    Agar tugas muncul di halaman Instance Spanner di konsol Google Cloud, nama tugas harus cocok dengan format berikut:

    cloud-spanner-export-SPANNER_INSTANCE_ID-SPANNER_DATABASE_NAME

    Ganti kode berikut:

    • SPANNER_INSTANCE_ID: ID instance Spanner Anda
    • SPANNER_DATABASE_NAME: nama database Spanner Anda
  4. Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region defaultnya adalah us-central1.

    Untuk mengetahui daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.

  5. Dari menu drop-down Dataflow template, pilih the Cloud Spanner to Avro Files on Cloud Storage template.
  6. Di kolom parameter yang disediakan, masukkan nilai parameter Anda.
  7. Klik Run job.

gcloud

Di shell atau terminal, jalankan template:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Spanner_to_GCS_Avro \
    --region REGION_NAME \
    --staging-location GCS_STAGING_LOCATION \
    --parameters \
instanceId=INSTANCE_ID,\
databaseId=DATABASE_ID,\
outputDir=GCS_DIRECTORY

Ganti kode berikut:

  • JOB_NAME: nama tugas unik pilihan Anda

    Agar tugas ditampilkan di bagian Spanner di konsol Google Cloud, nama tugas harus cocok dengan format cloud-spanner-export-INSTANCE_ID-DATABASE_ID.

  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • REGION_NAME: region tempat Anda ingin men-deploy tugas Dataflow—misalnya, us-central1
  • GCS_STAGING_LOCATION: jalur untuk menulis file sementara; misalnya, gs://mybucket/temp
  • INSTANCE_ID: ID instance Spanner Anda
  • DATABASE_ID: ID database Spanner Anda
  • GCS_DIRECTORY: jalur Cloud Storage yang menjadi tujuan ekspor file Avro dan

API

Untuk menjalankan template menggunakan REST API, kirim permintaan POST HTTP. Untuk mengetahui informasi selengkapnya tentang API dan cakupan otorisasinya, lihat projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Spanner_to_GCS_Avro
{
   "jobName": "JOB_NAME",
   "parameters": {
       "instanceId": "INSTANCE_ID",
       "databaseId": "DATABASE_ID",
       "outputDir": "gs://GCS_DIRECTORY"
   }
}

Ganti kode berikut:

  • PROJECT_ID: ID project Google Cloud tempat Anda ingin menjalankan tugas Dataflow
  • JOB_NAME: nama tugas unik pilihan Anda

    Agar tugas ditampilkan di bagian Spanner di konsol Google Cloud, nama tugas harus cocok dengan format cloud-spanner-export-INSTANCE_ID-DATABASE_ID.

  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • LOCATION: region tempat Anda ingin men-deploy tugas Dataflow—misalnya, us-central1
  • GCS_STAGING_LOCATION: jalur untuk menulis file sementara; misalnya, gs://mybucket/temp
  • INSTANCE_ID: ID instance Spanner Anda
  • DATABASE_ID: ID database Spanner Anda
  • GCS_DIRECTORY: jalur Cloud Storage yang menjadi tujuan ekspor file Avro dan

Langkah selanjutnya