Template Spanner ke File Avro di Cloud Storage adalah pipeline batch yang mengekspor seluruh database Spanner ke Cloud Storage dalam format Avro. Mengekspor database Spanner akan membuat folder di bucket yang Anda pilih. Folder ini berisi:
- File
spanner-export.json
- File
TableName-manifest.json
untuk setiap tabel dalam database yang Anda ekspor. - Satu atau beberapa file
TableName.avro-#####-of-#####
.
Misalnya, mengekspor database dengan dua tabel, Singers
dan Albums
,
akan membuat kumpulan file berikut:
Albums-manifest.json
Albums.avro-00000-of-00002
Albums.avro-00001-of-00002
Singers-manifest.json
Singers.avro-00000-of-00003
Singers.avro-00001-of-00003
Singers.avro-00002-of-00003
spanner-export.json
Persyaratan pipeline
- Database Spanner harus ada.
- Bucket Cloud Storage output harus ada.
- Selain peran Identity and Access Management (IAM) yang diperlukan untuk menjalankan tugas Dataflow, Anda juga harus memiliki peran IAM yang sesuai untuk membaca data Spanner dan menulis ke bucket Cloud Storage.
Parameter template
Parameter yang diperlukan
- instanceId : ID instance database Spanner yang ingin Anda ekspor.
- databaseId : ID database database Spanner yang ingin Anda ekspor.
- outputDir : Jalur Cloud Storage tempat file Avro diekspor. Tugas ekspor akan membuat direktori baru di jalur ini yang berisi file yang diekspor. (Contoh: gs://bucket-anda/jalur-anda).
Parameter opsional
- avroTempDirectory : Jalur Cloud Storage tempat file Avro sementara ditulis.
- spannerHost : Endpoint Cloud Spanner yang akan dipanggil dalam template. Hanya digunakan untuk pengujian. (Contoh: https://batch-spanner.googleapis.com). Secara default: https://batch-spanner.googleapis.com.
- snapshotTime : Stempel waktu yang sesuai dengan versi database Spanner yang ingin Anda baca. Stempel waktu harus ditentukan menggunakan format
Zulu
UTC RFC 3339. Stempel waktu harus berada di masa lalu, dan keusangan stempel waktu maksimum berlaku. (Contoh: 1990-12-31T23:59:60Z). Default-nya adalah kosong. - spannerProjectId : ID project Google Cloud yang berisi database Spanner yang datanya ingin Anda baca.
- shouldExportTimestampAsLogicalType : Jika benar, stempel waktu diekspor sebagai jenis
long
dengan jenis logikatimestamp-micros
. Secara default, parameter ini ditetapkan kefalse
dan stempel waktu diekspor sebagai string ISO-8601 dengan presisi nanosekon. - tableNames : Daftar tabel yang dipisahkan koma yang menentukan subset database Spanner yang akan diekspor. Jika menetapkan parameter ini, Anda harus menyertakan semua tabel terkait (tabel induk dan tabel yang direferensikan kunci asing) atau menetapkan parameter
shouldExportRelatedTables
ketrue
.Jika tabel berada dalam skema bernama, gunakan nama yang sepenuhnya memenuhi syarat. Misalnya:sch1.foo
dengansch1
adalah nama skema danfoo
adalah nama tabel. Default-nya adalah kosong. - shouldExportRelatedTables : Apakah akan menyertakan tabel terkait. Parameter ini digunakan bersama dengan parameter
tableNames
. Defaultnya adalah: false. - spannerPriority : Prioritas permintaan untuk panggilan Spanner. Nilai yang mungkin adalah
HIGH
,MEDIUM
, danLOW
. Nilai defaultnya adalahMEDIUM
. - dataBoostEnabled : Tetapkan ke
true
untuk menggunakan resource komputasi Spanner Data Boost guna menjalankan tugas dengan dampak yang hampir tidak ada pada alur kerja OLTP Spanner. Jika ditetapkan ketrue
, Anda juga memerlukan izin IAMspanner.databases.useDataBoost
. Untuk informasi selengkapnya, lihat ringkasan Data Boost (https://cloud.google.com/spanner/docs/databoost/databoost-overview). Defaultnya adalah: false.
Menjalankan template
Konsol
- Buka halaman Create job from template Dataflow. Buka Buat tugas dari template
- Di kolom Nama tugas, masukkan nama tugas yang unik.
Agar tugas muncul di halaman Instance Spanner di konsol Google Cloud, nama tugas harus cocok dengan format berikut:
cloud-spanner-export-SPANNER_INSTANCE_ID-SPANNER_DATABASE_NAME
Ganti kode berikut:
SPANNER_INSTANCE_ID
: ID instance Spanner AndaSPANNER_DATABASE_NAME
: nama database Spanner Anda
- Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region defaultnya adalah
us-central1
.Untuk mengetahui daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.
- Dari menu drop-down Dataflow template, pilih the Cloud Spanner to Avro Files on Cloud Storage template.
- Di kolom parameter yang disediakan, masukkan nilai parameter Anda.
- Klik Run job.
gcloud
Di shell atau terminal, jalankan template:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Spanner_to_GCS_Avro \ --region REGION_NAME \ --staging-location GCS_STAGING_LOCATION \ --parameters \ instanceId=INSTANCE_ID,\ databaseId=DATABASE_ID,\ outputDir=GCS_DIRECTORY
Ganti kode berikut:
JOB_NAME
: nama tugas unik pilihan AndaAgar tugas ditampilkan di bagian Spanner di konsol Google Cloud, nama tugas harus cocok dengan format
cloud-spanner-export-INSTANCE_ID-DATABASE_ID
.VERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan template versi terbaru, yang tersedia di folder induk tanpa tanggal di bucket—gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat dalam folder induk bertanggal masing-masing di bucket—gs://dataflow-templates-REGION_NAME/
REGION_NAME
: region tempat Anda ingin men-deploy tugas Dataflow—misalnya,us-central1
GCS_STAGING_LOCATION
: jalur untuk menulis file sementara; misalnya,gs://mybucket/temp
INSTANCE_ID
: ID instance Spanner AndaDATABASE_ID
: ID database Spanner AndaGCS_DIRECTORY
: jalur Cloud Storage yang menjadi tujuan ekspor file Avro dan
API
Untuk menjalankan template menggunakan REST API, kirim permintaan POST HTTP. Untuk mengetahui informasi selengkapnya tentang
API dan cakupan otorisasinya, lihat
projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Spanner_to_GCS_Avro { "jobName": "JOB_NAME", "parameters": { "instanceId": "INSTANCE_ID", "databaseId": "DATABASE_ID", "outputDir": "gs://GCS_DIRECTORY" } }
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud tempat Anda ingin menjalankan tugas DataflowJOB_NAME
: nama tugas unik pilihan AndaAgar tugas ditampilkan di bagian Spanner di konsol Google Cloud, nama tugas harus cocok dengan format
cloud-spanner-export-INSTANCE_ID-DATABASE_ID
.VERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan template versi terbaru, yang tersedia di folder induk tanpa tanggal di bucket—gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat dalam folder induk bertanggal masing-masing di bucket—gs://dataflow-templates-REGION_NAME/
LOCATION
: region tempat Anda ingin men-deploy tugas Dataflow—misalnya,us-central1
GCS_STAGING_LOCATION
: jalur untuk menulis file sementara; misalnya,gs://mybucket/temp
INSTANCE_ID
: ID instance Spanner AndaDATABASE_ID
: ID database Spanner AndaGCS_DIRECTORY
: jalur Cloud Storage yang menjadi tujuan ekspor file Avro dan
Langkah selanjutnya
- Pelajari template Dataflow.
- Lihat daftar template yang disediakan Google.