Template Teks Spanner ke Cloud Storage

Template Teks Spanner ke Cloud Storage adalah pipeline batch yang membaca data dari tabel Spanner, dan menulisnya ke Cloud Storage sebagai file teks CSV.

Persyaratan pipeline

  • Tabel Spanner input harus ada sebelum menjalankan pipeline.

Parameter template

Parameter Deskripsi
spannerProjectId ID Project Google Cloud dari database Spanner yang datanya ingin Anda baca.
spannerDatabaseId ID database dari tabel yang diminta.
spannerInstanceId ID instance tabel yang diminta.
spannerTable Tabel yang datanya akan dibaca.
textWritePrefix Jalur Cloud Storage tempat file teks output ditulis. Tambahkan / di akhir. Misalnya, gs://mybucket/somefolder/.
spannerSnapshotTime (Opsional) Stempel waktu yang sesuai dengan versi database Spanner yang ingin Anda baca. Stempel waktu harus ditentukan sesuai dengan format "Zulu" RFC 3339 UTC. Contoh, 1990-12-31T23:59:60Z. Stempel waktu harus berada di masa lalu dan Penghentian stempel waktu maksimum berlaku.
dataBoostEnabled (Opsional) Tetapkan ke true untuk menggunakan resource komputasi Spanner Data Boost guna menjalankan tugas dengan dampak mendekati nol pada alur kerja OLTP Spanner. Tindakan ini memerlukan izin Identity and Access Management (IAM) spanner.databases.useDataBoost. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Data Boost.
csvTempDirectory (Opsional) Jalur Cloud Storage tempat file CSV sementara ditulis.
spannerPriority (Opsional) Prioritas permintaan untuk panggilan Spanner. Nilai yang mungkin adalah HIGH, MEDIUM, LOW. Nilai defaultnya adalah MEDIUM.

Menjalankan template

Konsol

  1. Buka halaman Create job from template Dataflow.
  2. Buka Buat tugas dari template
  3. Di kolom Job name, masukkan nama pekerjaan yang unik.
  4. Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region default-nya adalah us-central1.

    Untuk daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.

  5. Dari menu drop-down Dataflow template, pilih the Cloud Spanner to Text Files on Cloud Storage template.
  6. Di kolom parameter yang disediakan, masukkan parameter value Anda.
  7. Klik Run job.

gcloud

Di shell atau terminal Anda, jalankan template:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Spanner_to_GCS_Text \
    --region REGION_NAME \
    --parameters \
spannerProjectId=SPANNER_PROJECT_ID,\
spannerDatabaseId=DATABASE_ID,\
spannerInstanceId=INSTANCE_ID,\
spannerTable=TABLE_ID,\
textWritePrefix=gs://BUCKET_NAME/output/

Ganti kode berikut:

  • JOB_NAME: nama pekerjaan unik pilihan Anda
  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • REGION_NAME: region tempat Anda ingin men-deploy tugas Dataflow, misalnya us-central1
  • SPANNER_PROJECT_ID: ID project Google Cloud dari database Spanner tempat Anda ingin membaca data
  • DATABASE_ID: ID database Spanner
  • BUCKET_NAME: nama bucket Cloud Storage Anda
  • INSTANCE_ID: ID instance Spanner
  • TABLE_ID: ID tabel Spanner

API

Untuk menjalankan template menggunakan REST API, kirim permintaan HTTP POST. Untuk informasi selengkapnya tentang API dan cakupan otorisasinya, lihat projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Spanner_to_GCS_Text
{
   "jobName": "JOB_NAME",
   "parameters": {
       "spannerProjectId": "SPANNER_PROJECT_ID",
       "spannerDatabaseId": "DATABASE_ID",
       "spannerInstanceId": "INSTANCE_ID",
       "spannerTable": "TABLE_ID",
       "textWritePrefix": "gs://BUCKET_NAME/output/"
   },
   "environment": { "zone": "us-central1-f" }
}

Ganti kode berikut:

  • PROJECT_ID: ID project Google Cloud tempat Anda ingin menjalankan tugas Dataflow
  • JOB_NAME: nama pekerjaan unik pilihan Anda
  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • LOCATION: region tempat Anda ingin men-deploy tugas Dataflow, misalnya us-central1
  • SPANNER_PROJECT_ID: ID project Google Cloud dari database Spanner tempat Anda ingin membaca data
  • DATABASE_ID: ID database Spanner
  • BUCKET_NAME: nama bucket Cloud Storage Anda
  • INSTANCE_ID: ID instance Spanner
  • TABLE_ID: ID tabel Spanner

Langkah selanjutnya