Template Bigtable ke Cloud Storage Avro adalah pipeline yang membaca data dari tabel Bigtable dan menulisnya ke bucket Cloud Storage dalam format Avro. Anda dapat menggunakan template untuk memindahkan data dari Bigtable ke Cloud Storage.
Persyaratan pipeline
- Tabel Bigtable harus ada.
- Bucket Cloud Storage output harus ada sebelum menjalankan pipeline.
Parameter template
Parameter | Deskripsi |
---|---|
bigtableProjectId |
ID project Google Cloud dari instance Bigtable yang datanya ingin Anda baca. |
bigtableInstanceId |
ID instance Bigtable yang berisi tabel. |
bigtableTableId |
ID tabel Bigtable yang akan diekspor. |
outputDirectory |
Jalur Cloud Storage tempat data ditulis. Misalnya, gs://mybucket/somefolder . |
filenamePrefix |
Awalan nama file Avro. Misalnya, output- . |
Menjalankan template
Konsol
- Buka halaman Create job from template Dataflow. Buka Buat tugas dari template
- Di kolom Job name, masukkan nama pekerjaan yang unik.
- Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region
default-nya adalah
us-central1
.Untuk daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.
- Dari menu drop-down Dataflow template, pilih the Cloud Bigtable to Avro Files on Cloud Storage template .
- Di kolom parameter yang disediakan, masukkan parameter value Anda.
- Klik Run job.
gcloud
Di shell atau terminal Anda, jalankan template:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Bigtable_to_GCS_Avro \ --region REGION_NAME \ --parameters \ bigtableProjectId=BIGTABLE_PROJECT_ID,\ bigtableInstanceId=INSTANCE_ID,\ bigtableTableId=TABLE_ID,\ outputDirectory=OUTPUT_DIRECTORY,\ filenamePrefix=FILENAME_PREFIX
Ganti kode berikut:
JOB_NAME
: nama pekerjaan unik pilihan AndaVERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan versi terbaru template, yang tersedia di folder induk tidak bertanggal di bucket— gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat di folder induk bertanggal masing-masing dalam bucket— gs://dataflow-templates-REGION_NAME/
REGION_NAME
: region tempat Anda ingin men-deploy tugas Dataflow, misalnyaus-central1
BIGTABLE_PROJECT_ID
: ID project Google Cloud dari instance Bigtable yang datanya ingin Anda bacaINSTANCE_ID
: ID instance Bigtable yang berisi tabelTABLE_ID
: ID tabel Bigtable yang akan dieksporOUTPUT_DIRECTORY
: jalur Cloud Storage tempat data ditulis, misalnya,gs://mybucket/somefolder
FILENAME_PREFIX
: awalan nama file Avro, misalnya,output-
API
Untuk menjalankan template menggunakan REST API, kirim permintaan HTTP POST. Untuk informasi selengkapnya tentang API dan cakupan otorisasinya, lihat projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Bigtable_to_GCS_Avro { "jobName": "JOB_NAME", "parameters": { "bigtableProjectId": "BIGTABLE_PROJECT_ID", "bigtableInstanceId": "INSTANCE_ID", "bigtableTableId": "TABLE_ID", "outputDirectory": "OUTPUT_DIRECTORY", "filenamePrefix": "FILENAME_PREFIX", }, "environment": { "zone": "us-central1-f" } }
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud tempat Anda ingin menjalankan tugas DataflowJOB_NAME
: nama pekerjaan unik pilihan AndaVERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan versi terbaru template, yang tersedia di folder induk tidak bertanggal di bucket— gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat di folder induk bertanggal masing-masing dalam bucket— gs://dataflow-templates-REGION_NAME/
LOCATION
: region tempat Anda ingin men-deploy tugas Dataflow, misalnyaus-central1
BIGTABLE_PROJECT_ID
: ID project Google Cloud dari instance Bigtable yang datanya ingin Anda bacaINSTANCE_ID
: ID instance Bigtable yang berisi tabelTABLE_ID
: ID tabel Bigtable yang akan dieksporOUTPUT_DIRECTORY
: jalur Cloud Storage tempat data ditulis, misalnya,gs://mybucket/somefolder
FILENAME_PREFIX
: awalan nama file Avro, misalnya,output-
Langkah selanjutnya
- Pelajari Template Dataflow.
- Lihat daftar template yang disediakan Google.