Template SequenceFile ke Bigtable Cloud Storage adalah pipeline yang membaca data dari SequenceFiles dalam bucket Cloud Storage dan menulis data ke tabel Bigtable. Anda dapat menggunakan template ini untuk menyalin data dari Cloud Storage ke Bigtable.
Persyaratan pipeline
- Tabel Bigtable harus ada.
- SequenceFiles input harus ada di bucket Cloud Storage sebelum menjalankan pipeline.
- SequenceFiles input harus sudah diekspor dari Bigtable atau HBase.
Parameter template
Parameter | Deskripsi |
---|---|
bigtableProject |
ID project Google Cloud dari instance Bigtable yang ingin Anda jadikan tujuan penulisan data. |
bigtableInstanceId |
ID instance Bigtable yang berisi tabel. |
bigtableTableId |
ID tabel Bigtable yang akan diimpor. |
bigtableAppProfileId |
ID profil aplikasi Bigtable yang akan digunakan untuk impor. Jika Anda tidak menentukan profil aplikasi, Bigtable akan menggunakan profil aplikasi default instance. |
sourcePattern |
Pola jalur Cloud Storage tempat data berada. Misalnya, gs://mybucket/somefolder/prefix* . |
Menjalankan template
Konsol
- Buka halaman Create job from template Dataflow. Buka Buat tugas dari template
- Di kolom Job name, masukkan nama pekerjaan yang unik.
- Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region
default-nya adalah
us-central1
.Untuk daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.
- Dari menu drop-down Dataflow template, pilih the SequenceFile Files on Cloud Storage to Cloud Bigtable template.
- Di kolom parameter yang disediakan, masukkan parameter value Anda.
- Klik Run job.
gcloud
Di shell atau terminal Anda, jalankan template:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/GCS_SequenceFile_to_Cloud_Bigtable \ --region REGION_NAME \ --parameters \ bigtableProject=BIGTABLE_PROJECT_ID,\ bigtableInstanceId=INSTANCE_ID,\ bigtableTableId=TABLE_ID,\ bigtableAppProfileId=APPLICATION_PROFILE_ID,\ sourcePattern=SOURCE_PATTERN
Ganti kode berikut:
JOB_NAME
: nama pekerjaan unik pilihan AndaVERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan versi terbaru template, yang tersedia di folder induk tidak bertanggal di bucket— gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat di folder induk bertanggal masing-masing dalam bucket— gs://dataflow-templates-REGION_NAME/
REGION_NAME
: region tempat Anda ingin men-deploy tugas Dataflow, misalnyaus-central1
BIGTABLE_PROJECT_ID
: ID project Google Cloud dari instance Bigtable yang datanya ingin Anda bacaINSTANCE_ID
: ID instance Bigtable yang berisi tabelTABLE_ID
: ID tabel Bigtable yang akan dieksporAPPLICATION_PROFILE_ID
: ID profil aplikasi Bigtable yang akan digunakan untuk eksporSOURCE_PATTERN
: pola jalur Cloud Storage tempat data berada, misalnya,gs://mybucket/somefolder/prefix*
API
Untuk menjalankan template menggunakan REST API, kirim permintaan HTTP POST. Untuk informasi selengkapnya tentang API dan cakupan otorisasinya, lihat projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/GCS_SequenceFile_to_Cloud_Bigtable { "jobName": "JOB_NAME", "parameters": { "bigtableProject": "BIGTABLE_PROJECT_ID", "bigtableInstanceId": "INSTANCE_ID", "bigtableTableId": "TABLE_ID", "bigtableAppProfileId": "APPLICATION_PROFILE_ID", "sourcePattern": "SOURCE_PATTERN", }, "environment": { "zone": "us-central1-f" } }
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud tempat Anda ingin menjalankan tugas DataflowJOB_NAME
: nama pekerjaan unik pilihan AndaVERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan versi terbaru template, yang tersedia di folder induk tidak bertanggal di bucket— gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat di folder induk bertanggal masing-masing dalam bucket— gs://dataflow-templates-REGION_NAME/
LOCATION
: region tempat Anda ingin men-deploy tugas Dataflow, misalnyaus-central1
BIGTABLE_PROJECT_ID
: ID project Google Cloud dari instance Bigtable yang datanya ingin Anda bacaINSTANCE_ID
: ID instance Bigtable yang berisi tabelTABLE_ID
: ID tabel Bigtable yang akan dieksporAPPLICATION_PROFILE_ID
: ID profil aplikasi Bigtable yang akan digunakan untuk eksporSOURCE_PATTERN
: pola jalur Cloud Storage tempat data berada, misalnya,gs://mybucket/somefolder/prefix*
Langkah selanjutnya
- Pelajari Template Dataflow.
- Lihat daftar template yang disediakan Google.