Template Bigtable ke JSON

Template Bigtable ke JSON adalah pipeline yang membaca data dari tabel Bigtable dan menulisnya ke bucket Cloud Storage dalam format JSON.

Persyaratan pipeline

  • Tabel Bigtable harus ada.
  • Bucket Cloud Storage output harus ada sebelum Anda menjalankan pipeline.

Parameter template

Parameter Deskripsi
bigtableProjectId ID untuk project Google Cloud yang berisi instance Bigtable yang ingin Anda baca datanya.
bigtableInstanceId ID instance Bigtable yang berisi tabel.
bigtableTableId ID tabel Bigtable yang akan dibaca.
filenamePrefix Awalan nama file JSON. Misalnya: table1-. Jika tidak ada nilai yang diberikan, setelan defaultnya adalah part.
outputDirectory Opsional: Jalur Cloud Storage tempat file JSON output disimpan. Contoh: gs://your-bucket/your-path/.
userOption Opsional: Nilai yang mungkin adalah FLATTEN atau NONE. FLATTEN meratakan baris ke tingkat tunggal. NONE menyimpan seluruh baris sebagai string JSON. Setelan defaultnya adalah NONE.
columnsAliases Opsional: Daftar yang dipisahkan koma dari kolom yang diperlukan untuk indeks Vertex AI Vector Search. Kolom id dan embedding diperlukan untuk Vertex AI Vector Search. Anda dapat menggunakan notasi fromfamily:fromcolumn;to. Misalnya, jika kolom adalah rowkey dan cf:my_embedding, dengan rowkey memiliki nama yang berbeda dari kolom embedding, tentukan cf:my_embedding;embedding dan rowkey;id. Hanya gunakan opsi ini jika nilai untuk userOption adalah FLATTEN.

Menjalankan template

Konsol

  1. Buka halaman Create job from template Dataflow.
  2. Buka Buat tugas dari template
  3. Di kolom Job name, masukkan nama pekerjaan yang unik.
  4. Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region default-nya adalah us-central1.

    Untuk daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.

  5. Dari menu drop-down Dataflow template, pilih the Bigtable to JSON template.
  6. Di kolom parameter yang disediakan, masukkan parameter value Anda.
  7. Klik Run job.

gcloud CLI

Di shell atau terminal Anda, jalankan template:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Bigtable_to_GCS_Json \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --parameters \
       bigtableProjectId=BIGTABLE_PROJECT_ID,\
       bigtableInstanceId=BIGTABLE_INSTANCE_ID,\
       bigtableTableId=BIGTABLE_TABLE_ID,\
       filenamePrefix=FILENAME_PREFIX,\

Ganti kode berikut:

  • JOB_NAME: nama pekerjaan unik pilihan Anda
  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • REGION_NAME: region tempat Anda ingin men-deploy tugas Dataflow, misalnya us-central1
  • BIGTABLE_PROJECT_ID: Project ID
  • BIGTABLE_INSTANCE_ID: ID Instance
  • BIGTABLE_TABLE_ID: ID Tabel
  • FILENAME_PREFIX: awalan file JSON

API

Untuk menjalankan template menggunakan REST API, kirim permintaan HTTP POST. Untuk informasi selengkapnya tentang API dan cakupan otorisasinya, lihat projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Bigtable_to_GCS_Json
{
   "jobName": "JOB_NAME",
   "parameters": {
     "bigtableProjectId": "BIGTABLE_PROJECT_ID",
     "bigtableInstanceId": "BIGTABLE_INSTANCE_ID",
     "bigtableTableId": "BIGTABLE_TABLE_ID",
     "filenamePrefix": "FILENAME_PREFIX",
   },
   "environment": { "maxWorkers": "10" }
}

Ganti kode berikut:

  • PROJECT_ID: ID project Google Cloud tempat Anda ingin menjalankan tugas Dataflow
  • JOB_NAME: nama pekerjaan unik pilihan Anda
  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • LOCATION: region tempat Anda ingin men-deploy tugas Dataflow, misalnya us-central1
  • BIGTABLE_PROJECT_ID: Project ID
  • BIGTABLE_INSTANCE_ID: ID Instance
  • BIGTABLE_TABLE_ID: ID Tabel
  • FILENAME_PREFIX: awalan file JSON

Langkah selanjutnya