Template BigQuery ke Bigtable

Template BigQuery to Bigtable adalah pipeline batch yang menyalin data dari tabel BigQuery ke tabel Bigtable yang ada. Template dapat membaca seluruh tabel atau membaca data tertentu menggunakan kueri yang disediakan.

Persyaratan pipeline

  • Tabel BigQuery sumber harus ada.
  • Tabel Bigtable harus ada.
  • Akun layanan pekerja memerlukan izin roles/bigquery.datasets.create. Untuk mengetahui informasi selengkapnya, lihat Pengantar IAM.

Parameter template

Parameter yang diperlukan

  • readIdColumn : Nama kolom BigQuery yang menyimpan ID unik baris.
  • bigtableWriteInstanceId : ID instance Bigtable yang berisi tabel.
  • bigtableWriteTableId : ID tabel Bigtable yang akan ditulis.
  • bigtableWriteColumnFamily : Nama grup kolom tabel Bigtable tempat data akan ditulis.

Parameter opsional

  • inputTableSpec : Tabel BigQuery yang akan dibaca. Format: projectId:datasetId.tablename. Jika Anda menentukan inputTableSpec, template akan membaca data langsung dari penyimpanan BigQuery menggunakan BigQuery Storage Read API (https://cloud.google.com/bigquery/docs/reference/storage). Untuk mengetahui informasi tentang batasan di Storage Read API, lihat https://cloud.google.com/bigquery/docs/reference/storage#limitations. Anda harus menentukan inputTableSpec atau query. Jika Anda menetapkan kedua parameter, template akan menggunakan parameter query. (Contoh: bigquery-project:dataset.input_table).
  • outputDeadletterTable : Tabel BigQuery untuk pesan yang gagal mencapai tabel output, dalam format <PROJECT_ID>:<DATASET_NAME>.<DEADLETTER_TABLE>. Jika tabel tidak ada, tabel akan dibuat selama eksekusi pipeline. Jika tidak ditentukan, <outputTableSpec>_error_records akan digunakan. (Contoh: project-id-Anda:set-data-Anda.nama-tabel-Anda).
  • kueri : Kueri SQL yang akan digunakan untuk membaca data dari BigQuery. Jika set data BigQuery berada dalam project yang berbeda dengan tugas Dataflow, tentukan nama set data lengkap dalam kueri SQL, misalnya: <PROJECT_ID>.<DATASET_NAME>.<TABLE_NAME>. Secara default, parameter query menggunakan GoogleSQL (https://cloud.google.com/bigquery/docs/introduction-sql), kecuali jika useLegacySql adalah true. Anda harus menentukan inputTableSpec atau query. Jika Anda menetapkan kedua parameter, template akan menggunakan parameter query. (Contoh: select * from sampledb.sample_table).
  • useLegacySql : Tetapkan ke true untuk menggunakan SQL lama. Parameter ini hanya berlaku saat menggunakan parameter query. Defaultnya adalah: false.
  • queryLocation : Diperlukan saat membaca dari tampilan yang diotorisasi tanpa izin tabel yang mendasarinya. (Contoh: AS).
  • queryTempDataset : Dengan opsi ini, Anda dapat menetapkan set data yang ada untuk membuat tabel sementara guna menyimpan hasil kueri. (Contoh: temp_dataset).
  • bigtableRpcAttemptTimeoutMs : Waktu tunggu untuk setiap upaya RPC Bigtable dalam milidetik.
  • bigtableRpcTimeoutMs : Total waktu tunggu untuk operasi RPC Bigtable dalam milidetik.
  • bigtableAdditionalRetryCodes : Kode percobaan ulang tambahan. (Contoh: RESOURCE_EXHAUSTED,DEADLINE_EXCEEDED).
  • bigtableWriteAppProfile : ID profil aplikasi Bigtable yang akan digunakan untuk ekspor. Jika Anda tidak menentukan profil aplikasi, Bigtable akan menggunakan profil aplikasi default (https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile) dari instance.
  • bigtableWriteProjectId : ID project Google Cloud yang berisi instance Bigtable tempat data akan ditulis.
  • bigtableBulkWriteLatencyTargetMs : Target latensi Bigtable dalam milidetik untuk throttling berbasis latensi.
  • bigtableBulkWriteMaxRowKeyCount : Jumlah maksimum kunci baris dalam operasi tulis batch Bigtable.
  • bigtableBulkWriteMaxRequestSizeBytes : Byte maksimum yang akan disertakan per operasi tulis batch Bigtable.

Menjalankan template

Konsol

  1. Buka halaman Create job from template Dataflow.
  2. Buka Buat tugas dari template
  3. Di kolom Nama tugas, masukkan nama tugas yang unik.
  4. Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region defaultnya adalah us-central1.

    Untuk mengetahui daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.

  5. Dari menu drop-down Dataflow template, pilih the BigQuery to Bigtable template.
  6. Di kolom parameter yang disediakan, masukkan nilai parameter Anda.
  7. Klik Run job.

gcloud

Di shell atau terminal, jalankan template:

gcloud dataflow flex-template run JOB_NAME \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/BigQuery_to_Bigtable \
    --parameters \
readIdColumn=READ_COLUMN_ID,\
inputTableSpec=INPUT_TABLE_SPEC,\
bigtableWriteInstanceId=BIGTABLE_INSTANCE_ID,\
bigtableWriteTableId=BIGTABLE_TABLE_ID,\
bigtableWriteColumnFamily=BIGTABLE_COLUMN_FAMILY

Ganti kode berikut:

  • PROJECT_ID: ID project Google Cloud tempat Anda ingin menjalankan tugas Dataflow
  • JOB_NAME: nama tugas unik pilihan Anda
  • REGION_NAME: region tempat Anda ingin men-deploy tugas Dataflow—misalnya, us-central1
  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • READ_COLUMN_ID: kolom ID unik BigQuery Anda.
  • INPUT_TABLE_SPEC: nama tabel BigQuery Anda.
  • BIGTABLE_INSTANCE_ID: ID instance Bigtable Anda.
  • BIGTABLE_TABLE_ID: ID tabel Bigtable Anda.
  • BIGTABLE_COLUMN_FAMILY: keluarga kolom tabel Bigtable Anda.

API

Untuk menjalankan template menggunakan REST API, kirim permintaan POST HTTP. Untuk mengetahui informasi selengkapnya tentang API dan cakupan otorisasinya, lihat projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
   "launch_parameter": {
      "jobName": "JOB_NAME",
      "parameters": {
          "readIdColumn": "READ_COLUMN_ID",
          "inputTableSpec": "INPUT_TABLE_SPEC",
          "bigtableWriteInstanceId": "BIGTABLE_INSTANCE_ID",
          "bigtableWriteTableId": "BIGTABLE_TABLE_ID",
          "bigtableWriteColumnFamily": "BIGTABLE_COLUMN_FAMILY"
      },
      "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/BigQuery_to_Bigtable",
   }
}

Ganti kode berikut:

  • PROJECT_ID: ID project Google Cloud tempat Anda ingin menjalankan tugas Dataflow
  • JOB_NAME: nama tugas unik pilihan Anda
  • LOCATION: region tempat Anda ingin men-deploy tugas Dataflow—misalnya, us-central1
  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • READ_COLUMN_ID: kolom ID unik BigQuery Anda.
  • INPUT_TABLE_SPEC: nama tabel BigQuery Anda.
  • BIGTABLE_INSTANCE_ID: ID instance Bigtable Anda.
  • BIGTABLE_TABLE_ID: ID tabel Bigtable Anda.
  • BIGTABLE_COLUMN_FAMILY: keluarga kolom tabel Bigtable Anda.

Langkah selanjutnya