Template BigQuery to Bigtable adalah pipeline batch yang menyalin data dari tabel BigQuery ke tabel Bigtable yang ada. Template dapat membaca seluruh tabel atau membaca data tertentu menggunakan kueri yang disediakan.
Persyaratan pipeline
- Tabel BigQuery sumber harus ada.
- Tabel Bigtable harus ada.
- Akun layanan pekerja
memerlukan izin
roles/bigquery.datasets.create
. Untuk mengetahui informasi selengkapnya, lihat Pengantar IAM.
Parameter template
Parameter yang diperlukan
- readIdColumn : Nama kolom BigQuery yang menyimpan ID unik baris.
- bigtableWriteInstanceId : ID instance Bigtable yang berisi tabel.
- bigtableWriteTableId : ID tabel Bigtable yang akan ditulis.
- bigtableWriteColumnFamily : Nama grup kolom tabel Bigtable tempat data akan ditulis.
Parameter opsional
- inputTableSpec : Tabel BigQuery yang akan dibaca. Format:
projectId:datasetId.tablename
. Jika Anda menentukaninputTableSpec
, template akan membaca data langsung dari penyimpanan BigQuery menggunakan BigQuery Storage Read API (https://cloud.google.com/bigquery/docs/reference/storage). Untuk mengetahui informasi tentang batasan di Storage Read API, lihat https://cloud.google.com/bigquery/docs/reference/storage#limitations. Anda harus menentukaninputTableSpec
atauquery
. Jika Anda menetapkan kedua parameter, template akan menggunakan parameterquery
. (Contoh: bigquery-project:dataset.input_table). - outputDeadletterTable : Tabel BigQuery untuk pesan yang gagal mencapai tabel output, dalam format <PROJECT_ID>:<DATASET_NAME>.<DEADLETTER_TABLE>. Jika tabel tidak ada, tabel akan dibuat selama eksekusi pipeline. Jika tidak ditentukan,
<outputTableSpec>_error_records
akan digunakan. (Contoh: project-id-Anda:set-data-Anda.nama-tabel-Anda). - kueri : Kueri SQL yang akan digunakan untuk membaca data dari BigQuery. Jika set data BigQuery berada dalam project yang berbeda dengan tugas Dataflow, tentukan nama set data lengkap dalam kueri SQL, misalnya: <PROJECT_ID>.<DATASET_NAME>.<TABLE_NAME>. Secara default, parameter
query
menggunakan GoogleSQL (https://cloud.google.com/bigquery/docs/introduction-sql), kecuali jikauseLegacySql
adalahtrue
. Anda harus menentukaninputTableSpec
atauquery
. Jika Anda menetapkan kedua parameter, template akan menggunakan parameterquery
. (Contoh: select * from sampledb.sample_table). - useLegacySql : Tetapkan ke true untuk menggunakan SQL lama. Parameter ini hanya berlaku saat menggunakan parameter
query
. Defaultnya adalah: false. - queryLocation : Diperlukan saat membaca dari tampilan yang diotorisasi tanpa izin tabel yang mendasarinya. (Contoh: AS).
- queryTempDataset : Dengan opsi ini, Anda dapat menetapkan set data yang ada untuk membuat tabel sementara guna menyimpan hasil kueri. (Contoh: temp_dataset).
- bigtableRpcAttemptTimeoutMs : Waktu tunggu untuk setiap upaya RPC Bigtable dalam milidetik.
- bigtableRpcTimeoutMs : Total waktu tunggu untuk operasi RPC Bigtable dalam milidetik.
- bigtableAdditionalRetryCodes : Kode percobaan ulang tambahan. (Contoh: RESOURCE_EXHAUSTED,DEADLINE_EXCEEDED).
- bigtableWriteAppProfile : ID profil aplikasi Bigtable yang akan digunakan untuk ekspor. Jika Anda tidak menentukan profil aplikasi, Bigtable akan menggunakan profil aplikasi default (https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile) dari instance.
- bigtableWriteProjectId : ID project Google Cloud yang berisi instance Bigtable tempat data akan ditulis.
- bigtableBulkWriteLatencyTargetMs : Target latensi Bigtable dalam milidetik untuk throttling berbasis latensi.
- bigtableBulkWriteMaxRowKeyCount : Jumlah maksimum kunci baris dalam operasi tulis batch Bigtable.
- bigtableBulkWriteMaxRequestSizeBytes : Byte maksimum yang akan disertakan per operasi tulis batch Bigtable.
Menjalankan template
Konsol
- Buka halaman Create job from template Dataflow. Buka Buat tugas dari template
- Di kolom Nama tugas, masukkan nama tugas yang unik.
- Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region defaultnya
adalah
us-central1
.Untuk mengetahui daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.
- Dari menu drop-down Dataflow template, pilih the BigQuery to Bigtable template.
- Di kolom parameter yang disediakan, masukkan nilai parameter Anda.
- Klik Run job.
gcloud
Di shell atau terminal, jalankan template:
gcloud dataflow flex-template run JOB_NAME \ --project=PROJECT_ID \ --region=REGION_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/BigQuery_to_Bigtable \ --parameters \ readIdColumn=READ_COLUMN_ID,\ inputTableSpec=INPUT_TABLE_SPEC,\ bigtableWriteInstanceId=BIGTABLE_INSTANCE_ID,\ bigtableWriteTableId=BIGTABLE_TABLE_ID,\ bigtableWriteColumnFamily=BIGTABLE_COLUMN_FAMILY
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud tempat Anda ingin menjalankan tugas DataflowJOB_NAME
: nama tugas unik pilihan AndaREGION_NAME
: region tempat Anda ingin men-deploy tugas Dataflow—misalnya,us-central1
VERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan template versi terbaru, yang tersedia di folder induk tanpa tanggal di bucket—gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat dalam folder induk bertanggal masing-masing di bucket—gs://dataflow-templates-REGION_NAME/
READ_COLUMN_ID
: kolom ID unik BigQuery Anda.INPUT_TABLE_SPEC
: nama tabel BigQuery Anda.BIGTABLE_INSTANCE_ID
: ID instance Bigtable Anda.BIGTABLE_TABLE_ID
: ID tabel Bigtable Anda.BIGTABLE_COLUMN_FAMILY
: keluarga kolom tabel Bigtable Anda.
API
Untuk menjalankan template menggunakan REST API, kirim permintaan POST HTTP. Untuk mengetahui informasi selengkapnya tentang
API dan cakupan otorisasinya, lihat
projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launch_parameter": { "jobName": "JOB_NAME", "parameters": { "readIdColumn": "READ_COLUMN_ID", "inputTableSpec": "INPUT_TABLE_SPEC", "bigtableWriteInstanceId": "BIGTABLE_INSTANCE_ID", "bigtableWriteTableId": "BIGTABLE_TABLE_ID", "bigtableWriteColumnFamily": "BIGTABLE_COLUMN_FAMILY" }, "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/BigQuery_to_Bigtable", } }
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud tempat Anda ingin menjalankan tugas DataflowJOB_NAME
: nama tugas unik pilihan AndaLOCATION
: region tempat Anda ingin men-deploy tugas Dataflow—misalnya,us-central1
VERSION
: versi template yang ingin Anda gunakanAnda dapat menggunakan nilai berikut:
latest
untuk menggunakan template versi terbaru, yang tersedia di folder induk tanpa tanggal di bucket—gs://dataflow-templates-REGION_NAME/latest/- nama versi, seperti
2023-09-12-00_RC00
, untuk menggunakan versi template tertentu, yang dapat ditemukan bertingkat dalam folder induk bertanggal masing-masing di bucket—gs://dataflow-templates-REGION_NAME/
READ_COLUMN_ID
: kolom ID unik BigQuery Anda.INPUT_TABLE_SPEC
: nama tabel BigQuery Anda.BIGTABLE_INSTANCE_ID
: ID instance Bigtable Anda.BIGTABLE_TABLE_ID
: ID tabel Bigtable Anda.BIGTABLE_COLUMN_FAMILY
: keluarga kolom tabel Bigtable Anda.
Langkah selanjutnya
- Pelajari template Dataflow.
- Lihat daftar template yang disediakan Google.