Langganan BigQuery

Dokumen ini berisi ringkasan langganan BigQuery, alur kerja, dan properti terkait.

Langganan BigQuery adalah jenis langganan ekspor yang menulis pesan ke tabel BigQuery yang sudah ada saat pesan diterima. Anda tidak perlu mengonfigurasi klien pelanggan terpisah. Gunakan konsol Google Cloud, Google Cloud CLI, library klien, atau Pub/Sub API untuk membuat, mengupdate, mencantumkan, melepaskan, atau menghapus langganan BigQuery.

Tanpa jenis langganan BigQuery, Anda memerlukan langganan pull atau push dan pelanggan (seperti Dataflow) yang membaca pesan dan menulisnya ke tabel BigQuery. Overhead untuk menjalankan tugas Dataflow tidak diperlukan jika pesan tidak memerlukan pemrosesan tambahan sebelum menyimpannya di tabel BigQuery. Anda dapat menggunakan langganan BigQuery sebagai gantinya.

Namun, pipeline Dataflow masih direkomendasikan untuk sistem Pub/Sub yang memerlukan transformasi data sebelum data disimpan di tabel BigQuery. Untuk mempelajari cara melakukan streaming data dari Pub/Sub ke BigQuery dengan transformasi menggunakan Dataflow, lihat Streaming dari Pub/Sub ke BigQuery.

Langganan Pub/Sub ke template BigQuery dari Dataflow berlaku tepat satu kali pengiriman secara default. Hal ini biasanya dicapai melalui mekanisme penghapusan duplikat dalam pipeline Dataflow. Namun, langganan BigQuery hanya mendukung minimal satu kali penayangan. Jika penghapusan duplikat yang tepat sangat penting dalam kasus penggunaan Anda, pertimbangkan proses downstream di BigQuery untuk menangani kemungkinan duplikat.

Sebelum memulai

Sebelum membaca dokumen ini, pastikan Anda sudah memahami hal-hal berikut:

  • Cara kerja Pub/Sub dan berbagai persyaratan Pub/Sub.

  • Berbagai jenis langganan yang didukung Pub/Sub dan alasan mengapa Anda perlu menggunakan langganan BigQuery.

  • Cara kerja BigQuery, cara mengonfigurasi, dan mengelola tabel BigQuery.

Alur kerja langganan BigQuery

Gambar berikut menunjukkan alur kerja antara langganan BigQuery dan BigQuery.

Alur pesan untuk langganan BigQuery
Gambar 1. Alur kerja untuk langganan BigQuery

Berikut adalah deskripsi singkat tentang alur kerja yang merujuk pada Gambar 1:

  1. Pub/Sub menggunakan BigQuery Storage write API untuk mengirim data ke tabel BigQuery.
  2. Pesan dikirim dalam batch ke tabel BigQuery.
  3. Setelah operasi tulis berhasil diselesaikan, API akan menampilkan respons OK.
  4. Jika ada kegagalan dalam operasi tulis, pesan Pub/Sub itu sendiri akan dikonfirmasi secara negatif. Kemudian, pesan akan dikirim ulang. Jika pesan gagal beberapa kali dan ada topik yang dihentikan pengirimannya pada langganan, pesan akan dipindahkan ke topik yang dihentikan pengirimannya.

Properti langganan BigQuery

Properti yang Anda konfigurasi untuk langganan BigQuery menentukan tabel BigQuery tempat Pub/Sub menulis pesan dan jenis skema dari tabel tersebut.

Untuk mengetahui informasi lebih lanjut, lihat properti BigQuery.

Kompatibilitas skema

Pub/Sub dan BigQuery menggunakan cara yang berbeda untuk menentukan skemanya. Skema Pub/Sub ditentukan dalam format Apache Avro atau Protocol Buffer, sedangkan skema BigQuery ditentukan menggunakan berbagai format. Berikut ini adalah daftar informasi penting terkait kompatibilitas skema antara topik Pub/Sub dan tabel BigQuery.

  • Pesan apa pun yang berisi kolom yang tidak diformat dengan benar tidak akan ditulis ke BigQuery.

  • Pada skema BigQuery, INT, SMALLINT, INTEGER, BIGINT, TINYINT, dan BYTEINT adalah alias untuk INTEGER; DECIMAL adalah alias untuk NUMERIC; dan BIGDECIMAL adalah alias untuk BIGNUMERIC.

  • Jika jenis dalam skema topik adalah string dan jenis dalam tabel BigQuery adalah JSON, TIMESTAMP, DATETIME, DATE, TIME, NUMERIC, atau BIGNUMERIC, maka nilai apa pun untuk kolom ini dalam pesan Pub/Sub harus mematuhi format yang ditentukan untuk jenis data BigQuery.

  • Beberapa jenis logika Avro didukung, seperti yang ditentukan dalam tabel berikut. Semua jenis logis yang tidak tercantum hanya cocok dengan jenis Avro setara yang mereka anotasikan, seperti yang dijelaskan dalam spesifikasi Avro.

Berikut ini adalah kumpulan pemetaan berbagai format skema untuk jenis data BigQuery.

Jenis Avro

Jenis Avro Jenis Data BigQuery
null Any NULLABLE
boolean BOOLEAN
int INTEGER, NUMERIC, atau BIGNUMERIC
long INTEGER, NUMERIC, atau BIGNUMERIC
float FLOAT64, NUMERIC, atau BIGNUMERIC
double FLOAT64, NUMERIC, atau BIGNUMERIC
bytes BYTES, NUMERIC, atau BIGNUMERIC
string STRING, JSON, TIMESTAMP, DATETIME, DATE, TIME, NUMERIC, atau BIGNUMERIC
record RECORD/STRUCT
array dari Type REPEATED Type
map dengan jenis nilai ValueType REPEATED STRUCT <key STRING, value ValueType>
union dengan dua jenis, yaitu null dan jenis Type lainnya NULLABLE Type
union lainnya Tidak dapat dipetakan
fixed BYTES, NUMERIC, atau BIGNUMERIC
enum INTEGER

Jenis logika Avro

Jenis Logika Avro Jenis Data BigQuery
timestamp-micros TIMESTAMP
date DATE
time-micros TIME
duration INTERVAL

Jenis Buffering Protokol

Jenis Buffering Protokol Jenis Data BigQuery
double FLOAT64, NUMERIC, atau BIGNUMERIC
float FLOAT64, NUMERIC, atau BIGNUMERIC
int32 INTEGER, NUMERIC, BIGNUMERIC, atau DATE
int64 INTEGER, NUMERIC, BIGNUMERIC, DATE, DATETIME, atau TIMESTAMP
uint32 INTEGER, NUMERIC, BIGNUMERIC, atau DATE
uint64 NUMERIC atau BIGNUMERIC
sint32 INTEGER, NUMERIC, atau BIGNUMERIC
sint64 INTEGER, NUMERIC, BIGNUMERIC, DATE, DATETIME, atau TIMESTAMP
fixed32 INTEGER, NUMERIC, BIGNUMERIC, atau DATE
fixed64 NUMERIC atau BIGNUMERIC
sfixed32 INTEGER, NUMERIC, BIGNUMERIC, atau DATE
sfixed64 INTEGER, NUMERIC, BIGNUMERIC, DATE, DATETIME, atau TIMESTAMP
bool BOOLEAN
string STRING, JSON, TIMESTAMP, DATETIME, DATE, TIME, NUMERIC, atau BIGNUMERIC
bytes BYTES, NUMERIC, atau BIGNUMERIC
enum INTEGER
message RECORD/STRUCT
oneof Tidak dapat dipetakan
map<KeyType, ValueType> REPEATED RECORD<key KeyType, value ValueType>
enum INTEGER
repeated/array of Type REPEATED Type

Representasi bilangan bulat tanggal dan waktu

Saat memetakan dari bilangan bulat ke salah satu jenis tanggal atau waktu, angka harus mewakili nilai yang benar. Berikut adalah pemetaan dari jenis data BigQuery ke bilangan bulat yang mewakilinya.

Jenis Data BigQuery Representasi Bilangan Bulat
DATE Jumlah hari sejak epoch Unix, 1 Januari 1970
DATETIME Tanggal dan waktu dalam mikrodetik yang dinyatakan sebagai waktu sipil menggunakan CivilTimeEncoder
TIME Waktu dalam mikrodetik yang dinyatakan sebagai waktu sipil menggunakan CivilTimeEncoder
TIMESTAMP Jumlah mikrodetik sejak epoch Unix, 1 Januari 1970 00:00:00 UTC

Pengambilan data perubahan BigQuery

Langganan BigQuery mendukung pembaruan pengambilan data perubahan (CDC) saat use_topic_schema atau use_table_schema ditetapkan ke true di properti langganan. Untuk menggunakan fitur ini dengan use_topic_schema, tetapkan skema topik dengan kolom berikut:

  • _CHANGE_TYPE (wajib diisi): Kolom string ditetapkan ke UPSERT atau DELETE.

    • Jika pesan Pub/Sub yang ditulis ke tabel BigQuery memiliki _CHANGE_TYPE yang ditetapkan ke UPSERT, BigQuery akan memperbarui baris dengan kunci yang sama jika ada, atau menyisipkan baris baru jika belum.

    • Jika pesan Pub/Sub yang ditulis ke tabel BigQuery memiliki _CHANGE_TYPE yang ditetapkan ke DELETE, BigQuery akan menghapus baris dalam tabel dengan kunci yang sama jika ada.

  • _CHANGE_SEQUENCE_NUMBER (opsional): Kolom int64 (long) atau int32 (int) ditetapkan untuk memastikan bahwa pembaruan dan penghapusan yang dilakukan pada tabel BigQuery diproses secara berurutan. Pesan untuk kunci baris yang sama harus berisi nilai yang meningkat secara monoton untuk _CHANGE_SEQUENCE_NUMBER. Pesan dengan nomor urut yang lebih kecil dari nomor urut tertinggi yang diproses untuk satu baris tidak akan berpengaruh pada baris dalam tabel BigQuery.

Untuk menggunakan fitur ini dengan use_table_schema, sertakan kolom sebelumnya dalam pesan JSON.

Izin akun layanan Pub/Sub

Untuk membuat langganan BigQuery, akun layanan Pub/Sub harus memiliki izin untuk menulis ke tabel BigQuery tertentu dan membaca metadata tabel. Untuk mengetahui informasi selengkapnya, lihat Menetapkan peran BigQuery ke akun layanan Pub/Sub.

Menangani kegagalan pesan

Jika pesan Pub/Sub tidak dapat ditulis ke BigQuery, pesan tersebut tidak dapat dikonfirmasi. Untuk meneruskan pesan yang tidak terkirim tersebut, konfigurasikan topik yang dihentikan pengirimannya pada langganan BigQuery. Pesan Pub/Sub yang diteruskan ke topik yang dihentikan pengirimannya berisi atribut CloudPubSubDeadLetterSourceDeliveryErrorMessage yang memiliki alasan bahwa pesan Pub/Sub tidak dapat ditulis ke BigQuery.

Kuota dan batas

Ada batasan kuota pada throughput pelanggan BigQuery per region. Untuk mengetahui informasi selengkapnya, lihat kuota dan batas Pub/Sub.

Langganan BigQuery menulis data menggunakan BigQuery Storage Write API. Untuk mengetahui informasi tentang kuota dan batas untuk Storage Write API, lihat Permintaan BigQuery Storage Write API. Langganan BigQuery hanya menggunakan kuota throughput untuk Storage Write API. Anda dapat mengabaikan pertimbangan kuota Storage Write API lainnya dalam instance ini.

Harga

Untuk mengetahui harga langganan BigQuery, lihat halaman harga Pub/Sub.

Langkah selanjutnya