Tujuan BigQuery

Halaman ini memberikan ringkasan tujuan BigQuery. Dokumen ini menjelaskan perilaku penulisan dan batasan Datastream yang diketahui saat Anda mereplikasi data ke BigQuery.

Perilaku penulisan

  • Ukuran peristiwa maksimum saat Anda melakukan streaming data ke BigQuery adalah 20 MB.

  • Saat mengonfigurasi stream, Anda dapat memilih cara Datastream menulis data perubahan ke BigQuery. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi mode tulis.

Metadata tabel

Datastream menambahkan kolom STRUCT bernama datastream_metadata ke setiap tabel yang ditulis ke tujuan BigQuery.

Mode penulisan penggabungan

Jika tabel memiliki kunci utama di sumber, kolom akan berisi kolom berikut:

  • UUID: Kolom ini memiliki jenis data STRING.
  • SOURCE_TIMESTAMP: Kolom ini memiliki jenis data INTEGER.

Jika tabel tidak memiliki kunci utama, kolom akan berisi kolom tambahan: IS_DELETED. Kolom ini memiliki jenis data BOOLEAN, dan menunjukkan apakah data yang dialirkan Datastream ke tujuan terkait dengan operasi DELETE di sumber. Tabel tanpa kunci utama hanya dapat ditambahkan.

Mode penulisan hanya tambahkan

Kolom datastream_metadata berisi kolom yang sama untuk tabel dengan dan tanpa kunci primer:

  • UUID: Kolom ini memiliki jenis data STRING.
  • SOURCE_TIMESTAMP: Kolom ini memiliki jenis data INTEGER.
  • CHANGE_SEQUENCE_NUMBER: Kolom ini memiliki jenis data STRING. Nomor urut internal yang digunakan oleh Datastream untuk setiap peristiwa perubahan.
  • CHANGE_TYPE: Kolom ini memiliki jenis data STRING. Menunjukkan jenis peristiwa perubahan: INSERT, UPDATE-INSERT, UPDATE-DELETE, atau DELETE.
  • SORT_KEYS: Kolom ini berisi array nilai STRING. Anda dapat menggunakan nilai untuk mengurutkan peristiwa perubahan.

Mengontrol biaya BigQuery

Biaya BigQuery ditagih secara terpisah dari Datastream. Untuk mempelajari cara mengontrol biaya BigQuery, lihat Harga CDC BigQuery.

Batasan umum

Batasan umum untuk menggunakan BigQuery sebagai tujuan meliputi:

  • Anda hanya dapat mereplikasi data ke set data BigQuery yang berada di project yang sama dengan aliran Datastream. Google Cloud
  • Secara default, Datastream tidak mendukung penambahan kunci utama ke tabel yang sudah direplikasi ke BigQuery tanpa kunci utama, atau penghapusan kunci utama dari tabel yang direplikasi ke BigQuery dengan kunci utama. Jika Anda perlu melakukan perubahan tersebut, hubungi Dukungan Google. Untuk mengetahui informasi tentang cara mengubah definisi kunci utama untuk tabel sumber yang sudah memiliki kunci utama, lihat Mendiagnosis masalah.

  • Kunci utama di BigQuery harus berupa jenis data berikut:

    • DATE
    • BOOL
    • GEOGRAPHY
    • INT64
    • NUMERIC
    • BIGNUMERIC
    • STRING
    • TIMESTAMP
    • DATETIME

    Tabel yang berisi kunci utama jenis data yang tidak didukung tidak direplikasi oleh Datastream.

  • BigQuery tidak mendukung nama tabel dengan karakter ., $, /, @, atau +. Datastream mengganti karakter tersebut dengan garis bawah saat membuat tabel tujuan.

    Misalnya, table.name di database sumber menjadi table_name di BigQuery.

    Untuk mengetahui informasi selengkapnya tentang nama tabel di BigQuery, lihat Penamaan tabel.

  • BigQuery tidak mendukung lebih dari empat kolom pengelompokan. Saat mereplikasi tabel dengan lebih dari empat kolom kunci utama, Datastream menggunakan empat kolom kunci utama sebagai kolom pengelompokan.

  • Datastream memetakan literal tanggal dan waktu di luar rentang seperti jenis tanggal tak terbatas PostgreSQL ke nilai berikut:

    • DATE positif ke nilai 9999-12-31
    • DATE negatif ke nilai 0001-01-01
    • TIMESTAMP positif ke nilai 9999-12-31 23:59:59.999000 UTC
    • TIMESTAMP negatif ke nilai 0001-01-01 00:00:00 UTC

  • BigQuery tidak mendukung tabel streaming yang memiliki kunci primer dengan jenis data FLOAT atau REAL. Tabel tersebut tidak direplikasi. Untuk mempelajari lebih lanjut jenis dan rentang tanggal BigQuery, lihat Jenis data.

  • Jika sumber Anda adalah Salesforce, opsi konfigurasi Set data untuk setiap skema tidak didukung.

Langkah berikutnya