Membuat replika tampilan terwujud

Dokumen ini menjelaskan cara membuat replika tampilan terwujud di BigQuery. Anda dapat menggunakan replika tampilan terwujud untuk membuat data Amazon Simple Storage Service (Amazon S3) tersedia secara lokal untuk penggabungan.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  4. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  5. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

Izin yang diperlukan

Berikan peran Identity and Access Management (IAM) yang memberi pengguna izin yang diperlukan untuk melakukan setiap tugas dalam dokumen ini.

Untuk membuat replika tampilan terwujud, Anda memerlukan izin IAM berikut:

  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.replicateData
  • bigquery.jobs.create

Setiap peran IAM yang telah ditetapkan berikut menyertakan izin yang Anda perlukan untuk membuat tampilan terwujud:

  • bigquery.dataEditor
  • bigquery.dataOwner
  • bigquery.admin

Untuk mengetahui informasi lebih lanjut tentang Pengelolaan Akses dan Identitas (IAM) BigQuery, lihat Pengantar IAM di BigQuery.

Prasyarat

Sebelum membuat replika tampilan terwujud, Anda harus menyelesaikan tugas berikut:

  1. Buat set data di wilayah yang mendukung Amazon S3.
  2. Buat tabel Amazon S3 BigLake di set data yang Anda buat pada Langkah 1. Aktifkan metadata caching saat membuat tabel.
  3. Buat tampilan terwujud pada tabel Amazon S3 BigLake dalam set data yang Anda buat di Langkah 1. Anda juga dapat membuat tampilan terwujud dalam set data berbeda yang berada di region yang mendukung Amazon S3.
  4. Izinkan tampilan terwujud pada set data yang berisi tabel Amazon S3 BigLake sumber yang digunakan dalam kueri yang membuat tampilan terwujud.
  5. Jika Anda mengonfigurasi pemuatan ulang cache metadata manual untuk tabel Amazon S3 BigLake, jalankan prosedur sistem BQ.REFRESH_EXTERNAL_METADATA_CACHE untuk memuat ulang cache metadata.
  6. Jalankan prosedur sistem BQ.REFRESH_MATERIALIZED_VIEW untuk memuat ulang tampilan terwujud.

Membuat replika tampilan terwujud

Untuk membuat replika tampilan terwujud, gunakan pernyataan CREATE MATERIALIZED VIEW AS REPLICA OF:

CREATE MATERIALIZED VIEW PROJECT_ID.BQ_DATASET.REPLICA_NAME
OPTIONS(replication_interval_seconds=REPLICATION_INTERVAL)
AS REPLICA OF PROJECT_ID.S3_DATASET.MATERIALIZED_VIEW_NAME;

Ganti kode berikut:

  • PROJECT_ID: nama project tempat Anda ingin membuat replika tampilan terwujud—misalnya, myproject.
  • BQ_DATASET: nama set data BigQuery tempat Anda ingin membuat replika tampilan terwujud—misalnya, bq_dataset. Set data harus berada di region BigQuery yang memetakan ke region tampilan terwujud sumber.
  • REPLICA_NAME: nama replika tampilan terwujud yang ingin Anda buat—misalnya, my_mv_replica.
  • REPLICATION_INTERVAL: menentukan frekuensi replikasi data dari tampilan terwujud sumber ke replika, dalam hitungan detik. Harus berupa nilai antara 60 dan 3.600, inklusif. Default-nya adalah 300 (5 menit).
  • S3_DATASET: nama set data yang berisi tampilan terwujud sumber—misalnya, s3_dataset.
  • MATERIALIZED_VIEW_NAME: nama tampilan terwujud yang akan direplikasi—misalnya, my_mv.

Contoh berikut membuat replika tampilan terwujud bernama mv_replica di bq_dataset:

CREATE MATERIALIZED VIEW `myproject.bq_dataset.mv_replica`
OPTIONS(
  replication_interval_seconds=600
)
AS REPLICA OF `myproject.s3_dataset.my_s3_mv`

Setelah Anda membuat replika tampilan terwujud, proses replikasi memeriksa tampilan terwujud sumber untuk perubahan dan mereplikasi data ke replika tampilan terwujud, yang memuat ulang data pada interval yang Anda tentukan dalam opsi replication_interval_seconds. Jika membuat kueri pada replika sebelum pengisian ulang pertama selesai, Anda akan mendapatkan error backfill in progress. Anda dapat membuat kueri data dalam replika tampilan terwujud setelah replikasi pertama selesai.