Membuat replika tampilan terwujud

Dokumen ini menjelaskan cara membuat replika tampilan terwujud di BigQuery. Replika tampilan terwujud adalah replikasi data Amazon Simple Storage Service (Amazon S3), Apache Iceberg, atau Salesforce Data Cloud eksternal dalam set data BigQuery sehingga data tersedia secara lokal di BigQuery, yang dapat membantu Anda menghindari biaya keluar data dan meningkatkan performa kueri.

Sebelum memulai

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Pastikan Anda memiliki izin Identity and Access Management (IAM) yang diperlukan untuk melakukan tugas dalam dokumen ini.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk melakukan tugas dalam dokumen ini, minta administrator untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk melakukan tugas dalam dokumen ini. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk melakukan tugas dalam dokumen ini:

  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.replicateData
  • bigquery.jobs.create

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang IAM BigQuery, lihat Pengantar IAM di BigQuery.

Menyiapkan set data untuk replika tampilan terwujud

Sebelum membuat replika tampilan yang diwujudkan, Anda harus menyelesaikan tugas-tugas berikut:

  1. Membuat set data di region yang mendukung Amazon S3
  2. Buat tabel sumber di set data yang Anda buat pada langkah sebelumnya. Tabel sumber dapat berupa salah satu jenis tabel berikut:

Membuat replika tampilan terwujud

Pilih salah satu opsi berikut:

Konsol

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, buka project dan set data tempat Anda ingin membuat replika tampilan yang diwujudkan, lalu klik View actions > Create table.

  3. Di bagian Source pada dialog Create table, lakukan hal berikut:

    1. Untuk Create table from, pilih Existing table/view.
    2. Untuk Project, masukkan project tempat tabel atau tampilan sumber berada.
    3. Untuk Set data, masukkan set data tempat tabel atau tampilan sumber berada.
    4. Untuk View, masukkan tabel atau tampilan sumber yang Anda replikasikan. Jika Anda memilih tampilan, tampilan tersebut harus berupa tampilan yang diotorisasi, atau jika tidak, semua tabel yang digunakan untuk membuat tampilan tersebut harus berada dalam set data tampilan.

  4. Opsional: Untuk Max staleness tampilan terwujud lokal, masukkan nilai max_staleness untuk tampilan terwujud lokal Anda.

  5. Di bagian Destination pada dialog Create table, lakukan hal berikut:

    1. Untuk Project, masukkan project tempat Anda ingin membuat replika tampilan terwujud.
    2. Untuk Set data, masukkan set data tempat Anda ingin membuat replika tampilan terwujud.
    3. Untuk Nama tampilan terwujud replika, masukkan nama untuk replika Anda.

  6. Opsional: Tentukan tag dan opsi lanjutan untuk replika tampilan yang diwujudkan. Jika Anda tidak menentukan set data untuk Set Data Tampilan Materialisasi Lokal, set data akan otomatis dibuat di project dan region yang sama dengan data sumber dan diberi nama bq_auto_generated_local_mv_dataset. Jika Anda tidak menentukan nama untuk Nama Tampilan Materialisasi Lokal, nama tersebut akan otomatis dibuat di project dan region yang sama dengan data sumber dan diberi awalan bq_auto_generated_local_mv_.

  7. Klik Create table.

Tampilan terwujud lokal baru dibuat (jika tidak ditentukan) dan diotorisasi di set data sumber. Kemudian, replika tampilan terwujud dibuat di set data tujuan.

SQL

  1. Buat tampilan terwujud di atas tabel dasar dalam set data yang Anda buat. Anda juga dapat membuat tampilan terwujud dalam set data lain yang berada di region Amazon S3.
  2. Otorisasi tampilan terwujud pada set data yang berisi tabel sumber yang digunakan dalam kueri yang membuat tampilan terwujud.
  3. Jika Anda mengonfigurasi pembaruan cache metadata manual untuk tabel sumber, jalankan prosedur sistem BQ.REFRESH_EXTERNAL_METADATA_CACHE untuk memuat ulang cache metadata.
  4. Jalankan prosedur sistem BQ.REFRESH_MATERIALIZED_VIEW untuk memuat ulang tampilan terwujud.

  5. Buat replika tampilan terwujud menggunakan pernyataan CREATE MATERIALIZED VIEW AS REPLICA OF:

    CREATE MATERIALIZED VIEW PROJECT_ID.BQ_DATASET.REPLICA_NAME
OPTIONS(replication_interval_seconds=REPLICATION_INTERVAL)
AS REPLICA OF PROJECT_ID.S3_DATASET.MATERIALIZED_VIEW_NAME;

    Ganti kode berikut:

    • PROJECT_ID: nama project tempat Anda ingin membuat replika tampilan terwujud—misalnya, myproject.
    • BQ_DATASET: nama set data BigQuery tempat Anda ingin membuat replika tampilan yang diwujudkan—misalnya, bq_dataset. Set data harus berada di region BigQuery yang dipetakan ke region tampilan yang diwujudkan sumber.
    • REPLICA_NAME: nama replika tampilan terwujud yang ingin Anda buat—misalnya, my_mv_replica.
    • REPLICATION_INTERVAL: menentukan frekuensi replika data dari tampilan terwujud sumber ke replika, dalam detik. Harus berupa nilai antara 60 dan 3.600, inklusif. Defaultnya adalah 300 (5 menit).
    • S3_DATASET: nama set data yang berisi tampilan terwujud sumber—misalnya, s3_dataset.
    • MATERIALIZED_VIEW_NAME: nama tampilan terwujud yang akan direplikasi—misalnya, my_mv.

    Contoh berikut membuat replika tampilan terwujud bernama mv_replica di bq_dataset:

    CREATE MATERIALIZED VIEW `myproject.bq_dataset.mv_replica`
OPTIONS(
replication_interval_seconds=600
)
AS REPLICA OF `myproject.s3_dataset.my_s3_mv`

Setelah Anda membuat replika tampilan terwujud, proses replikasi akan melakukan polling tampilan terwujud sumber untuk mengetahui perubahan dan mereplikasi data ke replika tampilan terwujud, yang memuat ulang data pada interval yang Anda tentukan di opsi replication_interval_seconds atau max_staleness. Jika Anda membuat kueri replika sebelum pengisian ulang pertama selesai, Anda akan mendapatkan error backfill in progress. Anda dapat membuat kueri data di replika tampilan terwujud setelah replikasi pertama selesai.