Membuat penggantian kompilasi ruang kerja

Dokumen ini menunjukkan cara membuat penggantian kompilasi ruang kerja untuk mengisolasi tabel dan tampilan yang dibuat dari ruang kerja Dataform di BigQuery. Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan Dataform yang terisolasi.

Tentang penggantian kompilasi ruang kerja

Saat Anda mengembangkan kode alur kerja SQL di ruang kerja Dataform, Dataform mengompilasi kode di ruang kerja secara real-time untuk membuat hasil kompilasi ruang kerja. Dataform menggunakan setelan yang ditentukan dalam file setelan alur kerja untuk membuat hasil kompilasi ruang kerja. Kemudian, saat Anda memicu eksekusi di ruang kerja, Dataform akan mengeksekusi hasil kompilasi ruang kerja di BigQuery.

Untuk mengganti setelan default yang ditetapkan di setelan alur kerja untuk semua ruang kerja di repositori, Anda dapat membuat penggantian kompilasi ruang kerja.

Dengan penggantian kompilasi ruang kerja, Anda dapat mengganti setelan berikut untuk semua ruang kerja di repositori:

Project
Project Google Cloud tempat Dataform mengeksekusi hasil kompilasi ruang kerja, yang ditetapkan di workflow_settings.yaml sebagai defaultProject atau di dataform.json sebagai defaultDatabase.
Awalan tabel
Awalan kustom ditambahkan ke semua nama tabel di semua ruang kerja dalam repositori.
Akhiran skema

Akhiran kustom yang ditambahkan ke skema tabel yang ditentukan di

Tetapkan sebagai defaultDataset di workflow_settings.yaml, defaultSchema di dataform.json, atau di parameter schema di blok config tabel.

Untuk membuat lingkungan pengembangan terpisah, Anda dapat mengisolasi ruang kerja dengan penggantian kompilasi yang unik. Anda dapat mengubah awalan tabel dan penggantian kompilasi akhiran skema secara dinamis dengan variabel ${workspaceName}.

Saat Anda memicu eksekusi secara manual di ruang kerja, variabel ${workspaceName} akan memasukkan nama ruang kerja ke penggantian kompilasi ruang kerja.

Saat Anda menetapkan ${workspaceName} sebagai awalan tabel, Dataform akan menambahkan nama ruang kerja ke nama semua tabel di ruang kerja. Setelah dieksekusi, di BigQuery, Anda dapat mengidentifikasi ruang kerja asal tabel.

Saat Anda menetapkan ${workspaceName} sebagai akhiran skema, Dataform akan menambahkan nama ruang kerja ke defaultSchema, sehingga membuat skema kustom yang dikhususkan untuk ruang kerja. Setelah eksekusi, di BigQuery, Anda dapat menemukan semua tabel yang dieksekusi dari ruang kerja tertentu dalam skema khusus.

Contoh penggantian kompilasi ruang kerja dinamis

Contoh berikut menunjukkan penggantian kompilasi ruang kerja dinamis yang diterapkan ke repositori yang berisi ruang kerja yang dinamai sesuai developer yang mengerjakan repositori: Sasha dan Kai.

Tujuan penggantian kompilasi ruang kerja dalam contoh ini adalah untuk membuat lingkungan pengembangan yang terisolasi untuk Sasha dan Kai.

Setelan default berikut ditetapkan di workflow_settings.yaml:

  • defaultProject : analytics
  • defaultDataset: dataform

Penggantian kompilasi ruang kerja berikut membuat awalan tabel dan akhiran skema dinamis untuk setiap ruang kerja dalam repositori:

  • ID Project Google Cloud : analytics_dev
  • Awalan tabel: ${workspaceName}
  • Akhiran skema: ${workspaceName}

Saat Sasha memicu eksekusi secara manual di ruang kerja Sasha, Dataform akan mengeksekusi kontennya dengan setelan berikut:

  • Project Google Cloud: analytics_dev
  • schema: dataform_sasha
  • nama tabel: sasha_name, misalnya, sasha_orders.

Saat Kai memicu eksekusi secara manual di ruang kerja Kai, Dataform akan mengeksekusi kontennya dengan setelan berikut:

  • Project Google Cloud: analytics_dev
  • schema: dataform_kai
  • nama tabel: kai_name, misalnya, kai_orders

Sebelum memulai

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka halaman Dataform

  2. Pilih atau buat repositori.

  3. Opsional: Untuk mengganti project Google Cloud default, berikan akses akun layanan Dataform Anda ke project Google Cloud yang ingin Anda gunakan.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna membuat penggantian kompilasi ruang kerja, minta administrator untuk memberi Anda peran IAM Dataform Admin (roles/dataform.admin) di repositori. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat penggantian kompilasi ruang kerja

Untuk membuat penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Setelan.
  2. Klik Edit.
  3. Di panel Penggantian kompilasi Workspace, di kolom Project ID Google Cloud, masukkan ID project Google Cloud.
  4. Di kolom Table prefix, masukkan awalan untuk semua nama tabel.
    1. Opsional: Untuk membuat awalan tabel dinamis yang unik untuk setiap ruang kerja, masukkan ${workspaceName} sebagai awalan tabel.
  5. Di kolom Akhiran skema, masukkan akhiran untuk ditambahkan ke skema tabel atau tampilan yang dibuat.
    1. Opsional: Untuk membuat akhiran skema dinamis yang unik untuk setiap ruang kerja, masukkan ${workspaceName} sebagai akhiran tabel.
  6. Klik Simpan.

Dataform menerapkan penggantian kompilasi ruang kerja ke semua ruang kerja di repositori Anda.

Mengedit penggantian kompilasi ruang kerja

Untuk mengedit penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Setelan.
  2. Klik Edit.
  3. Edit penggantian kompilasi ruang kerja, lalu klik Simpan.

Menghapus penggantian kompilasi ruang kerja

Untuk menghapus penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Setelan.
  2. Klik Edit.
  3. Di panel Workspace compilation overrides, klik Clear all, lalu klik Save.

Langkah selanjutnya

  • Untuk mempelajari cara memicu eksekusi secara manual, lihat Memicu eksekusi.