Mengonfigurasi setelan Dataform

Halaman ini menunjukkan cara mengedit setelan pemrosesan Dataform untuk repositori tertentu.

Anda mungkin ingin mengedit file setelan untuk mengganti nama skema atau menambahkan variabel kompilasi kustom ke repositori Anda.

Tentang setelan repositori

Setiap repositori Dataform berisi file setelan workflow_settings.yaml yang unik. File ini berisi project ID Google Cloud dan skema di mana Dataform memublikasikan aset di BigQuery.

Dataform menggunakan setelan default yang dapat Anda ganti sesuai kebutuhan dengan mengedit file workflow_settings.yaml.

Contoh kode berikut menunjukkan contoh file workflow_settings.yaml:

  defaultProject: my-gcp-project-id
  defaultDataset: dataform
  defaultLocation: australia-southeast2
  defaultAssertionDataset: dataform_assertions

Dalam kode contoh, key-value pair, dan semua opsi lainnya untuk Setelan Alur Kerja, dijelaskan di referensi konfigurasi untuk setelan alur kerja.

Anda dapat mengakses properti yang ditentukan di workflow_settings.yaml dalam kode project Anda sebagai properti objek dataform.projectConfig. Pemetaan berikut dari opsi workflow_settings.yaml ke opsi kode yang dapat diakses dataform.projectConfig diterapkan:

  • defaultProject => defaultDatabase.
  • defaultDataset => defaultSchema.
  • defaultAssertionDataset => assertionSchema.
  • projectSuffix => databaseSuffix.
  • datasetSuffix => schemaSuffix.
  • namePrefix => tablePrefix.

Untuk mengetahui informasi selengkapnya tentang objek dataform.projectConfig, lihat IProjectConfig Referensi inti Dataform.

Contoh kode berikut menunjukkan objek dataform.projectConfig yang dipanggil dalam pernyataan SELECT dalam tampilan:

  config { type: "view" }
  SELECT ${when(
    !dataform.projectConfig.tablePrefix,
    "table prefix is set!",
    "table prefix is not set!"
  )}

Sebelum memulai

  1. Buat repositori.

  2. Buat dan lakukan inisialisasi ruang kerja pengembangan di repositori Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mengonfigurasi setelan Dataform, minta administrator untuk memberi Anda peran IAM Dataform Admin (roles/dataform.admin) di repositori. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Mengonfigurasi nama skema

Tugas ini menunjukkan cara mengonfigurasi properti defaultDataset dan defaultAssertionSchema dalam file workflow_settings.yaml.

Untuk mengubah nama skema, ikuti langkah-langkah berikut:

  1. Di ruang kerja pengembangan Anda, di panel Files, klik file workflow_settings.yaml.

  2. Edit nilai defaultDataset, defaultAssertionSchema, atau keduanya.

Contoh kode berikut menunjukkan nama defaultDataset kustom dalam file workflow_settings.yaml:

  ...
  defaultDataset: mytables
  ...

Membuat variabel kompilasi kustom

Variabel kompilasi berisi nilai yang dapat Anda ubah dengan penggantian kompilasi di permintaan Dataform API.

Setelah menentukan variabel kompilasi di workflow_settings.yaml dan menambahkannya ke tabel yang dipilih, Anda dapat mengubah nilainya di penggantian kompilasi Dataform API untuk mengeksekusi tabel secara bersyarat.

Untuk membuat variabel kompilasi yang dapat Anda gunakan di seluruh repositori, ikuti langkah-langkah berikut:

  1. Buka ruang kerja pengembangan Dataform Anda.
  2. Di panel Files, pilih file workflow_settings.yaml.

  3. Masukkan cuplikan kode berikut:

    "vars": {
 "YOUR_VARIABLE":"VALUE"
}

    Ganti kode berikut:

    • YOUR_VARIABLE dengan nama untuk variabel.
    • VALUE dengan nilai default variabel kompilasi.

Contoh kode berikut menunjukkan variabel kompilasi myVariableName yang ditetapkan ke myVariableValue dalam file workflow_settings.yaml:

  ...
  vars:
    myVariableName: myVariableValue
  ...

Contoh kode berikut menampilkan file workflow_settings.yaml dengan variabel kompilasi executionSetting yang ditetapkan ke dev:

defaultProject: default_bigquery_database
defaultLocation:us-west1
defaultDataset: dataform_data,
vars:
  executionSetting: dev

Menambahkan variabel kompilasi ke tabel

Untuk menambahkan variabel kompilasi ke file definisi tabel SQLX, ikuti langkah-langkah berikut:

  1. Buka ruang kerja pengembangan Dataform Anda.
  2. Di panel Files, pilih file definisi tabel SQLX.

  3. Dalam file, masukkan klausa when dalam format berikut:

    ${when(dataform.projectConfig.vars.YOUR_VARIABLE === "SET_VALUE", "CONDITION")}

    Ganti kode berikut:

    • YOUR_VARIABLE dengan nama variabel Anda, misalnya executionSetting.
    • SET_VALUE dengan nilai untuk variabel, misalnya, staging.
    • CONDITION dengan kondisi untuk eksekusi tabel.

Contoh kode berikut menunjukkan file SQLX definisi tabel dengan klausa when dan variabel executionSetting yang mengeksekusi 10% data dalam setelan eksekusi staging:

select
  *
from ${ref("data")}
${when(
  dataform.projectConfig.vars.executionSetting === "staging",
  "where mod(farm_fingerprint(id) / 10) = 0",
)}

Contoh kode berikut menunjukkan file SQLX definisi tampilan dengan klausa when dan variabel myVariableName:

  config { type: "view" }
  SELECT ${when(
    dataform.projectConfig.vars.myVariableName === "myVariableValue",
    "myVariableName is set to myVariableValue!",
    "myVariableName is not set to myVariableValue!"
  )}

Langkah selanjutnya