Halaman ini menunjukkan cara mengedit setelan pemrosesan Dataform untuk repositori tertentu.
Anda mungkin ingin mengedit file setelan untuk mengganti nama skema atau menambahkan variabel kompilasi kustom ke repositori Anda.
Tentang setelan repositori
Setiap repositori Dataform berisi file setelan workflow_settings.yaml
yang unik. File ini berisi project ID Google Cloud dan skema di mana Dataform memublikasikan aset di BigQuery.
Dataform menggunakan setelan default yang dapat Anda ganti sesuai kebutuhan dengan mengedit file workflow_settings.yaml
.
Contoh kode berikut menunjukkan contoh file workflow_settings.yaml
:
defaultProject: my-gcp-project-id
defaultDataset: dataform
defaultLocation: australia-southeast2
defaultAssertionDataset: dataform_assertions
Dalam kode contoh, key-value pair, dan semua opsi lainnya untuk Setelan Alur Kerja, dijelaskan di referensi konfigurasi untuk setelan alur kerja.
Anda dapat mengakses properti yang ditentukan di workflow_settings.yaml
dalam kode project Anda sebagai properti objek dataform.projectConfig
. Pemetaan
berikut dari opsi workflow_settings.yaml
ke opsi kode yang dapat diakses
dataform.projectConfig
diterapkan:
defaultProject
=>defaultDatabase
.defaultDataset
=>defaultSchema
.defaultAssertionDataset
=>assertionSchema
.projectSuffix
=>databaseSuffix
.datasetSuffix
=>schemaSuffix
.namePrefix
=>tablePrefix
.
Untuk mengetahui informasi selengkapnya tentang
objek dataform.projectConfig
,
lihat IProjectConfig
Referensi inti Dataform.
Contoh kode berikut menunjukkan objek dataform.projectConfig
yang dipanggil dalam
pernyataan SELECT
dalam tampilan:
config { type: "view" }
SELECT ${when(
!dataform.projectConfig.tablePrefix,
"table prefix is set!",
"table prefix is not set!"
)}
Sebelum memulai
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk mengonfigurasi setelan Dataform,
minta administrator untuk memberi Anda peran IAM
Dataform Admin (roles/dataform.admin
) di repositori.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Mengonfigurasi nama skema
Tugas ini menunjukkan cara mengonfigurasi properti defaultDataset
dan defaultAssertionSchema
dalam file workflow_settings.yaml
.
Untuk mengubah nama skema, ikuti langkah-langkah berikut:
Di ruang kerja pengembangan Anda, di panel Files, klik file
workflow_settings.yaml
.Edit nilai
defaultDataset
,defaultAssertionSchema
, atau keduanya.
Contoh kode berikut menunjukkan nama defaultDataset
kustom dalam
file workflow_settings.yaml
:
...
defaultDataset: mytables
...
Membuat variabel kompilasi kustom
Variabel kompilasi berisi nilai yang dapat Anda ubah dengan penggantian kompilasi di permintaan Dataform API.
Setelah menentukan variabel kompilasi di workflow_settings.yaml
dan menambahkannya ke tabel yang dipilih, Anda dapat mengubah nilainya di
penggantian kompilasi Dataform API untuk mengeksekusi tabel secara bersyarat.
Untuk membuat variabel kompilasi yang dapat Anda gunakan di seluruh repositori, ikuti langkah-langkah berikut:
- Buka ruang kerja pengembangan Dataform Anda.
- Di panel Files, pilih file
workflow_settings.yaml
. Masukkan cuplikan kode berikut:
"vars": { "YOUR_VARIABLE":"VALUE" }
Ganti kode berikut:
- YOUR_VARIABLE dengan nama untuk variabel.
- VALUE dengan nilai default variabel kompilasi.
Contoh kode berikut menunjukkan variabel kompilasi myVariableName
yang ditetapkan
ke myVariableValue
dalam file workflow_settings.yaml
:
...
vars:
myVariableName: myVariableValue
...
Contoh kode berikut menampilkan file workflow_settings.yaml
dengan
variabel kompilasi executionSetting
yang ditetapkan ke dev
:
defaultProject: default_bigquery_database
defaultLocation:us-west1
defaultDataset: dataform_data,
vars:
executionSetting: dev
Menambahkan variabel kompilasi ke tabel
Untuk menambahkan variabel kompilasi ke file definisi tabel SQLX, ikuti langkah-langkah berikut:
- Buka ruang kerja pengembangan Dataform Anda.
- Di panel Files, pilih file definisi tabel SQLX.
Dalam file, masukkan klausa
when
dalam format berikut:${when(dataform.projectConfig.vars.YOUR_VARIABLE === "SET_VALUE", "CONDITION")}
Ganti kode berikut:
- YOUR_VARIABLE dengan nama variabel Anda, misalnya
executionSetting
. - SET_VALUE dengan nilai untuk variabel, misalnya,
staging
. - CONDITION dengan kondisi untuk eksekusi tabel.
- YOUR_VARIABLE dengan nama variabel Anda, misalnya
Contoh kode berikut menunjukkan file SQLX definisi tabel dengan klausa when
dan variabel executionSetting
yang mengeksekusi 10% data dalam
setelan eksekusi staging:
select
*
from ${ref("data")}
${when(
dataform.projectConfig.vars.executionSetting === "staging",
"where mod(farm_fingerprint(id) / 10) = 0",
)}
Contoh kode berikut menunjukkan file SQLX definisi tampilan dengan klausa when
dan variabel myVariableName
:
config { type: "view" }
SELECT ${when(
dataform.projectConfig.vars.myVariableName === "myVariableValue",
"myVariableName is set to myVariableValue!",
"myVariableName is not set to myVariableValue!"
)}
Langkah selanjutnya
Untuk mempelajari setelan project Dataform lebih lanjut, lihat referensi
IProjectConfig
.Untuk mempelajari cara mengontrol versi kode di Dataform, lihat Mengontrol versi kode Anda.
Untuk mempelajari cara menentukan tabel, lihat Membuat tabel.