Dokumen ini menunjukkan cara mengonfigurasi setelan tabel tambahan dalam file definisi tabel. Dengan Dataform core, Anda dapat menentukan pre_operations
dan post_operations
untuk menjalankan pernyataan SQL sebelum atau setelah pembuatan tabel. Anda juga dapat mengganti setelan tabel, seperti database
atau schema
, dan menonaktifkan pembuatan tabel.
Sebelum memulai
Di konsol Google Cloud, buka halaman Dataform.
Pilih atau buat repositori.
Pilih atau buat ruang kerja pengembangan.
Peran yang diperlukan
Untuk mendapatkan izin yang diperlukan untuk mengonfigurasi setelan tabel tambahan,
minta administrator untuk memberi Anda peran IAM
Dataform Editor (roles/dataform.editor
) di ruang kerja.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Mengganti setelan tabel
Anda dapat mengganti skema, database, dan nama tabel yang dipilih.
Secara default, tabel mengikuti skema dan konfigurasi database yang Anda tetapkan di
dataform.json
. Nama tabel sama dengan nama file SQLX definisi tabel.
Untuk mengganti skema dan nama tabel yang dipilih, ikuti langkah-langkah berikut:
Buka ruang kerja pengembangan Anda.
Di panel Files, luaskan
definitions/
.Buka file definisi tabel SQLX.
Di blok
config
, masukkan cuplikan kode berikut:{ schema: "OVERRIDDEN_SCHEMA", database: "OVERRIDDEN_DATABASE", name: "OVERRIDDEN_NAME" }
Ganti kode berikut:
OVERRIDDEN_SCHEMA
: set data BigQuery tempat Anda ingin membuat tabelOVERRIDDEN_DATABASE
: ID project BigQuery tempat Anda ingin membuat tabelOVERRIDDEN_NAME
: nama untuk tabel, berbeda dengan nama file definisi tabel SQLX
Opsional: Klik Format.
Mereferensikan tabel dengan nama tabel yang diganti
- Untuk mereferensikan tabel dengan nama tabel yang diganti, dalam fungsi
ref
, masukkan nama tabel yang diganti diname: ""
.
Contoh kode berikut merujuk ke tabel dengan nama yang diganti ke
overridden_name
:
SELECT * FROM ${ref("overridden_name")}
Menentukan pernyataan SQL yang akan dijalankan sebelum pembuatan tabel
Anda dapat mengonfigurasi Dataform untuk mengeksekusi satu atau beberapa pernyataan SQL sebelum membuat tabel yang dipilih di BigQuery. Untuk menjalankan pernyataan SQL sebelum Dataform membuat tabel yang dipilih, tambahkan pernyataan Anda ke blok pre_operations
dalam file SQLX definisi tabel.
Untuk membuat pernyataan SQL kustom yang dijalankan sebelum Dataform membuat tabel tertentu, ikuti langkah-langkah berikut:
Buka ruang kerja pengembangan Anda.
Di panel Files, luaskan
definitions/
.Buka file definisi tabel SQLX.
Di luar blok
config
, masukkanpre_operations { ... }
.Dalam
pre_operations { ... }
, tambahkan pernyataan SQL Anda.Opsional: Untuk menambahkan beberapa pernyataan, pisahkan dengan
---
.Opsional: Klik Format.
Contoh kode berikut menunjukkan pernyataan pre_operations
yang membuat
fungsi sementara yang dapat digunakan dalam pernyataan select:
pre_operations {
CREATE TEMP FUNCTION AddFourAndDivide(x INT64, y INT64)
RETURNS FLOAT64
AS ((x + 4) / y);
}
Mendefinisikan pernyataan SQL yang akan dijalankan setelah pembuatan tabel
Anda dapat mengonfigurasi Dataform untuk mengeksekusi satu atau beberapa pernyataan SQL setelah membuat tabel yang dipilih di BigQuery. Untuk menjalankan pernyataan SQL
setelah Dataform membuat tabel yang dipilih, tambahkan pernyataan Anda ke
blok post_operations
dalam file SQLX definisi tabel. Anda dapat menambahkan
beberapa pernyataan SQL ke blok post_operations
.
Untuk membuat pernyataan SQL kustom yang dijalankan setelah Dataform membuat tabel tertentu, ikuti langkah-langkah berikut:
Buka ruang kerja pengembangan Anda.
Di panel Files, luaskan
definitions/
.Buka file definisi tabel SQLX.
Di luar blok
config
, masukkanpost_operations { ... }
.Dalam
post_operations { ... }
, tambahkan pernyataan SQL Anda.Opsional: Klik Format.
Contoh kode berikut menunjukkan pernyataan post_operations
yang memberikan akses
ke tabel yang dibuat kepada grup:
post_operations {
GRANT SELECT ON ${self()} TO GROUP "allusers@example.com";
GRANT SELECT ON ${self()} TO GROUP "otherusers@example.com";
}
Nonaktifkan pembuatan tabel
Agar Dataform tidak lagi membuat tabel yang dipilih di BigQuery, Anda dapat menonaktifkan tabel dalam file definisi tabel SQLX-nya. Dataform menyimpan tabel yang dinonaktifkan dalam grafik dependensi, tetapi tidak mengompilasi dan membuatnya. Hal ini dapat berguna, misalnya, jika tabel gagal dan Anda tidak ingin seluruh alur kerja Anda gagal saat Anda memperbaiki masalah tersebut.
Untuk menonaktifkan tabel, ikuti langkah-langkah berikut:
Buka ruang kerja pengembangan Anda.
Di panel Files, luaskan
definitions/
.Pilih file definisi tabel SQLX.
Di blok
config
file, masukkandisabled: true
.Opsional: Klik Format.
Contoh kode berikut menampilkan tabel yang dinonaktifkan:
config {
type: "table",
disabled: true
}
select * from ${ref("source_data")}
Langkah selanjutnya
Untuk mempelajari cara mengonfigurasi setelan Dataform di
dataform.json
, lihat Mengonfigurasi setelan Dataform.Untuk mempelajari cara menguji data tabel dengan pernyataan, lihat Menguji tabel dengan pernyataan.
Untuk mempelajari cara menggunakan kembali kode dengan include, lihat Menggunakan kembali variabel dan fungsi dengan include.
Untuk mempelajari cara memicu eksekusi secara manual, lihat Memicu eksekusi.