Dataform dapat menjalankan operasi SQL kustom yang tidak sesuai dengan model Dataform seperti memublikasikan tabel atau menulis pernyataan. Anda dapat menentukan perintah SQL kustom untuk Dataform yang akan dijalankan di BigQuery.
Sebelum memulai
Di konsol Google Cloud, buka halaman Dataform.
Pilih atau buat repositori.
Pilih atau buat ruang kerja pengembangan.
Peran yang diperlukan
Untuk mendapatkan izin yang diperlukan dalam menentukan operasi SQL kustom,
minta administrator untuk memberi Anda
peran IAM Dataform Editor (roles/dataform.editor
) di ruang kerja.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Membuat file untuk definisi operasi kustom
Simpan file SQLX definisi operasi kustom di direktori definitions/
.
Untuk membuat file SQLX baru di direktori definitions/
, ikuti langkah-langkah berikut:
- Buka ruang kerja pengembangan Anda.
- Di panel Files, di samping
definitions/
, klik menu More. - Klik Create file.
Di kolom Add a file path, masukkan nama file, diikuti dengan
.sqlx
setelahdefinitions/
. Contohnya,definitions/sample-operation.sqlx
Nama file hanya boleh berisi angka, huruf, tanda hubung, dan garis bawah.
Klik Create file.
Menentukan operasi SQL kustom
Anda dapat menentukan operasi SQL kustom dalam file SQLX type: operations
.
Anda dapat menulis pernyataan SQL BigQuery apa pun dalam file operations
.
Dataform menjalankan operasi SQL kustom Anda di BigQuery tanpa modifikasi.
Anda dapat menentukan beberapa operasi SQL kustom dalam satu file SQLX.
BigQuery menjalankan semua operasi dalam file dalam konteks yang sama, dan membuat SQL yang dijalankan dengan menggabungkan semua operasi menggunakan titik koma ;
.
Untuk menentukan beberapa operasi SQL kustom saat menggunakan framework
Dataform open source
dengan data warehouse selain BigQuery,
pisahkan operasi dengan ---
.
Untuk menentukan operasi SQL kustom dalam file SQLX khusus, ikuti langkah-langkah berikut:
- Di ruang kerja pengembangan Anda, pilih file SQLX untuk definisi operasi kustom.
Dalam file tersebut, masukkan cuplikan kode berikut:
config { type: "operations" }
Di luar blok
config
, tulis operasi SQL Anda.Opsional: Klik Format.
Contoh kode berikut menunjukkan beberapa operasi SQL kustom yang ditentukan dalam
file operations
:
config { type: "operations" }
DELETE FROM dataset.table WHERE country = 'GB';
DELETE FROM dataset.table WHERE country = 'FR';
Contoh kode berikut menunjukkan operasi SQL kustom yang membuat tampilan secara manual:
config { type: "operations" }
CREATE OR REPLACE VIEW dataset.table AS (SELECT 1 AS TEST)
Membuat tabel output yang dapat direferensikan
Anda dapat membuat tabel secara manual dalam operasi SQL kustom yang dapat direferensikan di skrip lain. Untuk membuat tabel yang tersedia untuk skrip lain, Anda harus mendeklarasikan bahwa operasi memiliki output.
Agar nama tabel output cocok dengan nama file operations
,
Anda dapat menggunakan fungsi self
dalam operasi CREATE
.
Untuk membuat tabel dalam operasi kustom dan menyediakannya untuk skrip lain, ikuti langkah-langkah berikut:
- Di ruang kerja pengembangan Anda, pilih file SQLX untuk definisi operasi kustom.
Di file SQLX, masukkan cuplikan kode berikut:
config { type: "operations", hasOutput: true }
Opsional: Untuk mencocokkan nama tabel output dengan nama file, tulis operasi
CREATE
SQL dengan fungsiself
dalam format berikut:CREATE OR REPLACE TABLE ${self()} AS (CUSTOM_SQL_QUERY)
Ganti CUSTOM_SQL_QUERY dengan pernyataan SQL definisi tabel
SELECT
Anda.Opsional: Klik Format.
Mereferensikan tabel output operasi SQL kustom
- Untuk mereferensikan tabel output operasi SQL kustom dalam definisi SQLX
tabel yang berbeda, masukkan nama file tabel output dalam fungsi
ref
.
Contoh kode berikut menunjukkan operasi SQL kustom dalam
file custom_SQL_operation_table.sqlx
yang membuat tabel dapat direferensikan
bernama custom_SQL_operation_table
:
// filename is custom_SQL_operation_table.sqlx
config {
type: "operations",
hasOutput: true
}
CREATE OR REPLACE VIEW ${self()} AS (SELECT 1 AS TEST)
Contoh kode berikut menunjukkan referensi
custom\_SQL\_operation\_table table
dalam file SQLX definisi tabel:
config { type: "table" }
SELECT * FROM ${ref("custom_SQL_operation_table")}
Membuat tabel kosong
Sebaiknya buat tabel kosong agar layanan yang berbeda dapat
mengisinya dengan data. Anda dapat membuat tabel kosong dalam operasi SQL kustom
dengan fungsi CREATE TABLE
. Agar dapat mereferensikan tabel kosong dalam
definisi objek alur kerja SQL lainnya, misalnya tabel dan tampilan, Anda dapat
menambahkan properti hasOutput:true
ke blok config
dari operasi tabel kosong.
- Untuk membuat tabel kosong, gunakan fungsi
CREATE TABLE
di filetype: "operations"
dalam format berikut:
config {
type: "operations",
hasOutput: true // optional, lets you reference the empty table
}
CREATE TABLE ${self()} (
)
Contoh kode berikut menunjukkan operasi SQL kustom yang membuat tabel kosong dengan bilangan bulat dan kolom string. Tabel kosong yang dibuat tidak dapat direferensikan oleh objek alur kerja SQL lainnya:
config {
type: "operations"
}
CREATE TABLE ${self()} (
x INT64,
y STRING
)
Langkah selanjutnya
- Untuk mempelajari cara membuat operasi SQL kustom dengan JavaScript, lihat Membuat alur kerja SQL dengan JavaScript.
- Untuk mempelajari cara memicu eksekusi secara manual, lihat Memicu eksekusi.
- Untuk mempelajari cara menggunakan DML BigQuery, lihat Menggunakan bahasa manipulasi data (DML).
- Untuk mempelajari lebih lanjut fungsi
self
dan fungsi bawaan Dataform lainnya, lihat Dataform API.