Menambahkan operasi SQL kustom

Dokumen ini menunjukkan cara menentukan operasi SQL kustom dalam file SQLX khusus.

Dataform dapat menjalankan operasi SQL kustom yang tidak sesuai dengan model Dataform untuk memublikasikan tabel atau menulis pernyataan. Anda dapat menentukan perintah SQL kustom untuk dijalankan Dataform di BigQuery.

Sebelum memulai

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka halaman Dataform

  2. Pilih atau buat repositori.

  3. Pilih atau buat ruang kerja pengembangan.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna menentukan operasi SQL kustom, minta administrator untuk memberi Anda peran IAM Dataform Editor (roles/dataform.editor) di ruang kerja. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat file untuk definisi operasi kustom

Simpan file SQLX definisi operasi kustom di direktori definitions/. Untuk membuat file SQLX baru di direktori definitions/, ikuti langkah-langkah berikut:

  1. Buka ruang kerja pengembangan Anda.
  2. Di panel Files, di samping definitions/, klik menu More.
  3. Klik Create file.

  4. Di kolom Add a file path, masukkan nama file, diikuti dengan .sqlx setelah definitions/. Contohnya, definitions/sample-operation.sqlx

    Nama file hanya boleh berisi angka, huruf, tanda hubung, dan garis bawah.

  5. Klik Create file.

Menentukan operasi SQL kustom

Anda dapat menentukan operasi SQL kustom dalam file SQLX type: operations. Anda dapat menulis pernyataan SQL BigQuery dalam file operations. Dataform menjalankan operasi SQL kustom Anda di BigQuery tanpa modifikasi.

Anda dapat menentukan beberapa operasi SQL kustom dalam satu file SQLX. BigQuery menjalankan semua operasi dalam file dalam konteks yang sama, dan membuat SQL yang dieksekusi dengan menggabungkan semua operasi dengan titik koma ;.

Untuk menentukan beberapa operasi SQL kustom saat menggunakan framework Dataform open source dengan data warehouse selain BigQuery, pisahkan operasi dengan ---.

Untuk menentukan operasi SQL kustom dalam file SQLX khusus, ikuti langkah-langkah berikut:

  1. Di ruang kerja pengembangan, pilih file SQLX untuk definisi operasi kustom.

  2. Di file tersebut, masukkan cuplikan kode berikut:

    config { type: "operations" }

  3. Di luar blok config, tulis operasi SQL Anda.

  4. Opsional: Klik Format.

Contoh kode berikut menunjukkan beberapa operasi SQL kustom yang ditentukan dalam file operations:

config { type: "operations" }

DELETE FROM dataset.table WHERE country = 'GB';

DELETE FROM dataset.table WHERE country = 'FR';

Contoh kode berikut menunjukkan operasi SQL kustom yang membuat tampilan secara manual:

config { type: "operations" }
CREATE OR REPLACE VIEW dataset.table AS (SELECT 1 AS TEST)

Membuat tabel output yang dapat dirujuk

Anda dapat membuat tabel secara manual dalam operasi SQL kustom yang dapat Anda referensikan dalam skrip lain. Untuk membuat tabel yang tersedia untuk skrip lain, Anda harus mendeklarasikan bahwa operasi memiliki output.

Agar nama tabel output cocok dengan nama file operations, Anda dapat menggunakan fungsi self dalam operasi CREATE.

Untuk membuat tabel dalam operasi kustom dan membuatnya tersedia untuk skrip lain, ikuti langkah-langkah berikut:

  1. Di ruang kerja pengembangan, pilih file SQLX untuk definisi operasi kustom.

  2. Di file SQLX, masukkan cuplikan kode berikut:

    config {
 type: "operations",
 hasOutput: true
 }

  3. Opsional: Untuk mencocokkan nama tabel output dengan nama file, tulis operasi CREATE SQL dengan fungsi self dalam format berikut:

    CREATE OR REPLACE TABLE ${self()} AS (CUSTOM_SQL_QUERY)

    Ganti CUSTOM_SQL_QUERY dengan pernyataan SELECT SQL definisi tabel Anda.

  4. Opsional: Klik Format.

Mereferensikan tabel output operasi SQL kustom

  • Untuk mereferensikan tabel output operasi SQL kustom dalam definisi SQLX untuk tabel yang berbeda, masukkan nama file tabel output dalam fungsi ref.

Contoh kode berikut menunjukkan operasi SQL kustom dalam file custom_SQL_operation_table.sqlx yang membuat tabel yang dapat dirujuk yang disebut custom_SQL_operation_table:

// filename is custom_SQL_operation_table.sqlx
config {
type: "operations",
hasOutput: true
}
CREATE OR REPLACE VIEW ${self()} AS (SELECT 1 AS TEST)

Contoh kode berikut menunjukkan referensi custom\_SQL\_operation\_table table dalam file SQLX definisi tabel:

config { type: "table" }
SELECT * FROM ${ref("custom_SQL_operation_table")}

Membuat tabel kosong

Anda mungkin ingin membuat tabel kosong agar layanan lain dapat mengisinya dengan data. Anda dapat membuat tabel kosong dalam operasi SQL kustom dengan fungsi CREATE TABLE. Agar dapat mereferensikan tabel kosong dalam definisi objek alur kerja SQL lainnya, misalnya, tabel dan tampilan, Anda dapat menambahkan properti hasOutput:true ke blok config dari operasi tabel kosong.

  • Untuk membuat tabel kosong, gunakan fungsi CREATE TABLE dalam file type: "operations" dalam format berikut:
config {
  type: "operations",
  hasOutput: true  // optional, lets you reference the empty table
}

CREATE TABLE ${self()} (

)

Contoh kode berikut menunjukkan operasi SQL kustom yang membuat tabel kosong dengan kolom bilangan bulat dan string. Tabel kosong yang dibuat tidak dapat direferensikan oleh objek alur kerja SQL lainnya:

config {
  type: "operations"
}

CREATE TABLE ${self()} (
  x INT64,
  y STRING
)

Langkah selanjutnya