Mendeklarasikan sumber data

Dokumen ini menunjukkan cara mendeklarasikan sumber data BigQuery dengan inti Dataform.

Anda dapat mendeklarasikan jenis tabel BigQuery sebagai sumber data di Dataform. Dengan mendeklarasikan sumber data BigQuery yang bersifat eksternal terhadap Dataform, Anda dapat memperlakukan sumber data tersebut sebagai objek Dataform.

Mendeklarasikan sumber data bersifat opsional, tetapi dapat berguna saat Anda ingin melakukan hal berikut:

  • Mereferensikan atau me-resolve sumber yang dideklarasikan dengan cara yang sama seperti tabel lainnya di Dataform.
  • Lihat sumber yang dideklarasikan dalam grafik Dataform yang divisualisasi.
  • Gunakan Dataform untuk mengelola deskripsi tingkat tabel dan tingkat kolom dari tabel yang dibuat secara eksternal.
  • Memicu pemanggilan alur kerja yang menyertakan semua dependen sumber data eksternal.

Anda dapat mendeklarasikan sumber data menggunakan file JavaScript atau SQLX. Dalam file JavaScript, Anda dapat mendeklarasikan beberapa sumber data per file. Dalam file SQLX, Anda dapat mendeklarasikan satu sumber data per file.

Sebelum memulai

Sebelum mendeklarasikan sumber data, buat dan lakukan inisialisasi ruang kerja pengembangan di repositori Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna mendeklarasikan sumber data, minta administrator untuk memberi Anda peran IAM Dataform Editor (roles/dataform.editor) di ruang kerja. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat file JavaScript untuk beberapa deklarasi sumber data

Simpan file JavaScript untuk deklarasi sumber data di direktori definitions/. Untuk membuat file JavaScript baru di direktori definitions/, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka halaman Dataform

  2. Pilih repositori.

  3. Pilih ruang kerja pengembangan.

  4. Di panel Files, di samping definitions/, klik menu More.

  5. Klik Create file.

  6. Di panel Create new file, lakukan hal berikut:

    1. Di kolom Add a file path, setelah definitions/, masukkan nama file diikuti dengan .js. Contoh, definitions/declarations.js.

      Nama file hanya boleh berisi angka, huruf, tanda hubung, dan garis bawah.

    2. Klik Create file.

Menambahkan deklarasi ke file JavaScript

Anda dapat mendeklarasikan beberapa sumber data per file JavaScript. Untuk menambahkan deklarasi baru, ikuti langkah-langkah berikut:

  1. Di ruang kerja pengembangan, di panel Files, klik file JavaScript Anda untuk deklarasi sumber data.

  2. Dalam file, untuk setiap sumber data, tambahkan cuplikan kode berikut:

    declaration({
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
})

    Ganti kode berikut:

    • DATABASE: project ID project yang berisi sumber data.
    • SCHEMA: set data BigQuery tempat sumber data berada.
    • NAME: nama tabel atau tampilan yang ingin Anda gunakan sebagai sumber data. Anda nantinya dapat menggunakan nama tersebut untuk mereferensikan sumber data di Dataform.

Membuat file SQLX untuk deklarasi sumber data

Simpan file SQLX untuk deklarasi sumber data di direktori definitions/. Untuk membuat file SQLX baru di direktori definitions/, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka halaman Dataform

  2. Pilih repositori.

  3. Pilih ruang kerja pengembangan.

  4. Di panel Files, di samping definitions/, klik menu More.

  5. Klik Create file.

  6. Di panel Create new file, lakukan hal berikut:

    1. Di kolom Add a file path, setelah definitions/, masukkan nama file diikuti dengan .sqlx. Contoh, definitions/dataset-declaration.sqlx.

      Nama file hanya boleh berisi angka, huruf, tanda hubung, dan garis bawah.

    2. Klik Create file.

Mendeklarasikan sumber data

Anda dapat mendeklarasikan satu sumber data per file deklarasi SQLX. Untuk mendeklarasikan sumber data di blok konfigurasi file SQLX, ikuti langkah-langkah berikut:

  1. Di ruang kerja pengembangan, di panel Files, klik file SQLX untuk deklarasi sumber data.

  2. Di file tersebut, masukkan cuplikan kode berikut:

    config {
  type: "declaration",
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
}

    Ganti kode berikut:

    • DATABASE: project ID project yang berisi sumber data.
    • SCHEMA: set data BigQuery tempat sumber data berada.
    • NAME: nama tabel atau tampilan yang ingin Anda gunakan sebagai sumber data. Anda nantinya dapat menggunakan nama tersebut untuk mereferensikan sumber data di Dataform.

  3. Opsional: Klik Format.

Contoh kode berikut menunjukkan contoh deklarasi tabel shakespeare dalam set data samples dari project bigquery-public-data sebagai sumber data:

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

Langkah selanjutnya