Dokumen ini menunjukkan cara membuat konfigurasi rilis di Dataform untuk mengonfigurasi template setelan kompilasi, yang dapat Anda jalankan sesuai jadwal. Anda dapat menggunakan konfigurasi rilis untuk mengonfigurasi lingkungan eksekusi, misalnya, staging dan produksi.
Tentang konfigurasi rilis Dataform
Untuk menjalankan alur kerja SQL di BigQuery, Dataform mengompilasi kode alur kerja SQL menjadi hasil kompilasi. Proses ini terjadi secara otomatis saat Anda mengembangkan alur kerja SQL di ruang kerja Dataform.
Konfigurasi rilis memungkinkan Anda menyesuaikan hasil kompilasi. Anda dapat menggunakannya untuk membuat lingkungan eksekusi, misalnya, staging.
Setelan konfigurasi rilis
Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi
setelan dataform.json
, menetapkan variabel kompilasi, dan menetapkan frekuensi
pembuatan hasil kompilasi.
Konfigurasi rilis Dataform berisi setelan kompilasi berikut:
- Setelan rilis
- ID rilis, commit gitish untuk hasil kompilasi, dan frekuensi pembuatan hasil kompilasi. Frekuensi adalah setelan opsional. Jika disetel, frekuensi minimumnya adalah 1 jam.
- Penggantian kompilasi
- Penggantian project Google Cloud, awalan tabel, akhiran skema, dan variabel kompilasi yang ditentukan di
dataform.json
.
Cara kerja konfigurasi rilis
Dataform membuat hasil kompilasi dari konfigurasi rilis pada
frekuensi yang ditentukan, atau saat Anda memicu kompilasi.
Frekuensi adalah setelan opsional dan tidak diperlukan untuk
membuat konfigurasi rilis. Jika disetel, frekuensi minimumnya adalah 1 jam.
Anda dapat
memicu kompilasi secara manual di halaman Detail konfigurasi rilis,
atau memicu kompilasi dengan Dataform API releaseConfigs
.
Selama kompilasi, Dataform mengambil kode dari commitish Git yang ditentukan dari repositori Anda. Kemudian, Dataform mengompilasi kode dengan penggantian kompilasi yang diterapkan (jika ada), dan membuat hasil kompilasi. Hasil kompilasi terbaru yang dibuat untuk konfigurasi rilis adalah hasil kompilasi live.
Anda dapat menjadwalkan eksekusi hasil kompilasi dari konfigurasi rilis di konfigurasi alur kerja. Anda juga dapat menjalankan konfigurasi rilis yang dipilih di luar jadwal apa pun. Selama eksekusi konfigurasi alur kerja, Dataform akan mengeksekusi hasil kompilasi langsung dari konfigurasi rilis yang dipilih.
Sebelum memulai
Di konsol Google Cloud, buka halaman Dataform.
Pilih atau buat repositori.
Opsional: Untuk mengganti project Google Cloud default dalam konfigurasi rilis, beri akun layanan Dataform Anda akses ke project Google Cloud yang akan digunakan.
Peran yang diperlukan
Untuk mendapatkan izin yang diperlukan untuk membuat konfigurasi rilis,
minta administrator untuk memberi Anda
peran IAM Dataform Editor (roles/dataform.editor
) di repositori.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Membuat konfigurasi rilis
Untuk membuat konfigurasi rilis Dataform, ikuti langkah-langkah berikut:
- Di repositori Anda, buka Releases & Scheduling.
- Di bagian Release configurations, klik Create.
Di panel Create release configuration, konfigurasikan setelan rilis.
Di kolom ID Rilis, masukkan ID unik untuk konfigurasi rilis.
ID hanya dapat berisi angka, huruf, tanda hubung, dan garis bawah.
Di kolom Git commitish, masukkan cabang Git atau Git commit SHA untuk rilis.
Dalam repositori Dataform yang tidak terhubung ke repositori jarak jauh, nilainya selalu
main
.Opsional: Di menu drop-down Frequency, pilih frekuensi pembuatan hasil kompilasi.
Jika disetel, frekuensi minimumnya adalah 1 jam.
Opsional: Di bagian Penggantian kompilasi, konfigurasikan setelan kompilasi.
- Di kolom Google Cloud Project ID, masukkan ID project Google Cloud tempat Anda ingin menyimpan hasil kompilasi.
- Di kolom Schema akhiran, masukkan akhiran untuk ditambahkan ke
skema yang dikonfigurasi di
dataform.json
. - Di kolom Awalan tabel, masukkan awalan untuk semua nama tabel.
Opsional: Di bagian Variabel kompilasi, tetapkan variabel kompilasi.
- Klik Tambahkan variabel.
- Di kolom Kunci, masukkan variabel kompilasi.
- Di kolom Nilai, masukkan nilai untuk variabel kompilasi.
- Untuk menambahkan variabel kompilasi lainnya, klik Tambahkan variabel.
Klik Create.
Jika Anda mengganti project Google Cloud default, pastikan akun layanan Dataform Anda memiliki akses ke project Google Cloud yang ditetapkan dalam konfigurasi rilis.
Misalnya, konfigurasi rilis berikut membuat hasil kompilasi production
dari cabang main
setiap jam,
tanpa penggantian kompilasi:
- ID Rilis:
production
- Git commitish:
main
- Frekuensi: per jam
- tidak ada penggantian kompilasi
Melihat detail konfigurasi rilis
Anda dapat melihat detail konfigurasi rilis berikut:
- Setelan rilis
- Git commitish
- Stempel waktu hasil kompilasi terakhir
- Jadwal Cron
- Penggantian kompilasi
- Variabel kompilasi
- Hasil kompilasi live
- Stempel waktu pembuatan
- Git commitish
- Jalankan SHA
- Hasil kompilasi sebelumnya
Untuk melihat detail konfigurasi rilis, ikuti langkah-langkah berikut:
- Di repositori Anda, buka Releases & Scheduling.
- Pilih konfigurasi rilis.
- Di halaman Release configuration details, periksa detail konfigurasi rilis.
Memicu kompilasi secara manual
Untuk membuat hasil kompilasi secara manual dari konfigurasi rilis yang dipilih, ikuti langkah-langkah berikut:
- Di repositori Anda, buka Releases & Scheduling.
- Pilih konfigurasi rilis.
- Di halaman Release configuration details, klik New compile.
Hasil kompilasi yang baru dibuat akan menjadi hasil langsung untuk konfigurasi rilis tersebut.
Memicu eksekusi konfigurasi rilis
Untuk memicu eksekusi hasil kompilasi langsung dalam konfigurasi rilis yang dipilih ke BigQuery, ikuti langkah-langkah berikut:
- Di repositori Anda, buka Releases & Scheduling.
- Di bagian Release configuration, klik Start execution.
- Di panel Execute manual alur kerja, di menu drop-down Release configuration, pilih konfigurasi rilis.
- Pilih tindakan alur kerja SQL yang akan dijalankan:
- Untuk menjalankan seluruh alur kerja SQL, klik All actions.
- Untuk menjalankan tindakan yang dipilih dalam alur kerja SQL, klik Selection of actions, lalu pilih tindakan.
- Untuk menjalankan tindakan dengan tag yang dipilih, klik Selection of tags, lalu pilih tag.
- Opsional: Untuk menjalankan tindakan atau tag yang dipilih dan dependensinya, pilih opsi Include attribution.
- Opsional: Untuk menjalankan tindakan atau tag yang dipilih dan turunannya, pilih opsi Sertakan dependen.
Opsional: Untuk mem-build ulang semua tabel dari awal, pilih opsi Run with full refresh.
Tanpa opsi ini, Dataform akan memperbarui tabel inkremental tanpa mem-build ulang tabel tersebut dari awal.
Klik Start execution.
Mengedit konfigurasi rilis
Untuk mengedit konfigurasi rilis, ikuti langkah-langkah berikut:
- Di repositori Anda, buka Releases & Scheduling.
- Di samping konfigurasi rilis yang ingin Anda edit, klik menu Lainnya, lalu klik Edit.
- Di panel Edit release configuration, edit setelan konfigurasi rilis, lalu klik Save.
Menghapus konfigurasi rilis
Untuk menghapus konfigurasi rilis, ikuti langkah-langkah berikut:
- Di repositori Anda, buka Releases & Scheduling.
- Pada konfigurasi rilis yang ingin Anda hapus, klik menu Lainnya, lalu klik Hapus.
- Pada dialog Delete release configuration, klik Delete.
Langkah selanjutnya
- Untuk mempelajari cara membuat konfigurasi alur kerja Dataform, lihat Menjadwalkan eksekusi dengan konfigurasi alur kerja.
- Untuk mempelajari Dataform siklus proses kode lebih lanjut, lihat Pengantar siklus proses kode di Dataform.