Dokumen ini menjelaskan siklus proses kode dalam Dataform dan cara mengonfigurasi kompilasi dan eksekusi dalam Dataform.
Tentang siklus proses kode di Dataform
Siklus proses kode formulir data terdiri dari fase-fase berikut:
- Pengembangan
- Anda mengembangkan alur kerja SQL di ruang kerja Dataform.
- Kompilasi
Dataform mengompilasi kode alur kerja SQL di ruang kerja Anda ke SQL secara real time, sehingga membuat hasil kompilasi ruang kerja yang dapat Anda jalankan di BigQuery. Dataform menggunakan setelan yang Anda tentukan dalam file
dataform.json
untuk membuat hasil kompilasi.Kompilasi dataform bersifat hermetis untuk memastikan konsistensi kompilasi, artinya kode yang sama dikompilasi ke hasil kompilasi SQL yang sama setiap kali. Dataform mengompilasi kode Anda di lingkungan sandbox tanpa akses internet. Tidak ada tindakan tambahan, seperti memanggil API eksternal, yang tersedia selama kompilasi.
- Eksekusi
Dalam pemanggilan alur kerja, Dataform mengeksekusi hasil kompilasi ruang kerja di BigQuery.
Untuk menyesuaikan siklus proses kode Dataform dengan kebutuhan, Anda dapat mengonfigurasi hasil kompilasi untuk memengaruhi tempat dan cara Dataform menjalankan alur kerja SQL Anda. Kemudian, Anda dapat memicu atau menjadwalkan eksekusi secara manual untuk memengaruhi kapan Dataform menjalankan seluruh alur kerja SQL Anda atau elemen yang dipilihnya.
Cara mengonfigurasi kompilasi Dataform
Secara default, Dataform menggunakan setelan di file dataform.json
untuk membuat hasil kompilasi. Anda dapat mengganti setelan default
dengan penggantian kompilasi untuk membuat hasil kompilasi kustom. Kemudian, Anda dapat
memicu eksekusi hasil kompilasi kustom secara manual,
atau menjadwalkan eksekusi.
Dataform memberikan opsi berikut untuk mengonfigurasi hasil kompilasi:
- Penggantian kompilasi Workspace
- Anda dapat mengonfigurasi penggantian kompilasi yang berlaku untuk semua ruang kerja di repositori. Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan yang terisolasi.
- Konfigurasi rilis
- Anda dapat membuat konfigurasi rilis untuk mengonfigurasi template guna membuat hasil kompilasi repositori Dataform. Kemudian, Anda dapat membuat konfigurasi alur kerja untuk menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih.
- Penggantian kompilasi Dataform API
- Anda dapat meneruskan permintaan Dataform API di terminal untuk membuat dan menjalankan satu hasil kompilasi dengan penggantian kompilasi.
Mengonfigurasi penggantian kompilasi Workspace
Dengan penggantian kompilasi ruang kerja, Anda dapat membuat penggantian kompilasi untuk semua ruang kerja di repositori Dataform. Anda dapat membuat satu konfigurasi penggantian kompilasi Workspace per repositori.
Saat Anda memicu eksekusi secara manual di ruang kerja di repositori dengan penggantian kompilasi ruang kerja, Dataform menerapkan penggantian ini ke hasil kompilasi ruang kerja.
Anda dapat mengonfigurasi penggantian kompilasi ruang kerja berikut:
- Project Google Cloud tempat Dataform menjalankan konten ruang kerja
- Awalan tabel
- Akhiran skema
Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan yang terisolasi dengan mengisolasi hasil kompilasi ruang kerja di BigQuery menggunakan penggantian kompilasi dinamis. Penggantian awalan tabel dinamis dan kompilasi akhiran skema berisi variabel ${workspaceName}
.
Saat Anda memicu eksekusi di ruang kerja, Dataform akan mengganti variabel ${workspaceName}
dengan nama ruang kerja saat ini, sehingga membuat penggantian kompilasi yang unik untuk ruang kerja.
Perlu diingat bahwa Anda tidak dapat menjadwalkan eksekusi hasil kompilasi yang dibuat dengan penggantian kompilasi ruang kerja.
Membuat konfigurasi rilis
Dengan konfigurasi rilis, Anda dapat mengonfigurasi template setelan untuk membuat hasil kompilasi repositori.
Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi atas
dataform.json
setelan, variabel kompilasi, dan frekuensi pembuatan
hasil kompilasi seluruh repositori Anda.
Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi berikut:
- Project Google Cloud
- Awalan tabel
- Akhiran skema
- Nilai variabel kompilasi
Anda dapat membuat beberapa konfigurasi rilis di repositori Dataform, satu untuk setiap tahap siklus proses pengembangan, sehingga membuat hasil kompilasi repositori yang terisolasi.
Kemudian, Anda dapat membuat konfigurasi alur kerja untuk menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih.
Anda juga dapat memicu eksekusi hasil kompilasi secara manual dalam konfigurasi rilis yang dipilih.
Mengonfigurasi satu hasil kompilasi dengan penggantian kompilasi Dataform API
Dengan meneruskan permintaan Dataform API di terminal, Anda dapat mengonfigurasi penggantian kompilasi untuk satu hasil kompilasi.
Dalam permintaan compilationResults.create
, Anda dapat membuat satu hasil kompilasi dari ruang kerja
Dataform atau Git comittish yang ditentukan.
Dalam objek CodeCompilationConfig
permintaan compilationResults.create
, Anda dapat mengonfigurasi penggantian kompilasi untuk permintaan kompilasi.
Anda dapat mengonfigurasi penggantian kompilasi Dataform API berikut:
- Project Google Cloud
- Awalan tabel
- Akhiran skema
- Nilai variabel kompilasi
Perlu diingat bahwa penggantian kompilasi Dataform API berlaku untuk satu hasil kompilasi dan satu eksekusi. Anda tidak dapat menggunakannya untuk menjadwalkan eksekusi Formulir Data.
Anda dapat menjalankan hasil kompilasi dalam
permintaan
workflowInvocations.create
.
Cara mengonfigurasi eksekusi Dataform
Formulir data menyediakan opsi berikut untuk mengonfigurasi eksekusi:
- Eksekusi manual di ruang kerja
- Anda dapat memicu eksekusi instan dari alur kerja SQL secara manual di ruang kerja Dataform, di luar jadwal apa pun. Anda dapat menjalankan tindakan yang dipilih dalam alur kerja SQL.
- Konfigurasi alur kerja
- Anda dapat menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih. Anda dapat memilih tindakan alur kerja SQL yang akan dijalankan, serta menetapkan frekuensi dan zona waktu eksekusi.
Memicu eksekusi instan di ruang kerja
Di ruang kerja Dataform, Anda dapat mengeksekusi instan alur kerja SQL secara manual di ruang kerja Anda, di luar jadwal apa pun.
Anda dapat menjalankan elemen alur kerja SQL berikut secara manual di ruang kerja:
Jika repositori Anda berisi penggantian kompilasi Workspace, Anda dapat melihat kompilasi yang menggantikan Dataform yang akan diterapkan ke hasil kompilasi workspace.
Membuat konfigurasi alur kerja
Dengan konfigurasi alur kerja, Anda dapat menjadwalkan eksekusi hasil kompilasi dari konfigurasi rilis yang dipilih. Anda dapat membuat beberapa konfigurasi alur kerja dalam repositori Dataform.
Dalam konfigurasi alur kerja, Anda dapat mengonfigurasi setelan eksekusi berikut:
- Konfigurasi rilis kompilasi diterapkan
- Pemilihan tindakan alur kerja SQL yang akan dijalankan
- Jadwal dan zona waktu eksekusi
Anda dapat memilih tindakan alur kerja SQL berikut untuk dijalankan:
- Semua tindakan
- Tindakan yang dipilih
- Tindakan dengan tag yang dipilih
Kemudian, selama eksekusi terjadwal konfigurasi alur kerja Anda, Dataform men-deploy pilihan tindakan Anda dari hasil kompilasi yang diterapkan ke BigQuery.
Konfigurasi rilis formulir data dan konfigurasi alur kerja memungkinkan Anda mengonfigurasi kompilasi dan menjadwalkan eksekusi dalam Dataform, tanpa perlu mengandalkan layanan tambahan.
Masa berlaku resource siklus proses
Formulir data menyimpan hasil kompilasi dan pemanggilan alur kerja selama periode waktu tertentu.
Akhir masa berlaku pemanggilan alur kerja
Pemanggilan alur kerja akan berakhir setelah 90 hari, atau jika Anda menghapusnya secara manual.
Dalam konfigurasi alur kerja, Anda dapat melihat daftar pemanggilan alur kerja terbaru yang dibuat oleh konfigurasi. Saat pemanggilan alur kerja yang dibuat oleh konfigurasi alur kerja sudah berakhir, Dataform akan menghapus pemanggilan alur kerja tersebut dari daftar pemanggilan terbaru.
Akhir masa berlaku hasil kompilasi
Akhir masa berlaku hasil kompilasi bergantung pada cara pembuatannya: di ruang kerja pengembangan, dalam konfigurasi rilis, atau dengan pemanggilan alur kerja.
Saat Anda mengembangkan alur kerja SQL di ruang kerja Dataform, Dataform mengompilasi kode Anda menjadi hasil kompilasi secara real-time untuk memberikan validasi kueri. Hasil kompilasi yang dibuat dengan cara ini akan berakhir setelah 24 jam.
Dalam konfigurasi rilis, hasil kompilasi terbaru akan menjadi hasil kompilasi langsung. Hasil kompilasi baru akan menggantikan hasil kompilasi langsung saat ini. Dataform mempertahankan hasil kompilasi langsung hingga diganti dengan hasil kompilasi baru. Hasil kompilasi yang diganti akan berakhir dalam waktu hingga 24 jam.
Dataform menghapus hasil kompilasi yang sudah tidak berlaku lagi dari daftar hasil kompilasi sebelumnya di halaman Details konfigurasi rilis.
Formulir data menyimpan hasil kompilasi yang dibuat oleh pemanggilan alur kerja selama pemanggilan alur kerja, hingga 24 jam setelah pemanggilan alur kerja berakhir atau dihapus.
Langkah selanjutnya
- Untuk mempelajari praktik terbaik untuk siklus proses kode di Dataform, lihat Mengelola siklus proses kode.
- Untuk mempelajari cara mengonfigurasi penggantian kompilasi Ruang kerja dataform, lihat Membuat penggantian kompilasi ruang kerja.
- Untuk mempelajari cara mengonfigurasi hasil kompilasi tunggal dengan penggantian kompilasi Dataform API, lihat Mengonfigurasi penggantian kompilasi dengan Dataform API.
- Untuk mempelajari cara membuat konfigurasi rilis Dataform, lihat Membuat konfigurasi rilis.
- Untuk mempelajari cara memicu eksekusi di ruang kerja secara manual, lihat Memicu eksekusi.
- Untuk mempelajari cara membuat konfigurasi alur kerja, lihat Menjadwalkan eksekusi dengan konfigurasi alur kerja.