Pengantar siklus proses kode di Dataform

Dokumen ini menjelaskan siklus proses kode di Dataform dan cara mengonfigurasi kompilasi dan eksekusi dalam Dataform.

Tentang siklus proses kode di Dataform

Siklus proses kode Dataform terdiri dari fase berikut:

Pengembangan
Anda mengembangkan alur kerja SQL di ruang kerja Dataform.
Kompilasi

Dataform mengompilasi kode alur kerja SQL di ruang kerja Anda ke SQL secara real time, sehingga membuat hasil kompilasi ruang kerja yang dapat Anda jalankan di BigQuery. Dataform menggunakan setelan yang Anda tentukan dalam file setelan alur kerja untuk membuat hasil kompilasi.

Kompilasi Dataform bersifat hermetis untuk memastikan konsistensi kompilasi, yang berarti bahwa kode yang sama dikompilasi ke hasil kompilasi SQL yang sama setiap saat. Dataform mengompilasi kode Anda di lingkungan sandbox tanpa akses internet. Tidak ada tindakan tambahan, seperti memanggil API eksternal, yang tersedia selama kompilasi.

Eksekusi

Dalam pemanggilan alur kerja, Dataform menjalankan hasil kompilasi ruang kerja di BigQuery.

Untuk menyesuaikan siklus proses kode Dataform dengan kebutuhan Anda, Anda dapat mengonfigurasi hasil kompilasi untuk memengaruhi tempat dan cara Dataform mengeksekusi alur kerja SQL Anda. Kemudian, Anda dapat memicu atau menjadwalkan eksekusi secara manual untuk memengaruhi kapan Dataform mengeksekusi seluruh alur kerja SQL atau elemennya yang dipilih.

Cara mengonfigurasi kompilasi Dataform

Secara default, Dataform menggunakan setelan dalam file setelan alur kerja untuk membuat hasil kompilasi. Anda dapat mengganti setelan default dengan penggantian kompilasi untuk membuat hasil kompilasi kustom. Kemudian, Anda dapat memicu eksekusi hasil kompilasi kustom secara manual, atau menjadwalkan eksekusi.

Dataform menyediakan opsi berikut untuk mengonfigurasi hasil kompilasi:

Penggantian kompilasi Workspace
Anda dapat mengonfigurasi penggantian kompilasi yang berlaku untuk semua ruang kerja di repositori. Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan yang terisolasi.
Konfigurasi rilis
Anda dapat membuat konfigurasi rilis untuk mengonfigurasi template guna membuat hasil kompilasi repositori Dataform. Kemudian, Anda dapat membuat konfigurasi alur kerja untuk menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih.
Penggantian kompilasi Dataform API
Anda dapat meneruskan permintaan Dataform API di terminal untuk membuat dan menjalankan satu hasil kompilasi dengan penggantian kompilasi.

Mengonfigurasi penggantian kompilasi ruang kerja

Dengan penggantian kompilasi ruang kerja, Anda dapat membuat penggantian kompilasi untuk semua ruang kerja di repositori Dataform. Anda dapat membuat satu konfigurasi penggantian kompilasi ruang kerja per repositori.

Saat Anda memicu eksekusi secara manual di ruang kerja di repositori dengan penggantian kompilasi ruang kerja, Dataform akan menerapkan penggantian ini ke hasil kompilasi ruang kerja.

Anda dapat mengonfigurasi penggantian kompilasi ruang kerja berikut:

  • Project Google Cloud tempat Dataform menjalankan konten workspace
  • Awalan tabel
  • Akhiran skema

Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan terisolasi dengan mengisolasi hasil kompilasi ruang kerja di BigQuery dengan penggantian kompilasi dinamis. Penggantian kompilasi akhiran skema dan awalan tabel dinamis berisi variabel ${workspaceName}. Saat Anda memicu eksekusi di ruang kerja, Dataform akan mengganti variabel ${workspaceName} dengan nama ruang kerja saat ini, sehingga membuat penggantian kompilasi yang unik untuk ruang kerja.

Perlu diingat bahwa Anda tidak dapat menjadwalkan eksekusi hasil kompilasi yang dibuat dengan penggantian kompilasi ruang kerja.

Membuat konfigurasi rilis

Dengan konfigurasi rilis, Anda dapat mengonfigurasi template setelan untuk membuat hasil kompilasi repositori.

Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi setelan alur kerja, variabel kompilasi, dan frekuensi pembuatan hasil kompilasi dari seluruh repositori Anda.

Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi berikut:

Anda dapat membuat beberapa konfigurasi rilis di repositori Dataform, satu untuk setiap tahap siklus proses pengembangan, yang menghasilkan hasil kompilasi repositori terpisah.

Kemudian, Anda dapat membuat konfigurasi alur kerja untuk menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih.

Anda juga dapat memicu eksekusi hasil kompilasi dalam konfigurasi rilis yang dipilih secara manual.

Mengonfigurasi satu hasil kompilasi dengan penggantian kompilasi Dataform API

Dengan meneruskan permintaan Dataform API di terminal, Anda dapat mengonfigurasi penggantian kompilasi untuk satu hasil kompilasi.

Dalam permintaan compilationResults.create, Anda dapat membuat satu hasil kompilasi dari ruang kerja Dataform atau comittish Git yang ditentukan.

Dalam objek CodeCompilationConfig dari permintaan compilationResults.create, Anda dapat mengonfigurasi penggantian kompilasi untuk permintaan kompilasi.

Anda dapat mengonfigurasi penggantian kompilasi Dataform API berikut:

Perlu diingat bahwa penggantian kompilasi Dataform API berlaku untuk satu hasil kompilasi dan satu eksekusi. Anda tidak dapat menggunakannya untuk menjadwalkan eksekusi Dataform.

Anda dapat menjalankan hasil kompilasi dalam permintaan workflowInvocations.create.

Cara mengonfigurasi eksekusi Dataform

Dataform menyediakan opsi konfigurasi eksekusi berikut:

Eksekusi manual di ruang kerja
Anda dapat memicu eksekusi instan alur kerja SQL secara manual di ruang kerja Dataform, di luar jadwal apa pun. Anda dapat menjalankan tindakan yang dipilih dalam alur kerja SQL.
Konfigurasi alur kerja
Anda dapat menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih. Anda dapat memilih tindakan alur kerja SQL yang akan dieksekusi, dan menetapkan frekuensi serta zona waktu eksekusi.

Memicu eksekusi instan di ruang kerja

Di ruang kerja Dataform, Anda dapat menjalankan alur kerja SQL secara instan secara manual di ruang kerja, di luar jadwal apa pun.

Anda dapat menjalankan elemen alur kerja SQL berikut secara manual di ruang kerja:

Jika repositori Anda berisi penggantian kompilasi ruang kerja, Anda dapat melihat penggantian kompilasi yang akan diterapkan Dataform ke hasil kompilasi ruang kerja.

Membuat konfigurasi alur kerja

Dengan konfigurasi alur kerja, Anda dapat menjadwalkan eksekusi hasil kompilasi dari konfigurasi rilis yang dipilih. Anda dapat membuat beberapa konfigurasi alur kerja di repositori Dataform.

Dalam konfigurasi alur kerja, Anda dapat mengonfigurasi setelan eksekusi berikut:

  • Konfigurasi rilis kompilasi yang diterapkan
  • Pemilihan tindakan alur kerja SQL yang akan dijalankan
  • Jadwal dan zona waktu eksekusi

Anda dapat memilih tindakan alur kerja SQL berikut untuk dijalankan:

  • Semua tindakan
  • Tindakan yang dipilih
  • Tindakan dengan tag yang dipilih

Kemudian, selama eksekusi terjadwal konfigurasi alur kerja, Dataform men-deploy pilihan tindakan Anda dari hasil kompilasi yang diterapkan ke BigQuery.

Konfigurasi rilis Dataform dan konfigurasi alur kerja memungkinkan Anda mengonfigurasi kompilasi dan menjadwalkan eksekusi dalam Dataform, tanpa perlu mengandalkan layanan tambahan.

Akhir masa berlaku resource siklus proses

Dataform menyimpan hasil kompilasi dan pemanggilan alur kerja selama jangka waktu tertentu.

Masa berlaku pemanggilan alur kerja

Pemanggilan alur kerja akan berakhir setelah 90 hari, atau saat Anda menghapusnya secara manual.

Dalam konfigurasi alur kerja, Anda dapat melihat daftar pemanggilan alur kerja terbaru yang dibuat oleh konfigurasi. Saat masa berlaku pemanggilan alur kerja yang dibuat oleh konfigurasi alur kerja berakhir, Dataform akan menghapus pemanggilan alur kerja tersebut dari daftar pemanggilan terbaru.

Masa berlaku hasil kompilasi

Masa berlaku hasil kompilasi bergantung pada cara pembuatannya: di ruang kerja pengembangan, dalam konfigurasi rilis, atau dengan pemanggilan alur kerja.

Saat Anda mengembangkan alur kerja SQL di ruang kerja Dataform, Dataform akan mengompilasi kode Anda menjadi hasil kompilasi secara real-time untuk memberikan validasi kueri. Masa berlaku hasil kompilasi yang dibuat dengan cara ini akan berakhir setelah 24 jam.

Dalam konfigurasi rilis, hasil kompilasi terbaru menjadi hasil kompilasi live. Hasil kompilasi baru akan menggantikan hasil kompilasi live saat ini. Dataform mempertahankan hasil kompilasi live hingga diganti dengan hasil kompilasi baru. Masa berlaku hasil kompilasi yang diganti berakhir dalam waktu maksimal 24 jam.

Dataform menghapus hasil kompilasi yang sudah tidak berlaku dari daftar hasil kompilasi sebelumnya di halaman Detail konfigurasi rilis.

Dataform mempertahankan hasil kompilasi yang dibuat oleh pemanggilan alur kerja selama seluruh masa aktif pemanggilan alur kerja, hingga 24 jam setelah masa berlaku pemanggilan alur kerja berakhir atau dihapus.

Langkah selanjutnya