Pengantar siklus proses kode di Dataform

Dokumen ini menjelaskan siklus proses kode dalam Dataform dan cara mengonfigurasi kompilasi dan eksekusi dalam Dataform.

Tentang siklus proses kode di Dataform

Siklus proses kode formulir data terdiri dari fase-fase berikut:

Pengembangan
Anda mengembangkan alur kerja SQL di ruang kerja Dataform.
Kompilasi

Dataform mengompilasi kode alur kerja SQL di ruang kerja Anda ke SQL secara real time, sehingga membuat hasil kompilasi ruang kerja yang dapat Anda jalankan di BigQuery. Dataform menggunakan setelan yang Anda tentukan dalam file dataform.json untuk membuat hasil kompilasi.

Kompilasi dataform bersifat hermetis untuk memastikan konsistensi kompilasi, artinya kode yang sama dikompilasi ke hasil kompilasi SQL yang sama setiap kali. Dataform mengompilasi kode Anda di lingkungan sandbox tanpa akses internet. Tidak ada tindakan tambahan, seperti memanggil API eksternal, yang tersedia selama kompilasi.

Eksekusi

Dalam pemanggilan alur kerja, Dataform mengeksekusi hasil kompilasi ruang kerja di BigQuery.

Untuk menyesuaikan siklus proses kode Dataform dengan kebutuhan, Anda dapat mengonfigurasi hasil kompilasi untuk memengaruhi tempat dan cara Dataform menjalankan alur kerja SQL Anda. Kemudian, Anda dapat memicu atau menjadwalkan eksekusi secara manual untuk memengaruhi kapan Dataform menjalankan seluruh alur kerja SQL Anda atau elemen yang dipilihnya.

Cara mengonfigurasi kompilasi Dataform

Secara default, Dataform menggunakan setelan di file dataform.json untuk membuat hasil kompilasi. Anda dapat mengganti setelan default dengan penggantian kompilasi untuk membuat hasil kompilasi kustom. Kemudian, Anda dapat memicu eksekusi hasil kompilasi kustom secara manual, atau menjadwalkan eksekusi.

Dataform memberikan opsi berikut untuk mengonfigurasi hasil kompilasi:

Penggantian kompilasi Workspace
Anda dapat mengonfigurasi penggantian kompilasi yang berlaku untuk semua ruang kerja di repositori. Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan yang terisolasi.
Konfigurasi rilis
Anda dapat membuat konfigurasi rilis untuk mengonfigurasi template guna membuat hasil kompilasi repositori Dataform. Kemudian, Anda dapat membuat konfigurasi alur kerja untuk menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih.
Penggantian kompilasi Dataform API
Anda dapat meneruskan permintaan Dataform API di terminal untuk membuat dan menjalankan satu hasil kompilasi dengan penggantian kompilasi.

Mengonfigurasi penggantian kompilasi Workspace

Dengan penggantian kompilasi ruang kerja, Anda dapat membuat penggantian kompilasi untuk semua ruang kerja di repositori Dataform. Anda dapat membuat satu konfigurasi penggantian kompilasi Workspace per repositori.

Saat Anda memicu eksekusi secara manual di ruang kerja di repositori dengan penggantian kompilasi ruang kerja, Dataform menerapkan penggantian ini ke hasil kompilasi ruang kerja.

Anda dapat mengonfigurasi penggantian kompilasi ruang kerja berikut:

  • Project Google Cloud tempat Dataform menjalankan konten ruang kerja
  • Awalan tabel
  • Akhiran skema

Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan yang terisolasi dengan mengisolasi hasil kompilasi ruang kerja di BigQuery menggunakan penggantian kompilasi dinamis. Penggantian awalan tabel dinamis dan kompilasi akhiran skema berisi variabel ${workspaceName}. Saat Anda memicu eksekusi di ruang kerja, Dataform akan mengganti variabel ${workspaceName} dengan nama ruang kerja saat ini, sehingga membuat penggantian kompilasi yang unik untuk ruang kerja.

Perlu diingat bahwa Anda tidak dapat menjadwalkan eksekusi hasil kompilasi yang dibuat dengan penggantian kompilasi ruang kerja.

Membuat konfigurasi rilis

Dengan konfigurasi rilis, Anda dapat mengonfigurasi template setelan untuk membuat hasil kompilasi repositori.

Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi atas dataform.json setelan, variabel kompilasi, dan frekuensi pembuatan hasil kompilasi seluruh repositori Anda.

Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi berikut:

Anda dapat membuat beberapa konfigurasi rilis di repositori Dataform, satu untuk setiap tahap siklus proses pengembangan, sehingga membuat hasil kompilasi repositori yang terisolasi.

Kemudian, Anda dapat membuat konfigurasi alur kerja untuk menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih.

Anda juga dapat memicu eksekusi hasil kompilasi secara manual dalam konfigurasi rilis yang dipilih.

Mengonfigurasi satu hasil kompilasi dengan penggantian kompilasi Dataform API

Dengan meneruskan permintaan Dataform API di terminal, Anda dapat mengonfigurasi penggantian kompilasi untuk satu hasil kompilasi.

Dalam permintaan compilationResults.create, Anda dapat membuat satu hasil kompilasi dari ruang kerja Dataform atau Git comittish yang ditentukan.

Dalam objek CodeCompilationConfig permintaan compilationResults.create, Anda dapat mengonfigurasi penggantian kompilasi untuk permintaan kompilasi.

Anda dapat mengonfigurasi penggantian kompilasi Dataform API berikut:

Perlu diingat bahwa penggantian kompilasi Dataform API berlaku untuk satu hasil kompilasi dan satu eksekusi. Anda tidak dapat menggunakannya untuk menjadwalkan eksekusi Formulir Data.

Anda dapat menjalankan hasil kompilasi dalam permintaan workflowInvocations.create.

Cara mengonfigurasi eksekusi Dataform

Formulir data menyediakan opsi berikut untuk mengonfigurasi eksekusi:

Eksekusi manual di ruang kerja
Anda dapat memicu eksekusi instan dari alur kerja SQL secara manual di ruang kerja Dataform, di luar jadwal apa pun. Anda dapat menjalankan tindakan yang dipilih dalam alur kerja SQL.
Konfigurasi alur kerja
Anda dapat menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih. Anda dapat memilih tindakan alur kerja SQL yang akan dijalankan, serta menetapkan frekuensi dan zona waktu eksekusi.

Memicu eksekusi instan di ruang kerja

Di ruang kerja Dataform, Anda dapat mengeksekusi instan alur kerja SQL secara manual di ruang kerja Anda, di luar jadwal apa pun.

Anda dapat menjalankan elemen alur kerja SQL berikut secara manual di ruang kerja:

Jika repositori Anda berisi penggantian kompilasi Workspace, Anda dapat melihat kompilasi yang menggantikan Dataform yang akan diterapkan ke hasil kompilasi workspace.

Membuat konfigurasi alur kerja

Dengan konfigurasi alur kerja, Anda dapat menjadwalkan eksekusi hasil kompilasi dari konfigurasi rilis yang dipilih. Anda dapat membuat beberapa konfigurasi alur kerja dalam repositori Dataform.

Dalam konfigurasi alur kerja, Anda dapat mengonfigurasi setelan eksekusi berikut:

  • Konfigurasi rilis kompilasi diterapkan
  • Pemilihan tindakan alur kerja SQL yang akan dijalankan
  • Jadwal dan zona waktu eksekusi

Anda dapat memilih tindakan alur kerja SQL berikut untuk dijalankan:

  • Semua tindakan
  • Tindakan yang dipilih
  • Tindakan dengan tag yang dipilih

Kemudian, selama eksekusi terjadwal konfigurasi alur kerja Anda, Dataform men-deploy pilihan tindakan Anda dari hasil kompilasi yang diterapkan ke BigQuery.

Konfigurasi rilis formulir data dan konfigurasi alur kerja memungkinkan Anda mengonfigurasi kompilasi dan menjadwalkan eksekusi dalam Dataform, tanpa perlu mengandalkan layanan tambahan.

Masa berlaku resource siklus proses

Formulir data menyimpan hasil kompilasi dan pemanggilan alur kerja selama periode waktu tertentu.

Akhir masa berlaku pemanggilan alur kerja

Pemanggilan alur kerja akan berakhir setelah 90 hari, atau jika Anda menghapusnya secara manual.

Dalam konfigurasi alur kerja, Anda dapat melihat daftar pemanggilan alur kerja terbaru yang dibuat oleh konfigurasi. Saat pemanggilan alur kerja yang dibuat oleh konfigurasi alur kerja sudah berakhir, Dataform akan menghapus pemanggilan alur kerja tersebut dari daftar pemanggilan terbaru.

Akhir masa berlaku hasil kompilasi

Akhir masa berlaku hasil kompilasi bergantung pada cara pembuatannya: di ruang kerja pengembangan, dalam konfigurasi rilis, atau dengan pemanggilan alur kerja.

Saat Anda mengembangkan alur kerja SQL di ruang kerja Dataform, Dataform mengompilasi kode Anda menjadi hasil kompilasi secara real-time untuk memberikan validasi kueri. Hasil kompilasi yang dibuat dengan cara ini akan berakhir setelah 24 jam.

Dalam konfigurasi rilis, hasil kompilasi terbaru akan menjadi hasil kompilasi langsung. Hasil kompilasi baru akan menggantikan hasil kompilasi langsung saat ini. Dataform mempertahankan hasil kompilasi langsung hingga diganti dengan hasil kompilasi baru. Hasil kompilasi yang diganti akan berakhir dalam waktu hingga 24 jam.

Dataform menghapus hasil kompilasi yang sudah tidak berlaku lagi dari daftar hasil kompilasi sebelumnya di halaman Details konfigurasi rilis.

Formulir data menyimpan hasil kompilasi yang dibuat oleh pemanggilan alur kerja selama pemanggilan alur kerja, hingga 24 jam setelah pemanggilan alur kerja berakhir atau dihapus.

Langkah selanjutnya