Mengorkestrasi persiapan data

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dalam Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk mendapatkan dukungan atau memberikan masukan untuk persiapan data BigQuery dengan Gemini, hubungi [e-mail].

Dokumen ini menjelaskan cara mengatur pipeline persiapan data, termasuk cara menjalankan operasi manual dan terjadwal.

Persiapan data didukung oleh Dataform.

Persiapan data dijalankan menggunakan akun layanan Dataform kustom, yang Anda pilih saat mengonfigurasi jadwal atau pengujian berjalan. Untuk mengetahui informasi selengkapnya, lihat Tentang akun layanan di Dataform.

Perubahan yang Anda buat pada langkah-langkah persiapan data tidak disimpan secara otomatis. Anda harus menyimpan dan men-deploy perubahan sebelum dapat dieksekusi dengan jadwal. Jadwal selalu menjalankan versi terbaru persiapan data yang di-deploy dan mengecualikan perubahan yang belum di-deploy yang mungkin Anda kembangkan.

Sebelum memulai

Sebelum memulai, buat persiapan data.

Peran yang diperlukan

Untuk menjalankan persiapan data, Anda harus memberikan peran ke akun layanan yang ingin Anda gunakan untuk menjalankan persiapan data. Untuk informasi selengkapnya, lihat peran yang diperlukan.

Mengembangkan persiapan data

Saat mengembangkan persiapan data, Anda dapat menjalankan langkah-langkah secara manual dan memeriksa output sebelum men-deploy perubahan ke produksi. Anda dapat menguji versi saat ini yang sedang dikembangkan pada data, sementara BigQuery terus menjalankan versi terbaru yang di-deploy, sesuai dengan jadwal. Sebelum dapat menjalankannya, Anda harus mengonfigurasi tujuan, dan memperbaiki error validasi.

Menjalankan persiapan data secara manual dalam pengembangan

Untuk menguji langkah-langkah persiapan data dan memvalidasi hasilnya di tabel tujuan, jalankan persiapan data secara manual dari editor persiapan data:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Penjelajah, luaskan project Anda dan folder Persiapan data. Klik nama persiapan data yang ingin Anda jalankan.

3. Konfigurasikan izin di akun layanan untuk dijalankan:

   1. Di toolbar editor persiapan data, tahan kursor ke atas opsi Jalankan yang dinonaktifkan.
   2. Pada dialog yang muncul dengan informasi tentang cara mengonfigurasi akun layanan, klik Konfigurasi.
   3. Dalam dialog Setelan akun layanan, pilih akun layanan.
   4. Jika akun layanan memerlukan izin tambahan, berikan peran yang diperlukan dengan mengklik Berikan semua.
   5. Klik Simpan.

4. Opsional: Untuk memperbarui akun layanan untuk dijalankan pada masa mendatang, buka toolbar editor persiapan data, lalu klik Lainnya > Konfigurasi pengalaman jalankan sekarang, lalu perbarui dan simpan setelan akun layanan.

5. Perbaiki error validasi yang muncul.

6. Dari toolbar editor persiapan data, klik Run.

7. Pada dialog Jalankan sekarang, klik Konfirmasi untuk mengonfirmasi bahwa operasi manual ini menulis data ke tabel tujuan, yang mungkin juga Anda gunakan untuk operasi terjadwal.

   Kemudian, proses berjalan akan mengeksekusi langkah-langkah Anda dan memuat output ke tujuan.

8. Opsional: Setelah proses berjalan selesai, Anda dapat melihat detail tentang eksekusi di panel Executions.

Men-deploy persiapan data

Untuk menjadwalkan operasi untuk versi persiapan data, Anda harus men-deploy-nya terlebih dahulu. Jadwal menjalankan versi yang terakhir di-deploy.

Untuk men-deploy penyiapan data, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Penjelajah, luaskan project Anda dan folder Persiapan data. Klik nama persiapan data yang dipilih.

   Editor persiapan data akan terbuka.

3. Di toolbar editor persiapan data, klik Deploy.

Buat jadwal

Untuk membuat jadwal yang menjalankan langkah-langkah persiapan data yang di-deploy dan memuat data yang disiapkan ke dalam tabel tujuan, jadwalkan eksekusi persiapan data. Untuk menjadwalkan operasi, Anda harus mengonfigurasi tujuan, dan memperbaiki error validasi.

Untuk membuat jadwal, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Penjelajah, luaskan project Anda dan folder Persiapan data. Klik nama persiapan data yang ingin Anda jadwalkan.

3. Dari toolbar editor persiapan data, klik Jadwalkan.

4. Masukkan nama jadwal.

5. Masukkan nama akun layanan yang terkait dengan eksekusi.

6. Menjadwalkan frekuensi.

7. Klik Buat jadwal.

Menjalankan persiapan data terjadwal secara manual

Saat Anda menjalankan persiapan data secara manual dalam jadwal yang dipilih, BigQuery akan menjalankan persiapan data satu kali, secara independen dari jadwal.

Untuk menjalankan persiapan data terjadwal secara manual, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Penjadwalan.

   Buka Penjadwalan

2. Klik nama jadwal persiapan data yang dipilih.

3. Di halaman Detail jadwal, klik Jalankan.

Lihat jadwal

Anda dapat melihat jadwal persiapan data dari editor persiapan data atau halaman Penjadwalan.

Editor persiapan data

Untuk melihat jadwal persiapan data, ikuti langkah-langkah berikut:

1. Di toolbar editor persiapan data, klik schedule View schedule.
2. Opsional: Untuk melihat histori jadwal, klik Lihat eksekusi sebelumnya.

Halaman penjadwalan

Untuk melihat semua jadwal persiapan data dalam project Anda, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Penjadwalan.

   Buka Penjadwalan

2. Opsional: Untuk melihat histori operasi dan detail jadwal yang dipilih, klik nama jadwal. Histori operasi manual tidak ditampilkan.

Mengedit jadwal

Anda dapat mengedit jadwal dari editor persiapan data atau halaman Penjadwalan.

Editor persiapan data

Untuk mengedit jadwal, ikuti langkah-langkah berikut:

1. Di toolbar editor persiapan data, klik schedule View schedule.
2. Dalam dialog Jadwalkan persiapan data, klik Edit, lalu perbarui jadwal.
3. Klik Perbarui jadwal.

Halaman penjadwalan

Untuk mengedit jadwal, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Penjadwalan.

   Buka Penjadwalan

2. Klik nama jadwal persiapan data yang dipilih.

3. Di halaman Schedule details, klik Edit.

4. Klik Lihat jadwal.

5. Dalam dialog Jadwalkan persiapan data, klik Edit, lalu perbarui jadwal.

6. Klik Perbarui jadwal.

Menghapus jadwal

Untuk menghapus jadwal secara permanen untuk persiapan data yang dipilih, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Penjadwalan.

   Buka Penjadwalan

2. Di baris yang berisi jadwal, klik more_vert Tindakan > Hapus.

Langkah selanjutnya

• Pelajari cara membuat persiapan data.
• Pelajari lebih lanjut cara mengelola persiapan data.