Mengekspor informasi tugas

Halaman ini menjelaskan cara mengekspor informasi untuk tugas Anda yang disimpan dalam Batch ke tabel BigQuery menggunakan Alur Kerja. Secara khusus, pelajari cara menjalankan contoh alur kerja tugas ekspor dan cara melihat informasi tugas yang dihasilkan di BigQuery.

Mengekspor informasi tugas berguna jika Anda ingin mempertahankan informasi tersebut setelah tugas dihapus secara otomatis atau manual atau menganalisis informasi di luar Batch. Atau, jika Anda hanya ingin mengekspor informasi perubahan status tugas dan tugas ke BigQuery, lihat Memantau tugas menggunakan notifikasi.

Untuk mempelajari cara mengekspor informasi tugas yang disimpan di layanan Google Cloud lainnya, lihat dokumentasi ekspor untuk layanan tersebut. Misalnya, lihat halaman berikut:

• Mengekspor log Cloud Logging.
• Ekspor metrik Cloud Monitoring.

Catatan: Workflows dan BigQuery adalah produk Google Cloud terpisah yang memiliki harga masing-masing. Untuk informasi selengkapnya, lihat Harga alur kerja dan Harga BigQuery.

Sebelum memulai

1. Jika belum pernah menggunakan Batch, baca Mulai menggunakan Batch dan aktifkan Batch dengan menyelesaikan prasyarat untuk project dan pengguna.

2. Enable the BigQuery and Workflows APIs.

   Enable the APIs

3. Opsional: Identifikasi set data atau tabel BigQuery yang ada di project Anda tempat Anda ingin menyimpan informasi tugas. Tabel yang ada harus memiliki skema yang cocok.

   Atau, Anda dapat menggunakan alur kerja tugas ekspor untuk membuat set data atau tabel baru.

4. Siapkan akun layanan untuk alur kerja tugas ekspor dengan melakukan hal berikut:

   1. Buat akun layanan baru atau identifikasi akun layanan yang ada.

   2. Untuk memastikan bahwa akun layanan memiliki izin yang diperlukan untuk menjalankan alur kerja tugas ekspor, minta administrator untuk memberikan akun layanan peran IAM berikut pada project:

      • Menulis log: Logs Writer (roles/logging.logWriter)
      • Membuat dan mengedit set data dan tabel BigQuery: BigQuery Admin (roles/bigquery.admin)
      • Melihat dan menghapus tugas Batch: Batch Job Editor (roles/batch.jobsEditor)

      Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

      Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan melalui peran khusus atau peran bawaan lainnya.

5. Untuk mendapatkan izin yang diperlukan guna membuat, men-deploy, dan menjalankan alur kerja tugas ekspor, minta administrator untuk memberi Anda peran IAM berikut pada project:

   • Melihat tugas: Batch Job Viewer (roles/batch.jobsViewer)
   • Melihat akun layanan: Lihat Akun Layanan (roles/iam.serviceAccountViewer)
   • Melihat set data dan tabel BigQuery: BigQuery Data Viewer (roles/bigquery.dataViewer)
   • Membuat, men-deploy, dan menjalankan alur kerja: Workflows Editor (roles/workflows.editor)

6. Pastikan pengguna di project Anda dapat melihat informasi tugas yang diekspor.

   Untuk memastikan pengguna memiliki izin yang diperlukan untuk mengekspor informasi tugas, minta administrator untuk memberi pengguna peran IAM BigQuery Data Viewer (roles/bigquery.dataViewer) pada tabel, set data, atau project.

   Catatan: Anda hanya dapat memberikan akses ke resource yang ada. Kecuali jika Anda berencana mengekspor informasi tugas ke tabel atau set data yang sudah ada, Anda harus memberikan akses ini di project atau setelah mengekspor informasi tugas.

Mengekspor informasi tugas

Bagian ini menjelaskan cara mengekspor informasi tugas menggunakan alur kerja ekspor tugas, yang berasal dari contoh kode export-to-bigquery. Alur kerja tugas ekspor mengekspor informasi untuk tugas project Anda yang berada di wilayah yang ditentukan dan memenuhi kriteria filter yang ditentukan.

Penting: Alur kerja tugas ekspor hanya dapat mengekspor informasi tugas dari satu wilayah dalam satu waktu. Jika Anda ingin mengekspor informasi untuk tugas di beberapa region atau beberapa subset di suatu region, konfigurasikan, buat, deploy, dan jalankan alur kerja tugas ekspor khusus untuk setiap kasus penggunaan.

Sebaiknya buat alur kerja khusus untuk setiap kasus penggunaan. Meskipun Anda dapat mengubah dan menjalankan ulang satu alur kerja, alur kerja khusus akan mempermudah pelacakan kapan terakhir kali Anda mengekspor tugas dan untuk menjadwalkan alur kerja guna mengekspor tugas secara otomatis.

Alur kerja tugas ekspor mengekspor informasi tugas ke tabel yang ditentukan dalam set data yang ditentukan, yang otomatis dibuat oleh alur kerja jika belum ada dalam project Anda. Secara default, alur kerja tugas ekspor juga menghapus tugas yang diekspor dari Batch, tetapi Anda dapat mengedit alur kerja tugas ekspor secara opsional agar tidak menghapus tugas.

Untuk setiap alur kerja tugas ekspor yang ingin Anda gunakan, lakukan hal berikut:

1. Konfigurasi definisi alur kerja.
2. Buat dan deploy alur kerja.
3. Jalankan alur kerja. Ulangi langkah ini setiap kali Anda ingin mengekspor tugas yang ditentukan.

Mengonfigurasi definisi alur kerja

1. Download file export-to-bigquery-delete-batch-jobs.yaml dari GitHub.

2. Buka file export-to-bigquery-delete-batch-jobs.yaml di editor teks. Kemudian, lakukan pengeditan berikut:

   1. Ganti sys.get_env("GOOGLE_CLOUD_PROJECT_ID") dengan project ID Anda yang diformat sebagai string, misalnya, "my-project-id".

   2. Ganti sys.get_env("GOOGLE_CLOUD_LOCATION") dengan region yang berisi tugas yang ingin Anda ekspor, yang diformat sebagai string—misalnya, "us-central1".

   3. Opsional: Edit kriteria filter yang menentukan tugas yang akan diekspor.

      Secara default, alur kerja tugas ekspor menentukan kriteria filter "(status.state:SUCCEEDED OR status.state:FAILED) AND create_time<=\"2023-05-01T00:00:00Z\"". Kriteria filter default ini hanya mengekspor informasi untuk tugas yang berada dalam status SUCCEEDED atau FAILED dan dibuat sebelum atau pada stempel waktu RFC 3339 2023-05-01T00:00:00Z.

   4. Opsional: Ganti default_dataset_id dengan nama lain untuk set data yang ingin Anda gunakan atau buat oleh alur kerja tugas ekspor.

   5. Opsional: Ganti default_table_id dengan nama tabel yang berbeda yang ingin Anda gunakan atau buat alur kerja tugas ekspor.

   6. Jika Anda tidak ingin tugas yang diekspor dihapus oleh alur kerja, lakukan hal berikut:

      Tips: Jika Anda tidak menghapus tugas yang diekspor, menjalankan ulang alur kerja tugas ekspor yang sama dapat membuat baris duplikat. Jika ingin menghindari hal ini, Anda dapat memperbarui kriteria filter create_time sebelum setiap eksekusi ulang agar hanya menyertakan tugas yang dibuat setelah eksekusi sebelumnya. Untuk mempelajari cara melihat kapan alur kerja sebelumnya dijalankan, lihat Mengakses hasil eksekusi alur kerja.

      1. Hapus baris berikut:

                 - log_delete_step:
                     call: sys.log
                     args:
                       text: ${"Deleting Batch job " + j.name}
                       severity: NOTICE
                 - delete_job:
                     call: googleapis.batch.v1.projects.locations.jobs.delete
                     args:
                       name: ${j.name}
         

      2. Hapus + " and deleted".

   7. Simpan file. Biarkan file tetap terbuka.

Membuat dan men-deploy alur kerja

1. Di konsol Google Cloud, buka halaman Workflows:

   Buka Workflows

2. Di halaman Alur kerja, klik Buat.

3. Di kolom Nama alur kerja, masukkan nama untuk alur kerja—misalnya, export-batch-jobs-us-central1.

4. Dalam daftar Service account, pilih akun layanan yang Anda siapkan.

5. Klik Berikutnya.

6. Di editor alur kerja, ganti alur kerja contoh dengan konten file export-to-bigquery-delete-batch-jobs.yaml. Kemudian, Anda dapat menutup file.

7. Klik Deploy. Halaman Workflow details akan terbuka.

Menjalankan alur kerja

Tips: Jika Anda ingin menjalankan alur kerja tugas ekspor secara otomatis, lihat artikel Menjadwalkan alur kerja menggunakan Cloud Scheduler dalam dokumentasi Alur Kerja. Misalnya, karena setiap tugas otomatis dihapus 60 hari setelah selesai, Anda dapat mengekspor semua tugas (yang tidak dihapus secara manual) dengan menjadwalkan satu atau beberapa alur kerja tugas ekspor untuk mengekspor dan menghapus tugas setiap 59 hari.

1. Di halaman Detail alur kerja, klik Jalankan. Halaman Menjalankan alur kerja akan terbuka.

2. Di halaman Execute workflow yang terbuka, klik Execute.

3. Di Execution details, halaman yang terbuka, tunggu hingga alur kerja selesai dijalankan. Misalnya, waktu eksekusi untuk mengekspor dan menghapus beberapa tugas biasanya beberapa detik, tetapi eksekusi mungkin memerlukan waktu lebih lama jika Anda mengekspor dan menghapus banyak tugas.

   Setelah alur kerja selesai dieksekusi, panel Output akan menampilkan hasilnya.

Melihat informasi tugas yang diekspor

Bagian ini memperkenalkan cara melihat data tabel yang dibuat oleh alur kerja tugas ekspor. Misalnya, Anda dapat menggunakan langkah-langkah berikut untuk memverifikasi bahwa alur kerja berhasil dieksekusi dan menjelajahi data tabel. Untuk informasi selengkapnya tentang cara melihat dan menggunakan informasi tugas yang diekspor, seperti menulis kueri, lihat Mengelola data tabel dalam dokumentasi BigQuery.

1. Di konsol Google Cloud, buka halaman BigQuery:

   Buka BigQuery

2. Di panel Explorer, buka tabel untuk informasi tugas yang diekspor:

   1. Di kolom Telusuri resource BigQuery, masukkan nama tabel dari alur kerja tugas ekspor Anda. Misalnya, nama tabel default adalah default_table_id.
   2. Klik nama tabel. Halaman detail tabel akan terbuka.

   3. Di halaman detail tabel, klik tab Details.

      Pada tab Details, catat stempel waktu Last modified dan Number of rows.

   4. Di halaman detail tabel, klik tab Pratinjau.

Langkah selanjutnya

• Pelajari Alur Kerja lebih lanjut.
• Pelajari BigQuery lebih lanjut.
• Pelajari Batch lebih lanjut:
  • Melihat tugas di project Anda
  • Menghapus tugas
  • Membuat tugas lain