Mengekspor informasi tugas

Halaman ini menjelaskan cara mengekspor informasi untuk tugas Anda yang disimpan dalam Batch ke tabel BigQuery menggunakan Workflows. Secara khusus, pelajari cara menjalankan contoh alur kerja tugas ekspor dan cara melihat informasi tugas yang dihasilkan di BigQuery.

Mengekspor informasi tugas berguna jika Anda ingin mempertahankan informasi tersebut setelah tugas dihapus secara otomatis atau manual atau menganalisis informasi di luar Batch. Atau, jika Anda hanya ingin mengekspor informasi perubahan status tugas dan tugas ke BigQuery, lihat Memantau tugas menggunakan notifikasi.

Untuk mempelajari cara mengekspor informasi tugas yang disimpan di layanan Google Cloud lainnya, lihat dokumentasi ekspor untuk layanan tersebut. Misalnya, lihat halaman berikut:

• Mengekspor log Cloud Logging.
• Mengekspor metrik Cloud Monitoring.

Catatan: Alur kerja dan BigQuery terpisah produk Google Cloud yang memiliki harganya sendiri. Untuk informasi selengkapnya, lihat Harga Workflows dan Harga BigQuery.

Sebelum memulai

1. Jika belum pernah menggunakan Batch, baca Mulai menggunakan Batch dan aktifkan Batch dengan menyelesaikan prasyarat untuk project dan pengguna.

2. Aktifkan API BigQuery and Workflows.

   Mengaktifkan API

3. Opsional: Mengidentifikasi data yang ada Set data atau tabel BigQuery di project tempat Anda ingin menyimpan informasi pekerjaan. Tabel yang ada harus memiliki skema yang cocok.

   Jika tidak, Anda dapat menggunakan alur kerja ekspor-tugas untuk membuat set data atau tabel baru.

4. Siapkan akun layanan untuk alur kerja ekspor-tugas dengan melakukan hal berikut:

   1. Membuat akun layanan baru atau mengidentifikasi akun layanan yang ada.

   2. Untuk memastikan bahwa akun layanan memiliki izin akses untuk menjalankan alur kerja ekspor-tugas, minta administrator untuk memberikan akun layanan peran IAM berikut pada project:

      • Menulis log: Penulis Log (roles/logging.logWriter)
      • Membuat dan mengedit set data dan tabel BigQuery: Admin BigQuery (roles/bigquery.admin)
      • Melihat dan menghapus tugas Batch: Batch Job Editor (roles/batch.jobsEditor)

      Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

      Administrator Anda mungkin juga dapat memberikan akun layanan izin yang diperlukan melalui perintah peran atau setelan standar lainnya peran tertentu.

5. Untuk mendapatkan izin yang Anda perlukan guna membuat, men-deploy, dan menjalankan alur kerja tugas ekspor, minta administrator untuk memberi Anda peran IAM berikut pada project:

   • Lihat lowongan: Batch Job Viewer (roles/batch.jobsViewer)
   • Lihat akun layanan: Lihat Akun Layanan (roles/iam.serviceAccountViewer)
   • Melihat set data dan tabel BigQuery: BigQuery Data Viewer (roles/bigquery.dataViewer)
   • Buat, deploy, dan jalankan alur kerja: Editor Workflows (roles/workflows.editor)

6. Pastikan pengguna dalam project Anda dapat melihat informasi tugas yang diekspor.

   Untuk memastikan bahwa pengguna memiliki izin untuk mengekspor informasi pekerjaan, minta administrator untuk memberi pengguna izin Peran IAM BigQuery Data Viewer (roles/bigquery.dataViewer) pada tabel, set data, atau project.

   Catatan: Anda hanya dapat memberikan akses ke resource yang ada. Kecuali Anda merencanakan untuk mengekspor informasi tugas ke tabel atau {i>dataset<i} yang sudah ada sebelumnya, Anda harus memberikan akses ini baik pada proyek atau setelah mengekspor informasi pekerjaan.

Mengekspor informasi tugas

Bagian ini menjelaskan cara mengekspor informasi tugas menggunakan alur kerja ekspor tugas, yang berasal dari contoh kode export-to-bigquery. Alur kerja ekspor-tugas mengekspor informasi untuk tugas proyek Anda yang berada di wilayah tertentu dan memenuhi kriteria filter yang ditentukan.

Penting: Alur kerja tugas ekspor hanya dapat mengekspor informasi tugas dari satu wilayah dalam satu waktu. Jika Anda ingin mengekspor informasi untuk tugas di beberapa region atau beberapa subset di suatu region, konfigurasikan, buat, deploy, dan jalankan alur kerja tugas ekspor khusus untuk setiap kasus penggunaan.

Sebaiknya buat alur kerja khusus untuk setiap kasus penggunaan. Meskipun Anda dapat memodifikasi dan menjalankan kembali satu alur kerja dalam satu alur kerja, alur kerja mempermudah pelacakan kapan Anda terakhir kali mengekspor pekerjaan dan menjadwalkan alur kerja untuk mengekspor pekerjaan Anda secara otomatis.

Alur kerja ekspor-tugas mengekspor informasi tugas ke tabel yang ditentukan dalam set data tertentu, yang otomatis dibuat oleh alur kerja jika belum ada dalam project Anda. Secara default, alur kerja ekspor-tugas juga menghapus tugas yang diekspor dari Batch, tetapi Anda juga dapat mengedit alur kerja ekspor-tugas agar tidak menghapus tugas.

Untuk setiap alur kerja tugas ekspor yang ingin Anda gunakan, lakukan tindakan berikut:

1. Mengonfigurasi definisi alur kerja.
2. Buat dan deploy alur kerja.
3. Jalankan alur kerja. Ulangi langkah ini setiap kali Anda ingin mengekspor tugas tertentu.

Mengonfigurasi definisi alur kerja

1. Unduh File export-to-bigquery-delete-batch-jobs.yaml dari GitHub.

2. Buka file export-to-bigquery-delete-batch-jobs.yaml di editor teks. Kemudian, lakukan pengeditan berikut:

   1. Ganti sys.get_env("GOOGLE_CLOUD_PROJECT_ID") dengan project ID Anda yang diformat sebagai string, misalnya, "my-project-id".

   2. Ganti sys.get_env("GOOGLE_CLOUD_LOCATION") dengan wilayah yang berisi tugas yang ingin Anda ekspor, diformat sebagai string—misalnya, "us-central1".

   3. Opsional: Edit kriteria filter yang menentukan tugas yang akan diekspor.

      Secara default, alur kerja ekspor tugas menentukan kriteria filter "(status.state:SUCCEEDED OR status.state:FAILED) AND create_time<=\"2023-05-01T00:00:00Z\"". Kriteria filter default ini mengekspor informasi hanya untuk pekerjaan yang dalam status SUCCEEDED atau FAILED serta dibuat sebelum atau oleh 2023-05-01T00:00:00Z RFC 3339. {i>stempel waktu<i}.

   4. Opsional: Ganti default_dataset_id dengan nama yang berbeda untuk yang Anda inginkan untuk digunakan atau dibuat oleh alur kerja ekspor-tugas tersebut.

   5. Opsional: Ganti default_table_id dengan nama tabel yang berbeda yang Anda inginkan untuk digunakan atau dibuat oleh alur kerja ekspor-tugas tersebut.

   6. Jika Anda tidak ingin tugas yang diekspor dihapus oleh alur kerja, lakukan berikut ini:

      Tips: Jika Anda tidak menghapus tugas yang diekspor, jalankan ulang tugas ekspor yang sama mungkin akan menciptakan baris duplikat. Jika ingin menghindari hal ini, Anda dapat perbarui kriteria filter create_time sebelum setiap eksekusi ulang untuk hanya menyertakan tugas yang dibuat setelah eksekusi sebelumnya. Untuk mempelajari cara melihat kapan alur kerja dijalankan sebelumnya, lihat Mengakses hasil eksekusi alur kerja.

      1. Hapus baris berikut:

                 - log_delete_step:
                     call: sys.log
                     args:
                       text: ${"Deleting Batch job " + j.name}
                       severity: NOTICE
                 - delete_job:
                     call: googleapis.batch.v1.projects.locations.jobs.delete
                     args:
                       name: ${j.name}
         

      2. Hapus + " and deleted".

   7. Simpan file. Jangan tutup file.

Membuat dan men-deploy alur kerja

1. Di konsol Google Cloud, buka halaman Workflows:

   Buka Workflows

2. Di halaman Alur kerja, klik Buat.

3. Di kolom Nama alur kerja, masukkan nama alur kerja—untuk contoh, export-batch-jobs-us-central1.

4. Dalam daftar Service account, pilih akun layanan yang ingin Anda sudah siap.

5. Klik Berikutnya.

6. Di editor alur kerja, ganti contoh alur kerja dengan konten dari file export-to-bigquery-delete-batch-jobs.yaml. Selanjutnya, Anda dapat menutup file tersebut.

7. Klik Deploy. Halaman Detail alur kerja akan terbuka.

Menjalankan alur kerja

Tips: Jika Anda ingin otomatis menjalankan alur kerja tugas ekspor, lihat Menjadwalkan alur kerja menggunakan Cloud Scheduler dalam dokumentasi Workflows sebagai gantinya. Misalnya, karena setiap tugas akan otomatis dihapus 60 hari setelah selesai, Anda dapat mengekspor semua tugas Anda (yang tidak dihapus secara manual) dengan menjadwalkan satu atau beberapa tugas ekspor alur kerja untuk mengekspor dan menghapus tugas setiap 59 hari.

1. Di halaman Workflow details, klik Execute. Halaman Execute alur kerja terbuka.

2. Di halaman Execute alur kerja yang terbuka, klik Execute.

3. Di Execution details, halaman yang terbuka, tunggu hingga alur kerja selesai dijalankan. Misalnya, waktu eksekusi untuk mengekspor dan menghapus beberapa tugas biasanya beberapa detik, tetapi eksekusi mungkin memerlukan waktu lebih lama jika Anda mengekspor dan menghapus banyak tugas.

   Setelah alur kerja selesai dieksekusi, panel Output akan menampilkan hasil pengujian tersebut.

Melihat informasi lowongan yang diekspor

Bagian ini memperkenalkan cara melihat data tabel yang dibuat oleh tugas ekspor alur kerja. Misalnya, Anda dapat menggunakan langkah-langkah berikut untuk memverifikasi alur kerja tersebut berhasil dieksekusi dan menjelajahi data tabel. Untuk mengetahui informasi selengkapnya tentang cara melihat dan menggunakan informasi tugas yang diekspor, seperti menulis kueri, lihat Mengelola data tabel di dokumentasi BigQuery.

1. Di konsol Google Cloud, buka halaman BigQuery:

   Buka BigQuery

2. Di panel Explorer, buka tabel yang berisi informasi tugas yang diekspor:

   1. Di kolom Telusuri resource BigQuery, masukkan nama tabel dari alur kerja tugas ekspor Anda. Misalnya, default nama tabelnya adalah default_table_id.
   2. Klik nama tabel. Halaman detail tabel akan terbuka.

   3. Di halaman detail tabel, klik tab Details.

      Di tab Details, perhatikan stempel waktu Terakhir diubah dan Jumlah baris.

   4. Di halaman detail tabel, klik tab Preview.

Langkah selanjutnya

• Pelajari lebih lanjut Alur kerja.
• Pelajari BigQuery lebih lanjut.
• Pelajari Batch lebih lanjut:
  • Melihat tugas di project
  • Menghapus tugas
  • Membuat tugas lain