Notifikasi operasi BigQuery Data Transfer Service
Halaman ini menyediakan ringkasan notifikasi operasi untuk BigQuery Data Transfer Service.
Ringkasan
Ada dua jenis notifikasi operasi yang dapat Anda konfigurasikan untuk BigQuery Data Transfer Service:
- Notifikasi Pub/Sub: notifikasi yang dapat dibaca mesin, dikirim saat operasi transfer berhasil atau gagal dijalankan
- Notifikasi email: notifikasi yang dapat dibaca manusia, dikirim saat operasi transfer gagal dijalankan
Anda dapat mengonfigurasi jenisnya satu demi satu, atau Anda dapat menggunakan notifikasi operasi Pub/Sub dan email sekaligus.
Notifikasi Pub/Sub
Notifikasi Pub/Sub mengirimkan informasi tentang operasi transfer ke topik Pub/Sub. Notifikasi Pub/Sub dipicu oleh operasi transfer yang selesai dalam kondisi berikut:
SUCCEEDED
FAILED
CANCELLED
Anda dapat mengirim notifikasi ke topik Pub/Sub mana pun dalam project apa pun yang izinnya Anda miliki secara memadai. Setelah diterima oleh topik Pub/Sub, pesan yang dihasilkan dapat dikirim ke sejumlah pelanggan topik tersebut.
Sebelum memulai
Sebelum mengonfigurasi notifikasi operasi transfer Pub/Sub, Anda harus:
Mengaktifkan Pub/Sub API untuk project yang akan menerima notifikasi.
Memiliki izin yang memadai pada project yang akan menerima notifikasi:
Jika Anda memiliki project yang akan menerima notifikasi, kemungkinan besar Anda memiliki izin yang diperlukan.
Jika berencana membuat topik untuk menerima notifikasi, Anda harus memiliki izin
pubsub.topics.create
.Baik rencanda Anda untuk menggunakan topik baru maupun yang lama, Anda harus memiliki izin
pubsub.topics.getIamPolicy
danpubsub.topics.setIamPolicy
. Jika Anda membuat topik, biasanya Anda sudah memiliki izin untuk itu. Peran IAM yang telah ditetapkan berikut memiliki izinpubsub.topics.getIamPolicy
danpubsub.topics.setIamPolicy
:pubsub.admin
. Lihat kontrol akses Pub/Sub untuk informasi selengkapnya.
Memiliki topik Pub/Sub yang sudah ada yang ingin Anda kirimi notifikasi.
Format notifikasi
Notifikasi yang dikirim ke topik Pub/Sub terdiri dari dua bagian:
- Atribut: Kumpulan key:value pair yang mendeskripsikan peristiwa.
- Payload: String yang berisi metadata objek yang diubah.
Atribut
Atribut adalah key:value pair yang terdapat dalam semua notifikasi yang dikirim oleh BigQuery Data Transfer Service ke topik Pub/Sub Anda. Notifikasi selalu berisi serangkaian key-value pair berikut, terlepas dari payload notifikasi:
Nama atribut | Contoh | Deskripsi |
---|---|---|
eventType | TRANSFER_RUN_FINISHED |
Jenis peristiwa yang baru saja terjadi. TRANSFER_RUN_FINISHED adalah satu-satunya nilai yang dapat digunakan. |
payloadFormat | JSON_API_V1 |
Format payload objek. JSON_API_V1 adalah satu-satunya nilai yang dapat digunakan. |
Payload
Payload adalah string yang berisi metadata operasi transfer. Jenis payload tersebut tidak dapat dikonfigurasi saat ini dan disediakan untuk mengakomodasi perubahan versi API mendatang.
Payload type | Deskripsi |
---|---|
JSON_API_V1 | Payload akan berupa string yang diserialisasi JSON UTF-8 yang berisi representasi resource TransferRun . |
Notifikasi email
Notifikasi email mengirimkan pesan email yang dapat dibaca manusia saat operasi transfer gagal. Pesan tersebut dikirim kepada pengguna yang menyiapkan transfer. Pesan itu tidak dapat dikonfigurasi.
Jika pengguna lain semestinya perlu menerima notifikasi email operasi transfer, siapkan aturan penerusan email untuk mendistribusikan pesan. Jika menggunakan Gmail, Anda dapat Meneruskan pesan Gmail ke akun lain secara otomatis.
Notifikasi email dikirim oleh BigQuery Data Transfer Service dan berisi detail tentang konfigurasi transfer, operasi transfer, dan link ke histori operasi yang gagal. Contoh:
From: bigquery-data-transfer-service-noreply@google.com To: user_who_set_up_transfer Title: BigQuery Data Transfer Service — Transfer Run Failure — display_name Transfer Configuration Display Name: display_name Source: data_source Destination: project_id Run Summary Run: run_name Schedule Time: schedule_time Run Time: run_time View Run History Google LLC 1600 Amphitheatre Parkway, Mountain View, CA 94043 This email was sent because you indicated you are willing to receive Run Notifications from the BigQuery Data Transfer Service. If you do not wish to receive such emails in the future, click View Transfer Configuration and un-check the "Send E-mail Notifications" option.
Mengaktifkan notifikasi
Anda dapat mengaktifkan notifikasi dengan:
Konsol
Buka halaman BigQuery di konsol Google Cloud.
Klik Transfer data di menu navigasi.
Untuk mengaktifkan notifikasi transfer baru, klik
Buat transfer. Untuk menyesuaikan notifikasi pada transfer yang ada, klik nama transfer, lalu klik Edit.Di bagian Opsi Notifikasi, klik tombol di samping jenis notifikasi yang ingin diaktifkan.
- Notifikasi email: Jika Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat operasi transfer gagal.
- Notifikasi Pub/Sub: Saat Anda mengaktifkan opsi ini, pilih nama topik atau klik Buat topik. Opsi ini mengonfigurasi notifikasi operasi Pub/Sub atas transfer yang dilakukan.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Python API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Harga notifikasi operasi
Jika Anda mengonfigurasi notifikasi operasi Pub/Sub, Anda akan dikenai biaya Pub/Sub. Untuk mengetahui informasi selengkapnya, lihat halaman Harga Pub/Sub.
Langkah selanjutnya
- Pelajari Pub/Sub lebih lanjut.
- Pelajari cara membuat topik Pub/Sub Lite lebih lanjut.
- Pelajari BigQuery Data Transfer Service lebih lanjut.