Merutekan peristiwa Cloud Storage ke GKE

Pemicu Eventarc mendeklarasikan minat Anda pada peristiwa atau rangkaian peristiwa tertentu. Anda dapat mengonfigurasi pemilihan rute peristiwa dengan menentukan filter untuk pemicu, termasuk sumber peristiwa, dan layanan Google Kubernetes Engine (GKE) target yang berjalan di cluster GKE. Perhatikan bahwa target hanya dapat menyertakan layanan yang berjalan di cluster GKE (publik atau pribadi) dengan endpoint publik. Untuk menargetkan layanan di cluster GKE dengan endpoint pribadi, rutekan peristiwa ke endpoint HTTP internal.

Eventarc mengirimkan peristiwa ke penerima peristiwa dalam format CloudEvents melalui permintaan HTTP.

Petunjuk ini menunjukkan cara mengonfigurasi pemilihan rute peristiwa ke layanan GKE yang dipicu oleh peristiwaCloud Storage langsung. Untuk mengetahui detail selengkapnya, lihat daftar peristiwa langsung yang didukung.

Sebelum memulai

Anda harus mengaktifkan Workload Identity Federation untuk GKE di cluster GKE tempat layanan tujuan berjalan. Workload Identity Federation untuk GKE diperlukan untuk menyiapkan pengirim peristiwa dengan benar dan merupakan cara yang direkomendasikan untuk mengakses layananGoogle Cloud dari aplikasi yang berjalan dalam GKE karena properti keamanan dan pengelolaannya yang lebih baik.

Arsitektur peristiwa Eventarc ke target GKE

Workload Identity Federation for GKE

Aplikasi yang berjalan di GKE mungkin memerlukan akses keGoogle Cloud API. Workload Identity Federation untuk GKE memungkinkan akun layanan Kubernetes di cluster GKE Anda berfungsi sebagai akun layanan IAM. Pod yang menggunakan akun layanan Kubernetes yang dikonfigurasi akan otomatis melakukan autentikasi sebagai akun layanan IAM saat mengakses Google Cloud API. Dengan menggunakan Workload Identity Federation untuk GKE, Anda dapat menetapkan identitas dan otorisasi yang berbeda secara terperinci untuk setiap aplikasi di cluster. Perhatikan bahwa izin tertentu harus diberikan ke akun layanan pemicu Eventarc. Dalam dokumen ini, lihat langkah-langkah untuk Membuat akun layanan.

Untuk informasi selengkapnya tentang cara mengaktifkan dan mengonfigurasi Workload Identity Federation for GKE di cluster GKE, lihat Menggunakan Workload Identity Federation for GKE.

Pengirim peristiwa

Pengirim peristiwa Eventarc menarik peristiwa baru dari Eventarc dan meneruskannya ke tujuan GKE. Komponen ini bertindak sebagai mediator antara lapisan transpor Pub/Sub dan layanan GKE. Fitur ini berfungsi pada layanan yang ada dan juga mendukung layanan sinyal (termasuk yang tidak ditampilkan di luar cluster yang dikelola sepenuhnya) sekaligus menyederhanakan penyiapan dan pemeliharaan. Pada tingkat jaringan, untuk menerima peristiwa di layanan GKE, Anda tidak perlu membuka layanan untuk traffic eksternal karena semua peristiwa dikirimkan dari origin yang berada dalam cluster GKE yang sama.

Perhatikan bahwa siklus proses penerusan peristiwa dikelola oleh Eventarc, dan jika Anda tidak sengaja menghapus penerusan peristiwa, Eventarc akan memulihkan komponen ini.

Untuk setiap pemicu yang mengarah ke tujuan GKE, penerusan peristiwa (pod gke-forwarder yang dikonfigurasi secara khusus) melakukan hal berikut:

  1. Fungsi ini menggunakan Pub/Sub API untuk membuka koneksi StreamingPull ke transporter pemicu (topik dan langganan Pub/Sub) dan menerima peristiwa saat tersedia.

  2. Fungsi ini mengubah peristiwa ke format CloudEvents yang benar, serta mengenkode dan mengirimkannya sebagai permintaan HTTP POST ke layanan GKE target.

Agen layanan Eventarc memerlukan izin untuk menjalankan dan memperbarui instance gke-forwarder secara berkala. Izin ini harus diberikan sekali per project. Untuk mengetahui detailnya, dalam dokumen ini, lihat Mengaktifkan tujuan GKE.

Bersiap untuk membuat pemicu

Untuk setiap pemicu yang menargetkan layanan GKE, Eventarc akan membuat komponen penerusan peristiwa. Eventarc memerlukan izin untuk menginstal komponen dan mengelola resource di cluster GKE. Sebelum membuat pemicu Eventarc untuk tujuan GKE, pastikan Anda menyelesaikan tugas berikut.

Konsol

  1. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat Google Cloud project.

    Buka pemilih project

  2. Aktifkan Eventarc, Eventarc Publishing, Google Kubernetes Engine, dan Resource Manager API.

    Mengaktifkan API

  3. Jika berlaku, aktifkan API yang terkait dengan peristiwa langsung. Misalnya, untuk peristiwa Cloud Storage , aktifkan APICloud Storage .

  4. Jika Anda belum memilikinya, buat akun layanan yang dikelola pengguna, lalu berikan peran dan izin yang diperlukan agar Eventarc dapat mengelola peristiwa untuk layanan target Anda.

    1. Di konsol Google Cloud, buka halaman Create service account.

      Buka Buat akun layanan

    2. Pilih project Anda.

    3. Di kolom Nama akun layanan, masukkan nama. Konsol Google Cloud akan mengisi kolom ID akun layanan berdasarkan nama ini.

      Di kolom Deskripsi akun layanan, masukkan sebuah deskripsi. Contoh, Service account for event trigger.

    4. Klik Buat dan lanjutkan.

    5. Untuk memberikan akses yang sesuai, di daftar Select a role, pilih peran Identity and Access Management (IAM) yang diperlukan untuk diberikan ke akun layanan Anda. Untuk mengetahui informasi selengkapnya, lihat Peran dan izin untuk target GKE.

      Untuk peran tambahan, klik Tambahkan peran lain, lalu tambahkan setiap peran tambahan.

    6. Klik Lanjutkan.

    7. Untuk menyelesaikan pembuatan akun, klik Selesai.

  5. Berikan peran Pub/Sub Publisher ke agen layanan Cloud Storage. Biasanya, ini adalah service-PROJECT_NUMBER@gs-project-accounts.iam.gserviceaccount.com. Anda dapat mengambil alamat email untuk agen layanan Cloud Storage.

    1. Di konsol Google Cloud, buka halaman IAM.

      Buka IAM

    2. Di baris untuk agen layanan Cloud Storage, klik Edit principal. (Jika agen layanan tidak tercantum, lanjutkan ke langkah berikutnya.) Panel Edit akses akan terbuka.

      1. Klik Tambahkan peran lain, lalu telusuri peran Pub/Sub Publisher.
      2. Pilih peran.
      3. Klik Simpan.

    3. Jika agen layanan tidak tercantum, klik Berikan akses. Panel Berikan akses akan terbuka.

      1. Di kolom New principals, masukkan alamat email untuk agen layanan.
      2. Dalam daftar Select a role, telusuri peran Pub/Sub Publisher.
      3. Pilih peran.
      4. Klik Simpan.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Aktifkan Eventarc, Eventarc Publishing, Google Kubernetes Engine, dan Resource Manager API.

    gcloud services enable eventarc.googleapis.com \
    eventarcpublishing.googleapis.com \
    container.googleapis.com \
    cloudresourcemanager.googleapis.com

  3. Jika berlaku, aktifkan API yang terkait dengan peristiwa langsung. Misalnya, untuk peristiwa Cloud Storage , aktifkan storage.googleapis.com.

  4. Jika Anda belum memilikinya, buat akun layanan yang dikelola pengguna, lalu berikan peran dan izin yang diperlukan agar Eventarc dapat mengelola peristiwa untuk tujuan GKE target Anda.

    1. Buat akun layanan:

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      Ganti SERVICE_ACCOUNT_NAME dengan nama akun layanan. Panjangnya harus antara 6 dan 30 karakter, serta dapat berisi karakter alfanumerik huruf kecil dan tanda pisah. Setelah membuat akun layanan, Anda tidak dapat mengubah namanya.

    2. Berikan peran atau izin Identity and Access Management (IAM) yang diperlukan. Untuk mengetahui informasi selengkapnya, lihat Peran dan izin untuk target GKE.

  5. Berikan peran pubsub.publisher ke akun layanan Cloud Storage:

    SERVICE_ACCOUNT="$(gsutil kms serviceaccount -p PROJECT_ID)"

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member="serviceAccount:${SERVICE_ACCOUNT}" \
  --role="roles/pubsub.publisher"

Mengaktifkan tujuan GKE

Untuk mengizinkan Eventarc mengelola resource di cluster GKE, aktifkan tujuan GKE, dan ikat agen layanan Eventarc dengan peran yang diperlukan.

  1. Aktifkan tujuan GKE untuk Eventarc:

    gcloud eventarc gke-destinations init

  2. Pada perintah untuk mengikat peran yang diperlukan, masukkan y.

    Peran berikut terikat:

    • roles/compute.viewer
    • roles/container.developer
    • roles/iam.serviceAccountAdmin

Buat pemicu

Anda dapat membuat pemicu Eventarc menggunakan Google Cloud CLI atau melalui konsol Google Cloud.

Konsol

  1. Di konsol Google Cloud, buka halaman Pemicu Eventarc.

    Buka Pemicu

  2. Klik Create trigger.
  3. Ketik Nama pemicu.

    Ini adalah ID pemicu dan harus diawali dengan huruf. Nama dapat berisi hingga 63 huruf kecil, angka, atau tanda hubung.

  4. Untuk Jenis pemicu, pilih Sumber Google.
  5. Dalam daftar Penyedia peristiwa, pilih Cloud Storage.

    Perhatikan bahwa nama penyedia peristiwa yang digunakan dalam dokumentasiGoogle Cloud terkait mungkin tidak memiliki awalan Cloud atau Google Cloud. Misalnya, di konsol, Memorystore for Redis disebut sebagai Google Cloud Memorystore for Redis.

  6. Di daftar Jenis peristiwa, dari peristiwa Langsung, pilih jenis peristiwa:
    • google.cloud.storage.object.v1.archived: peristiwa dikirim saat versi aktif objek diarsipkan atau dihapus. Peristiwa ini hanya dikirim untuk bucket pembuatan versi.
    • google.cloud.storage.object.v1.delete: peristiwa dikirim saat objek dihapus secara permanen. Bergantung pada setelan pembuatan versi objek untuk bucket, hal ini berarti:
      • Untuk bucket pembuatan versi, peristiwa ini hanya dikirim saat versi dihapus secara permanen (tetapi tidak saat objek diarsipkan).
      • Untuk bucket tanpa pembuatan versi, peristiwa ini dikirim saat objek dihapus atau ditimpa.
    • google.cloud.storage.object.v1.finalized: peristiwa dikirim saat objek baru dibuat (atau objek yang ada ditimpa, dan pembuatan ulang objek tersebut dibuat) di bucket.
    • google.cloud.storage.object.v1.metadataUpdated: peristiwa dikirim saat [metadata](/storage/docs/metadata) objek yang ada berubah.
  7. Di daftar Jenis konten data peristiwa, pilih encoding payload peristiwa.

    Untuk peristiwa langsung dari Cloud Storage, jenis konten ini harus application/json.

  8. Tentukan atau jelajahi ID unik global dari Bucket Cloud Storage.

    Bucket Cloud Storage harus berada di projectGoogle Cloud dan region atau multi-region yang sama dengan pemicu Eventarc.

  9. Pilih Region.

    Pemicu Cloud Storage untuk Eventarc tersedia di lokasi satu region, dual-region, dan multi-region]. Perhatikan bahwa bucket Cloud Storage harus berada di project dan region atau multi-region Google Cloud yang sama dengan pemicu Eventarc.

    Peristiwa dikirim menggunakan notifikasi Pub/Sub dari Cloud Storage. Menyiapkan terlalu banyak notifikasi yang terdaftar di bucket yang sama dapat menghabiskan batas notifikasi untuk bucket tersebut seperti yang ditunjukkan oleh error Cloud Storage bucket ...: Pub/Sub notification limit reached. Bucket dapat memiliki hingga 10 konfigurasi notifikasi yang ditetapkan untuk dipicu untuk peristiwa tertentu. Lihat kuota dan batasan lainnya di halaman kuota dan batas Cloud Storage.

  10. Pilih Service account yang akan memanggil layanan atau alur kerja Anda.

    Atau, Anda dapat membuat akun layanan baru.

    Ini menentukan email akun layanan Identity and Access Management (IAM) yang terkait dengan pemicu dan yang sebelumnya Anda berikan peran tertentu yang diperlukan oleh Eventarc.

  11. Dalam daftar Tujuan peristiwa, pilih Kubernetes Engine.
  12. Pilih layanan.

    Ini adalah nama layanan yang menerima peristiwa untuk pemicu. Layanan harus berada dalam project yang sama dengan pemicu dan akan menerima peristiwa sebagai permintaan POST HTTP yang dikirim ke jalur URL root-nya (/), setiap kali peristiwa dibuat.

  13. Secara opsional, Anda dapat menentukan Jalur URL Layanan untuk mengirim permintaan masuk.

    Ini adalah jalur relatif di layanan tujuan tempat peristiwa untuk pemicu harus dikirim. Misalnya: /, /route, route, route/subroute.

  14. Secara opsional, untuk menambahkan label, Anda dapat mengklik Tambahkan label. Label adalah pasangan nilai kunci yang membantu Anda mengatur resourceGoogle Cloud . Untuk informasi selengkapnya, lihat Apa yang dimaksud dengan label?
  15. Klik Buat.

    16. Setelah pemicu dibuat, filter sumber peristiwa tidak dapat diubah. Sebagai gantinya, buat pemicu baru dan hapus pemicu lama. Untuk informasi selengkapnya, lihat Mengelola pemicu.

gcloud

Anda dapat membuat pemicu dengan menjalankan perintah gcloud eventarc triggers create bersama dengan flag wajib dan opsional.

gcloud eventarc triggers create TRIGGER \
    --location=LOCATION \
    --destination-gke-cluster=DESTINATION_GKE_CLUSTER \
    --destination-gke-location=DESTINATION_GKE_LOCATION \
    --destination-gke-namespace=DESTINATION_GKE_NAMESPACE \
    --destination-gke-service=DESTINATION_GKE_SERVICE \
    --destination-gke-path=DESTINATION_GKE_PATH \
    --event-filters="type=EVENT_FILTER_TYPE" \
    --event-filters="bucket=BUCKET" \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"

Ganti kode berikut:

  • TRIGGER: ID pemicu atau ID yang memenuhi syarat sepenuhnya
  • LOCATION: lokasi pemicu Eventarc. Atau, Anda dapat menetapkan properti eventarc/location; misalnya, gcloud config set eventarc/location us-central1.

    Bucket Cloud Storage harus berada di project dan region atau multi-region Google Cloud yang sama dengan pemicu Eventarc. Untuk informasi selengkapnya, lihat Lokasi Eventarc.

  • DESTINATION_GKE_CLUSTER: nama cluster GKE tempat layanan GKE target yang menerima peristiwa berjalan.
  • DESTINATION_GKE_LOCATION: (opsional) Region Compute Engine cluster GKE tempat layanan GKE tujuan berjalan. Jika tidak ditentukan, cluster akan dianggap sebagai cluster regional dan berada di region yang sama dengan pemicu.
  • DESTINATION_GKE_NAMESPACE: (opsional) namespace tempat layanan GKE tujuan berjalan. Jika tidak ditentukan, namespace default akan digunakan.
  • DESTINATION_GKE_SERVICE: nama layanan GKE yang menerima peristiwa untuk pemicu. Layanan dapat berada di lokasi mana pun yang didukung GKE dan tidak perlu berada di lokasi yang sama dengan pemicu. Namun, layanan harus berada dalam project yang sama dengan pemicu dan akan menerima peristiwa sebagai permintaan POST HTTP yang dikirim ke jalur URL root-nya (/), setiap kali peristiwa dibuat.
  • DESTINATION_GKE_PATH: (opsional) jalur relatif yang Anda tentukan di layanan GKE tujuan tempat peristiwa untuk pemicu harus dikirim. Misalnya: /, /route, route, route/subroute.
  • EVENT_FILTER_TYPE: ID peristiwa Cloud Storage dan dapat berupa salah satu dari hal berikut:
    • google.cloud.storage.object.v1.finalized: peristiwa dikirim saat objek baru dibuat (atau objek yang ada ditimpa, dan pembuatan baru objek tersebut dibuat) di bucket
    • google.cloud.storage.object.v1.archived: peristiwa dikirim saat versi aktif objek diarsipkan atau dihapus. Peristiwa ini hanya dikirim untuk bucket pembuatan versi.
    • google.cloud.storage.object.v1.deleted: peristiwa dikirim saat objek dihapus secara permanen. Bergantung pada setelan pembuatan versi objek untuk bucket, hal ini berarti:
      • Untuk bucket pembuatan versi, peristiwa ini hanya dikirim saat versi dihapus secara permanen (tetapi tidak saat objek diarsipkan).
      • Untuk bucket tanpa pembuatan versi, peristiwa ini dikirim saat objek dihapus atau ditimpa.
    • google.cloud.storage.object.v1.metadataUpdated: peristiwa dikirim saat metadata objek yang ada berubah.
  • BUCKET adalah ID unik global dari bucket Cloud Storage.
  • SERVICE_ACCOUNT_NAME: nama akun layanan yang dikelola pengguna.
  • PROJECT_ID: Google Cloud Project ID Anda.

Catatan:

  • Flag ini diperlukan:
    • --event-filters="type=EVENT_FILTER_TYPE"
    • --event-filters="bucket=BUCKET"
  • Setiap pemicu dapat memiliki beberapa filter peristiwa, yang dipisahkan koma dalam satu flag --event-filters=[ATTRIBUTE=VALUE,...], atau Anda dapat mengulangi flag untuk menambahkan lebih banyak filter. Hanya peristiwa yang cocok dengan semua filter yang dikirim ke tujuan. Karakter pengganti dan ekspresi reguler tidak didukung.
  • Setelah pemicu dibuat, jenis filter peristiwa tidak dapat diubah. Untuk jenis peristiwa yang berbeda, Anda harus membuat pemicu baru dan menghapus pemicu lama.
  • Peristiwa dikirim menggunakan notifikasi Pub/Sub dari Cloud Storage. Menyiapkan terlalu banyak notifikasi yang terdaftar untuk bucket yang sama dapat menghabiskan batas notifikasi untuk bucket seperti yang ditunjukkan oleh error Cloud Storage bucket ...: Pub/Sub notification limit reached. Bucket dapat memiliki hingga 10 konfigurasi notifikasi yang ditetapkan untuk dipicu untuk peristiwa tertentu. Lihat kuota dan batasan lainnya di halaman kuota dan batas Cloud Storage.
  • Untuk peristiwa langsung dari Cloud Storage, enkode payload peristiwa adalah application/json.
  • Flag --service-account digunakan untuk menentukan email akun layanan Identity and Access Management (IAM) yang terkait dengan pemicu.

Contoh:

gcloud eventarc triggers create helloworld-trigger \
    --location=us-central1 \
    --destination-gke-cluster=gke-events-cluster \
    --destination-gke-location=us-central1-a \
    --destination-gke-namespace=default \
    --destination-gke-service=helloworld-events \
    --destination-gke-path=/ \
    --event-filters="type=google.cloud.storage.object.v1.finalized" \
    --event-filters="bucket=my-bucket" \
    --service-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

Perintah ini membuat pemicu yang disebut helloworld-trigger untuk bucket Cloud Storage my-bucket dan peristiwa yang diidentifikasi sebagai google.cloud.storage.object.v1.finalized.

Terraform

Anda dapat membuat pemicu untuk tujuan GKE menggunakan Terraform. Untuk mengetahui detailnya, lihat Membuat pemicu menggunakan Terraform.

Mencantumkan pemicu

Anda dapat mengonfirmasi pembuatan pemicu dengan mencantumkan pemicu Eventarc menggunakan Google Cloud CLI atau melalui konsol Google Cloud.

Konsol

  1. Di konsol Google Cloud, buka halaman Pemicu Eventarc.

    Buka Pemicu

    Halaman ini mencantumkan pemicu Anda di semua lokasi, dan menyertakan detail seperti nama, wilayah, penyedia peristiwa, tujuan, dan lainnya.

  2. Untuk memfilter pemicu:

    1. Klik Filter atau kolom Filter triggers.
    2. Di daftar Properti, pilih opsi untuk memfilter pemicu.

    Anda dapat memilih satu properti atau menggunakan operator logika OR untuk menambahkan properti lainnya.

  3. Untuk mengurutkan pemicu, di samping judul kolom yang didukung, klik Urutkan.

gcloud

Jalankan perintah berikut untuk membuat daftar pemicu:

gcloud eventarc triggers list --location=-

Perintah ini mencantumkan pemicu Anda di semua lokasi, dan menyertakan detail seperti nama, jenis, tujuan, dan status.

Langkah berikutnya