Menunggu peristiwa menggunakan callback dan pemicu Eventarc

Alur kerja Anda mungkin perlu menunggu proses eksternal. Anda dapat menggunakan callback HTTP untuk menunggu layanan lain membuat permintaan ke endpoint callback; permintaan tersebut akan melanjutkan eksekusi alur kerja. Anda juga dapat menunggu menggunakan polling.

Daripada menggunakan polling, tutorial ini menunjukkan cara menunggu peristiwa atau pesan Pub/Sub menggunakan callback HTTP dan pemicu Eventarc. Meskipun Anda dapat memicu alur kerja dengan peristiwa atau pesan Pub/Sub, Anda mungkin ingin menghentikan eksekusi tersebut untuk menunggu peristiwa lain sebelum melanjutkan. Misalnya, peristiwa memicu alur kerja untuk memulai proses, tetapi alur kerja perlu menunggu peristiwa lain yang menandakan bahwa proses telah selesai. Anda dapat menerapkannya dengan membuat satu alur kerja memanggil kembali alur kerja lain.

Membuat database Firestore

Firestore menyimpan data Anda dalam dokumen yang berisi kolom yang dipetakan ke nilai. Dokumen ini disimpan dalam koleksi, yang merupakan container untuk dokumen Anda yang dapat digunakan untuk mengatur data dan membuat kueri. Pelajari Firestore lebih lanjut.

Perhatikan bahwa setiap project Google Cloud dibatasi untuk satu database Firestore. Selesaikan langkah-langkah berikut jika Anda perlu membuat database baru.

Konsol

1. Di konsol Google Cloud , buka halaman Firestore Mulai.

   Buka Mulai

2. Klik Pilih Mode Native .

   Untuk panduan tentang memilih mode database dan perbandingan fitur demi fitur, lihat Memilih antara Mode Native dan Mode Datastore.

3. Di daftar Pilih lokasi, pilih nam5 (Amerika Serikat).

   Lokasi berlaku untuk database Firestore dan aplikasi App Engine di project Google Cloud Anda. Setelah membuat database, Anda tidak dapat mengubah lokasinya.

4. Klik Buat database.

gcloud

Untuk membuat database Firestore, Anda harus membuat aplikasi App Engine terlebih dahulu, lalu menjalankan perintah gcloud firestore databases create:

gcloud app create --region=us-central
gcloud firestore databases create --region=us-central

Anda dapat mengabaikan peringatan us-central is not a valid Firestore location. App Engine dan Firestore mendukung lokasi yang sama, tetapi region us-central (Iowa) App Engine dipetakan ke multi-region nam5 (Amerika Serikat) Firestore.

Membuat topik Pub/Sub

Tutorial ini menggunakan Pub/Sub sebagai sumber peristiwa. Buat topik Pub/Sub agar Anda dapat memublikasikan pesan ke topik tersebut. Pelajari lebih lanjut cara membuat dan mengelola topik.

Konsol

1. Di konsol Google Cloud , buka halaman Topics Pub/Sub.

   Buka Topik

2. Klik CREATE TOPIC.

3. Di kolom Topic ID, masukkan topic-callback.

4. Terima setelan default lainnya.

5. Klik Create topic.

gcloud

Untuk membuat topik, jalankan perintah gcloud pubsub topics create:

gcloud pubsub topics create topic-callback

Membuat bucket Cloud Storage

Tutorial ini menggunakan Cloud Storage sebagai sumber peristiwa. Buat bucket Cloud Storage agar Anda dapat mengupload file ke bucket tersebut. Pelajari lebih lanjut cara membuat bucket penyimpanan.

Konsol

1. Di Google Cloud konsol, buka halaman Bucket Cloud Storage.

   Buka Cloud Storage

2. Klik Buat.

3. Untuk Name bucket Anda, masukkan PROJECT_ID-bucket-callback.

   Project ID digunakan dalam alur kerja callback-event-sample untuk mengidentifikasi bucket.

4. Klik Lanjutkan.

5. Untuk Location type, pilih Region, lalu pilih us-central1 (Iowa).

6. Terima setelan default lainnya.

7. Klik Buat.

gcloud

Untuk membuat bucket, jalankan perintah gcloud storage buckets create:

gcloud storage buckets create gs://PROJECT_ID-bucket-callback \
    --location=us-central1

Project ID digunakan dalam alur kerja callback-event-sample untuk mengidentifikasi bucket.

Setelah sumber peristiwa dibuat, Anda dapat men-deploy alur kerja penerima peristiwa.

Men-deploy alur kerja yang memproses peristiwa

Alur kerja callback-event-listener dipicu saat pesan dipublikasikan ke topik Pub/Sub atau saat file diupload ke bucket Cloud Storage. Alur kerja menerima peristiwa, mengambil detail callback yang sesuai dari database Firestore, lalu mengirim permintaan HTTP ke endpoint callback.

Konsol

1. Di konsol Google Cloud , buka halaman Workflows:

   Buka Workflows

2. Klik Buat.

3. Masukkan nama untuk alur kerja baru: callback-event-listener.

4. Dalam daftar Region, pilih us-central1.

5. Pilih Service account yang Anda buat sebelumnya.

6. Klik Berikutnya.

7. Di editor alur kerja, masukkan definisi berikut untuk alur kerja Anda:

   main:
     params: [event]
     steps:
       - log_event:
           call: sys.log
           args:
             text: ${event}
             severity: INFO
       - init:
           assign:
             - database_root: ${"projects/" + sys.get_env("GOOGLE_CLOUD_PROJECT_ID") + "/databases/(default)/documents/callbacks/"}
             - event_source_tokens: ${text.split(event.source, "/")}
             - event_source_len: ${len(event_source_tokens)}
             - event_source: ${event_source_tokens[event_source_len - 1]}
             - doc_name: ${database_root + event_source}
       - get_document_for_event_source:
           try:
             call: googleapis.firestore.v1.projects.databases.documents.get
             args:
               name: ${doc_name}
             result: document
           except:
               as: e
               steps:
                   - known_errors:
                       switch:
                       - condition: ${e.code == 404}
                         return: ${"No callbacks for event source " + event_source}
                   - unhandled_exception:
                       raise: ${e}
       - process_callback_urls:
           steps:
             - check_fields_exist:
                 switch:
                 - condition: ${not("fields" in document)}
                   return: ${"No callbacks for event source " + event_source}
                 - condition: true
                   next: processFields
             - processFields:
                 for:
                     value: key
                     in: ${keys(document.fields)}
                     steps:
                         - extract_callback_url:
                             assign:
                                 - callback_url: ${document.fields[key]["stringValue"]}
                         - log_callback_url:
                             call: sys.log
                             args:
                               text: ${"Calling back url " + callback_url}
                               severity: INFO
                         - http_post:
                             call: http.post
                             args:
                                 url: ${callback_url}
                                 auth:
                                     type: OAuth2
                                 body:
                                     event: ${event}

8. Klik Deploy.

gcloud

1. Buat file kode sumber untuk alur kerja Anda:

   touch callback-event-listener.yaml

2. Di editor teks, salin alur kerja berikut ke file kode sumber Anda:

   main:
     params: [event]
     steps:
       - log_event:
           call: sys.log
           args:
             text: ${event}
             severity: INFO
       - init:
           assign:
             - database_root: ${"projects/" + sys.get_env("GOOGLE_CLOUD_PROJECT_ID") + "/databases/(default)/documents/callbacks/"}
             - event_source_tokens: ${text.split(event.source, "/")}
             - event_source_len: ${len(event_source_tokens)}
             - event_source: ${event_source_tokens[event_source_len - 1]}
             - doc_name: ${database_root + event_source}
       - get_document_for_event_source:
           try:
             call: googleapis.firestore.v1.projects.databases.documents.get
             args:
               name: ${doc_name}
             result: document
           except:
               as: e
               steps:
                   - known_errors:
                       switch:
                       - condition: ${e.code == 404}
                         return: ${"No callbacks for event source " + event_source}
                   - unhandled_exception:
                       raise: ${e}
       - process_callback_urls:
           steps:
             - check_fields_exist:
                 switch:
                 - condition: ${not("fields" in document)}
                   return: ${"No callbacks for event source " + event_source}
                 - condition: true
                   next: processFields
             - processFields:
                 for:
                     value: key
                     in: ${keys(document.fields)}
                     steps:
                         - extract_callback_url:
                             assign:
                                 - callback_url: ${document.fields[key]["stringValue"]}
                         - log_callback_url:
                             call: sys.log
                             args:
                               text: ${"Calling back url " + callback_url}
                               severity: INFO
                         - http_post:
                             call: http.post
                             args:
                                 url: ${callback_url}
                                 auth:
                                     type: OAuth2
                                 body:
                                     event: ${event}

3. Deploy alur kerja dengan memasukkan perintah berikut:

   gcloud workflows deploy callback-event-listener \
       --source=callback-event-listener.yaml \
       --location=us-central1 \
       --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

   Ganti SERVICE_ACCOUNT_NAME dengan nama akun layanan yang Anda buat sebelumnya.

Men-deploy alur kerja yang menunggu peristiwa

Alur kerja callback-event-sample menyimpan detail callback-nya di database Firestore, menghentikan eksekusinya, lalu menunggu peristiwa tertentu terjadi.

Konsol

1. Di konsol Google Cloud , buka halaman Workflows:

   Buka Workflows

2. Klik Buat.

3. Masukkan nama untuk alur kerja baru: callback-event-sample.

4. Dalam daftar Region, pilih us-central1.

5. Pilih Service account yang Anda buat sebelumnya.

6. Klik Berikutnya.

7. Di editor alur kerja, masukkan definisi berikut untuk alur kerja Anda:

   main:
     steps:
       - init:
           assign:
             - pubsub_topic: topic-callback
             - storage_bucket: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID") + "-bucket-callback"}
       - await_pubsub_message:
           call: await_callback_event
           args:
             event_source: ${pubsub_topic}
           result: pubsub_event
       - await_storage_bucket:
           call: await_callback_event
           args:
             event_source: ${storage_bucket}
           result: storage_event
       - return_events:
           return:
               pubsub_event: ${pubsub_event}
               storage_event: ${storage_event}
   
   await_callback_event:
       params: [event_source]
       steps:
           - init:
               assign:
                 - database_root: ${"projects/" + sys.get_env("GOOGLE_CLOUD_PROJECT_ID") + "/databases/(default)/documents/callbacks/"}
                 - doc_name: ${database_root + event_source}
                 - execution_id: ${sys.get_env("GOOGLE_CLOUD_WORKFLOW_EXECUTION_ID")}
                 - firestore_key: ${"exec_" + text.split(execution_id, "-")[0]}
           - create_callback:
               call: events.create_callback_endpoint
               args:
                 http_callback_method: POST
               result: callback_details
           - save_callback_url:
               call: googleapis.firestore.v1.projects.databases.documents.patch
               args:
                 name: ${doc_name}
                 updateMask:
                   fieldPaths: ["${firestore_key}"]
                 body:
                   fields:
                     ${firestore_key}:
                       stringValue: ${callback_details.url}
           - log_and_await_callback:
               try:
                 steps:
                   - log_await_start:
                       call: sys.log
                       args:
                         severity: INFO
                         data: ${"Started waiting 1hr for an event from source " + event_source}
                   - await_callback:
                       call: events.await_callback
                       args:
                         callback: ${callback_details}
                         timeout: 3600
                       result: callback_request
                   - log_await_stop:
                       call: sys.log
                       args:
                         severity: INFO
                         data: ${"Stopped waiting for an event from source " + event_source}
               except:
                   as: e
                   steps:
                       - log_error:
                           call: sys.log
                           args:
                               severity: "ERROR"
                               text: ${"Received error " + e.message}
           - delete_callback_url:
               call: googleapis.firestore.v1.projects.databases.documents.patch
               args:
                 name: ${doc_name}
                 updateMask:
                   fieldPaths: ["${firestore_key}"]
           - check_null_event:
               switch:
                 - condition: ${callback_request == null}
                   return: null
           - log_await_result:
               call: sys.log
               args:
                 severity: INFO
                 data: ${callback_request.http_request.body.event}
           - return_event:
               return: ${callback_request.http_request.body.event}

8. Klik Deploy.

gcloud

1. Buat file kode sumber untuk alur kerja Anda:

   touch callback-event-sample.yaml

2. Di editor teks, salin alur kerja berikut ke file kode sumber Anda:

   main:
     steps:
       - init:
           assign:
             - pubsub_topic: topic-callback
             - storage_bucket: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID") + "-bucket-callback"}
       - await_pubsub_message:
           call: await_callback_event
           args:
             event_source: ${pubsub_topic}
           result: pubsub_event
       - await_storage_bucket:
           call: await_callback_event
           args:
             event_source: ${storage_bucket}
           result: storage_event
       - return_events:
           return:
               pubsub_event: ${pubsub_event}
               storage_event: ${storage_event}
   
   await_callback_event:
       params: [event_source]
       steps:
           - init:
               assign:
                 - database_root: ${"projects/" + sys.get_env("GOOGLE_CLOUD_PROJECT_ID") + "/databases/(default)/documents/callbacks/"}
                 - doc_name: ${database_root + event_source}
                 - execution_id: ${sys.get_env("GOOGLE_CLOUD_WORKFLOW_EXECUTION_ID")}
                 - firestore_key: ${"exec_" + text.split(execution_id, "-")[0]}
           - create_callback:
               call: events.create_callback_endpoint
               args:
                 http_callback_method: POST
               result: callback_details
           - save_callback_url:
               call: googleapis.firestore.v1.projects.databases.documents.patch
               args:
                 name: ${doc_name}
                 updateMask:
                   fieldPaths: ["${firestore_key}"]
                 body:
                   fields:
                     ${firestore_key}:
                       stringValue: ${callback_details.url}
           - log_and_await_callback:
               try:
                 steps:
                   - log_await_start:
                       call: sys.log
                       args:
                         severity: INFO
                         data: ${"Started waiting 1hr for an event from source " + event_source}
                   - await_callback:
                       call: events.await_callback
                       args:
                         callback: ${callback_details}
                         timeout: 3600
                       result: callback_request
                   - log_await_stop:
                       call: sys.log
                       args:
                         severity: INFO
                         data: ${"Stopped waiting for an event from source " + event_source}
               except:
                   as: e
                   steps:
                       - log_error:
                           call: sys.log
                           args:
                               severity: "ERROR"
                               text: ${"Received error " + e.message}
           - delete_callback_url:
               call: googleapis.firestore.v1.projects.databases.documents.patch
               args:
                 name: ${doc_name}
                 updateMask:
                   fieldPaths: ["${firestore_key}"]
           - check_null_event:
               switch:
                 - condition: ${callback_request == null}
                   return: null
           - log_await_result:
               call: sys.log
               args:
                 severity: INFO
                 data: ${callback_request.http_request.body.event}
           - return_event:
               return: ${callback_request.http_request.body.event}

3. Deploy alur kerja dengan memasukkan perintah berikut:

   gcloud workflows deploy callback-event-sample \
       --source=callback-event-sample.yaml \
       --location=us-central1 \
       --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

   Ganti SERVICE_ACCOUNT_NAME dengan nama akun layanan yang Anda buat sebelumnya.

Membuat pemicu Eventarc untuk merutekan peristiwa Pub/Sub

Pemicu Eventarc memungkinkan Anda merutekan peristiwa dengan menentukan filter untuk pemicu, termasuk sumber peristiwa, dan alur kerja target. Buat pemicu Eventarc untuk menjalankan alur kerja callback-event-listener sebagai hasil dari memublikasikan pesan ke topik Pub/Sub. Pelajari lebih lanjut cara memicu alur kerja.

Konsol

1. Di konsol Google Cloud , buka halaman Eventarc.

   Buka Eventarc

2. Klik Create trigger.

3. Ketik Trigger name.

   Misalnya, trigger-pubsub-events-listener.

4. Dalam daftar Event provider, pilih Cloud Pub/Sub.

5. Dalam daftar Peristiwa, di bagian Kustom, pilih google.cloud.pubsub.topic.v1.messagePublished.

6. Di daftar Select a Cloud Pub/Sub topic, pilih topik yang Anda buat sebelumnya.

7. Di daftar Region, pilih us-central1 (Iowa).

8. Jika diminta, berikan peran iam.serviceAccountTokenCreator ke akun layanan Pub/Sub.

9. Pilih Service account yang Anda buat sebelumnya.

10. Dalam daftar Tujuan peristiwa, pilih Alur kerja.

11. Di daftar Select a workflow, pilih alur kerja callback-event-listener.

12. Klik Buat.

gcloud

Untuk membuat pemicu, jalankan perintah gcloud eventarc triggers create:

gcloud eventarc triggers create trigger-pubsub-events-listener \
    --location=us-central1 \
    --destination-workflow=callback-event-listener \
    --destination-workflow-location=us-central1 \
    --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished" \
    --transport-topic=topic-callback \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Peristiwa diubah dan diteruskan ke eksekusi alur kerja sebagai argumen runtime. Perhatikan bahwa perlu waktu hingga 2 menit agar pemicu baru menjadi aktif.

Membuat pemicu Eventarc untuk merutekan peristiwa Cloud Storage

Pemicu Eventarc memungkinkan Anda merutekan peristiwa dengan menentukan filter untuk pemicu, termasuk sumber peristiwa, dan alur kerja target. Buat pemicu Eventarc untuk menjalankan alur kerja callback-event-listener sebagai hasil dari mengupload file ke bucket Cloud Storage. Pelajari lebih lanjut cara memicu alur kerja.

Konsol

1. Di konsol Google Cloud , buka halaman Eventarc.

   Buka Eventarc

2. Klik Create trigger.

3. Ketik Trigger name.

   Misalnya, trigger-storage-events-listener.

4. Di daftar Event provider, pilih Cloud Storage.

5. Dalam daftar Event, di bagian Direct, pilih google.cloud.storage.object.v1.finalized.

6. Dalam daftar Bucket, telusuri bucket yang sebelumnya Anda buat dan pilih bucket tersebut.

7. Dalam daftar Region, berdasarkan bucket Cloud Storage Anda, terima default us-central1 (Iowa).

8. Jika diminta, berikan peran iam.serviceAccountTokenCreator ke akun layanan Pub/Sub.

9. Pilih Service account yang Anda buat sebelumnya.

10. Dalam daftar Tujuan peristiwa, pilih Alur kerja.

11. Di daftar Select a workflow, pilih alur kerja callback-event-listener.

12. Klik Buat.

gcloud

Untuk membuat pemicu, jalankan perintah gcloud eventarc triggers create:

gcloud eventarc triggers create trigger-storage-events-listener \
    --location=us-central1 \
    --destination-workflow=callback-event-listener \
    --destination-workflow-location=us-central1 \
    --event-filters="type=google.cloud.storage.object.v1.finalized" \
    --event-filters="bucket=PROJECT_ID-bucket-callback" \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Peristiwa diubah dan diteruskan ke eksekusi alur kerja sebagai argumen runtime. Perhatikan bahwa perlu waktu hingga 2 menit agar pemicu baru menjadi aktif.

Menjalankan alur kerja utama

Mengeksekusi alur kerja menjalankan definisi alur kerja saat ini yang terkait dengan alur kerja. Jalankan alur kerja callback-event-sample. Ini adalah alur kerja utama dan menunggu peristiwa tertentu terjadi, hanya melanjutkan eksekusinya saat alur kerja sekunder membuat permintaan panggilan balik yang sesuai.

Konsol

1. Di konsol Google Cloud , buka halaman Workflows.

   Buka Workflows

2. Di halaman Workflows, klik alur kerja callback-event-sample untuk membuka halaman detailnya.

3. Di halaman Workflow Details, klik Execute.

4. Klik Execute lagi.

   Eksekusi alur kerja dimulai. Saat eksekusi berjalan, Anda akan melihat Execution state Running dan entri log yang mirip dengan berikut: Started waiting 1hr for an event from source topic-callback.

gcloud

Untuk menjalankan alur kerja, jalankan perintah gcloud workflows run:

gcloud workflows run callback-event-sample \
    --location=us-central1

Eksekusi alur kerja dimulai. Saat eksekusi berjalan, Anda akan melihat status eksekusi yang mirip dengan berikut ini:

Waiting for execution [a848a164-268a-449c-b2fe-396f32f2ed66] to complete...working...

Buat peristiwa dan periksa status eksekusi

Anda dapat mengonfirmasi bahwa hasilnya sesuai yang diharapkan dengan membuat peristiwa, melihat entri log, dan memeriksa status eksekusi alur kerja.

Publikasikan pesan

Publikasikan pesan ke topik Pub/Sub yang sebelumnya Anda buat.

Konsol

1. Di konsol Google Cloud , buka halaman Topics Pub/Sub.

   Buka Topik

2. Klik topic-callback.

3. Klik tab Pesan.

4. Klik Publikasikan pesan.

5. Di kolom Isi pesan, masukkan Hello World.

6. Klik Publikasikan.

gcloud

Untuk memublikasikan pesan, gunakan perintah gcloud pubsub topics publish:

gcloud pubsub topics publish topic-callback \
    --message="Hello World"

Mengunggah objek

Upload file ke bucket Cloud Storage yang Anda buat sebelumnya.

Konsol

1. Di Google Cloud konsol, buka halaman Bucket Cloud Storage.
   

   Buka Buckets

2. Klik nama bucket yang telah Anda buat sebelumnya.

3. Di tab Objek, lakukan salah satu hal berikut:

   • Tarik lalu lepas file yang diinginkan dari desktop atau pengelola file ke panel utama di konsol Google Cloud .

   • Klik Upload file, pilih file yang ingin diupload, lalu klik Buka.

gcloud

Untuk mengupload file, jalankan perintah gcloud storage cp:

gcloud storage cp OBJECT_LOCATION gs://PROJECT_ID-bucket-callback/

Ganti OBJECT_LOCATION dengan jalur lokal ke objek Anda. Contoh, random.txt.

Melihat entri log dan status eksekusi

Pastikan alur kerja callback-event-sample berhasil diselesaikan.

Konsol

1. Di konsol Google Cloud , buka halaman Workflows.

   Buka Workflows

2. Di halaman Workflows, klik alur kerja callback-event-sample untuk membuka halaman detailnya.

3. Di halaman Workflow Details, untuk mengambil detail eksekusi tertentu, klik ID eksekusi yang sesuai.

   Execution state harus Succeeded dan, di panel Output, Anda akan melihat peristiwa Pub/Sub dan Cloud Storage yang diterima.

gcloud

1. Filter entri log dan tampilkan output dalam format JSON:

   gcloud logging read "resource.type=workflows.googleapis.com/Workflow AND textPayload:calling OR textPayload:waiting" \
       --format=json

2. Cari entri log yang mirip dengan:

   "textPayload": "Stopped waiting for an event from source..."
   "textPayload": "Calling back url https://workflowexecutions.googleapis.com/v1/projects/..."
   "textPayload": "Started waiting 1hr for an event from source..."
   

3. Periksa status upaya eksekusi terakhir:

   gcloud workflows executions wait-last

   Hasilnya akan mirip dengan berikut ini:

   Using cached execution name: projects/1085953646031/locations/us-central1/workflows/callback-event-sample/executions/79929e4e-82c1-4da1-b068-f828034c01b7
   Waiting for execution [79929e4e-82c1-4da1-b068-f828034c01b7] to complete...done.
   [...]
   state: SUCCEEDED