Lihat konektor yang didukung untuk Integration Application.

Pemicu Apache Kafka

Pratinjau — Apache Kafka trigger

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dalam Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Pemicu Apache Kafka adalah Pemicu Peristiwa Konektor yang memungkinkan Anda memanggil integrasi berdasarkan peristiwa Apache Kafka yang telah Anda subscribe di koneksi Apache Kafka.

Penting: Konektor Integrasi adalah komponen Google Cloud yang dapat ditagih. Untuk mengetahui informasi tentang biaya dan tagihan penggunaan Integration Connectors, lihat Harga Integration Connectors.

Sebelum memulai

Jika Anda berencana membuat atau mengonfigurasi koneksi baru untuk pemicu Apache Kafka, pastikan Anda memiliki peran Identity and Access Management (IAM) berikut di project:

• Connector Admin (roles/connectors.admin)

Untuk mengetahui informasi tentang cara memberikan peran, lihat Mengelola akses.

Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk pemicu Apache Kafka:

• Application Integration Invoker (roles/integrations.integrationInvoker)

Untuk informasi tentang cara memberikan peran ke akun layanan, lihat Mengelola akses ke akun layanan.

Batasan

Pemicu Apache Kafka tunduk pada batasan berikut:

• Mendukung protokol keamanan SASL_SSL untuk langganan peristiwa.
• Tidak mendukung mTLS untuk langganan peristiwa.

Menambahkan pemicu Apache Kafka

Untuk menambahkan pemicu Apache Kafka ke integrasi Anda, lakukan langkah-langkah berikut:

1. Di Google Cloud console, buka halaman Application Integration.

   Buka Application Integration

2. Di menu navigasi, klik Integrations

   Halaman Daftar Integrasi akan muncul yang mencantumkan semua integrasi yang tersedia di project Google Cloud.

3. Pilih integrasi yang ada atau klik Buat integrasi untuk membuat integrasi baru.

   Jika Anda membuat integrasi baru:

   1. Masukkan nama dan deskripsi di panel Buat Integrasi.
   2. Pilih region untuk integrasi.
      Catatan: Drop-down Regions hanya mencantumkan region yang disediakan di project Google Cloud Anda. Untuk menyediakan wilayah baru, klik Aktifkan Wilayah. Lihat Mengaktifkan region baru untuk informasi selengkapnya.
   3. Pilih akun layanan untuk integrasi. Anda dapat mengubah atau memperbarui detail akun layanan integrasi kapan saja dari panel Ringkasan integrasi di toolbar integrasi.
      Catatan: Opsi untuk memilih akun layanan hanya ditampilkan jika Anda telah mengaktifkan tata kelola integrasi untuk wilayah yang dipilih.
   4. Klik Create.

   Tindakan ini akan membuka integrasi di editor integrasi.

4. Di menu navigasi editor integrasi, klik Pemicu untuk melihat daftar pemicu yang tersedia.
5. Klik dan tempatkan elemen pemicu Apache Kafka di editor integrasi.

Untuk mengonfigurasi pemicu Apache Kafka, Anda dapat menggunakan koneksi Apache Kafka yang ada di Konektor Integrasi, atau membuat koneksi Apache Kafka baru menggunakan opsi pembuatan koneksi inline.

Mengonfigurasi pemicu Apache Kafka menggunakan koneksi yang ada

Anda dapat mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka yang ada di Konektor Integrasi. Perhatikan bahwa pemicu Apache Kafka adalah pemicu Peristiwa Konektor, sehingga Anda hanya dapat menggunakan koneksi Apache Kafka dengan langganan peristiwa yang diaktifkan untuk mengonfigurasi pemicu.

Untuk informasi tentang cara mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka baru, lihat Mengonfigurasi pemicu Apache Kafka menggunakan koneksi baru

Untuk mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka yang ada, lakukan langkah-langkah berikut:

1. Klik elemen Pemicu Apache Kafka di editor integrasi untuk membuka panel konfigurasi pemicu.
2. Klik Konfigurasi pemicu.
3. Berikan detail konfigurasi berikut di halaman Editor Pemicu Peristiwa Konektor:
   1. Region: Pilih region koneksi Apache Kafka Anda.
   2. Koneksi: Pilih koneksi Apache Kafka yang ingin Anda gunakan.

      Integrasi Aplikasi hanya menampilkan koneksi Apache Kafka yang aktif dan mengaktifkan langganan peristiwa.

   3. Nama topik: Masukkan nama topik.
   4. ID grup konsumen: Secara opsional, masukkan ID grup konsumen yang menentukan nama grup konsumen tempat konsumen Kafka berada.
   5. Partisi: Masukkan partisi jika Anda ingin berlangganan partisi tertentu. Partisi adalah cara untuk membagi topik menjadi beberapa bagian dan menyimpan setiap bagian di node yang berbeda dalam cluster.
   6. Initial Offset: Pilih strategi reset offset:
      • Jika Anda memilih paling awal, koneksi Anda akan menggunakan pesan yang belum digunakan, termasuk pesan apa pun yang dihasilkan sebelum masa aktif grup konsumen.
      • Jika Anda memilih terbaru, koneksi Anda akan menggunakan pesan yang dihasilkan setelah grup konsumen dibuat.
   7. Service Account: Pilih akun layanan dengan peran IAM yang diperlukan untuk pemicu Apache Kafka.
4. Klik Done.

Mengonfigurasi pemicu Apache Kafka menggunakan koneksi baru

Untuk mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka baru, lakukan langkah-langkah berikut:

1. Klik elemen Pemicu Apache Kafka di editor integrasi untuk membuka panel konfigurasi pemicu.
2. Klik Konfigurasi pemicu Apache Kafka.
3. Lewati kolom Region.
4. Klik Koneksi, lalu pilih opsi Buat Koneksi dari daftar. Panel Create Connection akan muncul.
5. Pada langkah Location, pilih lokasi untuk koneksi Apache Kafka baru:
   1. Region: Pilih region dari daftar.
   2. Klik Berikutnya.
6. Pada langkah Detail Koneksi, berikan detail tentang koneksi Apache Kafka baru:
   1. Versi konektor: Pilih versi konektor Apache Kafka yang tersedia dari daftar.
   2. Nama Koneksi: Masukkan nama untuk koneksi Apache Kafka.
      Catatan: Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus berupa huruf kecil.
      • Nama koneksi harus diawali dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh melebihi 49 karakter.
      • Untuk konektor yang mendukung langganan peristiwa, nama koneksi tidak boleh diawali dengan awalan "goog".
   3. (Opsional) Deskripsi: Masukkan deskripsi untuk koneksi.
   4. (Opsional) Aktifkan Cloud Logging: Centang kotak ini untuk menyimpan semua data log koneksi.
   5. Service Account: Pilih akun layanan dengan peran IAM yang diperlukan untuk koneksi Apache Kafka.
   6. Opsi Aktifkan langganan, entitas, dan tindakan peristiwa dipilih secara default untuk koneksi Apache Kafka.
      Catatan: Konektor ini tidak mendukung opsi Enable only event subscription.
   7. Type Detection Scheme: Pilih MessageOnly.
   8. Layanan Registry: Layanan Registry Skema yang digunakan untuk menggunakan skema topik.
   9. Jenis Registry: Jenis skema yang ditentukan untuk topik tertentu.
   10. Registry Version: Versi skema yang dibaca dari RegistryUrl untuk topik yang ditentukan.
   11. Registry User: Nilai Username atau Access Key untuk diberi otorisasi dengan server yang ditentukan di RegistryUrl.
   12. Sandi Registry: Secret Manager Secret yang berisi nilai Kunci sandi/secret untuk diberi otorisasi dengan server yang ditentukan di RegistryUrl.
   13. Secara opsional, konfigurasikan Setelan node koneksi:
       • Jumlah node minimum: Masukkan jumlah minimum node koneksi.
       • Maximum number of nodes: Masukkan jumlah maksimum node koneksi.

       Node adalah unit (atau replika) koneksi yang memproses transaksi. Semakin banyak node yang diperlukan untuk memproses lebih banyak transaksi untuk koneksi, dan sebaliknya, semakin sedikit node yang diperlukan untuk memproses lebih sedikit transaksi. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default, node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

   Catatan: Anda hanya dapat menyesuaikan nilai node koneksi jika merupakan pelanggan Bayar sesuai penggunaan.
   14. Secara opsional, klik + TAMBAHKAN LABEL untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci dan nilai.
   15. Enable SSL: Kolom ini menetapkan apakah SSL diaktifkan.
   16. Klik Berikutnya.
7. Di bagian Destinations, masukkan detail server bootstrap Kafka yang ingin Anda hubungkan.
   1. Jenis Tujuan: Pilih Jenis Tujuan.
      • Pilih Host address dari daftar untuk menentukan nama host atau alamat IP tujuan.
      • Jika Anda ingin membuat koneksi pribadi ke sistem backend, pilih Endpoint attachment dari daftar, lalu pilih lampiran endpoint yang diperlukan dari daftar Endpoint Attachment.
        Catatan: Untuk memahami cara membuat lampiran endpoint, lihat lampiran layanan PSC dan lampiran endpoint. Setelah Anda membuat lampiran endpoint, lampiran tersebut akan terlihat dalam daftar Lampiran Endpoint.

      Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan untuk mengonfigurasi alamat IP keluar statis untuk koneksi, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.

      Untuk menentukan server bootstrap Kafka tambahan, klik + TAMBAHKAN TUJUAN.

   2. Klik Berikutnya.
8. Di bagian Authentication, masukkan detail autentikasi.
   1. Pilih Jenis autentikasi dan masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi Apache Kafka:

      • Nama pengguna dan sandi
        • Nama pengguna: Nama pengguna Apache Kafka yang akan digunakan untuk koneksi.
        • Sandi: Secret Secret Manager yang berisi sandi yang terkait dengan nama pengguna Apache Kafka.
        • Auth Scheme: Skema yang digunakan untuk autentikasi.

          Skema Autentikasi berikut didukung oleh koneksi Apache Kafka:

          • Biasa
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Tidak Tersedia

        Jika Anda ingin menggunakan login anonim, pilih Tidak Tersedia.

   2. Klik Berikutnya.
9. Masukkan konfigurasi dead-letter. Jika Anda mengonfigurasi dead-letter, koneksi akan menulis peristiwa yang belum diproses ke topik Pub/Sub yang ditentukan. Masukkan detail berikut:
   1. Project ID dead-letter: Project ID Google Cloud tempat Anda mengonfigurasi topik dead-letter Pub/Sub.
   2. Topik dead-letter: Topik Pub/Sub tempat Anda ingin menulis detail peristiwa yang tidak diproses.
10. Klik Berikutnya.
11. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
12. Klik Create.

Output pemicu

Pemicu Apache Kafka memerlukan waktu beberapa menit untuk menyelesaikan konfigurasi langganan peristiwa. Anda dapat melihat status langganan peristiwa di panel konfigurasi pemicu pada bagian Detail Langganan Peristiwa.

Pemicu Apache Kafka menunjukkan status langganan peristiwa menggunakan status berikut:

• Creating: Menunjukkan bahwa pemicu berlangganan langganan peristiwa.
• Active: Menunjukkan bahwa pemicu berhasil berlangganan langganan peristiwa.
• Error: Menunjukkan bahwa ada masalah dengan langganan peristiwa yang dikonfigurasi.

Selain status langganan peristiwa, bagian Detail Langganan Peristiwa juga menampilkan detail lainnya seperti wilayah koneksi, nama koneksi, dan nama langganan peristiwa.

Memicu variabel output

Untuk setiap peristiwa, pemicu Apache Kafka menghasilkan variabel output ConnectorEventPayload (dalam format JSON) yang dapat Anda gunakan dalam tugas downstream. Variabel output akan memiliki payload dari peristiwa Apache Kafka Anda. Contoh:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Melihat langganan peristiwa

Untuk melihat dan mengelola semua langganan peristiwa yang terkait dengan koneksi di Konektor Integrasi, lakukan hal berikut:

1. Buka halaman Integration Connectors > Connections.

   Buka halaman Koneksi

2. Klik koneksi yang langganannya ingin Anda lihat.
3. Klik tab Langganan peristiwa.

   Tindakan ini akan menampilkan semua langganan peristiwa untuk koneksi.

Mengedit pemicu Apache Kafka

Anda dapat mengedit pemicu Apache Kafka untuk mengubah atau memperbarui konfigurasi koneksi dan detail langganan peristiwa.

Penting: Saat mengedit atau mengubah pemicu Apache Kafka, Anda dapat mempertahankan langganan peristiwa yang dikonfigurasi sebelumnya dan dilampirkan ke pemicu, atau Anda dapat menghapusnya. Menghapus langganan peristiwa akan memengaruhi semua integrasi yang dipublikasikan menggunakan langganan peristiwa tersebut.

Untuk mengedit pemicu Apache Kafka, lakukan langkah-langkah berikut:

1. Klik elemen Pemicu Apache Kafka di editor integrasi untuk membuka panel konfigurasi pemicu.
2. Klik Konfigurasi pemicu Apache Kafka.
3. Lakukan tindakan berikut di halaman Editor Pemicu Peristiwa Konektor:
   1. Untuk mempertahankan langganan peristiwa yang dikonfigurasi sebelumnya, klik Pertahankan, atau klik Hapus.
      Peringatan: Menghapus langganan peristiwa akan memengaruhi semua integrasi yang dipublikasikan menggunakan langganan peristiwa tersebut. Tugas ini tidak dapat diurungkan.
   2. Perbarui konfigurasi koneksi dan detail langganan peristiwa sesuai keinginan.
   3. Klik Done.

Anda dapat melihat detail koneksi dan langganan peristiwa yang diperbarui di panel konfigurasi pemicu di bagian Detail Langganan Peristiwa.

Kuota dan batas

Untuk mengetahui informasi tentang kuota dan batas, lihat Kuota dan batas.

Langkah selanjutnya

• Pelajari semua tugas dan pemicu.
• Pelajari cara menguji dan memublikasikan integrasi.
• Pelajari penanganan error.
• Pelajari log eksekusi integrasi.