Lihat konektor yang didukung untuk Application Integration.

Pemicu Apache Kafka

Pratinjau — Apache Kafka trigger

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dalam Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Pemicu Apache Kafka adalah pemicu Peristiwa Konektor yang memungkinkan Anda memanggil integrasi berdasarkan peristiwa Apache Kafka yang telah menjadi langganan Anda di koneksi Apache Kafka.

Penting: Integration Connectors adalah komponen Google Cloud yang dapat ditagih. Untuk informasi tentang biaya dan tagihan penggunaan Konektor Integrasi, lihat Harga Konektor Integrasi.

Sebelum memulai

Jika berencana membuat atau mengonfigurasi koneksi baru untuk pemicu Apache Kafka, pastikan Anda memiliki peran Identity and Access Management (IAM) berikut pada project:

• Admin Konektor (roles/connectors.admin)

Untuk mengetahui informasi tentang cara memberikan peran, lihat Mengelola akses.

Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk pemicu Apache Kafka:

• Invoker Integrasi Aplikasi (roles/integrations.integrationInvoker)

Untuk informasi tentang cara memberikan peran ke akun layanan, lihat Mengelola akses ke akun layanan.

Batasan

Pemicu Apache Kafka tunduk pada batasan berikut:

• Mendukung protokol keamanan SASL_SSL untuk langganan peristiwa.
• Tidak mendukung mTLS untuk langganan acara.

Menambahkan pemicu Apache Kafka

Untuk menambahkan pemicu Apache Kafka ke integrasi Anda, lakukan langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Application Integration.

   Buka Application Integration

2. Di menu navigasi, klik Integrasi

   Halaman Integrations List akan muncul dan mencantumkan semua integrasi yang tersedia di project Google Cloud.

3. Pilih integrasi yang ada atau klik Buat integrasi untuk membuat integrasi baru.

   Jika Anda membuat integrasi baru:

   1. Masukkan nama dan deskripsi di panel Create Integration.
   2. Pilih region untuk integrasi.
      Catatan: Dropdown Regions hanya mencantumkan region yang disediakan di project Google Cloud Anda. Untuk menyediakan wilayah baru, klik Aktifkan Wilayah. Lihat Mengaktifkan wilayah baru untuk informasi selengkapnya.
   3. Pilih akun layanan untuk integrasi. Anda dapat mengubah atau memperbarui detail akun layanan integrasi kapan saja dari panel Integration summary di toolbar integrasi.
      Catatan: Opsi untuk memilih akun layanan hanya ditampilkan jika Anda telah mengaktifkan tata kelola integrasi untuk wilayah yang dipilih.
   4. Klik Create.

   Tindakan ini akan membuka integrasi di editor integrasi.

4. Di menu navigasi editor integrasi, klik Pemicu untuk melihat daftar pemicu yang tersedia.
5. Klik dan tempatkan elemen Apache Kafka trigger di editor integrasi.

Untuk mengonfigurasi pemicu Apache Kafka, Anda dapat menggunakan koneksi Apache Kafka yang sudah ada dan tersedia di Integration Connectors, atau membuat koneksi Apache Kafka baru menggunakan opsi pembuatan koneksi inline.

Mengonfigurasi pemicu Apache Kafka menggunakan koneksi yang ada

Anda dapat mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka yang ada di Integration Connectors. Perhatikan bahwa pemicu Apache Kafka adalah pemicu Peristiwa Konektor, sehingga Anda hanya dapat menggunakan koneksi Apache Kafka dengan langganan peristiwa yang diaktifkan untuk mengonfigurasi pemicu.

Untuk informasi tentang cara mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka baru, lihat Mengonfigurasi pemicu Apache Kafka menggunakan koneksi baru

Untuk mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka yang ada, lakukan langkah-langkah berikut:

1. Klik elemen Apache Kafka trigger di editor integrasi untuk membuka panel konfigurasi pemicu.
2. Klik Konfigurasi pemicu.
3. Berikan detail konfigurasi berikut di halaman Editor Pemicu Peristiwa Konektor:
   1. Region: Pilih region koneksi Apache Kafka.
   2. Connection: Pilih koneksi Apache Kafka yang ingin Anda gunakan.

      Application Integration hanya menampilkan koneksi Apache Kafka yang aktif dan memiliki langganan peristiwa yang diaktifkan.

   3. Nama topik: Masukkan nama topik.
   4. Consumer group ID: Secara opsional, masukkan ID grup konsumen yang menentukan nama grup konsumen yang mencakup konsumen Kafka.
   5. Partisi: Masukkan partisi jika Anda ingin berlangganan partisi tertentu. Partisi adalah cara untuk memecah topik menjadi beberapa bagian dan menyimpan setiap bagian pada node yang berbeda dalam cluster.
   6. Offset Awal: Pilih strategi reset offset:
      • Jika Anda memilih paling awal, koneksi Anda akan menggunakan pesan yang tidak digunakan, termasuk pesan yang dihasilkan sebelum masa aktif grup konsumen.
      • Jika Anda memilih latest, koneksi Anda akan menggunakan pesan yang dihasilkan setelah grup konsumen dibuat.
   7. Akun Layanan: Pilih akun layanan dengan peran IAM yang diperlukan untuk pemicu Apache Kafka.
4. Klik Selesai.

Mengonfigurasi pemicu Apache Kafka menggunakan koneksi baru

Untuk mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka baru, lakukan langkah-langkah berikut:

1. Klik elemen Apache Kafka trigger di editor integrasi untuk membuka panel konfigurasi pemicu.
2. Klik Configure Apache Kafka trigger.
3. Lewati kolom Region.
4. Klik Connection, lalu pilih opsi Create Connection dari daftar. Panel Create Connection akan muncul.
5. Pada langkah Location, pilih lokasi untuk koneksi Apache Kafka baru:
   1. Region: Pilih region dari daftar.
   2. Klik Next.
6. Pada langkah Connection Details, berikan detail tentang koneksi Apache Kafka baru:
   1. Versi konektor: Pilih versi konektor Apache Kafka yang tersedia dari daftar.
   2. Connection Name: Masukkan nama untuk koneksi Apache Kafka.
      Catatan: Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus kecil.
      • Nama koneksi harus dimulai dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh lebih dari 63 karakter.
   3. (Opsional) Deskripsi: Masukkan deskripsi untuk koneksi.
   4. (Opsional) Aktifkan Cloud Logging: Centang kotak ini untuk menyimpan semua data log koneksi.
   5. Akun Layanan: Pilih akun layanan dengan peran IAM yang diperlukan untuk koneksi Apache Kafka.
   6. Opsi Enable event subscription, entity and actions dipilih secara default untuk koneksi Apache Kafka.
      Catatan: Konektor ini tidak mendukung opsi Enable only event subscription.
   7. Type Detection Scheme: Pilih MessageOnly.
   8. Layanan Registry: Layanan Schema Registry yang digunakan untuk menangani skema topik.
   9. Registry Type: Jenis skema yang ditentukan untuk topik tertentu.
   10. Versi Registry: Versi skema yang dibaca dari RegistryUrl untuk topik yang ditentukan.
   11. Registry User: Nilai Nama Pengguna atau Kunci Akses untuk diotorisasi dengan server yang ditentukan di RegistryUrl.
   12. Sandi Registry: Secret Manager Secret yang berisi sandi/nilai Kunci rahasia untuk diotorisasi dengan server yang ditentukan di RegistryUrl.
   13. Secara opsional, konfigurasikan Setelan node koneksi:
       • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
       • Jumlah maksimum node: Masukkan jumlah maksimum node koneksi.

       {i>Node<i} adalah unit (atau replika) koneksi yang memproses transaksi. Lebih banyak node diperlukan untuk memproses lebih banyak transaksi untuk sebuah koneksi dan sebaliknya, lebih sedikit node diperlukan untuk memproses transaksi yang lebih sedikit. Untuk memahami pengaruh node terhadap harga konektor Anda, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum akan ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

   Catatan: Anda dapat menyesuaikan nilai node koneksi hanya jika Anda adalah pelanggan Bayar sesuai penggunaan.
   14. Secara opsional, klik + TAMBAHKAN LABEL untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci dan nilai.
   15. Aktifkan SSL: Kolom ini menetapkan apakah SSL diaktifkan atau tidak.
   16. Klik Next.
7. Di bagian Destinations, masukkan detail host jarak jauh (sistem backend) yang ingin Anda hubungkan.
   1. Jenis Tujuan: Pilih Jenis Tujuan.
      1. Di kolom Host address, tentukan nama host atau alamat IP tujuan.
         1. Jika ingin membuat koneksi pribadi ke sistem backend, ikuti langkah-langkah berikut:
            1. Buat lampiran layanan PSC.
            2. Buat lampiran endpoint, lalu masukkan detail lampiran endpoint di kolom Alamat host.
         2. Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan untuk mengonfigurasi alamat IP keluar statis untuk koneksi Anda, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.

      Untuk memasukkan tujuan tambahan, klik +TAMBAHKAN TUJUAN.

   2. Klik Next.
8. Di bagian Authentication, masukkan detail autentikasi.
   1. Pilih Jenis autentikasi, lalu masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi Apache Kafka:

      • Nama pengguna dan sandi
        • Username: Nama pengguna Apache Kafka yang akan digunakan untuk koneksi.
        • Password: Secret Manager Secret berisi sandi yang terkait dengan nama pengguna Apache Kafka.
        • Auth Scheme: Skema yang digunakan untuk autentikasi.

          Auth Scheme berikut didukung oleh koneksi Apache Kafka:

          • Polos
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Tidak Tersedia

        Jika Anda ingin menggunakan login anonim, pilih Tidak Tersedia.

   2. Klik Next.
9. Masukkan konfigurasi yang dihentikan pengirimannya. Jika Anda mengonfigurasi huruf mati, koneksi akan menulis peristiwa yang belum diproses ke topik Pub/Sub yang ditentukan. Masukkan detail berikut:
   1. ID project yang dihentikan pengirimannya: ID project Google Cloud tempat Anda mengonfigurasi topik Pub/Sub yang dihentikan pengirimannya.
   2. Topik yang dihentikan pengirimannya: Topik Pub/Sub tempat Anda ingin menulis detail peristiwa yang belum diproses.
10. Klik Next.
11. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
12. Klik Create.

Output pemicu

Pemicu Apache Kafka memerlukan waktu beberapa menit untuk menyelesaikan konfigurasi langganan peristiwa. Anda dapat melihat status langganan peristiwa di panel konfigurasi pemicu di bagian Detail Langganan Peristiwa.

Pemicu Apache Kafka menunjukkan status langganan peristiwa menggunakan status berikut:

• Creating: Menunjukkan bahwa pemicu berlangganan langganan peristiwa.
• Active: Menunjukkan bahwa pemicu berhasil berlangganan ke langganan peristiwa.
• Error: Menunjukkan bahwa ada masalah dengan langganan peristiwa yang dikonfigurasi.

Selain status langganan acara, bagian Detail Langganan Acara juga menampilkan detail lainnya seperti region koneksi, nama koneksi, dan nama langganan acara.

Variabel output pemicu

Untuk setiap peristiwa, pemicu Apache Kafka menghasilkan variabel output ConnectorEventPayload (dalam format JSON) yang dapat Anda gunakan dalam tugas downstream. Variabel output akan memiliki payload dari peristiwa Apache Kafka. Contoh:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Lihat langganan acara

Untuk melihat dan mengelola semua langganan peristiwa yang terkait dengan koneksi di Integration Connectors, lakukan hal berikut:

1. Buka halaman Integration Connectors > Connections.

   Buka halaman Connections

2. Klik koneksi yang ingin Anda lihat langganannya.
3. Klik tab Langganan acara.

   Ini akan menampilkan semua langganan peristiwa untuk koneksi tersebut.

Edit pemicu Apache Kafka

Anda dapat mengedit pemicu Apache Kafka untuk mengubah atau memperbarui konfigurasi koneksi dan detail langganan peristiwa.

Penting: Saat mengedit atau mengubah pemicu Apache Kafka, Anda dapat mempertahankan langganan peristiwa yang dikonfigurasi sebelumnya yang dilampirkan ke pemicu tersebut, atau Anda dapat menghapusnya. Menghapus langganan acara akan memengaruhi semua integrasi yang dipublikasikan menggunakan langganan acara tersebut.

Untuk mengedit pemicu Apache Kafka, lakukan langkah-langkah berikut:

1. Klik elemen Apache Kafka trigger di editor integrasi untuk membuka panel konfigurasi pemicu.
2. Klik Configure Apache Kafka trigger.
3. Lakukan tindakan berikut di halaman Connector Event Trigger Editor:
   1. Untuk mempertahankan langganan peristiwa yang dikonfigurasi sebelumnya, klik Pertahankan, atau klik Hapus.
      Peringatan: Menghapus langganan acara akan memengaruhi semua integrasi yang dipublikasikan menggunakan langganan acara. Tugas ini tidak dapat diurungkan.
   2. Perbarui konfigurasi koneksi dan detail langganan peristiwa sesuai keinginan.
   3. Klik Selesai.

Anda dapat melihat detail langganan peristiwa dan koneksi yang diperbarui di panel konfigurasi pemicu di bagian Detail Langganan Acara.