Lihat konektor yang didukung untuk Application Integration.

Pemicu Apache Kafka

Pratinjau — Apache Kafka trigger

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dalam Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Pemicu Apache Kafka adalah pemicu Peristiwa Konektor yang memungkinkan Anda memanggil integrasi berdasarkan peristiwa Apache Kafka yang menjadi langganan Anda di koneksi Apache Kafka.

Penting: Integration Connectors adalah komponen Google Cloud yang dapat ditagih. Untuk informasi tentang biaya dan tagihan penggunaan Konektor Integrasi, lihat Harga Konektor Integrasi.

Sebelum memulai

Jika Anda berencana membuat atau mengonfigurasi koneksi baru untuk pemicu Apache Kafka, pastikan Anda memiliki peran Identity and Access Management (IAM) berikut di project:

• Admin Konektor (roles/connectors.admin)

Untuk mengetahui informasi tentang cara memberikan peran, lihat Mengelola akses.

Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk pemicu Apache Kafka:

• Invoker Integrasi Aplikasi (roles/integrations.integrationInvoker)

Untuk mengetahui informasi tentang cara memberikan peran ke akun layanan, lihat Mengelola akses ke akun layanan.

Batasan

Pemicu Apache Kafka memiliki batasan berikut:

• Mendukung protokol keamanan SASL_SSL untuk langganan peristiwa.
• Tidak mendukung mTLS untuk langganan acara.

Menambahkan pemicu Apache Kafka

Untuk menambahkan pemicu Apache Kafka ke integrasi Anda, lakukan langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Application Integration.

   Buka Application Integration

2. Di menu navigasi, klik Integrations

   Halaman Integrations List akan muncul yang mencantumkan semua integrasi yang tersedia di project Google Cloud.

3. Pilih integrasi yang ada atau klik Buat integrasi untuk membuat integrasi baru.

   Jika Anda membuat integrasi baru:

   1. Masukkan nama dan deskripsi di panel Create Integration.
   2. Pilih region untuk integrasi.
      Catatan: Dropdown Region hanya mencantumkan region yang disediakan di project Google Cloud Anda. Untuk menyediakan wilayah baru, klik Aktifkan Wilayah. Lihat Mengaktifkan wilayah baru untuk mengetahui informasi selengkapnya.
   3. Pilih akun layanan untuk integrasi. Anda dapat mengubah atau memperbarui detail akun layanan dari integrasi kapan saja dari panel Integration Summary di toolbar integrasi.
      Catatan: Opsi untuk memilih akun layanan hanya ditampilkan jika Anda telah mengaktifkan tata kelola integrasi untuk wilayah yang dipilih.
   4. Klik Create.

   Tindakan ini akan membuka integrasi di editor integrasi.

4. Di menu navigasi editor integrasi, klik Pemicu untuk melihat daftar pemicu yang tersedia.
5. Klik dan tempatkan elemen Apache Kafka trigger di editor integrasi.

Untuk mengonfigurasi pemicu Apache Kafka, Anda dapat menggunakan koneksi Apache Kafka yang sudah ada yang tersedia di Integration Connectors, atau membuat koneksi Apache Kafka baru menggunakan opsi pembuatan koneksi inline.

Mengonfigurasi pemicu Apache Kafka menggunakan koneksi yang ada

Anda dapat mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka yang ada di Integration Connectors. Perhatikan bahwa pemicu Apache Kafka adalah pemicu Peristiwa Konektor, jadi Anda hanya dapat menggunakan koneksi Apache Kafka dengan langganan peristiwa yang diaktifkan untuk mengonfigurasi pemicu tersebut.

Untuk mengetahui informasi tentang cara mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka baru, lihat Mengonfigurasi pemicu Apache Kafka menggunakan koneksi baru

Untuk mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka yang ada, lakukan langkah-langkah berikut:

1. Klik elemen Apache Kafka trigger di editor integrasi untuk membuka panel konfigurasi pemicu.
2. Klik Konfigurasi pemicu.
3. Berikan detail konfigurasi berikut di halaman Editor Pemicu Peristiwa Konektor:
   1. Region: Pilih region koneksi Apache Kafka Anda.
   2. Connection: Pilih koneksi Apache Kafka yang ingin Anda gunakan.

      Application Integration hanya menampilkan koneksi Apache Kafka yang aktif dan mengaktifkan langganan peristiwa.

   3. Nama topik: Masukkan nama topik.
   4. Consumer group ID: Opsional, masukkan ID kelompok konsumen yang menentukan nama grup konsumen yang mencakup konsumen Kafka.
   5. Partition: Masukkan partisi jika Anda ingin berlangganan partisi tertentu. Partisi adalah cara untuk membagi topik menjadi beberapa bagian dan menyimpan setiap bagian di node yang berbeda dalam cluster.
   6. Offset Awal: Pilih strategi reset offset:
      • Jika Anda memilih paling awal, koneksi Anda akan menggunakan pesan yang tidak terpakai, termasuk pesan apa pun yang dihasilkan sebelum masa aktif grup konsumen.
      • Jika Anda memilih latest, koneksi Anda akan menggunakan pesan yang dibuat setelah grup konsumen dibuat.
   7. Akun Layanan: Pilih akun layanan dengan peran IAM yang diperlukan untuk pemicu Apache Kafka.
4. Klik Done.

Mengonfigurasi pemicu Apache Kafka menggunakan koneksi baru

Untuk mengonfigurasi pemicu Apache Kafka menggunakan koneksi Apache Kafka baru, lakukan langkah-langkah berikut:

1. Klik elemen Apache Kafka trigger di editor integrasi untuk membuka panel konfigurasi pemicu.
2. Klik Configure Apache Kafka trigger.
3. Lewati kolom Region.
4. Klik Connection, lalu pilih opsi Create Connection dari daftar. Panel Create Connection akan muncul.
5. Pada langkah Location, pilih lokasi untuk koneksi Apache Kafka baru:
   1. Region: Pilih wilayah dari daftar.
   2. Klik Berikutnya.
6. Pada langkah Connection Details, berikan detail tentang koneksi Apache Kafka baru:
   1. Versi konektor: Pilih versi konektor Apache Kafka yang tersedia dari daftar.
   2. Connection Name: Masukkan nama untuk koneksi Apache Kafka.
      Catatan: Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus huruf kecil.
      • Nama koneksi harus dimulai dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh lebih dari 63 karakter.
   3. (Opsional) Deskripsi: Masukkan deskripsi untuk koneksi.
   4. (Opsional) Aktifkan Cloud Logging: Pilih kotak centang ini untuk menyimpan semua data log koneksi.
   5. Akun Layanan: Pilih akun layanan dengan peran IAM yang diperlukan untuk koneksi Apache Kafka.
   6. Opsi Aktifkan langganan peristiwa, entitas, dan tindakan dipilih secara default untuk koneksi Apache Kafka.
      Catatan: Konektor ini tidak mendukung Enable only event subscription.
   7. Type Detection Scheme: Pilih MessageOnly.
   8. Layanan Registry: Layanan Schema Registry yang digunakan untuk menangani skema topik.
   9. Jenis Registry: Jenis skema yang ditentukan untuk topik tertentu.
   10. Versi Registry: Versi skema yang dibaca dari RegistryUrl untuk topik yang ditentukan.
   11. Pengguna Registry: Nilai Nama Pengguna atau Kunci Akses yang akan diberi otorisasi dengan server yang ditentukan di RegistryUrl.
   12. Sandi Registry: Rahasia Secret Manager yang berisi nilai sandi/Kunci rahasia untuk diotorisasi dengan server yang ditentukan di RegistryUrl.
   13. Anda juga dapat mengonfigurasi Setelan node koneksi:
       • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
       • Jumlah maksimum node: Masukkan jumlah maksimum node koneksi.

       Simpul adalah unit (atau replika) koneksi yang memproses transaksi. Diperlukan lebih banyak {i>node<i} untuk memproses lebih banyak transaksi untuk koneksi dan sebaliknya, lebih sedikit node yang diperlukan untuk memproses lebih sedikit transaksi. Untuk memahami pengaruh node terhadap harga konektor Anda, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

   Catatan: Anda dapat menyesuaikan nilai node koneksi hanya jika Anda pelanggan Bayar sesuai penggunaan.
   14. Atau, klik + TAMBAHKAN LABEL untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci dan nilai.
   15. Aktifkan SSL: Kolom ini menetapkan apakah SSL diaktifkan.
   16. Klik Berikutnya.
7. Di bagian Destinations, masukkan detail host jarak jauh (sistem backend) yang ingin Anda hubungkan.
   1. Jenis Tujuan: Pilih Jenis Tujuan.
      • Pilih Host address dari daftar untuk menentukan nama host atau alamat IP tujuan.
      • Jika Anda ingin membuat koneksi pribadi ke sistem backend Anda, pilih Endpoint attachment dari daftar, lalu pilih lampiran endpoint yang diperlukan dari daftar Endpoint Lampiran.
        Catatan: Untuk memahami cara membuat lampiran endpoint, lihat Lampiran layanan PSC dan lampiran endpoint. Setelah Anda telah membuat lampiran endpoint, lampiran tersebut akan dapat dilihat di daftar Lampiran Endpoint.

      Jika Anda ingin membuat koneksi publik ke sistem {i> backend<i} dengan keamanan tambahan, Anda dapat pertimbangkan untuk mengonfigurasi jaringan keluar statis alamat IP untuk koneksi Anda, lalu konfigurasikan aturan firewall untuk hanya mengizinkan alamat IP statis tertentu ke daftar yang diizinkan.

      Untuk memasukkan tujuan lain, klik +TAMBAHKAN TUJUAN.

   2. Klik Berikutnya.
8. Di bagian Authentication, masukkan detail autentikasi.
   1. Pilih Jenis autentikasi, lalu masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi Apache Kafka:

      • Nama pengguna dan sandi
        • Nama pengguna: Nama pengguna Apache Kafka yang akan digunakan untuk koneksi.
        • Sandi: Secret Manager Secret yang berisi sandi yang terkait dengan nama pengguna Apache Kafka.
        • Skema Auth: Skema yang digunakan untuk autentikasi.

          Skema Auth berikut didukung oleh koneksi Apache Kafka:

          • Polos
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Tidak Tersedia

        Jika Anda ingin menggunakan login anonim, pilih Tidak Tersedia.

   2. Klik Berikutnya.
9. Masukkan konfigurasi yang dihentikan pengirimannya. Jika Anda mengonfigurasi huruf mati, koneksi akan menulis peristiwa yang belum diproses ke Pub/Sub topic yang ditentukan. Masukkan detail berikut:
   1. ID project yang dihentikan pengirimannya: ID project Google Cloud tempat Anda mengonfigurasi topik Pub/Sub yang dihentikan pengirimannya.
   2. Topik yang dihentikan pengirimannya: Topik Pub/Sub tempat Anda ingin menulis detail peristiwa yang belum diproses.
10. Klik Berikutnya.
11. Peninjauan: Tinjau detail koneksi dan autentikasi Anda.
12. Klik Create.

Memicu output

Pemicu Apache Kafka memerlukan waktu beberapa menit untuk menyelesaikan konfigurasi langganan peristiwa. Anda dapat melihat status langganan peristiwa Anda di panel konfigurasi pemicu di bagian Detail Langganan Peristiwa.

Pemicu Apache Kafka menunjukkan status langganan peristiwa menggunakan status berikut:

• Creating: Menunjukkan bahwa pemicu berlangganan langganan peristiwa.
• Active: Menunjukkan bahwa pemicu berhasil berlangganan ke langganan peristiwa.
• Error: Menunjukkan bahwa ada masalah dengan langganan peristiwa yang dikonfigurasi.

Selain status langganan acara, bagian Detail Langganan Acara juga menampilkan detail lainnya seperti region koneksi, nama koneksi, dan nama langganan peristiwa.

Memicu variabel output

Untuk setiap peristiwa, pemicu Apache Kafka akan menghasilkan ConnectorEventPayload variabel output (dalam format JSON) yang dapat Anda gunakan dalam tugas downstream. Output variabel Anda akan memiliki payload dari peristiwa Apache Kafka. Contoh:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Melihat langganan acara

Untuk melihat dan mengelola semua langganan peristiwa yang terkait dengan koneksi di Integration Connectors, lakukan tindakan berikut:

1. Buka Integration Connectors > Koneksi.

   Buka halaman Koneksi

2. Klik koneksi yang ingin Anda lihat langganannya.
3. Klik tab Langganan acara.

   Tindakan ini menampilkan semua langganan peristiwa untuk koneksi.

Edit pemicu Apache Kafka

Anda dapat mengedit pemicu Apache Kafka untuk mengubah atau memperbarui konfigurasi koneksi dan detail langganan peristiwa.

Penting: Saat mengedit atau mengubah pemicu Apache Kafka, Anda dapat mempertahankan langganan peristiwa yang dikonfigurasi sebelumnya yang dilampirkan ke pemicu tersebut, atau Anda dapat menghapusnya. Menghapus langganan acara akan memengaruhi semua integrasi yang dipublikasikan menggunakan langganan acara tersebut.

Untuk mengedit pemicu Apache Kafka, lakukan langkah-langkah berikut:

1. Klik elemen Apache Kafka trigger di editor integrasi untuk membuka panel konfigurasi pemicu.
2. Klik Configure Apache Kafka trigger.
3. Lakukan tindakan berikut di halaman Editor Pemicu Peristiwa Konektor:
   1. Untuk mempertahankan langganan acara yang dikonfigurasi sebelumnya, klik Pertahankan, lalu klik Hapus.
      Peringatan: Menghapus langganan acara akan memengaruhi semua integrasi yang dipublikasikan menggunakan langganan acara tersebut. Tugas ini tidak dapat diurungkan.
   2. Perbarui konfigurasi koneksi dan detail langganan peristiwa sesuai keinginan.
   3. Klik Done.

Anda dapat melihat detail koneksi dan langganan peristiwa yang diperbarui di panel konfigurasi pemicu di bagian Detail Langganan Peristiwa.

Kuota dan batas

Untuk mengetahui informasi tentang kuota dan batas, lihat Kuota dan batas.

Langkah selanjutnya

• Pelajari semua tugas dan pemicu.
• Pelajari cara menguji dan memublikasikan integrasi.
• Pelajari penanganan error.
• Pelajari log eksekusi integrasi.