Apache Kafka

Konektor Apache Kafka memungkinkan Anda melakukan operasi penyisipan, penghapusan, pembaruan, dan pembacaan di database Apache Kafka.

Versi yang didukung

Konektor Apache Kafka memanfaatkan library klien native untuk membuat koneksi ke cluster Kafka tertentu, dan konektor berfungsi dengan klien versi 3.3.1. Namun, konektor dapat membuat konektivitas ke cluster Kafka dari versi 3.0 hingga 3.3.1.

Sebelum memulai

Sebelum menggunakan konektor Apache Kafka, lakukan tugas berikut:

• Di project Google Cloud Anda:
  • Pastikan konektivitas jaringan sudah disiapkan. Untuk mengetahui informasi tentang pola jaringan, lihat Konektivitas jaringan.
  • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
  • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu diautentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk informasi selengkapnya, lihat Membuat akun layanan.

  • Aktifkan layanan berikut:
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (Connectors API)

    Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

  Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Untuk mengonfigurasi konektor, Anda harus membuat koneksi ke sumber data (sistem backend). Koneksi bersifat khusus untuk sumber data. Artinya, jika memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan langkah-langkah berikut:

1. Di konsol Cloud, buka halaman Konektor Integrasi > Koneksi, lalu pilih atau buat project Google Cloud.

   Buka halaman Koneksi

2. Klik + CREATE NEW untuk membuka halaman Create Connection.
3. Pada langkah Location, pilih lokasi untuk koneksi Apache Kafka baru:
   1. Region: Pilih region dari daftar.
   2. Klik Berikutnya.
4. Pada langkah Detail Koneksi, berikan detail tentang koneksi Apache Kafka baru:
   1. Versi konektor: Pilih versi konektor Apache Kafka yang tersedia dari daftar.
   2. Nama Koneksi: Masukkan nama untuk koneksi Apache Kafka.
      Catatan: Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus berupa huruf kecil.
      • Nama koneksi harus diawali dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh melebihi 49 karakter.
      • Untuk konektor yang mendukung langganan peristiwa, nama koneksi tidak boleh diawali dengan awalan "goog".
   3. (Opsional) Deskripsi: Masukkan deskripsi untuk koneksi.
   4. (Opsional) Aktifkan Cloud Logging: Centang kotak ini untuk menyimpan semua data log koneksi.
   5. Service Account: Pilih akun layanan dengan peran IAM yang diperlukan untuk koneksi Apache Kafka.
   6. Opsi Aktifkan langganan, entitas, dan tindakan peristiwa dipilih secara default untuk koneksi Apache Kafka.
      Catatan: Konektor ini tidak mendukung opsi Enable only event subscription.
   7. Type Detection Scheme: Pilih MessageOnly.
   8. Layanan Registry: Layanan Registry Skema yang digunakan untuk menggunakan skema topik.
   9. Jenis Registry: Jenis skema yang ditentukan untuk topik tertentu.
   10. Registry Version: Versi skema yang dibaca dari RegistryUrl untuk topik yang ditentukan.
   11. Registry User: Nilai Username atau Access Key untuk diberi otorisasi dengan server yang ditentukan di RegistryUrl.
   12. Sandi Registry: Secret Manager Secret yang berisi nilai Kunci sandi/secret untuk diberi otorisasi dengan server yang ditentukan di RegistryUrl.
   13. Secara opsional, konfigurasikan Setelan node koneksi:
       • Jumlah node minimum: Masukkan jumlah minimum node koneksi.
       • Maximum number of nodes: Masukkan jumlah maksimum node koneksi.

       Node adalah unit (atau replika) koneksi yang memproses transaksi. Semakin banyak node yang diperlukan untuk memproses lebih banyak transaksi untuk koneksi, dan sebaliknya, semakin sedikit node yang diperlukan untuk memproses lebih sedikit transaksi. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default, node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

   Catatan: Anda hanya dapat menyesuaikan nilai node koneksi jika merupakan pelanggan Bayar sesuai penggunaan.
   14. Secara opsional, klik + TAMBAHKAN LABEL untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci dan nilai.
   15. Enable SSL: Kolom ini menetapkan apakah SSL diaktifkan.
   16. Klik Berikutnya.
5. Di bagian Destinations, masukkan detail server bootstrap Kafka yang ingin Anda hubungkan.
   1. Jenis Tujuan: Pilih Jenis Tujuan.
      • Pilih Host address dari daftar untuk menentukan nama host atau alamat IP tujuan.
      • Jika Anda ingin membuat koneksi pribadi ke sistem backend, pilih Endpoint attachment dari daftar, lalu pilih lampiran endpoint yang diperlukan dari daftar Endpoint Attachment.
        Catatan: Untuk memahami cara membuat lampiran endpoint, lihat lampiran layanan PSC dan lampiran endpoint. Setelah Anda membuat lampiran endpoint, lampiran tersebut akan terlihat dalam daftar Lampiran Endpoint.

      Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan untuk mengonfigurasi alamat IP keluar statis untuk koneksi, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.

      Untuk menentukan server bootstrap Kafka tambahan, klik + TAMBAHKAN TUJUAN.

   2. Klik Berikutnya.
6. Di bagian Authentication, masukkan detail autentikasi.
   1. Pilih Jenis autentikasi dan masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi Apache Kafka:

      • Nama pengguna dan sandi
        • Nama pengguna: Nama pengguna Apache Kafka yang akan digunakan untuk koneksi.
        • Sandi: Secret Secret Manager yang berisi sandi yang terkait dengan nama pengguna Apache Kafka.
        • Auth Scheme: Skema yang digunakan untuk autentikasi.

          Skema Autentikasi berikut didukung oleh koneksi Apache Kafka:

          • Biasa
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Tidak Tersedia

        Jika Anda ingin menggunakan login anonim, pilih Tidak Tersedia.

   2. Klik Berikutnya.
7. Masukkan konfigurasi dead-letter. Jika Anda mengonfigurasi dead-letter, koneksi akan menulis peristiwa yang belum diproses ke topik Pub/Sub yang ditentukan. Masukkan detail berikut:
   1. Project ID dead-letter: Project ID Google Cloud tempat Anda mengonfigurasi topik dead-letter Pub/Sub.
   2. Topik dead-letter: Topik Pub/Sub tempat Anda ingin menulis detail peristiwa yang tidak diproses.
8. Klik Berikutnya.
9. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
10. Klik Create.

Entity, operasi, dan tindakan

Semua Konektor Integrasi menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ditampilkan kepada Anda sebagai entitas, operasi, dan tindakan.

Catatan: Anda dapat melihat entity, operasi, dan tindakan konektor di tugas Konektor.

• Entity: Entity dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entitas berbeda dari konektor ke konektor. Misalnya, dalam konektor database, tabel adalah entitas, dalam konektor server file, folder adalah entitas, dan dalam konektor sistem pesan, antrean adalah entitas.

  Namun, mungkin konektor tidak mendukung atau memiliki entity apa pun, dalam hal ini, daftar Entities akan kosong.

• Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:
  • Cantumkan
  • Dapatkan
  • Buat
  • Update
  • Hapus

  Memilih entitas dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entitas tersebut. Untuk deskripsi mendetail tentang operasi, lihat operasi entity tugas Konektor. Namun, jika konektor tidak mendukung operasi entitas apa pun, operasi yang tidak didukung tersebut tidak akan tercantum dalam daftar Operations.

• Tindakan: Tindakan adalah fungsi kelas satu yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan bervariasi dari satu konektor ke konektor lainnya. Biasanya, tindakan akan memiliki beberapa parameter input, dan parameter output. Namun, konektor mungkin tidak mendukung tindakan apa pun, dalam hal ini daftar Actions akan kosong.

Catatan: Semua entitas dan tindakan akan memiliki skema yang terkait dengannya. Misalnya, skema tindakan akan memiliki detail parameter seperti; nama parameter, dan jenis data yang sesuai. Skema (metadata) untuk entity dan tindakan diambil oleh koneksi saat runtime dari backend Anda. Jika ada pembaruan pada skema, pembaruan tersebut tidak akan otomatis ditampilkan di koneksi yang ada; Anda harus memuat ulang skema secara manual. Untuk memuat ulang skema koneksi, buka halaman Connection details koneksi, lalu klik Refresh connection schema.

Batasan sistem

Konektor Apache Kafka dapat memproses maksimum 50 transaksi per detik, per node, dan memperlambat transaksi apa pun di luar batas ini. Secara default, Konektor Integrasi mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk koneksi.

Untuk mengetahui informasi tentang batas yang berlaku untuk Konektor Integrasi, lihat Batas.

Catatan: Jumlah node Konektor Integrasi akan diskalakan secara otomatis secara dinamis berdasarkan penggunaan Anda. Namun, jika ingin mencadangkan kapasitas untuk volume besar tanpa menunggu penskalaan otomatis, Anda dapat menyesuaikan nilai node minimum untuk koneksi. Diperlukan lebih banyak node untuk memproses lebih banyak transaksi untuk koneksi. Sebaliknya, lebih sedikit node yang diperlukan jika koneksi memproses lebih sedikit transaksi. Untuk mengonfigurasi nilai node, lakukan hal berikut:

• Jika Anda adalah pelanggan bayar sesuai penggunaan, konfigurasikan nilai node minimum dan maksimum di halaman edit koneksi.
• Jika Anda adalah pelanggan berbasis langganan, hubungi dukungan.

Transaksi maksimum yang dapat ditangani node bergantung pada berbagai faktor. Jadi, sebelum menyesuaikan node minimum untuk throughput yang lebih baik, sebaiknya periksa apakah sistem backend Anda disiapkan secara optimal untuk menangani traffic yang diperlukan.

Tindakan

Tindakan PublishMessage

Tindakan ini memublikasikan pesan ke topik Apache Kafka. Tabel berikut menjelaskan parameter input dan output tindakan PublishMessage.

Parameter input

Nama parameter	Wajib	Jenis data	Deskripsi
Topik	Ya	String	Nama topik yang ingin Anda publikasikan pesannya.
Partisi	Tidak	String	Partisi tempat pesan ditetapkan. Nilai harus valid untuk topik yang diberikan. Jika Anda tidak menetapkan nilai ini, nilai akan otomatis ditetapkan oleh klien native.
Kunci	Tidak	String	Kunci pesan.
Pesan	Ya	String	Pesan yang ingin Anda publikasikan. Pesan harus berupa JSON yang di-string dan ukuran pesan maksimum yang didukung adalah 10 MB.
HasBytes	Tidak	Boolean	Menentukan apakah pesan dalam format biner.
MessageBytes	Tidak	String	Pesan dalam bentuk string berenkode Base64.
Validasi	Tidak	Boolean	Menentukan apakah pesan yang akan dipublikasikan harus divalidasi berdasarkan skema pesan yang ditentukan dalam registry skema untuk topik. Jika Anda telah menentukan registry skema saat membuat koneksi, definisi skema topik dari registry akan digunakan untuk tujuan validasi. Nilai default untuk kolom ini adalah false.

Parameter output

Nama parameter	Jenis data	Deskripsi
PartitionWritten	Bilangan bulat	Partisi tempat pesan ditulis.
OffsetWritten	Long	Posisi dalam partisi tempat pesan ditulis.
TimestampWritten	Long	Waktu (stempel waktu Unix) saat pesan di-commit ke partisi.
KeyWritten	String	Nilai kunci pesan yang ditulis. Nilainya NULL jika tidak ada kunci pesan yang diberikan saat menulis pesan.
Berhasil	Boolean	Menentukan apakah pesan dipublikasikan.

Catatan: Hasil dari semua operasi dan tindakan entity akan tersedia sebagai respons JSON di parameter respons connectorOutputPayload tugas Konektor setelah Anda menjalankan integrasi.

Contoh respons tindakan PublishMessage adalah sebagai berikut:

{Success: true,
PartitionWritten: 1,
OffsetWritten: 22301,
KeyWritten: "dGVzdA==",
TimestampWritten: 1690806748}

Konfigurasi untuk Confluent Cloud

Konfigurasi untuk Confluent Cloud sedikit berbeda dari langkah-langkah yang didokumentasikan sebelumnya untuk Apache Kafka. Pertimbangkan poin-poin berikut saat membuat koneksi untuk Confluent Cloud:

• Kunci API cluster Confluent Cloud digunakan sebagai nama pengguna, dan Secret Manager Secret kunci digunakan sebagai sandi untuk terhubung ke server bootstrap. Anda harus membuat kunci API di Confluent Cloud jika belum memilikinya.
• Pilih Use SSL di bagian Connection Details.
• Jika Anda menggunakan registry skema, konfigurasikan nilai berikut:
  • Di bagian Connection Details:
    • Versi Registry: Masukkan nomor versi registry. Jika Anda ingin menggunakan versi terbaru, masukkan latest.
    • Registry User: Masukkan kunci API registry skema. Anda perlu membuat kunci API registry skema jika belum memilikinya.
    • Sandi Registry: Masukkan Secret Manager Secret dari sandi registry.
    • Versi Secret: Pilih nomor versi secret.
    • Jenis Registry: Pilih Confluent.
    • Type Detection Scheme: Pilih MessageOnly
  • Di bagian Destinations, masukkan URL registry di kolom nama host.

  Menggunakan terraform untuk membuat koneksi

  Anda dapat menggunakan resource Terraform untuk membuat koneksi baru.

  Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.

  Untuk melihat contoh template terraform untuk pembuatan koneksi, lihat contoh template.

  Saat membuat koneksi ini menggunakan Terraform, Anda harus menetapkan variabel berikut dalam file konfigurasi Terraform:

  Nama parameter	Jenis data	Wajib	Deskripsi
  type_detection_scheme	ENUM	Benar	Skema yang digunakan untuk autentikasi dengan broker Apache Kafka. Nilai yang didukung adalah: MessageOnly
  registry_service	ENUM	Salah	Layanan Schema Registry yang digunakan untuk menggunakan skema topik. Nilai yang didukung adalah: Confluent
  registry_type	ENUM	Salah	Jenis skema yang ditentukan untuk topik tertentu. Nilai yang didukung adalah: AVRO, JSON
  registry_version	STRING	Salah	Versi skema yang dibaca dari RegistryUrl untuk topik yang ditentukan. Nilai yang valid untuk versi registry adalah antara [1,2^31-1] atau string "latest", yang menampilkan skema terdaftar terakhir.
  registry_user	STRING	Salah	Nama pengguna yang akan diberi otorisasi dengan server yang ditentukan di RegistryUrl .
  registry_password	SECRET	Salah	Secret Manager Secret yang berisi nilai Kunci sandi/secret untuk diberi otorisasi dengan server yang ditentukan di RegistryUrl.
  usessl	BOOLEAN	Salah	Kolom ini menetapkan apakah SSL diaktifkan.

  Menggunakan koneksi Apache Kafka dalam integrasi

  Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Integration Apigee dan Integration Aplikasi. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Apigee Integration, lihat Tugas konektor.
  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Aplikasi, lihat Tugas konektor.

  Mendapatkan bantuan dari komunitas Google Cloud

  Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Cloud Forums.

  Langkah selanjutnya

  • Pahami cara menangguhkan dan melanjutkan koneksi.
  • Pahami cara memantau penggunaan konektor.
  • Pahami cara melihat log konektor.