Apache Kafka

Konektor Apache Kafka memungkinkan Anda melakukan operasi penyisipan, penghapusan, pembaruan, dan baca pada database Apache Kafka.

Versi yang didukung

Konektor Apache Kafka memanfaatkan library native client untuk membuat koneksi ke cluster Kafka tertentu, dan konektor ini berfungsi dengan klien versi 3.3.1. Namun, konektor dapat membangun konektivitas ke cluster Kafka dari versi 3.0 hingga 3.3.1.

Sebelum memulai

Sebelum menggunakan konektor Apache Kafka, lakukan tugas berikut:

  • Di project Google Cloud Anda:
    • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
    • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu melakukan autentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan.

    • Aktifkan layanan berikut:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

    Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Mengonfigurasi konektor mengharuskan Anda membuat koneksi ke sumber data (sistem backend). Koneksi bersifat khusus untuk sumber data. Artinya, jika memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan langkah-langkah berikut:

  1. Di Konsol Cloud, buka halaman Integration Connectors > Connections, lalu pilih atau buat project Google Cloud.

    Buka halaman Connections

  2. Klik + CREATE NEW untuk membuka halaman Create Connection.
  3. Di bagian Lokasi, pilih lokasi untuk koneksi.
    1. Region: Pilih lokasi dari menu drop-down.

      Untuk mengetahui daftar semua wilayah yang didukung, lihat Lokasi.

    2. Klik BERIKUTNYA.
  4. Di bagian Connection Details, selesaikan tindakan berikut:
    1. Konektor: Pilih Apache Kafka dari menu drop-down Konektor yang tersedia.
    2. Versi konektor: Pilih versi Konektor dari menu drop-down versi yang tersedia.
    3. Di kolom Connection Name, masukkan nama untuk instance Connection.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus kecil.
      • Nama koneksi harus dimulai dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh lebih dari 63 karakter.
    4. Secara opsional, masukkan Deskripsi untuk instance koneksi.
    5. Akun Layanan: Pilih akun layanan yang memiliki peran yang diperlukan.
    6. Secara opsional, konfigurasikan Setelan node koneksi:

      • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
      • Jumlah maksimum node: Masukkan jumlah maksimum node koneksi.

      {i>Node<i} adalah unit (atau replika) koneksi yang memproses transaksi. Lebih banyak node diperlukan untuk memproses lebih banyak transaksi untuk sebuah koneksi dan sebaliknya, lebih sedikit node diperlukan untuk memproses transaksi yang lebih sedikit. Untuk memahami pengaruh node terhadap harga konektor Anda, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum akan ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

    7. Registry Version: Versi skema yang dibaca dari RegistryUrl untuk topik yang ditentukan.
    8. Registry User: Nilai Nama Pengguna/Kunci Akses untuk diberi otorisasi dengan server yang ditentukan di RegistryUrl.
    9. Sandi Registry: Secret Manager Secret yang berisi sandi/nilai Kunci rahasia untuk diberi otorisasi dengan server yang ditentukan di RegistryUrl.
    10. Registry Type: Jenis skema yang ditentukan untuk topik tertentu.
    11. Layanan Registry: Layanan Schema Registry yang digunakan untuk menangani skema topik.
    12. UseSSL: Kolom ini menetapkan apakah SSL diaktifkan atau tidak.
    13. Secara opsional, klik + TAMBAHKAN LABEL untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci/nilai.
    14. Klik BERIKUTNYA.
  5. Di bagian Destinations, masukkan detail host jarak jauh (sistem backend) yang ingin Anda hubungkan.
    1. Jenis Tujuan: Pilih Jenis Tujuan.
      1. Di kolom Host address, tentukan nama host atau alamat IP tujuan.
        1. Jika ingin membuat koneksi pribadi ke sistem backend, ikuti langkah-langkah berikut:
          1. Buat lampiran layanan PSC.
          2. Buat lampiran endpoint, lalu masukkan detail lampiran endpoint di kolom Alamat host.
        2. Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan untuk mengonfigurasi alamat IP keluar statis untuk koneksi Anda, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.

      Untuk memasukkan tujuan tambahan, klik +TAMBAHKAN TUJUAN.

    2. Klik BERIKUTNYA.
  6. Di bagian Authentication, masukkan detail autentikasi.
    1. Pilih Jenis autentikasi, lalu masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi Apache Kafka:

      • Nama pengguna dan sandi
      • Anonim

      2. Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

    2. Klik BERIKUTNYA.
  7. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
  8. Klik Create.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

  • Nama pengguna dan sandi
    • Username: Nama pengguna Apache Kafka yang akan digunakan untuk koneksi.
    • Password: Secret Manager Secret berisi sandi yang terkait dengan nama pengguna Apache Kafka.
  • Anonim

    Jika Anda ingin menggunakan login anonim, pilih Tidak Tersedia.

Entitas, operasi, dan tindakan

Semua Integration Connectors menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ditampilkan kepada Anda sebagai entity, operasi, dan tindakan.

  • Entity: Entity dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entity berbeda dari konektor ke konektor. Misalnya, pada konektor database, tabel adalah entity, pada konektor server file, folder adalah entity, dan di konektor sistem pesan, antrean adalah entity.

    Namun, mungkin saja konektor tidak mendukung atau memiliki entitas, dalam hal ini daftar Entities akan kosong.

  • Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:

    Memilih entity dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entity tersebut. Untuk deskripsi operasi secara mendetail, lihat operasi entity tugas Konektor. Namun, jika konektor tidak mendukung salah satu operasi entity, operasi yang tidak didukung tersebut tidak akan dicantumkan dalam daftar Operations.

  • Tindakan: Tindakan adalah fungsi kelas pertama yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan bervariasi dari satu konektor ke konektor lainnya. Namun, mungkin saja konektor tidak mendukung tindakan apa pun, dalam hal ini daftar Actions akan kosong.

Keterbatasan sistem

Konektor Apache Kafka dapat memproses maksimum 50 transaksi per detik, per node, dan throttle setiap transaksi di luar batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk satu koneksi.

Untuk informasi tentang batas yang berlaku untuk Konektor Integrasi, lihat Batas.

Tindakan

Tindakan PublishMessage

Tindakan ini akan memublikasikan pesan ke topik Apache Kafka. Tabel berikut menjelaskan parameter input dan output dari tindakan PublishMessage.

Parameter input

Nama parameter Diperlukan Jenis data Deskripsi
Topik Ya String Nama topik tempat Anda ingin memublikasikan pesan.
Partisi Tidak String Partisi tempat pesan ditetapkan. Nilai harus valid untuk topik yang ditentukan. Jika Anda tidak menyetelnya, nilai ini akan otomatis disetel oleh klien native.
Kunci Tidak String Kunci pesan.
Pesan Ya String Pesan yang ingin Anda publikasikan. Pesan harus berupa JSON string dan ukuran pesan maksimum yang didukung adalah 10 MB.
HasBytes Tidak Boolean Menentukan apakah pesan menggunakan format biner.
MessageBytes Tidak String Pesan dalam bentuk string berenkode Base64.
Validasi Tidak Boolean Menentukan apakah pesan yang akan dipublikasikan harus divalidasi berdasarkan skema pesan yang ditetapkan dalam registry skema untuk topik tersebut. Jika Anda telah menentukan registry skema saat membuat koneksi, definisi skema topik dari registry akan digunakan untuk tujuan validasi. Nilai default untuk kolom ini adalah false.

Parameter output

Nama parameter Jenis data Deskripsi
PartitionWritten Bilangan bulat Partisi tempat pesan ditulis.
OffsetWritten Long Posisi dalam partisi tempat pesan ditulis.
TimestampWritten Long Waktu (stempel waktu Unix) saat pesan di-commit ke partisi.
KeyWritten String Nilai kunci pesan yang ditulis. Nilainya adalah NULL jika tidak ada kunci pesan yang diberikan saat menulis pesan.
Berhasil Boolean Menentukan apakah pesan dipublikasikan.

Contoh respons tindakan PublishMessage adalah sebagai berikut:

{Success: true,
PartitionWritten: 1,
OffsetWritten: 22301,
KeyWritten: "dGVzdA==",
TimestampWritten: 1690806748}

Konfigurasi untuk Cloud Confluent

Konfigurasi untuk Confluent Cloud sedikit berbeda dengan langkah-langkah yang didokumentasikan sebelumnya untuk Apache Kafka. Pertimbangkan hal-hal berikut saat membuat koneksi untuk Confluent Cloud:

  • Kunci API cluster Cloud Confluent digunakan sebagai nama pengguna, dan Secret Manager Secret kunci digunakan sebagai sandi untuk terhubung ke server bootstrap. Anda harus membuat kunci API di Confluent Cloud jika belum memilikinya.
  • Pilih Use SSL di bagian Connection Details.
  • Jika Anda menggunakan registry skema, konfigurasi nilai berikut:
    • Di bagian Connection Details:
      • Versi Registry: Masukkan nomor versi registry. Jika Anda ingin menggunakan versi terbaru, masukkan latest.
      • Registry User: Masukkan kunci API registry skema. Anda harus membuat kunci API registry skema jika belum memilikinya.
      • Sandi Registry: Masukkan Secret Manager Secret dari sandi registry.
      • Secret Version: Pilih nomor versi rahasia.
      • Jenis Registry: Pilih Confluent.
      • Type Detection Scheme: Pilih MessageOnly
    • Di bagian Destinations, masukkan URL registry di kolom nama host.

    Gunakan terraform untuk membuat koneksi

    Anda dapat menggunakan resource Terraform untuk membuat koneksi baru.

    Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.

    Untuk melihat contoh template terraform untuk pembuatan koneksi, lihat contoh template.

    Saat membuat koneksi ini menggunakan Terraform, Anda harus menetapkan variabel berikut dalam file konfigurasi Terraform:

    Nama parameter Jenis data Diperlukan Deskripsi
    type_detection_scheme ENUM Benar Skema yang digunakan untuk autentikasi dengan broker Apache Kafka. Nilai yang didukung adalah: MessageOnly
    registry_service ENUM Salah Layanan Schema Registry yang digunakan untuk menangani skema topik. Nilai yang didukung adalah: Confluent
    registry_type ENUM Salah Jenis skema yang ditentukan untuk topik tertentu. Nilai yang didukung adalah: AVRO, JSON
    registry_version STRING Salah Versi skema yang dibaca dari RegistryUrl untuk topik yang ditentukan. Nilai yang valid untuk versi registry adalah antara [1,2^31-1] atau string "latest", yang menampilkan skema terdaftar terakhir.
    registry_user STRING Salah Nama pengguna yang akan diberi otorisasi dengan server yang ditentukan di RegistryUrl .
    registry_password SECRET Salah Secret Manager berisi sandi/nilai Kunci rahasia yang akan diberi otorisasi dengan server yang ditentukan di RegistryUrl.
    usessl BOOLEAN Salah Kolom ini menetapkan apakah SSL diaktifkan.

    Menggunakan koneksi Apache Kafka dalam integrasi

    Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

    • Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Apigee, lihat Tugas konektor.
    • Untuk memahami cara membuat dan menggunakan tugas Konektor dalam Application Integration, lihat tugas konektor.

    Dapatkan bantuan dari komunitas Google Cloud

    Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Cloud Forums.

    Langkah selanjutnya