Menghubungkan Pub/Sub Lite ke Apache Kafka

Catatan: Pub/Sub Lite tidak digunakan lagi. Mulai 18 Maret 2026, Pub/Sub Lite akan dinonaktifkan.

• Pelanggan saat ini: Pub/Sub Lite tetap berfungsi hingga 18 Maret 2026. Jika Anda belum menggunakan Pub/Sub Lite dalam periode 90 hari sebelum 24 September 2024 (26 Juni 2024 - 24 September 2024), Anda tidak akan dapat mengakses Pub/Sub Lite mulai 24 September 2024.
• Pelanggan baru: Pub/Sub Lite tidak lagi tersedia untuk pelanggan baru setelah 24 September 2024.

Anda dapat memigrasikan layanan Pub/Sub Lite ke Google Cloud Managed Service for Apache Kafka atau Pub/Sub.

Dokumen ini menjelaskan cara mengintegrasikan Apache Kafka dan Pub/Sub Lite dengan menggunakan Konektor Kafka Grup Pub/Sub.

Catatan: Anda juga dapat menggunakan konektor ini dengan Pub/Sub. Lihat Menghubungkan Pub/Sub ke Apache Kafka.

Tentang Konektor Kafka Grup Pub/Sub

Apache Kafka adalah platform open source untuk streaming peristiwa. Ini biasanya digunakan dalam arsitektur terdistribusi untuk memungkinkan komunikasi antarkomponen yang dikaitkan secara longgar. Pub/Sub Lite adalah layanan terkelola untuk mengirim dan menerima pesan secara asinkron. Seperti halnya Kafka, Anda dapat menggunakan Pub/Sub Lite untuk berkomunikasi antar-komponen dalam arsitektur cloud Anda.

Konektor Kafka Grup Pub/Sub memungkinkan Anda mengintegrasikan kedua sistem ini. Konektor berikut dikemas dalam JAR Konektor:

• Konektor sink membaca data dari satu atau beberapa topik Kafka dan memublikasikannya ke Pub/Sub Lite.
• Konektor sumber membaca pesan dari topik Pub/Sub Lite dan memublikasikannya ke Kafka.

Berikut adalah beberapa skenario saat Anda dapat menggunakan Konektor Kafka Grup Pub/Sub:

• Anda sedang memigrasikan arsitektur berbasis Kafka ke Google Cloud.
• Anda memiliki sistem frontend yang menyimpan peristiwa di Kafka di luar Google Cloud, tetapi Anda juga menggunakan Google Cloud untuk menjalankan beberapa layanan backend yang perlu menerima peristiwa Kafka.
• Anda mengumpulkan log dari solusi Kafka lokal dan mengirimkannya ke Google Cloud untuk analisis data.
• Anda memiliki sistem frontend yang menggunakan Google Cloud, tetapi Anda juga menyimpan data di lokal menggunakan Kafka.

Konektor ini memerlukan Kafka Connect, yang merupakan framework untuk melakukan streaming data antara Kafka dan sistem lainnya. Untuk menggunakan konektor, Anda harus menjalankan Kafka Connect bersama cluster Kafka.

Dokumen ini mengasumsikan bahwa Anda sudah memahami Kafka dan Pub/Sub Lite. Untuk memulai Pub/Sub Lite, lihat artikel Memublikasikan dan menerima pesan di Pub/Sub Lite menggunakan Konsol Google Cloud.

Mulai menggunakan Konektor Kafka Grup Pub/Sub

Bagian ini akan memandu Anda melakukan tugas berikut:

1. Konfigurasikan Konektor Kafka Grup Pub/Sub.
2. Mengirim peristiwa dari Kafka ke Pub/Sub Lite.
3. Mengirim pesan dari Pub/Sub Lite ke Kafka.

Catatan: Bagian ini menggunakan Kafka Connect dalam mode mandiri, yang cocok untuk pengujian. Untuk sistem produksi, mode terdistribusi direkomendasikan. Untuk mengetahui informasi tentang cara menjalankan Kafka Connect dalam mode terdistribusi, lihat Menjalankan Kafka Connect dalam dokumentasi Apache Kafka.

Prasyarat

Menginstal Kafka

Ikuti panduan memulai Apache Kafka untuk menginstal Kafka satu node di komputer lokal Anda. Selesaikan langkah-langkah berikut dalam panduan memulai:

1. Download rilis Kafka terbaru dan ekstrak.
2. Mulai lingkungan Kafka.
3. Buat topik Kafka.

Autentikasikan

Konektor Kafka Grup Pub/Sub harus melakukan autentikasi dengan Pub/Sub agar dapat mengirim dan menerima pesan Pub/Sub. Untuk menyiapkan autentikasi, lakukan langkah-langkah berikut:

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
2. Install the Google Cloud CLI.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Create local authentication credentials for your user account:

   gcloud auth application-default login

6. Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/pubsublite.admin

   gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

   • Replace PROJECT_ID with your project ID.

   • Replace USER_IDENTIFIER with the identifier for your user account. For example, user:[e-mail].

   • Replace ROLE with each individual role.
7. Install the Google Cloud CLI.

8. To initialize the gcloud CLI, run the following command:

   gcloud init

9. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

10. Create local authentication credentials for your user account:

    gcloud auth application-default login

11. Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/pubsublite.admin

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    • Replace PROJECT_ID with your project ID.

    • Replace USER_IDENTIFIER with the identifier for your user account. For example, user:[e-mail].

    • Replace ROLE with each individual role.

Catatan: Untuk beban kerja produksi, sebaiknya gunakan Workload identity federation untuk melakukan autentikasi.

Mendownload JAR konektor

Download file JAR konektor ke komputer lokal Anda. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan konektor di readme GitHub.

Menyalin file konfigurasi konektor

1. Clone atau download repositori GitHub untuk konektor.

   git clone https://github.com/googleapis/java-pubsub-group-kafka-connector.git
   cd java-pubsub-group-kafka-connector
   

2. Salin konten direktori config ke subdirektori config dari penginstalan Kafka Anda.

   cp config/* [path to Kafka installation]/config/
   

File ini berisi setelan konfigurasi untuk konektor.

Memperbarui konfigurasi Kafka Connect

1. Buka direktori yang berisi biner Kafka Connect yang Anda download.
2. Di direktori biner Kafka Connect, buka file bernama config/connect-standalone.properties di editor teks.
3. Jika plugin.path property dikomentari, hapus komentarnya.

4. Perbarui plugin.path property untuk menyertakan jalur ke JAR konektor.

   Contoh:

   plugin.path=/home/PubSubKafkaConnector/pubsub-group-kafka-connector-1.0.0.jar
   

5. Tetapkan properti offset.storage.file.filename ke nama file lokal. Dalam mode mandiri, Kafka menggunakan file ini untuk menyimpan data offset.

   Contoh:

   offset.storage.file.filename=/tmp/connect.offsets
   

Meneruskan peristiwa dari Kafka ke Pub/Sub Lite

Bagian ini menjelaskan cara memulai konektor sink, memublikasikan peristiwa ke Kafka, lalu membaca pesan yang diteruskan dari Pub/Sub Lite.

1. Gunakan Google Cloud CLI untuk membuat reservasi Pub/Sub Lite.

   gcloud pubsub lite-reservations create RESERVATION_NAME \
   --location=LOCATION \
   --throughput-capacity=4

   Ganti kode berikut:

   • RESERVATION_NAME: Nama reservasi Pub/Sub Lite.
   • LOCATION: Lokasi pemesanan.

2. Gunakan Google Cloud CLI untuk membuat topik Pub/Sub Lite dengan langganan.

   gcloud pubsub lite-topics create LITE_TOPIC \
   --location=LOCATION \
   --partitions=2 \
   --per-partition-bytes=30GiB \
   --throughput-reservation=RESERVATION_NAME
   
   gcloud pubsub lite-subscriptions create LITE_SUBSCRIPTION \
   --location=LOCATION \
   --topic=LITE_TOPIC

   Ganti kode berikut:

   • LITE_TOPIC: Nama topik Pub/Sub Lite untuk menerima pesan dari Kafka.
   • LOCATION: Lokasi topik. Nilai harus cocok dengan lokasi reservasi.
   • RESERVATION_NAME: Nama reservasi Pub/Sub Lite.
   • LITE_SUBSCRIPTION: Nama langganan Pub/Sub Lite untuk topik.

3. Buka file /config/pubsub-lite-sink-connector.properties di editor teks. Tambahkan nilai untuk properti berikut, yang ditandai "TODO" dalam komentar:

   topics=KAFKA_TOPICS
   pubsublite.project=PROJECT_ID
   pubsublite.location=LOCATION
   pubsublite.topic=LITE_TOPIC

   Ganti kode berikut:

   • KAFKA_TOPICS: Daftar topik Kafka yang dipisahkan koma untuk dibaca.
   • PROJECT_ID: Project Google Cloud yang berisi topik Pub/Sub Lite Anda.
   • LOCATION: Lokasi topik Pub/Sub Lite.
   • LITE_TOPIC: Topik Pub/Sub Lite untuk menerima pesan dari Kafka.

4. Dari direktori Kafka, jalankan perintah berikut:

   bin/connect-standalone.sh \
     config/connect-standalone.properties \
     config/pubsub-lite-sink-connector.properties
   

5. Ikuti langkah-langkah di panduan memulai Apache Kafka untuk menulis beberapa peristiwa ke topik Kafka Anda.

6. Berlangganan ke langganan Pub/Sub Lite menggunakan salah satu metode yang ditampilkan di Menerima pesan dari langganan Lite.

Meneruskan pesan dari Pub/Sub Lite ke Kafka

Bagian ini menjelaskan cara memulai konektor sumber, memublikasikan pesan ke Pub/Sub Lite, dan membaca pesan yang diteruskan dari Kafka.

1. Gunakan Google Cloud CLI untuk membuat reservasi Pub/Sub Lite.

   gcloud pubsub lite-reservations create RESERVATION_NAME \
   --location=LOCATION \
   --throughput-capacity=4

   Ganti kode berikut:

   • RESERVATION_NAME: Nama reservasi Pub/Sub Lite.
   • LOCATION: Lokasi pemesanan.

2. Gunakan Google Cloud CLI untuk membuat topik Pub/Sub Lite dengan langganan.

   gcloud pubsub lite-topics create LITE_TOPIC \
   --location=LOCATION \
   --partitions=2 \
   --per-partition-bytes=30GiB \
   --throughput-reservation=RESERVATION_NAME
   
   gcloud pubsub lite-subscriptions create LITE_SUBSCRIPTION \
   --location=LOCATION \
   --topic=LITE_TOPIC

   Ganti kode berikut:

   • LITE_TOPIC: Nama topik Pub/Sub Lite.
   • LOCATION: Lokasi topik. Nilai harus cocok dengan lokasi reservasi.
   • RESERVATION_NAME: Nama reservasi Pub/Sub Lite.
   • LITE_SUBSCRIPTION: Nama langganan Pub/Sub Lite untuk topik.

3. Buka file bernama /config/pubsub-lite-source-connector.properties di editor teks. Tambahkan nilai untuk properti berikut, yang ditandai "TODO" dalam komentar:

   topic=KAFKA_TOPIC
   pubsublite.project=PROJECT_ID
   pubsublite.location=LOCATION
   pubsublite.subscription=LITE_SUBSCRIPTION

   Ganti kode berikut:

   • KAFKA_TOPIC: Topik Kafka untuk menerima pesan Pub/Sub.
   • PROJECT_ID: Project Google Cloud yang berisi topik Pub/Sub Anda.
   • LOCATION: Lokasi topik Pub/Sub Lite.
   • LITE_SUBSCRIPTION: Topik Pub/Sub Lite.

4. Dari direktori Kafka, jalankan perintah berikut:

   bin/connect-standalone.sh \
     config/connect-standalone.properties \
     config/pubsub-lite-source-connector.properties
   

5. Publikasikan pesan ke topik Pub/Sub Lite menggunakan salah satu metode yang ditampilkan di Memublikasikan pesan ke topik Lite.

6. Baca pesan dari Kafka. Ikuti langkah-langkah dalam panduan memulai Apache Kafka untuk membaca pesan dari topik Kafka.

Konversi pesan

Kumpulan data Kafka berisi kunci dan nilai, yang merupakan array byte dengan panjang variabel. Secara opsional, data Kafka juga dapat memiliki header, yang merupakan pasangan nilai kunci. Pesan Pub/Sub Lite memiliki kolom berikut:

• key: Kunci pesan (bytes)
• data: Data pesan (bytes)
• attributes: Nol atau beberapa atribut. Setiap atribut adalah peta (key,values[]). Satu atribut dapat memiliki beberapa nilai.
• event_time: Stempel waktu peristiwa opsional yang disediakan pengguna.

Kafka Connect menggunakan pengonversi untuk melakukan serialisasi kunci dan nilai ke dan dari Kafka. Untuk mengontrol serialisasi, tetapkan properti berikut dalam file konfigurasi konektor:

• key.converter: Konverter yang digunakan untuk melakukan serialisasi kunci data.
• value.converter: Konverter yang digunakan untuk melakukan serialisasi nilai kumpulan data.

Konversi dari Kafka ke Pub/Sub Lite

Konektor sink mengonversi data Kafka menjadi pesan Pub/Sub Lite sebagai berikut.

Kumpulan data Kafka (SinkRecord)	Pesan Pub/Sub Lite
Kunci	key
Nilai	data
Header	attributes
Stempel waktu	eventTime
Jenis stempel waktu	attributes["x-goog-pubsublite-source-kafka-event-time-type"]
Topik	attributes["x-goog-pubsublite-source-kafka-topic"]
Partisi	attributes["x-goog-pubsublite-source-kafka-offset"]
Offset	attributes["x-goog-pubsublite-source-kafka-partition"]

Kunci, nilai, dan header dienkode sebagai berikut:

• Skema null diperlakukan sebagai skema string.
• Payload byte ditulis langsung tanpa konversi.
• Payload string, bilangan bulat, dan floating point dienkode menjadi urutan byte UTF-8.
• Semua payload lainnya dienkode ke dalam jenis Protocol buffer Value, lalu dikonversi menjadi string byte.
  • Kolom string bertingkat dienkode menjadi Value protobuf.
  • Kolom byte bertingkat dienkode ke Value protobuf yang menyimpan byte yang dienkode dengan base64.
  • Kolom numerik bertingkat dienkode sebagai ganda ke dalam Value protobuf.
  • Peta dengan kunci array, peta, atau struct tidak didukung.

Konversi dari Pub/Sub Lite ke Kafka

Konektor sumber mengonversi pesan Pub/Sub Lite menjadi data Kafka sebagai berikut:

Pesan Pub/Sub Lite	Kumpulan data Kafka (SourceRecord)
key	Kunci
data	Nilai
attributes	Header
event_time	Stempel waktu. Jika event_time tidak ada, waktu publikasi akan digunakan.

Opsi konfigurasi

Selain konfigurasi yang disediakan oleh Kafka Connect API, konektor mendukung konfigurasi Pub/Sub Lite berikut.

Opsi konfigurasi konektor sink

Konektor sink mendukung opsi konfigurasi berikut.

Setelan	Jenis data	Deskripsi
connector.class	String	Wajib. Class Java untuk konektor. Untuk konektor sink Pub/Sub Lite, nilainya harus com.google.pubsublite.kafka.sink.PubSubLiteSinkConnector.
gcp.credentials.file.path	String	Opsional. Jalur ke file yang menyimpan kredensial Google Cloud untuk mengautentikasi Pub/Sub Lite.
gcp.credentials.json	String	Opsional. Blob JSON yang berisi Google Cloud untuk mengautentikasi Pub/Sub Lite.
pubsublite.location	String	Wajib diisi. Lokasi topik Pub/Sub Lite.
pubsublite.project	String	Wajib diisi. Google Cloud yang berisi topik Pub/Sub Lite.
pubsublite.topic	String	Wajib diisi. Topik Pub/Sub Lite yang akan memublikasikan data Kafka.
topics	String	Wajib diisi. Daftar topik Kafka yang dipisahkan koma untuk dibaca.

Opsi konfigurasi konektor sumber

Konektor sumber mendukung opsi konfigurasi berikut.

Setelan	Jenis data	Deskripsi
connector.class	String	Wajib. Class Java untuk konektor. Untuk konektor sumber Pub/Sub Lite, nilainya harus com.google.pubsublite.kafka.source.PubSubLiteSourceConnector.
gcp.credentials.file.path	String	Opsional. Jalur ke file yang menyimpan kredensial Google Cloud untuk mengautentikasi Pub/Sub Lite.
gcp.credentials.json	String	Opsional. Blob JSON yang berisi Google Cloud untuk mengautentikasi Pub/Sub Lite.
kafka.topic	String	Wajib diisi. Topik Kafka yang menerima pesan dari Pub/Sub Lite.
pubsublite.location	String	Wajib diisi. Lokasi topik Pub/Sub Lite.
pubsublite.partition_flow_control.bytes	Long	Jumlah maksimum byte yang belum diproses per partisi Pub/Sub Lite. Default: 20.000.000
pubsublite.partition_flow_control.messages	Long	Jumlah maksimum pesan yang belum terkirim per partisi Pub/Sub Lite. Default: Long.MAX_VALUE
pubsublite.project	String	Wajib. Project Google Cloud yang berisi topik Pub/Sub Lite.
pubsublite.subscription	String	Wajib diisi. Nama langganan Pub/Sub Lite yang akan mengambil pesan.

Langkah selanjutnya

• Memahami perbedaan antara Kafka dan Pub/Sub.
• Pelajari Konektor Kafka Grup Pub/Sub lebih lanjut.
• Lihat repositori GitHub Konektor Kafka Grup Pub/Sub.