Dokumen ini menjelaskan cara mengintegrasikan Apache Kafka dan Pub/Sub Lite menggunakan Pub/Sub Group Kafka Connector.
Tentang Konektor Kafka Pub/Sub Group
Apache Kafka adalah platform open source untuk streaming acara. Ini biasanya digunakan dalam arsitektur terdistribusi untuk memungkinkan komunikasi antara komponen yang dikaitkan secara longgar. Pub/Sub Lite adalah layanan terkelola untuk mengirim dan menerima pesan secara asinkron. Seperti Kafka, Anda dapat menggunakan Pub/Sub Lite untuk berkomunikasi antar-komponen dalam arsitektur cloud Anda.
Konektor Kafka Pub/Sub Group memungkinkan Anda mengintegrasikan kedua sistem ini. Konektor berikut dikemas dalam JAR Konektor:
- Konektor sink membaca kumpulan data dari satu atau beberapa topik Kafka dan memublikasikannya ke Pub/Sub Lite.
- Konektor sumber membaca pesan dari topik Pub/Sub Lite dan memublikasikannya ke Kafka.
Berikut adalah beberapa skenario yang mungkin membuat Anda menggunakan Pub/Sub Group Kafka Connector:
- Anda akan memigrasikan arsitektur berbasis Kafka ke Google Cloud.
- Anda memiliki sistem frontend yang menyimpan peristiwa di Kafka di luar Google Cloud, tetapi Anda juga menggunakan Google Cloud untuk menjalankan beberapa layanan backend yang perlu menerima peristiwa Kafka.
- Anda mengumpulkan log dari solusi Kafka lokal dan mengirimkannya ke Google Cloud untuk analisis data.
- Anda memiliki sistem frontend yang menggunakan Google Cloud, tetapi juga menyimpan data secara lokal menggunakan Kafka.
Konektor memerlukan Kafka Connect, yang merupakan framework untuk streaming data antara Kafka dan sistem lain. Untuk menggunakan konektor, Anda harus menjalankan Kafka Connect bersama cluster Kafka.
Dokumen ini mengasumsikan bahwa Anda telah memahami Kafka dan Pub/Sub Lite. Untuk mulai menggunakan Pub/Sub Lite, lihat Memublikasikan dan menerima pesan di Pub/Sub Lite menggunakan Konsol Google Cloud.
Memulai dengan Konektor Kafka Pub/Sub Group
Bagian ini akan memandu Anda melakukan tugas-tugas berikut:- Konfigurasikan Konektor Kafka Pub/Sub Group.
- Mengirim peristiwa dari Kafka ke Pub/Sub Lite.
- Mengirim pesan dari Pub/Sub Lite ke Kafka.
Prasyarat
Instal Kafka
Ikuti panduan memulai Apache Kafka untuk menginstal Kafka node tunggal di komputer lokal Anda. Selesaikan langkah-langkah ini di panduan memulai:
- Download rilis Kafka terbaru, lalu ekstrak.
- Mulai lingkungan Kafka.
- Membuat topik Kafka.
Autentikasikan
Konektor Kafka Pub/Sub Group harus melakukan autentikasi dengan Pub/Sub agar dapat mengirim dan menerima pesan Pub/Sub. Untuk menyiapkan autentikasi, lakukan langkah-langkah berikut:
- Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
- Menginstal Google Cloud CLI.
-
Untuk initialize gcloud CLI, jalankan perintah berikut:
gcloud init
-
Buat atau pilih project Google Cloud.
-
Membuat project Google Cloud:
gcloud projects create PROJECT_ID
Ganti
PROJECT_ID
dengan nama untuk project Google Cloud yang Anda buat. -
Pilih project Google Cloud yang Anda buat:
gcloud config set project PROJECT_ID
Ganti
PROJECT_ID
dengan nama project Google Cloud Anda.
-
-
Buat kredensial autentikasi lokal untuk Akun Google Anda:
gcloud auth application-default login
-
Berikan peran ke Akun Google Anda. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut:
roles/pubsublite.admin
gcloud projects add-iam-policy-binding PROJECT_ID --member="user:EMAIL_ADDRESS" --role=ROLE
- Ganti
PROJECT_ID
dengan project ID Anda. - Ganti
EMAIL_ADDRESS
dengan alamat email Anda. - Ganti
ROLE
dengan setiap peran individual.
- Ganti
- Menginstal Google Cloud CLI.
-
Untuk initialize gcloud CLI, jalankan perintah berikut:
gcloud init
-
Buat atau pilih project Google Cloud.
-
Membuat project Google Cloud:
gcloud projects create PROJECT_ID
Ganti
PROJECT_ID
dengan nama untuk project Google Cloud yang Anda buat. -
Pilih project Google Cloud yang Anda buat:
gcloud config set project PROJECT_ID
Ganti
PROJECT_ID
dengan nama project Google Cloud Anda.
-
-
Buat kredensial autentikasi lokal untuk Akun Google Anda:
gcloud auth application-default login
-
Berikan peran ke Akun Google Anda. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut:
roles/pubsublite.admin
gcloud projects add-iam-policy-binding PROJECT_ID --member="user:EMAIL_ADDRESS" --role=ROLE
- Ganti
PROJECT_ID
dengan project ID Anda. - Ganti
EMAIL_ADDRESS
dengan alamat email Anda. - Ganti
ROLE
dengan setiap peran individual.
- Ganti
Download JAR konektor
Download file JAR konektor ke komputer lokal Anda. Untuk mengetahui informasi selengkapnya, baca artikel Mendapatkan konektor di readme GitHub.
Salin file konfigurasi konektor
Clone atau download repositori GitHub untuk konektor.
git clone https://github.com/googleapis/java-pubsub-group-kafka-connector.git cd java-pubsub-group-kafka-connector
Salin konten direktori
config
ke subdirektoriconfig
dari penginstalan Kafka Anda.cp config/* [path to Kafka installation]/config/
File ini berisi setelan konfigurasi untuk konektor.
Memperbarui konfigurasi Kafka Connect
- Buka direktori yang berisi biner Kafka Connect yang telah Anda download.
- Di direktori biner Kafka Connect, buka file bernama
config/connect-standalone.properties
dalam editor teks. - Jika
plugin.path property
diberi komentar, hapus tanda komentar. Update
plugin.path property
untuk menyertakan jalur ke JAR konektor.Contoh:
plugin.path=/home/PubSubKafkaConnector/pubsub-group-kafka-connector-1.0.0.jar
Tetapkan properti
offset.storage.file.filename
ke nama file lokal. Dalam mode mandiri, Kafka menggunakan file ini untuk menyimpan data offset.Contoh:
offset.storage.file.filename=/tmp/connect.offsets
Meneruskan peristiwa dari Kafka ke Pub/Sub Lite
Bagian ini menjelaskan cara memulai konektor sink, memublikasikan peristiwa ke Kafka, lalu membaca pesan yang diteruskan dari Pub/Sub Lite.
Gunakan Google Cloud CLI untuk membuat reservasi Pub/Sub Lite.
gcloud pubsub lite-reservations create RESERVATION_NAME \ --location=LOCATION \ --throughput-capacity=4
Ganti kode berikut:
- RESERVATION_NAME: Nama reservasi Pub/Sub Lite.
- LOCATION: Lokasi reservasi.
Gunakan Google Cloud CLI untuk membuat topik Pub/Sub Lite dengan langganan.
gcloud pubsub lite-topics create LITE_TOPIC \ --location=LOCATION \ --partitions=2 \ --per-partition-bytes=30GiB \ --throughput-reservation=RESERVATION_NAME gcloud pubsub lite-subscriptions create LITE_SUBSCRIPTION \ --location=LOCATION \ --topic=LITE_TOPIC
Ganti kode berikut:
- LITE_TOPIC: Nama topik Pub/Sub Lite untuk menerima pesan dari Kafka.
- LOCATION: Lokasi topik. Nilai harus cocok dengan lokasi reservasi.
- RESERVATION_NAME: Nama reservasi Pub/Sub Lite.
- LITE_SUBSCRIPTION: Nama langganan Pub/Sub Lite untuk topik.
Buka file
/config/pubsub-lite-sink-connector.properties
di editor teks. Tambahkan nilai untuk properti berikut, yang ditandai"TODO"
dalam komentar:topics=KAFKA_TOPICS pubsublite.project=PROJECT_ID pubsublite.location=LOCATION pubsublite.topic=LITE_TOPIC
Ganti kode berikut:
- KAFKA_TOPICS: Daftar yang dipisahkan koma untuk topik Kafka yang akan dibaca.
- PROJECT_ID: Project Google Cloud yang berisi topik Pub/Sub Lite Anda.
- LOCATION: Lokasi topik Pub/Sub Lite.
- LITE_TOPIC: Topik Pub/Sub Lite untuk menerima pesan dari Kafka.
Dari direktori Kafka, jalankan perintah berikut:
bin/connect-standalone.sh \ config/connect-standalone.properties \ config/pubsub-lite-sink-connector.properties
Ikuti langkah-langkah di panduan memulai Apache Kafka untuk menulis beberapa peristiwa ke topik Kafka.
Berlanggananlah ke langganan Pub/Sub Lite menggunakan salah satu metode yang ditunjukkan dalam Menerima pesan dari langganan Lite.
Meneruskan pesan dari Pub/Sub Lite ke Kafka
Bagian ini menjelaskan cara memulai konektor sumber, memublikasikan pesan ke Pub/Sub Lite, dan membaca pesan yang diteruskan dari Kafka.
Gunakan Google Cloud CLI untuk membuat reservasi Pub/Sub Lite.
gcloud pubsub lite-reservations create RESERVATION_NAME \ --location=LOCATION \ --throughput-capacity=4
Ganti kode berikut:
- RESERVATION_NAME: Nama reservasi Pub/Sub Lite.
- LOCATION: Lokasi reservasi.
Gunakan Google Cloud CLI untuk membuat topik Pub/Sub Lite dengan langganan.
gcloud pubsub lite-topics create LITE_TOPIC \ --location=LOCATION \ --partitions=2 \ --per-partition-bytes=30GiB \ --throughput-reservation=RESERVATION_NAME gcloud pubsub lite-subscriptions create LITE_SUBSCRIPTION \ --location=LOCATION \ --topic=LITE_TOPIC
Ganti kode berikut:
- LITE_TOPIC: Nama topik Pub/Sub Lite.
- LOCATION: Lokasi topik. Nilai harus cocok dengan lokasi reservasi.
- RESERVATION_NAME: Nama reservasi Pub/Sub Lite.
- LITE_SUBSCRIPTION: Nama langganan Pub/Sub Lite untuk topik.
Buka file bernama
/config/pubsub-lite-source-connector.properties
di editor teks. Tambahkan nilai untuk properti berikut, yang ditandai"TODO"
dalam komentar:topic=KAFKA_TOPIC pubsublite.project=PROJECT_ID pubsublite.location=LOCATION pubsublite.subscription=LITE_SUBSCRIPTION
Ganti kode berikut:
- KAFKA_TOPIC: Topik Kafka untuk menerima pesan Pub/Sub.
- PROJECT_ID: Project Google Cloud yang berisi topik Pub/Sub Anda.
- LOCATION: Lokasi topik Pub/Sub Lite.
- LITE_SUBSCRIPTION: Topik Pub/Sub Lite.
Dari direktori Kafka, jalankan perintah berikut:
bin/connect-standalone.sh \ config/connect-standalone.properties \ config/pubsub-lite-source-connector.properties
Publikasikan pesan ke topik Pub/Sub Lite menggunakan salah satu metode yang ditampilkan dalam Memublikasikan pesan ke topik Lite.
Baca pesan dari Kafka. Ikuti langkah-langkah pada panduan memulai Apache Kafka untuk membaca pesan dari topik Kafka.
Konversi pesan
Data Kafka berisi kunci dan nilai, yang merupakan array byte panjang variabel. Secara opsional, data Kafka juga dapat memiliki header, yang merupakan pasangan nilai kunci. Pesan Pub/Sub Lite memiliki kolom berikut:
key
: Kunci pesan (bytes
)data
: Data pesan (bytes
)attributes
: Nol atau beberapa atribut. Setiap atribut adalah peta(key,values[])
. Satu atribut dapat memiliki beberapa nilai.event_time
: Stempel waktu peristiwa opsional yang disediakan pengguna.
Kafka Connect menggunakan pengonversi untuk membuat serialisasi kunci dan nilai ke dan dari Kafka. Untuk mengontrol serialisasi, tetapkan properti berikut dalam file konfigurasi konektor:
key.converter
: Konverter yang digunakan untuk membuat serialisasi kunci kumpulan data.value.converter
: Konverter yang digunakan untuk membuat serialisasi nilai data.
Konversi dari Kafka ke Pub/Sub Lite
Konektor sink mengonversi data Kafka menjadi pesan Pub/Sub Lite seperti berikut.
Data Kafka (SinkRecord ) |
Pesan Pub/Sub Lite |
---|---|
Kunci | key |
Nilai | data |
Header | attributes |
Stempel waktu | eventTime |
Jenis stempel waktu | attributes["x-goog-pubsublite-source-kafka-event-time-type"] |
Topik | attributes["x-goog-pubsublite-source-kafka-topic"] |
Partisi | attributes["x-goog-pubsublite-source-kafka-offset"] |
Offset | attributes["x-goog-pubsublite-source-kafka-partition"] |
Kunci, nilai, dan header dienkode sebagai berikut:
- Skema null diperlakukan sebagai skema string.
- Payload byte ditulis langsung tanpa konversi.
- Payload string, bilangan bulat, dan floating point dienkode ke dalam urutan byte UTF-8.
- Semua payload lainnya dienkode ke dalam jenis
Value
Buffering Protokol, lalu dikonversi menjadi string byte.- Kolom string bertingkat dienkode ke dalam
Value
protobuf. - Kolom byte bertingkat dienkode ke
Value
protobuf yang menyimpan byte berenkode base64. - Kolom numerik bertingkat dienkode sebagai double ke dalam protobuf
Value
. - Peta dengan kunci array, peta, atau struct tidak didukung.
- Kolom string bertingkat dienkode ke dalam
Konversi dari Pub/Sub Lite ke Kafka
Konektor sumber mengonversi pesan Pub/Sub Lite ke data Kafka sebagai berikut:
Pesan Pub/Sub Lite | Data Kafka (SourceRecord )
|
---|---|
key |
Kunci |
data |
Nilai |
attributes |
Header |
event_time |
Stempel waktu. Jika event_time tidak ada, waktu publikasi akan digunakan. |
Opsi konfigurasi
Selain konfigurasi yang disediakan oleh Kafka Connect API, konektor mendukung konfigurasi Pub/Sub Lite berikut.
Opsi konfigurasi konektor sink
Konektor sink mendukung opsi konfigurasi berikut.
Setelan | Jenis data | Deskripsi |
---|---|---|
connector.class |
String |
Wajib. Class Java untuk konektor. Untuk konektor sink Pub/Sub Lite, nilainya harus com.google.pubsublite.kafka.sink.PubSubLiteSinkConnector .
|
gcp.credentials.file.path |
String |
Opsional. Jalur ke file yang menyimpan kredensial Google Cloud untuk mengautentikasi Pub/Sub Lite. |
gcp.credentials.json |
String |
Opsional. Blob JSON yang berisi Google Cloud untuk mengautentikasi Pub/Sub Lite. |
pubsublite.location |
String |
Wajib diisi. Lokasi topik Pub/Sub Lite. |
pubsublite.project |
String |
Wajib diisi. Google Cloud yang berisi topik Pub/Sub Lite. |
pubsublite.topic |
String |
Wajib diisi. Topik Pub/Sub Lite sebagai tujuan publikasi data Kafka. |
topics |
String |
Wajib diisi. Daftar topik Kafka yang dipisahkan koma untuk dibaca. |
Opsi konfigurasi konektor sumber
Konektor sumber mendukung opsi konfigurasi berikut.
Setelan | Jenis data | Deskripsi |
---|---|---|
connector.class |
String |
Wajib. Class Java untuk konektor. Untuk konektor sumber Pub/Sub Lite, nilainya harus com.google.pubsublite.kafka.source.PubSubLiteSourceConnector .
|
gcp.credentials.file.path |
String |
Opsional. Jalur ke file yang menyimpan kredensial Google Cloud untuk mengautentikasi Pub/Sub Lite. |
gcp.credentials.json |
String |
Opsional. Blob JSON yang berisi Google Cloud untuk mengautentikasi Pub/Sub Lite. |
kafka.topic |
String |
Wajib diisi. Topik Kafka yang menerima pesan dari Pub/Sub Lite. |
pubsublite.location |
String |
Wajib diisi. Lokasi topik Pub/Sub Lite. |
pubsublite.partition_flow_control.bytes |
Long |
Jumlah maksimum byte yang belum diproses per partisi Pub/Sub Lite. Default: 20.000.000 |
pubsublite.partition_flow_control.messages |
Long |
Jumlah maksimum pesan yang belum terselesaikan per partisi Pub/Sub Lite. Default: |
pubsublite.project |
String |
Wajib. Project Google Cloud yang berisi topik Pub/Sub Lite. |
pubsublite.subscription |
String |
Wajib diisi. Nama langganan Pub/Sub Lite yang akan mengambil pesan. |
Langkah selanjutnya
- Pahami perbedaan antara Kafka dan Pub/Sub.
- Pelajari lebih lanjut Konektor Kafka Pub/Sub Group.
- Lihat repositori GitHub Pub/Sub Group Kafka Connector.