I/O Terkelola mendukung pembacaan dan penulisan ke Apache Kafka.
Persyaratan
Memerlukan Apache Beam SDK untuk Java versi 2.58.0 atau yang lebih baru.
Konfigurasi
I/O Terkelola menggunakan parameter konfigurasi berikut untuk Apache Kafka.
Konfigurasi baca dan tulis | Jenis data | Deskripsi |
---|---|---|
bootstrap_servers |
string | Wajib. Daftar server bootstrap Kafka yang dipisahkan koma.
Contoh: localhost:9092 . |
topic |
string | Wajib. Topik Kafka yang akan dibaca atau ditulis. |
file_descriptor_path |
string | Jalur ke kumpulan deskripsi file buffering protokol. Hanya berlaku jika
data_format adalah "PROTO" . |
data_format |
string | Format pesan. Nilai yang didukung: "AVRO" ,
"JSON" , "PROTO" , "RAW" . Nilai defaultnya adalah "RAW" , yang membaca atau menulis byte mentah payload pesan. |
message_name |
string | Nama pesan buffering protokol. Wajib jika
data_format adalah "PROTO" . |
schema |
string | Skema pesan Kafka. Jenis skema yang diharapkan bergantung pada format data:
Untuk pipeline baca, parameter ini akan diabaikan jika
|
Membaca konfigurasi | Jenis data | Deskripsi |
auto_offset_reset_config |
string | Menentukan perilaku saat tidak ada offset awal atau offset saat ini tidak ada lagi di server Kafka. Nilai berikut didukung:
Nilai defaultnya adalah |
confluent_schema_registry_subject |
string | Subjek registry skema Confluent. Wajib jika
confluent_schema_registry_url ditentukan. |
confluent_schema_registry_url |
string | URL registry skema Confluent. Jika ditentukan, parameter schema akan diabaikan. |
consumer_config_updates |
map | Menetapkan parameter konfigurasi untuk konsumen Kafka. Untuk informasi selengkapnya, lihat Config konsumen dalam dokumentasi Kafka. Anda dapat menggunakan parameter ini untuk menyesuaikan konsumen Kafka. |
max_read_time_seconds |
int | Waktu baca maksimum, dalam detik. Opsi ini menghasilkan PCollection
terbatas dan terutama ditujukan untuk pengujian atau
skenario non-produksi lainnya. |
Konfigurasi tulis | Jenis data | Deskripsi |
producer_config_updates |
map | Menetapkan parameter konfigurasi untuk produsen Kafka. Untuk informasi selengkapnya, lihat Config produsen dalam dokumentasi Kafka. Anda dapat menggunakan parameter ini untuk menyesuaikan produsen Kafka. |
Untuk membaca pesan Avro atau JSON, Anda harus menentukan skema pesan. Untuk menetapkan skema secara langsung, gunakan parameter schema
. Untuk menyediakan skema melalui
registry skema Confluent, tetapkan parameter confluent_schema_registry_url
dan
confluent_schema_registry_subject
.
Untuk membaca atau menulis pesan Buffer Protokol, tentukan skema pesan atau
tetapkan parameter file_descriptor_path
.
Untuk informasi selengkapnya dan contoh kode, lihat topik berikut: