I/O terkelola Dataflow untuk Apache Kafka

I/O Terkelola mendukung pembacaan dan penulisan ke Apache Kafka.

Persyaratan

Memerlukan Apache Beam SDK untuk Java versi 2.58.0 atau yang lebih baru.

Konfigurasi

I/O Terkelola menggunakan parameter konfigurasi berikut untuk Apache Kafka.

Konfigurasi baca dan tulis Jenis data Deskripsi
bootstrap_servers string Wajib. Daftar server bootstrap Kafka yang dipisahkan koma. Contoh: localhost:9092.
topic string Wajib. Topik Kafka yang akan dibaca atau ditulis.
file_descriptor_path string Jalur ke kumpulan deskripsi file buffering protokol. Hanya berlaku jika data_format adalah "PROTO".
data_format string Format pesan. Nilai yang didukung: "AVRO", "JSON", "PROTO", "RAW". Nilai defaultnya adalah "RAW", yang membaca atau menulis byte mentah payload pesan.
message_name string Nama pesan buffering protokol. Wajib jika data_format adalah "PROTO".
schema string

Skema pesan Kafka. Jenis skema yang diharapkan bergantung pada format data:

Untuk pipeline baca, parameter ini akan diabaikan jika confluent_schema_registry_url ditetapkan.
Membaca konfigurasi Jenis data Deskripsi
auto_offset_reset_config string

Menentukan perilaku saat tidak ada offset awal atau offset saat ini tidak ada lagi di server Kafka. Nilai berikut didukung:

  • "earliest": Mereset offset ke offset paling awal.
  • "latest": Mereset offset ke offset terbaru.

Nilai defaultnya adalah "latest".
confluent_schema_registry_subject string Subjek registry skema Confluent. Wajib jika confluent_schema_registry_url ditentukan.
confluent_schema_registry_url string URL registry skema Confluent. Jika ditentukan, parameter schema akan diabaikan.
consumer_config_updates map Menetapkan parameter konfigurasi untuk konsumen Kafka. Untuk informasi selengkapnya, lihat Config konsumen dalam dokumentasi Kafka. Anda dapat menggunakan parameter ini untuk menyesuaikan konsumen Kafka.
max_read_time_seconds int Waktu baca maksimum, dalam detik. Opsi ini menghasilkan PCollection terbatas dan terutama ditujukan untuk pengujian atau skenario non-produksi lainnya.
Konfigurasi tulis Jenis data Deskripsi
producer_config_updates map Menetapkan parameter konfigurasi untuk produsen Kafka. Untuk informasi selengkapnya, lihat Config produsen dalam dokumentasi Kafka. Anda dapat menggunakan parameter ini untuk menyesuaikan produsen Kafka.

Untuk membaca pesan Avro atau JSON, Anda harus menentukan skema pesan. Untuk menetapkan skema secara langsung, gunakan parameter schema. Untuk menyediakan skema melalui registry skema Confluent, tetapkan parameter confluent_schema_registry_url dan confluent_schema_registry_subject.

Untuk membaca atau menulis pesan Buffer Protokol, tentukan skema pesan atau tetapkan parameter file_descriptor_path.

Untuk informasi selengkapnya dan contoh kode, lihat topik berikut: